"Det er vanskelig å vite hva andre kommer til å synes om ens masteroppgave når man skriver den, så det er utrolig hyggelig å få denne anerkjennelsen ", sier Kristian når vi spør ham om hva han tenker om å få en slik pris.
Her er juryens begrunnelse for tildelingen: Oppgaven kombinerer avansert matematisk teori med aktuelle problemstillinger i maskinlæring og resulterer i nye bidrag som kaster lys over hvorfor nevrale nettverk fungerer så effektivt i praksis. Tematisk spenner arbeidet over flere sentrale matematiske områder; stokastiske differensialligninger, optimeringsteori og funksjonsanalyse. Oppgaven ligger klart innenfor matematisk vitenskapstradisjon, men den omhandler temaer og problemstillinger som også harstor interesse innen informatikkfaget.
Et av de mest grunnleggende spørsmålene i maskinlæring er hvorvidt de aktuelle algoritmene faktisk konvergerer mot gode løsninger. Klassisk teori dekker i hovedsak konvekse problemer, hvor entydige eller «rette» løsninger er garantert, men de fleste moderne nevrale nettverk gir opphav til sterkt ikke-konvekse taps-funksjoner der slike garantier mangler.
I oppgaven viser Maroni at stokastisk gradient-descent konvergerer mot globale minima i en bred klasse av ikke-konvekse problemer – så lenge taps-funksjonen oppfyller den såkalte Polyak-Łojasiewicz-betingelsen. Maroni stiller også opp en interessant formodning om sammenhengsegenskapene til minimumsmengder under Polyak-Łojasiewicz-betingelsen.
Når nevrale nettverk trenes, står man overfor et enormt optimeringsproblem med millioner av variable og et sterkt ikke-konvekst landskap. Et sentralt spørsmål er hvor «uoverkommelig» denne ikke-konveksiteten egentlig er. Her spiller dualitetsgapet en nøkkelrolle. I konvekse problemer er gapet null, men i ikke-konvekse settinger kan det i prinsippet være stort, noe som vanskeliggjør analysene. Maroni presenterer i sin masteroppgave en forbedret grense for dualitetsgapet, basert på det såkalte Shapley-Folkman-lemmaet, et resultat som sier at summen av mange ikke-konvekse mengder har mange likhetstrekk med en konveks mengde. Dette gir en teoretisk forklaring på et empirisk fenomen: hvorfor nevrale nettverk, til tross for sin sterke ikke-konveksitet, ofte oppfører seg som om de var konvekse når de trenes i praksis.