En bakdør i en maskinlæringsmodell er en innlært egenskap som gjør at modellen gir bestemte prediksjoner når denne spesifikke egenskapen er til stede i data som sendes inn i modellen. Et klassisk eksempel er en modell for trafikkskiltgjenkjenning som alltid predikerer «100 km/t» når en post-it-lapp er på skiltet, selv om det står «stopp» på skiltet. Å plante slike bakdører i modellen er ganske usannsynlig hvis man har full kontroll over treningsdataen, men i praksis brukes ofte eksterne datasett og forhåndstrente modeller. Disse kan være manipulerte, og det er ressurskrevende, om ikke umulig, å oppdage bakdører ved manuelle undersøkelser.
Denne oppgaven vil undersøke hvordan man kan detektere og eventuelt eliminere bakdører i en spesiell type maskinlæringsmodeller, kalt nevrale nettverk, trent på tabulær data (nøkkel-verdi par som er veldig mye brukt innenfor cybersikkerhet).
Oppgaven vil ta utgangspunkt i et nylig utviklet rammeverk og vil utforske om såkalte «aktive stier» [1] kan brukes for å avdekke bakdører som er manifestert i én enkel feature som blir sendt inn i modellen.
Oppgaven vil være i samarbeid med Forsvarets forskningsinstitutt (FFI) og kandidater må oppfylle FFIs krav til masterstudenter, som inkluder at kandidaten må kunne sikkerhetsklareres. Ta kontakt hvis du har spørsmål om dette.
[1] https://arxiv.org/pdf/2503.10496