Agentiske systemer kombinerer store språkmodeller med andre verktøy og komponenter. Denne kombinasjonen skaper sikkerhetsrisikoer der hverken tradisjonelle metoder for informasjonssikkerhet eller sikring av KI-modeller er nok. Ulike tilnærminger for sikkerhet av agentiske systemer har blitt foreslått, og metoder basert på isolasjon og flytkontroll har vist seg spesielt lovende. Dette inkluderer f.eks. Camel [1], Fides [2] og f-secure [3]. Ytterligere eksempler og detaljer er gitt i Kim et al. [4].
Oppgaven vil gå ut på å analysere og sammenligne slike metoder for gitte trusler og bruksområder. Dette kan innebære utvikling av benchmark, implementering av disse i passende rammeverk (f.eks. Inspect [5] eller CUA-Lite [6]) og evaluering/sammenligning av mekanismene ved hjelp av disse benchmarkene.
Oppgaven kan gjøres i samarbeid med Forsvarets forskningsinstitutt (FFI). I så fall må kandidaten oppfylle FFIs krav til masterstudenter, som inkluderer at kandidaten må kunne sikkerhetsklareres. Ta kontakt hvis du har spørsmål om dette.
[1] https://github.com/google-research/camel-prompt-injection
[2] https://github.com/microsoft/fides
[3] https://github.com/fzwark/Secure_LLM_System
[4] Kim et al. SoK: Attack and Defense Landscape of Agentic AI Systems, Usenix 2026, https://www.usenix.org/conference/usenixsecurity26/presentation/kim-juhee-agentic
[5] https://inspect.aisi.org.uk/
[6] https://cua-lite.github.io/