Forskningsprogram AUV (Autonomous Underwater Vehicle) ved FFI har i flere år utviklet metoder for bildeanalyse basert på dyp læring. Vår hovedinteresse er innen informasjonsuttrekking og automatisk tolking av sonarbilder av sjøbunnen. Disse bildene er ofte tatt av den autonome undervannsfarkosten HUGIN og viktige anvendelser er minejakt og rørledningsinspeksjon. Selv om prosessering av sonarbilder og optiske bilder med dyp læring har mange likheter, er det også viktige forskjeller som skal tas hensyn til, f.eks. støy-egenskaper og skala-avhengighet.
For studenter som tar masteroppgave med veileder fra FFI kan det være fordelaktig å kombinere dette med en sommerjobb på FFI, dersom studenten får jobbe med relaterte emner. Grunnet krav til sikkerhetsklarering kan kun norske statsborgere være sommerstudenter ved FFI.
Transformers basert arkitektur for objekt-deteksjon, DETR.
Sonarbilde av sjøbunn med mange steiner. Ett nytt objekt er detektert som en endring i gul farge.
Deteksjon av objekter i sonarbilder basert på dyp læring
Deteksjon av objekter i Syntetisk Apertur Sonar (SAS) eller Side Scan Sonar (SSS) bilder er en viktig operasjon i fjernmåling av havbunnen. Flere typer objekter kan være av interesse avhengig av applikasjon. For eksempel ønsker vi å detektere miner i automatisk minerydding eller objekter som skipsvrak i arkeologiske undersøkelser. Det finnes en rekke kjente algoritmer for objektdeteksjon basert på dyp læring som Fast-RCNN, YOLO og DETR. Disse er utviklet for deteksjon av objekter i optiske bilder og antar ingen a-priori kunnskaper om bildene. For sonarbilder av objekter på havbunnen, sitter vi ofte med nyttig informasjon om bildene. Det kan være informasjon om avbildningsgeometri, avstand eller objektskala. Det er da mulig å modifisere algoritmer som ble nevnt over for å utnytte informasjon av denne typen og dermed øke ytelsen i objektdeteksjon.
«Self-supervised» (selv-ledet) læring for behandling av sonarbilder
For å utnytte «supervised» læring trenger vi en stor mengde data sammen med en relevant fasit for hvert enkelt bilde i databasen. Selv om tilgjengelige data typisk akkumuleres over tid, er det å lage fasit eller «labelling» fortsatt en arbeidsintensiv prosess. «Self-supervised» læring er et svar for denne utfordringen, hvor vi prøver å benytte data uten fasit/label for flere forskjellige anvendelser. En mulig bruk av denne fremgangsmåten er klassifisering av sonarbilder, men kan også anvendes i objektdeteksjon og segmentering av sonarbilder. Ideen her er å trene et nevralt nett for å generere egenskaper («features») på en ikke-ledet måte og deretter bruke de egenskapene som input til en «down stream» oppgave. Det er flere måter å utføre «Self-supervised» egenskapsgenerering på. En populær metode kalt «auto encoding» er basert på enkoder-dekoder arkitekturer. Prinsippet her er å transformere et gitt bilde til egenskap-rommet ved hjelp av enkoderen og deretter transformere egenskap-vektoren tilbake til det opprinnelige (eller et beslektet) bilde. Da kan systemet trenes ende-til-ende uten behov for en manuelt laget fasit. En annen tilnærming til «Self-supervised» læring er basert på såkalte kontrastiv-teknikker. Her brukes det augmenterte versjoner av samme eller forskjellige bilder for egenskapsgenerering. Treningen er da utformet slik at avstanden mellom egenskapsvektorene er minimert hvis de kommer fra samme inputbilde eller maksimert i det motsatte tilfellet. «Self-supervised» læring har ført til meget gode resultater når man har svært mye data med relevante karakteristika og kan trene med store batch-størrelser. I vårt tilfelle har vi ikke så mye data som inneholder interessante objekter og vi kan i liten grad øke batch-størrelsen på grunn av begrensede beregningsressurser. Hovedretningen av oppgaven er da å studere hvilke teknikker som kan best tilpasses til denne situasjonen. Studenten kan jobbe med denne «Self-supervised» problemstillingen knyttet til anvendelser som klassifisering, deteksjon og segmentering i forbindelse med sonarbilder.
Estimering av objekt-egenskaper i sonarbilder
Estimater av egenskaper som størrelse og orientering, til interessante objekter i sonarbilder er nyttig informasjon i flere sammenhenger. For eksempel i minejakt gir fysiske dimensjoner til detekterte objekter en indikasjon om det er faktisk en mine og eventuelt hvilken type. Et dyp læring nettverk kan brukes til å oppnå dette. I denne oppgaven skal studenten først gjøre en litteraturstudie og deretter velge ut egnede teknikker for implementering. Det er også nødvendig å lage datasett med korrekte labels til trening og evaluering, hovedsakelig basert på verktøy som er allerede tilgjengelig. Til slutt skal systemene trenes og ytelse evalueres.
Fusjon av simulerte og virkelige data
Utilstrekkelig mengde av annoterte eksempeldata er et vanlig problem ved trening av dyp læring nettverk. For eksempel kan det være få eksempler av en bestemt type havbunn eller en bestemt klasse av objekter. Generering av kunstige data er en vanlig løsning i slike situasjoner. Man kan bruke fysikk-baserte simulatorer eller datadrevne simulatorer som Generative Adversarial Networks (GAN) og Denoising Diffusion Models (DDM). For å unngå å simulere hele scenen, går en strategi ut på å kombinere kunstige objekt-responser med ekte bakgrunnsdata. Et avgjørende spørsmål er hvordan en skal fusjonere forskjellige typer simulerte data og virkelige data. I denne oppgaven skal studenten undersøke strategier for å oppnå bedre samspill mellom simulerte og virkelige data, som dermed kan forbedre system-ytelsen til det trente nettverket.
Endringsdeteksjon
Endringsdeteksjon er en prosesseringsteknikk der interessante objekter detekteres som forskjeller i to bilder som er tatt av samme scene, men på forskjellig tidspunkt. Teknikken brukes i mange ulike sensordomener og er svært viktig innen anvendelser som f.eks. medisinsk avbildning, industriell kvalitetskontroll og fjernmåling. Innføringen av autonome undervannsfarkoster utstyrt med avanserte treghetsnavigasjonssystemer og syntetisk apertur-sonar (SAS) har muliggjort automatisk endringsdeteksjon ned på pikselnivå også i sonarbilder av sjøbunnen. De to hovedutfordringene i endringsdeteksjon er nøyaktig samregistrering av de to datasettene og selektiv deteksjon av kun de interessante forskjellene i dataene for den aktuelle anvendelsen.
Anomalideteksjon
I mange sammenhenger kan vi ikke eksakt beskrive hva vi ønsker å detektere i en sjøbunnsscene, men det er typisk relevant å detektere lokale objekter/fenomener som skiller seg vesentlig fra det omliggende miljøet, f.eks. vrak og andre menneskeskapte gjenstander. Slik anomalideteksjon innebærer å modellere de naturlige variasjonene i egenskapene til bildedataene og detektere områder som faller klart utenfor denne statistiske distribusjonen. Modellen kan enten bygges opp på forhånd ved hjelp av et referansedatasett med kjente anomalier («supervised») eller genereres fra det nye, ukjente testdatasettet («unsupervised»). Oppgaven kan ta utgangspunkt i klassiske statistiske metoder og/eller metoder basert på dyp læring.
Kontaktpersoner:
- Narada Warakagoda Narada-Dilp.Warakagoda@ffi.no
- Øivind Midtgaard Oivind.Midtgaard@ffi.no