Kan vi oppdage bruk av KI?

Vi får kanskje en følelse. Litt oppblåste setninger kanskje, noen irrelevante eksempler. Litt for avansert språk fra en student vi vet har levert helt andre ting før. Men det kan jo kanskje tenkes at vi bare har blitt mer mistenksomme siden ChatGPT kom i 2022?

I en artikkel fra Waltzer et al. (2024), forsøkte lærere å skille essayer skrevet av mennesker fra essayer skrevet av ChatGPT. De ble gitt en haug med tekstpar hvor den ene var skrevet av ChatGPT og den andre ikke, og skulle forsøke å si hvilken som var hva. Lærerne klarte å identifisere den robot-skrevne teksten 70% av tiden, som er signifikant bedre enn kron og mynt (50%), men mildt sagt for upålitelig til å utvise studenter. 

Men om ikke lærere kan detektere KI, kanskje KI-detektorer kan? Den hypotesen ble testet i en studie av Walters (2023). Her skulle de mest moderne KI-detektorene forsøke å identifisere hvilke blant 42 menneskeskrevne, og 42 robotskrevne tekster som var hva. Resultatet viste at de fleste detektorene identifiserte menneskeskrevne tekster som menneskeskrevne, men scorte litt dårligere på å identifisere robot-tekster som robot-tekster. Dette kan komme av at detektorene er skrudd sammen til å være "snille", det vil si, at de i tvilstilfeller heller mot å hevde at teksten er menneskeskrevet.

Så kan vi bruke KI-detektorer til å anklage studenter for KI-bruk? To av tjenestene (copyleaks og TurnItIn) som ble testet i Walters (2023) klassifiserte faktisk alle tekstene riktig. Men om Universitetet i Oslo hadde hatt en integrering med et slikt detektorverktøy i inspera, kunne vi stolt på det? Og i motsetning til Walters-studien, så bruker jo studenter KI på en mye mer integrert måte - hvor skillet mellom hva som er KI-skrevet og ikke mye mer diffust. 

Jeg tror vi må fokusere på gode tilbakemeldinger, tydeligere retninglinjer og alternative vurderingsformer. På REAL undervisning nå i januar (2025), tok vi opp dette temaet med de frammøtte, og under finner dere en oppsummering.

Sitatene under er tatt fra mentimeteren som ble holdt under foredraget. 

Fokuser på hva det er som gjør at du mistenker KI

Istedet for å anklage studenten for noe hen kanskje ikke har gjort, fortell heller hva det er ved innleveringen du ikke liker. Det kan imidlertid være vanskelig å sette ord på hva det er som lyder litt umenneskelig. Under har jeg listet opp noen vanlige årsaker, slik at du kan låne noe av denne ordlyden når du gir tilbakemelding.

Usannheter og ikke-eksisterende referanser

Den mest alvorlige feilen som språkmodeller kan gjøre i skrivingen er å hallusinere kilder og referanser som ikke finnes. 

Språket er platt

Språkmodeller er kjent for å skrive på en overdrevet måte. Selv om man instruerer dem i å bruke nøkternt og enkelt språk, så har de en tendens til å gli tilbake i store formuleringer og male flotte bilder. I tillegg er KI kjent for å bruke fylleord med lite innhold og tekstene kan være preget av lange setninger.

Alt dette kan føre til en slitsom leseropplevelse. En triks for å gjøre studenter oppmerksomme på dette kan være å be dem om å lese opp sine egne besvarelser.

"Språket er generisk, platt, kjedelig."

Eksemplene er irrelevante

Når man ber en språkmodell om å generere en introduksjon, så ender man ofte opp med eksempler som ikke er relevante. Et konkret eksempel fra Universitetet i Oslo kom da en student skulle skrive en rapport i et kurs om maskinlæring. Maskinlæring bygger på lineær algebra, så det er naturlig å skrive om det temaet i innledning. Det som ikke er relevant derimot, er det som studenten gjorde, nemlig å forklare lineær algebra gjennom eksempler som har lite med temaet for rapporten å gjøre. Dette kan skje dersom man har brukt KI til å generere tekst for seg, som i eksempelet under.

Som vi ser, gir ChatGPT mange eksempler på lineær algebra, men få av dem er relevante for maskinlæring.

Språktonen i oppgaven varierer

Iblant bruker studenter KI for å skrive introduksjonen til en rapport, men skriver resultatdelen selv. Resultatet er en rapport som virker sammenklippet med varierende språk. 

"Veldig ulik kvalitet gjennom oppgaven."

Overkompliserte metoder

Når det gjelder bruk av KI til f.eks. programmering, er det raskt at elevene bruker metoder som er utenfor hva som er ment å brukes i faget. Slik en på REAL undervisning sa det:

"Programmeringskode som er mer avansert enn det som undervises." 

Klisjéer

En av de mest interessante utviklingene innen KI er hvordan bruken av enkelte klisjéer har økt siden innførselen av chatGPT. Under ser du tre slike klisjeer som ofte brukes av sråkmodeller. Dataene er hentet fra openalex 10. januar 2025 og viser frekvensen av ordet hvert år (et år per søyle) til og med 2024.

"Delve into"

"Tapestry"

"Pivotal"

Mangel på tydelig linje

Vi har som regel en tanke bak det vi skriver. En idé om hva vi ønsker å oppnå. Språkmodeller, derimot, blir av enkelte anklaget for å skrive litt ufokusert.

"Bullshitting - snakker om tema, men forklarer lite."

Skriver de bedre på norsk?

Sannsynligvis ikke. Sannsynligvis verre. Personlig husker jeg i begynnelsen av språkmodellenes inntog at jeg var veldig lei av at chatGPT stadig ville at jeg skulle "dykke ned" i spennende emner. Og språkrådet har nylig gått ut med en artikkel hvor de forteller at når ChatGPT skriver nynorsk har den hele 8 feil per side. 

Andre vurderingsformer

En måte å møte denne utfordringen er å forandre formatet på våre innleveringsoppgaver. Her er noen alternativer som gjør det vanskelig å lene seg for mye på KI.

• Refleksjonsnotat: I tillegg til oppgaven skriver studentene et refleksjonsnotat om hvordan de har jobbet med oppgaven, hva de har gjort når, osv. Det kan lønne seg å oppfordre studentene til å være så konkrete som mulig ved å gi eksempler. Her er noen forslag til hvordan du kan instruere studentene til dette:
  • "Vær så konkret som mulig gjennom eksempler fra det du har skrevet."
  • Hvis gruppearbeid: "Skriv kort om ditt bidrag til prosjektet og om læringsutbytte fra prosjektarbeidet."
  • "Skriv om hvorfor du valgte å jobbe med tema X."
  • "Skriv om hvordan du har jobbet med teksten - skrev du hele teksten først og deretter forbedret den, eller skrev du en disposisjon først?"
  • "Skriv om hvordan du har brukt KI i arbeidet med oppgaven. Hva lærte du gjennom å samtale med KI, hva kunne du bruke direkte og hva behøvde du omskrive selv?"
  • Andre spørsmål: "Hva lærte du?", "Hva i oppgaven synes du var vanskelig?", "Hva var overraskende?", "Hvilke lærdommer vil du ta med deg videre?"
  • Hvis de har fått tilbakemelding fra medstudenter underveis: "Var du enig i kritikken du fikk, hvorfor/hvorfor ikke?", "Nevn en episode hvor du endret innholdet på bakgrunn av en tilbakemelding.", "Hvordan har du brukt tilbakemelding fra dine medstudenter?"
• Muntlig presentasjon: Sammen med det skriftlige arbeidet, skal studentene presentere det de har skrevet muntlig - for eksempel i en gruppetime eller med i forelesningen (i små fag). 
• Sammensatte oppgaver: Gi studentene oppgaver som er sammensatte, gjerne multimodale. F.eks. kan du be om at det skriftlige arbeidet inneholder figurer og grafer som illustrerer poengene, og som de må kommentere grundig. Selv de multimodale språkmodellene i dag er ikke spesielt gode på å tolke detaljerte figurer.
• Tettere bruk av kilder: For å sørge for at studenter bruker kilder på en god måte, kan de få i oppgave å redegjøre nøye for tre kilder de har valgt seg. I redegjørelsen må de også knytte kildene opp mot hverandre og sammenlikne., Deretter må de forklare i et refleksjonsnotat hvordan de har brukt kildene i sitt arbeid.
• Skrivetid i forelesningen/gruppetimen: Sett av tid i undervisningen til å skrive, hvor elevene ikke har tilgang til KI. Et konkret eksempel er at dagen de skal levere fra seg en rapport, så må studentene sitte i gruppetimen og skrive en "executive summary" av hva de har levert.
• Intervju: Elevene må gjennomføre et intervju med en ekte person og skrive om det.
• Formativ vurdering: I stedet for å ha to innleveringer, kan du ha én, også gi studenetne mulighet å levere to ganger, hvor de kun får detaljert tilbakemelding første gangen.

Hvordan vi forholder oss til kunstig intelligens vil nok endre seg mye i tiden som kommer, men vi håper denne artikkelen har gitt noe inspirasjon til hvordan vi kan møte denne nye tiden.

Referanser

Waltzer, T., Pilegard, C., & Heyman, G. D. (2024). Can you spot the bot? Identifying AI-generated writing in college essays. International Journal for Educational Integrity, 20(1), 11. https://doi.org/10.1007/s40979-024-00158-3

Walters, W. H. (2023). The Effectiveness of Software Designed to Detect AI-Generated Writing: A Comparison of 16 AI Text Detectors. Open Information Science, 7(1). https://doi.org/10.1515/opis-2022-0158