Dette er den første artikkelen i en serie hvor vi tester de ulike prinsippene i utforming av ledetekster KAFÉ-RO (Kontekst, avgrensning, format, eksempler, rolle, oppgave).
Teorien bak prinsippet rolle, er at å gi språkmodellen en rolle kan aktivere innlærte kilder assosiert med en fagperson, som vil gi bedre svar.
For å teste hvorvidt å gi språkmodellen en god rolle forbedrer resultatet fra en språkmodell, designet jeg følgende eksperiment. Jeg valgte fem temaer fra ulike grener innenfor naturvitenskap: Fouriertransformasjon, kvantetunnelering, orbitalhybridisering, epigenetikk, og subduksjonssoner. For å se etter effekten av rolle, valgte jeg ganske spisse temaer (altså, jeg unngikk store kategorier som "evolusjon" eller "kalkulus"). Jeg tenkte at dersom man velger et for bredt tema vil svaret fra GPT UiO være godt uansett, og at viktigheten av rolle kanskje kommer bedre frem ved bruk av et mer spisst tema.
Deretter ba jeg GPT UiO (model 4o) gi to forklaringer på 100 ord på hvert av temaene: "Forklar [tema] med 100 ord." Disse tekstene kalte jeg for null-tekster. Deretter ga jeg den samme oppgaven, men nå med følgende ledetekst: "Du er [kjent person innen fagfelt] og dessuten en dyktig pedagog. Forklar [tema] med 100 ord." Disse kalte jeg for hypotese-tekster. Man kan kanskje kritisere meg for å teste to aspekter på samme tid, nemlig rollen "fagperson" og "dyktig pedagog", men mitt mål i første omgang var å se om det var en tydelig forbedring av rolle i det hele tatt.
| Fagfelt | Tema | Fagperson |
|---|---|---|
| Matematikk | Fouriertransformasjon | Carl Friedrich Gauss |
| Fysikk | kvantetunnelering | Albert Einstein |
| Kjemi | orbitalhybridisering | Marie Curie |
| Biologi | epigenetikk | Charles Darwin |
| Geoviter | subduksjonssoner | Alfred Wegener |
Tekstene som ble generert kan du finne her.
Etter å ha generert 10 tekster (5 nulltekster og 5 hypotesetekster), sendte jeg disse 10 i tilfeldig rekkefølge for hver person rundt 6 personer i min akademiske omgangskrets (alle realister) med følgende instruks: "Hei, jeg gjennomfører et lite eksperiment med GPT UiO og skal skrive en liten artikkel til KURT-nettsiden om det. Jo mindre jeg sier, jo bedre for utfallet - hehe. Kan du gi en karakter fra 1 til 6 på hver av disse tekstene etter hvor gode du synes de er fra et pedagogisk perspektiv?"
Resultatene ser du i bildet til denne teksten.
Resultatene tyder på at å angi denne rollen ikke gjorde tekstene spesielt mye bedre. Tilbakemeldingen fra mange av de som vurderte tekstene var at det var vanskelig å vurdere hvor gode de var utifra et "pedagogisk perspektiv" uten å vite hva målgruppen var. Så kanskje kunne det vært en bedre test å gi en bedre definert rolle både til GPT UiO og den som skal lese teksten. De som vurderte tekstene var også innen akademia med gode forkunnskaper - resultatet kunne blitt et annet dersom eksperimentet hadde gjort med studenter.
Kanskje tyder dette på at det å bare si "vær pedagogisk" ikke er nyttig, når målgruppen ikke er klar. Men med dette i bakhodet, mener jeg ihvertfall vi kan slå fast at det å bruke navnet på en autoritet i prompten (Einstein, Curie, osv.) ikke ser ut til å ha noen nevneverdig effekt på kvaliteten i svarene hva gjelder pedagogisk tilnærming.
Det er mange åpne spørsmål, og jeg inviterer enhver som har lyst til å gjøre liknende undersøkelser om å dele resultatene med meg.