Bakgrunn og oppsett
Fagansvarlig Omid Mirmotahari hadde tidligere erfaring med hverandrevurderingsverktøy som Peer Grade og Canvas SpeedGrader – begge hadde vist seg utilstrekkelige for bruk i stor skala. Peer Grade falt bort på grunn av GDPR-utfordringer, mens Canvas manglet nødvendig funksjonalitet og hadde svak støtte for dataeksport. IN1020 ble derfor valgt som primær pilotarena for å utforske Feedback Fruits' tekniske muligheter, særlig med tanke på læringsanalyse.
Studentene som hadde gjennomført de to første obligatoriske oppgavene ble tilfeldig fordelt i tre grupper for den tredje og siste obligatoriske oppgaven:
- Gruppe 1 – Hverandrevurdering (HV): Studentene vurderte tre medstudenters innleveringer i Feedback Fruits. Ingen rubrikk eller strukturert veiledning ble gitt – et bevisst valg for å studere effekten av eksponering for medstudenters arbeid alene.
- Gruppe 2 – Egenvurdering (EV): Studentene brukte en nettbasert rubrikk i Feedback Fruits til å evaluere sitt eget arbeid mot spesifikke kriterier, etter en sokratisk tilnærming der de ikke fikk fasitsvar, men ble bedt om å reflektere.
- Gruppe 3 – Lærerassistentvurdering (LV): Studentene mottok skriftlig tilbakemelding fra én av 18 læringsassistenter innen én uke etter første innlevering. Denne gruppen fungerte som kontrollgruppe og representerte gjeldende praksis.
Alle grupper leverte et første utkast, gjennomgikk sin respektive tilbakemeldingsprosess og leverte deretter en revidert versjon én uke senere.
Oppgaven
Den obligatoriske oppgaven besto av tre deler fra emnets pensum:
- En teoretisk og konseptuell oppgave der studentene evaluerte et eksamensspørsmål og skrev en utvidet løsning med begrunnelse.
- En kretsanalyseoppgave der studentene dokumenterte en krets' funksjonalitet ved hjelp av sannhetstabeller og boolske uttrykk.
- En kretsforbedringoppgave der studentene foreslo og begrunnet forbedringer til en gitt krets.
Resultater
Alle tre intervensjonene ga statistisk signifikant forbedring fra første utkast til endelig innlevering. HV-gruppen hadde den største gjennomsnittlige poengsumøkningen (Δ0,52 på en skala fra −1 til 3), etterfulgt av LV (Δ0,45) og EV (Δ0,36).
På den avsluttende eksamen – som studentene gjennomførte selvstendig etter intervensjonen – oppnådde HV-gruppen den høyeste gjennomsnittsscoren (67,08 %), sammenlignet med EV (62,85 %) og LV (62,59 %). I maskinvaredelen av eksamen spesifikt gjennomsnittlig HV-gruppen 49,67 poeng mot 43,84 (LV) og 46,40 (EV), der 48 poeng tilsvarte karakteren C.
Et sentralt funn er at hverandrevurdering hadde størst positiv effekt for studenter som opprinnelig presterte på D–C-nivå, mens LV-tilbakemelding var mest effektiv for studenter nær bestått/ikke bestått-grensen.
Studentopplevelser
528 studenter deltok i studien (173 LV, 183 EV, 172 HV). Emneevalueringen viste at negative kommentarer knyttet til Canvas, Feedback Fruits eller oppgaveprosessen var godt under 5 % av den totale studentmassen. Studenter som kritiserte plattformen, pekte primært på manglende kjennskap til Canvas, som normalt ikke brukes i IN1020 eller ved Institutt for informatikk.
Videre arbeid
Resultatene fra denne piloten er publisert i en fagfellevurdert artikkel presentert ved NIKT 2024, som mottok Beste artikkel-prisen ved Udit 2024.
Key Figures (from published article)
Fig. 1 – Grade distribution at first submission (near-identical across groups, confirming randomization). LV = Teaching assistant, EV = self-assessment and HV = peer-assessment.
Fig. 3 – Grade distribution at final submission (improvement visible across all groups)
Fig. 4 – Effect of each intervention by initial performance level (peer review dominates in the D–C range)