Tak for at dele studiet, det ser ret interessant ud. Jeg har kun læst abstract indtil videre, men hæfter mig dog ved hvor få der udførte 4. fase. Det gør at jeg har mindre tillid til konklusionerne, så jeg håber at senere studier følger som kan bakke op om resultaterne. Det sagt så er det også min egen oplevelse også at AI brugt til at skrive for en gør at man har mindre ejerskabsfølelse, indblik og hukommelse om indholdet. Så jeg har et bias i linje med studiets konklusioner som jeg prøver at være opmærksom på.
Min egen erfaring er hovedsageligt som software udvikler med kolleger der har brugt AI assistenter imens jeg selv er mere gammeldags. Her oplever jeg at støde på besynderlige beslutninger og brud med stilen der ellers er skrevet kode i. Når jeg spørger ind til koden og om jeg kan ændredet i forbindelse med min egen opgave er svaret ofte at det bare var noget der hurtigt blev sat sammen med AI og at jeg kan ændre det uden problemer da der ikke er nogen dybere mening med at det blev gjort som det gjorde. Det har givet mig indtryk af at AI gør det nemt hurtigt at få skrevet boget af lavere kvalitet som dog virker nogenlunde efter hensigten, men når man senere ser på det igen kan ændringer være mere besværlige at lave fordi der ikke er nogen der husker hvordan koden fungerer.
Det er da en mulighed, men så kommer testresultatet til at afspejle komplet forældede færdigheder ved de studerende.
Jeg synes hellere man skal tage imod den teknologi der er kommet med årene, og lade dem være en del af testen. På den måde tester vi de studerende i færdigheder der rent faktisk vil kunne være relevante på arbejdsmarkedet.
I fx. historie kunne man sagtens have ChatGPT som hjælpemiddel, men det kræver at man viser en meget dybdegående og analyseret kildekritik. Kræv at alt er opbakket af kilder og argumenteret for. Paratviden er ligegyldigt i 2025, men ved at skulle undersøge noget og være ufatteligt kritisk overfor hvor den viden kommer fra, tester man om personen faktisk kan tilegne sig viden selv.
Jeg tænker at det er vigtigt at finde en balance. Jeg havde både prøver med og uden hjælpemidler i mange fag og jeg tænker at begrundelsen bag er endnu mere relevant når det gælder LLM’er. Når det så er sagt så synes jeg helt sikkert at der skal være prøver hvor det kan indgå af mange af de samme årsager du nævner.
At kræve en grundig kildekritik og verificering af information bør være en grundlæggende forudsætning for sådanne prøver da det er en af de udfordringer arbejde med LLM’er har. Det er vigtigt at en del af læringen bliver ikke at stole på hvad en LLM skriver, men at bruge det til at udforske et emne for termer, temaer og lignende som man så kan gå i dybden med, og at hvis man får den til at skrive for en, at lære hvordan man tjekker at den ikke har hallucineret. Det tror jeg til gengæld er en meget vigtig ting at kære for elever i dag.