Nye beregninger af nationale test

STIL har nu været igennem data fra alle årene med nationale test og har genberegnet resultaterne. Det er forklaret rimelig grundigt i en rapport og et bilagsnotat der findes på ministeriets sider om nationale test og som er omtalt her på Folkeskolen. STIL skal have stor anerkendelse for at de har lagt deres analyser så åbent frem. Deres vurderinger af størrelsen på korrelationskoefficienter er ikke altid logiske (to beregninger af de samme data skal jo helst være helt korrelerede - altså have koefficient 1 - så hverken 0,7 eller 0,9  er fint - det er alt for lavt). Men nok om det.

Resultaterne viser at de fejl som Svend Kreiner og jeg påpegede tilbage i 2019, ikke bare gjaldt for 8. klasse i 2017, men for alle fag, alle årgange. Et meget stort antal elever har fået helt forkerte resultater. Det illustreres bedst med de scatterplot som findes i bilagsnotatet. Det første af disse har jeg indsat som illustration ovenfor (gå selv ind og kig nærmere på dit yndlingsfag og -årgang). Hver prik repræsenterer en virkelig elev som har fået et resultat (på x-aksen vist på logitskalaen), men som med de nye, korrekte beregninger burde have fået resultatet på y-aksen. Som det fremgår, er der utallige elever om har fået resultater som adskiller sig med (meget) mere end 1 logit både op og ned. Normalt udvikler elever sig omkring/mindre end 0,5 logit over et år i sådanne tests. Så man kan sige at eleverne har fået resultater der er flere årgange forkert.

Så man har været bekymret eller iværksat initiativer for mange elever, hvor man kunne have været helt rolig. Og hvad der er meget værre: Man har været rolig, hvor man burde have sat ind for at hjælpe elever med læseproblemer. Det er oprørende.

Særligt oprørende er det jo at det skulle tage så mange år før man erkendte det, og gjorde noget ved det. Hvis man havde været lige så ligeglad med indlysende fejl i testresultater inden for sundhedsområdet, ville det næppe være gået stille af.

På det generelle plan er det måske også interessant at den nye beregning viser at det ikke står helt så galt til med udviklingen i elevernes færdigheder som ministeriets pressemeddelelser har givet udtryk for over årene. Af figuren nedenfor fremgår det at (den forkert beregnede) percentilskalen har vist et større fald/mindre stigning, end (den korrekt beregnede) pointskalaen. Særligt slemt er det fx i 2019 læsning 2. klasse, hvor percentilskalaen gav indtryk af at der var sket et ikke ubetydeligt fald i (det der påstås er) elevernes læsefærdigheder. Det var bare ikke sandt. Mere glædeligt er det at eleverne ifølge pointskalaen faktisk konsekvent er blevet (betydeligt) bedre til engelsk over årene - noget resultaterne ifølge percentilskalaen slet ikke afslørede. Så det kan vi da fejre her på efterhånd.

Nu bliver det så spændede at følge hvordan forskere der vedblivende har brugt data fra nationale test i deres analyser, vil reagere. Det eneste rigtige vil være at bede STIL om adgang til de nye beregninger, så forskningen kan gås efter. Forskere kan jo ikke leve med at deres resultater bygger på forkerte data.

Og i øvrigt så kan vi jo så glæde os til at disse nationale test lægges endeligt i graven. De tester jo stadigvæk noget ret teknisk og irrelevant. Og det er sådan set det mest oprørende.