Hvad vil det sige at nationale test måler usikkert?

Vi forestiller os en sundhedsplejerske som kommer ind i en 4. klasse med 24 skønne elever. Det er en helt almindelig klasse: Eleverne har forskellige højder, forskellige hårfarver og så meget andet i denne sammenhæng uvæsentligt. Kun én ting gør den klasse meget speciel: alle eleverne er nøjagtig 10 år og vejer nøjagtigt det som er gennemsnittet for børn i den alder: 34,5 kilo (som 10-årige er gennemsnittet næsten det samme for drenge og piger).

Men det ved sundhedsplejersken ikke. Hun har sin fine nye vægt med og beder børnene om at træde op på den en ad gangen. Og det gør de.

Vægten måler usikkert. Det gør alle vægte jo! Men denne lidt mere usikkert end andre vægte. Faktisk lige så usikkert som nationale test (den har en Standard Error of Measurement på en halv standardafvigelse – sådan som nationale test har).

Jeg har illustreret hvad det helt konkret betyder for vores sundhedsplejerskes målinger i den første figur her ovenfor.

Den grønne kurve viser at alle 24 elever i VIRKELIGHEDEN (målt med en atomvægt) vejer 34,5 kilo (der er 24 elever ved vægten 34,5 kilo). Men vægten måler altså usikkert – og derfor vil den nogle gange vise 32, andre gange 36. I figuren har jeg illustreret det ved at trække 24 elever fra en normalfordeling omkring den sande vægt på 34,5 kilo – ganske som nationale test gør. Og som det fremgår, rammer vægten rigtigt nogle gange. Og i nærheden lidt flere gange. Men lige i dette tilfælde er der 2 elever der vejer knap 30 kilo og 2 der vejer godt 40 kilo (eller det gør de jo ikke: De vejer 34,5 kilo). Der er sågar tre elever som ifølge vægten vejer under 30 kilo og en som vejer 45 kilo. Altså ifølge vægten.

Nu kunne man sige: Sundhedsplejersken kender jo børnene og kan se at det ikke kan passe at denne velproportionerede elev virkelig vejer 25 kilo, så hun kan jo bare sætte ham op på vægten igen. Eller hun kan sige: lige her målte vægten forkert. Men hvad med den lille tykke elev – som (i virkeligheden) vejer 34,5 kilo, men ifølge vægten vejer 30. Er hun slet ikke for tyk? Så vi behøver slet ikke sætte ind for at få hendes forældre til at give hende bedre mad? Det er den slags overvejelser lærere må gøre sig i forhold til nationale test. Og man sætter altså ikke bare en elev (eller 10) til at tage en ekstra test fordi man er i tvivl om resultatet. Og hvis man gjorde, ville man så kunne regne med det næste resultat?

Sundhedsplejersken har de nye danske vækstkurver med fra 2014 – og målingerne fra 2. klasse hvor eleverne blev målt med en atomvægt (dvs. helt præcist). Og nu bliver hun nervøs, for hun kan se at tre af eleverne er sprunget fra den midterste til den øverste kurve, og tre elever er sprunget til den næsthøjeste – de er på vej til at blive svært overvægtige (kan hun se på BMI-kurven). Og flere andre elever er gået den anden vej… er de holdt helt op med at spise? Er der tale om en epidemi af spiseforstyrrelser i denne klasse? Nej, vægten måler bare alt for usikkert.

Sådan er virkeligheden i de danske klasseværelser i dag. Læreren står med en test der måler alt for usikkert – og hun ved ikke hvem det er der er målt forkert (for eleverne i hendes klasse er ikke alle lige dygtige). Hvis hun vidste hvor dygtige hendes elever var, behøvede hun jo ikke en test til at fortælle hende det.

Nu kunne man jo sige: Der er tale om tilfældigheder – du har bare valgt et vildt eksempel. Men nej. Jeg har for illustrationens skyld lavet den samme vejning først 9 og så 25 gange. Resultaterne kan I se i de to andre figurer…

Her træder i øvrigt et interessant fænomen frem – for man kan jo se at der konsekvent er lidt flere elever inde tættere på gennemsnittet – og at i gennemsnit så passer det meget godt med 34,5 kilo. Hvis man trækker 50.000 elever (som der cirka er på en folkeskoleårgang), så får man en virkelig flot kurve som det ses af den sidste figur (der vil stadig være masser af elever der har fået forkerte resultater, og som det fremgår vil der være nogle som får VIRKELIG forkerte resultater (under 20, over 50), men i gennemsnit er det perfekt).

Det er derfor at forskere (herunder jeg selv) og beslutningstagere sagtens kan bruge resultater fra en meget usikker test til noget… Hvis altså ikke den målte noget uvigtigt og ikke målte forkert. Men det gør den (altså måler det forkerte og måler forkert)… Det kan vi tale om en anden dag.

Indtil da kan vi vel godt slå fast, at hvis sundhedsplejerskernes vægte målte lige så usikkert som nationale test, så ville de ikke være meget bevendt?

Kilde til børns vægt

Tinggaard, J., Aksglaede, L., Sørensen, K., Mouritsen, A., Wohlfart-Veje, C., Hagen, C. P., ... Juul, A. (2014). The 2014 Danish references from birth to 20 years for height, weight and body mass index. Acta paediatrica, 103(2), 214-24. https://doi.org/10.1111/apa.12468