Hvordan engagerer vi skolerne i ICILS 2023?

ICILS (International Computer and Information Literacy Study) er en international undersøgelse, der gennemføres hvert femte år. I 2023 deltager 33 lande eller delstater. I april, maj og juni 2022 gennemførte vi forundersøgelsen forud for hovedundersøgelsen i 2023. Formålet med forundersøgelsen var at få afprøvet de elevopgaver og spørgeskemaer, som vi anvender til at undersøge elevernes teknologiforståelse. Det er en meget vigtig proces i forskningsdesignet, fordi det giver os vigtig viden om, hvordan eleverne forstår og løser opgaverne, og på den måde øger det vores mulighed for at blive så præcise som mulige, når vi måler elevernes teknologiforståelse.

Den viden, som vi indsamler i vores forundersøgelse analyseres af vores kollegaer som sidder i IEA (International Association for the Evaluation of Educational Achievement), i Hamborg. På baggrund af de analyser bliver opgaverne tilpasset, og på den måde sikrer vi, at vores undersøgelsesinstrumenter måler så nøjagtigt som muligt. Udover at elevopgaverne selvfølgelig skal måle nøjagtigt, er vi, når vi mødes og diskuterer med vores internationale kolleger, optaget af, om de opgaver eleverne løser også er sjove og har faglig relevans.

Jeppe sidder i en mindre gruppe af internationale forskere, som arbejder på at udvikle ICILS spørgeskemaerne, så de i højere grad end tidligere prøver at fange sammenhænge mellem elevernes læring og den måde, der bliver undervist i skolerne på. De spørgeskemaer er også blevet afprøvet i vores forundersøgelse.

Erfaringer fra forundersøgelsen

Vi er altid glade for at besøge de danske skoler, fordi det giver os en vigtig erfaring og indsigt i, hvad der sker på skolerne. Vi får også lejlighed til at tale med skoleledere, elever og lærere om, hvordan de oplever at deltage i ICILS-undersøgelsen. I foråret fik vi talt med en masse engagerede og dygtige lærere og ledere i forbindelse med vores forundersøgelse.

Som forskere er vi meget interesserede i at komme tættere på skolernes praksis. Det giver stof til eftertanke at møde virkeligheden, og det forbedrer vores indsigt i den dagligdag, som indimellem kan gøre det vanskeligt for skolerne at afsætte tid til for eksempel at deltage i vores undersøgelse.

Der var en del udfordringer både i tilrettelæggelsen og implementeringen af vores forundersøgelse; opgaver der ikke fungerede, en server der var nede, tekniske vanskeligheder og andre ting. Alt det er der nu rettet op på, takket være de skoler der deltog i forundersøgelsen. Så nu fungerer vores computerbaserede opgaver, som de skal, når vi i foråret skal gennemføre vores hovedundersøgelse, ICILS 2023.

En anden af de ting, vi har arbejdet med, har været tilpasningen af de engelske opgaver til dansk, herunder det sprog, som danske unge anvender. Hedder det fx ’at lave et opslag på et socialt medie’ eller hedder det ’… at poste ... ’? Det har afgørende betydning for undersøgelsens kvalitet, at terminologien og formuleringerne er præcise og tilpasset elever i 8. klasse. Derfor lægger vi vægt på eksempelvis at undersøge, hvordan unge udtrykker sig på sociale medier. Processen er gældende både for vores opgaver og spørgeskemaer. Vi er stødt på småting, der skal tilpasses til den hovedundersøgelsen i foråret 2023, men da det er tredje gang, undersøgelsen gennemføres, er det ikke her, vores største udfordring ligger.

Vores allerstørste udfordring var og er til stadighed at få skolerne til at deltage. I Danmark var det kun 41 procent af de skoler, der var udvalgt til at deltage, som valgte at deltage. Det ærgrer os. Vi vil med undersøgelsens resultater fortsat gerne udvikle og forbedre forholdene for undervisningen på skolerne. Når vi analyserer de data, som vi indsamler, og præsenterer resultaterne, lægger vi et stort arbejde i at forsøge at skabe debat og påvirke politikere, så de indtænker den viden, undersøgelsen bidrager med. ICILS er medfinansieret af Børne- og Undervisningsministeriet, og de bruger blandt andet data til at informere politikere med henblik på at tilrettelægge, udvikle og forbedre undervisningen, så danske elever bliver både kritiske og dygtige i deres anvendelse af it. Hvad gør vi for eksempel ved, at halvdelen af de danske lærere i 8. klasse mener, at it distraherer elever fra at lære? Eller hvordan forholder vi os til, at danske piger undervurderer deres tekniske evne på en computer signifikant i forhold til piger i eksempelvis Tyskland?

Udvælgelsen af skoler og samarbejdet med dem

Det er vanskeligt for os at opretholde den kvalitet af data, som IEA kræver, når mange danske skoler ikke vil deltage. Der kræves en deltagelsesprocent på 85 procent. Hvis vi skal leve op til det kriterie, skal 128 af de 150 skoler vi kontakter, deltage. Udvælgelsen af skoler er vi ikke selv herrer over. De er tilfældigt udvalgt, så de udgør et repræsentativt udsnit af danske skoler, og det er derfor afgørende, at det er de skoler, der er udtrukket, der deltager. Vi hører ofte fra skolerne, at de samme skoler bliver udtrukket og inviteret igen og igen. Det kan indimellem godt være tilfældet, og det hænger sammen med, at vi i udtrækningen stratificerer efter skolestørrelse, samtidigt med at Danmark har en relativ lille population.

Fordi det er svært for skolerne at afsætte tid til at deltage, gør vi alt, hvad vi kan for at minimere arbejdet for skolerne. Det betyder, at vi tilbyder, at skolerne kun skal sørge for, at leder og udvalgte lærere besvarer et spørgeskema. Vi tager selv ud og gennemfører undersøgelsen og gør, hvad vi kan, for, at eleverne har en god oplevelse og laver nogle sjove opgaver i den tid, undersøgelsen varer. Det betyder, at vi blot skal låne en eller to 8.-klasser i nogle timer. Det betyder også, at lærerne eventuelt kan bruge den tid, vi har klassen, på andre opgaver.

Vi tager lidt at spise og drikke med til eleverne, og elever samt lærere og ledere får lidt ICILS-merchandise, ligesom skolen bliver tilbudt noget pædagogisk litteratur som tak for hjælpen. Det er måske en ringe trøst i en hverdag med travlhed, og mange henvendelser fra folk, der gerne vil gennemføre undersøgelser? Alligevel håber vi at det kan gøre en forskel.

Måske I har nogle gode bud på, hvordan vi får skolerne til at sige ja til at deltage i ICILS 2023 - så vi kan få de bedst mulige data til den videre udvikling af undervisningen på it-området?