KRÖNIKA Pisamätningen 2018 har i veckan åter hamnat i blickfånget efter en granskning i Expressen, och utbildningsminister Anna Ekström har bett OECD att granska Skolverkets data på nytt. Men en djupdykning i frågan visar att Expressen delvis sprider direkt felaktig information och i många fall utelämnar uppgifter som talar mot skandalnarrativet. Det handlar inte om fusk, det handlar om en ny verklighet.

När resultatet av Pisa 2018 publicerades den 3 december förra året var det många som gladde sig åt att svenska 15-åringar presterade bättre än de hade gjort tre år tidigare när Pisa 2015 genomfördes. Nog för att det fanns orosmoln på himlen i form av de 11 procent av eleverna som exkluderats, framför allt på grund av språkbrister, men både politiker och nyhetsredaktioner kablade ut budskapet att nu blir vi faktiskt bättre!

Men riktigt så var det inte, och det visste både politiker och nyhetsredaktioner som ofta – men långt ifrån alltid – lade till små brasklappar i de upprymda texterna.

Svenska 15-åringar blev nämligen inte alls bättre mellan 2015 och 2018, eftersom de förändringar som uppmättes alla låg inom felmarginalen och därmed inte var statistiskt signifikanta. En av anledningarna var det ökade bortfallet, det vill säga elever som lottats ut att genomföra provet men som av någon anledning inte kunde – eller valde att inte – skriva det. För Sveriges del ökade bortfallet från 9,3 procent 2015 till 13,5 procent 2018, och den förändringen skapar en statistisk osäkerhet.

Det är rimligt att anta, och det gör Skolverket också i den publicerade Pisa 2018-rapporten, att de som väljer att strunta i att skriva provet främst tillhör gruppen av svaga elever, vilket skulle innebära ”en viss överskattning” av resultatet.

Enligt beräkningar från Skolverket som Nyheter Idag har tagit del av skulle exempelvis förbättringen i läsförståelse helt försvinna om det ökade bortfallet bestod av elever som motsvarade den sämsta fjärdedelen av provdeltagare. Om de som nu i högre grad valde att inte göra provet skulle ha presterat ännu sämre skulle resultatet istället ha sjunkit jämfört med 2015.

Allt detta var känt redan i december.

Expressen stövlar in med buller och bång

Den 2 juni publicerar Expressen reportaget Sveriges PISA-framgång bygger på falska siffror, där det påstås att flera svenska skolor har exkluderat elever på felaktiga grunder, och att även elever födda i Sverige skulle ha exkluderats på grund av bristande kunskaper i svenska språket.

Många reagerar med upprördhet på reportaget, bland dem utbildningsminister Anna Ekström som ber OECD att granska de svenska resultaten i Pisa 2018 på nytt. Expressen-artikeln utelämnar dock viktiga frågeställningar och innehåller rena fel, varför frågan kräver sin genomgång.

Exkluderingar på oklara grunder

OECD anger tre olika skäl till varför en elev kan exkluderas från Pisamätningen. Det handlar dels om funktionsnedsättningar, antingen fysiska eller kognitiva, dels om språksvårigheter. Hur fördelningen mellan de tre grupperna ser ut i Sverige går inte att avgöra för Pisa 2018, då det saknas uppgift om anledning till varför en elev har exkluderats. Det beror på att Skolverkets jurister gjort bedömningen att det skulle bryta mot dataskyddsförordningen GDPR som, något förenklat, förbjuder registrering av uppgifter om hälsa, vilket funktionsnedsättningar är ett exempel på.

GDPR, som står för General Data Protection Regulation, är en lag som gäller i alla EU-länder sedan 25 maj 2018. I resten av EU – frånsett Italien – gick det dock alldeles utmärkt att rapportera in orsaken till exkluderingarna. Skolverkets jurister har helt enkelt tolkat lagen annorlunda än nästan alla andra EU-länder.

Följaktligen går det inte att veta hur många av de 10 procent som exkluderats på elevnivå som exkluderats på grund av funktionsnedsättningar respektive språksvårigheter, men utifrån vad vi vet om tidigare år kan fördelningen 2018 uppskattas till 30–40 procent med funktionsnedsättningar och 60–70 procent med språksvårigheter.

Exkludering på grund av språksvårigheter

I den svenska översättningen av instruktionerna för hur Pisaundersökningen skall genomföras står att elever kan exkluderas på grund av språksvårigheter om de uppfyller samtliga föjande tre kritierier: de skall inte ha svenska som modersmål, de skall ha begränsade kunskaper i svenska, och de skall ha fått mindre än 1 års undervisning i svenska.

Som Expressen kunnat visa har dessa instruktioner inte följts på flera skolor eftersom elever som fått undervisning i svenska i mer än ett år ändå har exkluderats. Men om det var fel eller rätt är inte alls tydligt.

Ett problem är att när OECD:s regelverk för Pisa konstruerades för mer än tjugo år sedan hade få räknat med de enorma migrantströmmar från tredje världen som skulle följa. OECD definierar deltagare i Pisaundersökningen som ”elever som är mellan 15 år och 3 månader gamla och 16 år och två månader gamla vid provtillfället, och som har fullgjort minst 6 års formell skolgång.”

Samtidigt står det ingenting om vad som skall göras med elever som saknar minst sex års skolgång, vilket skapar en lucka i regelverket. Som framgår i Expressenartikeln har detta delvis resulterat i att elever hamnat i kategorin bortfall istället för att exkluderas.

I ett klargörande från OECD från december förra året står det dessutom att ”Den sista punkten [kravet på mindre än ett års undervisning i provspråket, reds anm] avser vanligtvis undervisning inte bara ’i’ provspråket (som andraspråk eller främmande språk), utan att provspråket är det ordinarie undervisningsspråket i de flesta ämnen, och i synnerhet i de ämnen som testas i Pisa.”

Så även om skolorna i någon mening gjorde fel, så gjorde de ändå i någon mening rätt. Det främsta problemet är ett i grunden oklart regelverk, otydlighet från Skolverkets sida – där det ofta verkar som att den ena handen inte vet vad den andra gör – och en ovilja att lyfta fram det faktum att stor del av de svenska 15-åringarna inte kan svenska.

Det hjälper inte att exempelvis utbildningsminister Ekström – själv tidigare generaldirektör för Skolverket – i sin debattartikel när resultaten presenterades i december vilseleder genom att tala om ett lyft trots ”många nyanlända elever” utan att nämna vare sig att många av dessa nyanlända inte kan ta del av ordinarie skolverksamhet eller att de exkluderades från Pisa 2018.

Expressen misslyckas grovt med både läsförståelsen och matematiken

En ren spekulation som presenteras i Expressen-artikeln är att elever födda i Sverige ändå exkluderats från Pisa 2018 på grund av språksvårigheter, och den spekulationen vidarebefordras av en del andra medier som sanning, så den är värd att granska närmare. Då behövs lite matematik.

Expressen påstår att 13 procent av provdeltagarna är utrikes födda, och om man antar att exkluderingarna – som på elevnivå uppgick till knappt 10 procent – kan fördelas som 3 procent funktionsnedsättningar och 7 procent språksvårigheter, så skulle det enligt Expressen innebära att 20 procent av eleverna var utrikesfödda, samtidigt som SCB uppger att endast 15–16 procent av eleverna är utrikes födda, varför förklaringen skulle vara att även elever födda i Sverige exkluderats i Pisa 2018 på grund av språkbrister.

För det första stämmer inte uppgiften om hur många av provdeltagarna som var utrikes födda. Skolverket anger i Pisa 2018-rapporten att det handlar om 9,6 procent, vilket sedan har justerats till 9,9 procent. Låt oss avrunda till 10 procent.

För det andra kan man inte addera procent av olika mängder på det sätt som Expressen gör; det är matematisk rappakalja.

10 procent av provdeltagarna utgör bara 7,4 procent av svenska 15-åringar, eftersom man först måste dra av dem som exkluderats eller fallit bort. Efter exkluderingar på skol- och elevnivå återstår 86 procent, och med ett bortfall på 13,5 procent återstår 74 procent, och 10 procent av dessa blir som sagt 7,4 procent. Lägger man till de 7 procent som Expressen antar har exkluderats på grund språksvårigheter landar man i 14,4 procent, inte 20 procent som Expressen vill få det till.

Läs även: Bättre Pisa-resultat för svenska elever – när nyanlända utelämnas