Er PISA verdiløs?

Er PISA-undersøkelsene et blendverk, langt på vei en bløff?
Statsråder har stått i kø for å ta æren for en fremgang som egentlig bare viser norske elever i 2009 stod på samme nivå som i 2000 – hvis man altså skal tro på resultatene. Men det skal man ikke, sier en dansk professor med ettertrykk: ”PISA-undersøkelsen, som er en internasjonal elevtest, er ikke verdt papiret den er skrevet på.”

”Dette er et resultat av vår satsing på fellesskolen. Vi har snudd nedgangen. PISA-resultatene har i årevis blitt misbrukt, men nå er det slutt på svartmalingen”, sa en begeistret kunnskapsminister Kristin Halvorsen da det i 2009 ble kjent at PISA for norske elevers vedkommende var bedre enn i 2006.
”SV er Norges frekkeste eller mest glemsomme parti", parerte Kristin Clemet (H, og påpekte at det var hun som innførte nasjonale prøver og reformen Kunnskapsløftet.
Andre i SV mener at fremskrittet begynte under Øystein Djupedal og ble fullført under Bård Vegar Solhjell – som var statsråd frem til undersøkelsen ble gjennomført i 2009.
"Dette er komisk,det var jeg som var var statsråd da PISA-undersøkelsen ble gjennomført for første gang på begynnelsen av tiåret", fremholdt Trond Giske.

Politikere og eksperter har med bakgrunn i PISA konkludert med at norsk skole ligger håpløst i bakleksa. For å gjøre det bedre – både i PISA og nasjonale prøver - vet vi at svake elever er blitt unntatt for tester. Øving og motivering for tester kan endre testresultatene dramatisk. Og kan det tenkes at det bare er de fagene det testes i – på samme måte som forsøk med valgfag og nye unservisningsopplegg - som blir viktige og interessante for skoleledelsen? Der Spiegel har fortalt at det i utlandet ble direkte jukset med testresultatene at PISA betraktes nærmest som en olympisk øvelse.

Da naturfagskunnskap ble testet i 2006 mente professor i biologi Sidsel Rogne, astrofysikeren Eirik Newth, og lederen av World Wildlife Fund (WWF), Rasmus Hansson at en del av de spørsmålene som ble stilt ikke egnet seg til å si noe om naturfagkunnskapene hos 15-åringer.

”PISA-undersøkelsen, som er en internasjonal elevtest, er ikke verdt papiret den er skrevet på. Man kan ikke stole på rankinglisten over hvor elevene er flinkest” fremholder den anerkjente professor Svend Kreiner fra Institut for Biostatistik på Københavns Universitet etter å ha studert PISA-testen nærmere.
Han kan demonstrere at man kan endre landenes innbyrdes plassering etter forgodtbefinnende. Danmark kan være nummer 3 og nummer 40 med utgangspunkt i de samme testresultatene, i full overensstemmelse med de reglene folkene bak PISA selv stiller opp.

Kreiner tror ikke det er mulig å sammenligne elevene på tvers av alle land. Landene er altfor forskjellige til at det gir mening. Han foreslår at man nøyer seg med å sammenligne land som har samme kultur og som bruker noenlunde samme alfabet, som for eksempel Danmark og England.

Faktisk er det slik at det bare er 30 prosent av de tallene som PSA kommer med som stammer fra elevenes faktiske svar. 70 prosent er basert på at datamaskinen har gjettet fram basert på opplysninger om eleven. ”Forskerne bak PISA bruker datamaskiner til å skape modellen sin, men det er svært uklart hvordan den arbeider. Datamodellen ligger i mørket. Det er dypt kritikkverdig når rankinglisten spiller en så stor rolle for utviklingen av utdanningssystemet", sier professor Kreiner.

I 2006 fikk den ene halvparten av elevene leseoppgaver, mens den andre halvparten fikk matematikkoppgaver. Under ti prosent av elevene fikk alle oppgaver. I rapportene fremgår det ikke hvordan PISA håndterer at man derfor mangler masse data for de fleste elevene og at man derfor er overlatt til gjetninger.

”En mulighet er at PISA-forskerne setter datamodellen til å gjette hva elevene ville ha svart. En annen mulighet er at de ber datamaskinen konstruere kunstige leseferdigheter for de elevene som har svart på leseoppgaver, og deretter analyserer sammenhengen mellom de kunstige leseferdighetene og andre variabler (blant annet kunstige ferdigheter i matematikk og naturfag). Til slutt konstruerer forskerne i så fall kunstige leseferdigheter for de elevene som slett ikke har løst noen leseoppgaver – ut fra opplysningene om disse elevenes kunstige matematikk- og naturfagsferdigheter, pluss opplysninger om skole, kjønn, og sosioøkonomisk status”.

Argumentet for å bruke denne gjettemetoden er at det tar for lang tid hvis alle elever skal svare på alle spørsmål. Gjettemetoden går ut fra at en dyktig elev i ett fag som regel også er dyktig i alle andre.

Jeg sier ikke at alle tester i skolen er verdiløse. Men vær kritiske til dem, spør hva de egentlig forteller. På sammen måte skal man også være kritisk til professor Kreiner, men han stiller en del viktige spørsmål som bør besvares av de ansvarlige bak PISA-testene.

Daværende kunnskapsminister Bård Vegar Solhjell(SV) har fornuftig nok påpekt at ”man skal være forsiktig med å bruke PISA til mer enn det den gir uttrykk for." Hold fast på det.

Den beste måten for å få en enda bedre skole vil etter min mening være at lærerne får bedre lønn og kompetansebygging, og at politikere og skolemyndigheter slutter med på gi lærerne stadig mer papirarbeid og mindre tid til det som er skolens primæroppgave – å undervise elever.