Eksamens U-vending: bag algoritmen, der udløste kaos i karakterer på A-niveau
'Seeds of the policy disaster' sået i brev sendt af Gavin Williamson, da lockdown blev annonceret i marts
'Seeds of the policy disaster' sået i brev sendt af Gavin Williamson, da lockdown blev annonceret i marts
Chris J Ratcliffe/Getty Images
Da vrede brød ud efter frigivelsen af karakterer på A-niveau i sidste uge, insisterede premierminister Boris Johnson på, at resultaterne var robuste, gode og pålidelige for arbejdsgiverne.
Men få dage senere, efter Ofquals pludselige tilbagetrækning af kriterierne for at appellere karakterer, blev regeringen tvunget til en pinlig helomvending, hvor resultater nu skulle være baseret på lærernes forudsigelser snarere end på en kontroversiel algoritme.
Det automatiserede system blev brugt i et forsøg på at undgå, hvad undervisningsminister Gavin Williamson beskrev som voldsom karakterinflation på baggrund af coronavirus-pandemien og aflyste eksamener. Men hvem fandt på algoritmen, som kunne ende med at koste Williamson hans kabinetjob?
Omstændigheder uden fortilfælde
Kimen til den politiske katastrofe blev sået den dag, hvor nedlukningen trådte i kraft, da Williamson i et brev til Ofqual advarede om, at det var en prioritet at undgå karakterinflation, Tiderne rapporter.
Ofqual bør sikre, så vidt det er muligt, at kvalifikationsstandarderne opretholdes, og fordelingen af karakterer følger en lignende profil som i tidligere år, sagde Williamson til eksamenstilsynet.
Med andre ord, siger avisen, på trods af, at elever ikke ville gå til eksamen, ønskede regeringen at behandle klassen i 2020 som de foregående år. A-niveauer blev behandlet som 'guldstandarden' for uddannelsessystemet og skulle ikke devalueres.
Men ved at lade eksamensregulatoren tegne en forsikring i form af dens skæbnesvangre algoritme, gik dette ønske om at begrænse karakterinflationen for vidt, tilføjer BBC .
Hvad gik galt?
På uddannelsessekretærens opfordring gik tilsynets statistikere i gangudforme et system til uddeling af karakterersom ikke tillod eksamensresultaterne at stige i forhold til tidligere år, forklarer Jo-Anne Baird, professor i uddannelsesvurdering ved Oxford University og medlem af Ofquals rådgivende udvalg.
Problemet var, at i tilfældet med Covid-klassen kom optagetheden af at opretholde standarder til en for høj pris, ifølge BBC.
Ialt 39 % af resultaterne på A-niveau, der blev offentliggjort sidste torsdag, blev nedgraderet , og elever i udsatte områder blev uforholdsmæssigt hårdest ramt, siger NS Tech , en afdeling af New Statesman.
Algoritmen forudsagde karakterer efter at være blevet tilført forskellige bits af data.
Den første var lærerens forudsagte karakter for hver elev baseret på deres præstationer i klassen og de falske eksamener, forklarer nyhedssiden. Men dette blev anset for utilstrækkeligt i sig selv, så lærerne blev også bedt om at rangere hver elev fra højeste til laveste i forhold til deres forventede karakter.
Skoler kastede sig over vurderingsopgaven, tilføjer The Times, hvor afdelingsledere leder møder, hvor lærere argumenterede for deres elever.
Men, siger avisen, der var en hage i Ofqual-systemet. EN rapport udgivet af tilsynsmyndigheden i sidste uge afslørede, at lærertildelte karakterer kun blev prioriteret i klasser med mindre end 15 elever - et system, der favoriserede private skoler med mindre klassestørrelser.
I modsætning hertil var karakterer for elever på større skoler langt mere påvirket af skolens historiske præstationer og deres lærers placering end deres forudsagte karakterer, tilføjer NS Tech.
Denne uoverensstemmelse tegner sig for det uforholdsmæssigt store antal studerende fra skoler, der normalt ikke sender elever til Storbritanniens bedste universiteter, som så deres forudsagte karakterer aggressivt nedgraderet.
Var et mere retfærdigt system muligt?
Ifølge Tiderne ' videnskabsredaktør Tom Whipple, at lave en retfærdig algoritme er som at prøve at koge et æg op - det vil sige umuligt.
Problemet, skriver Whipple, er, at når folk ekstrapolerer fra befolkningsdata for at lave forudsigelser om individer... kan du ende med at lave alle mulige kontraintuitive, overraskende og nogle gange absurde fejl.
Dette er, hvad der gik galt med en algoritme baseret så stærkt på en skoles historiske resultater, hævder han. Det er klart, at dette vil være uretfærdigt over for ekstraordinære børn i ekstraordinære skoler, mens det omvendt vil være alt for venligt over for usædvanlige børn i ekstraordinære skoler.
Sam Freedman, administrerende direktør for den ikke-statslige organisation Education Partnerships Group, er enig i denne dom. Algoritmen ville uundgåeligt ramme elever, der var udestående, som var i toppen af fordelingen på skoler, der ikke har haft mange højtydende tidligere, han tweets .
Men, tilføjer Freedman, regeringens beslutning om kun at bruge lærerens forudsagte karakterer er også uretfærdig over for elever på skoler, der bedømte forsigtigt, uretfærdig over for tidligere/fremtidige årgange og skaber et lotteri for universitetspladser.
Og U-vendingen kan komme for sent for nogle studerende, hvor mange universiteter siger, at kurserne for det næste akademiske år allerede er fyldt.
Hvad angår algoritmen, er statistik per definition en måde at repræsentere mange tal i færre tal på, siger Whipple.
Dette er enormt nyttigt, men vi er nødt til at vide, hvad det betyder: at glemme individet.
