Blamaža okoli letošnjih britanskih maturitetnih ocen vnovič kaže na pasti pristranskih algoritmov

V preteklem tednu so množice britanskih srednješolcev občutile, kako je, če o tvoji usodi odloča računalnik - in to slabo. Algoritem, ki bi moral ob odsotnosti letošnje mature pomagati določiti dokončne zaključne ocene, je namreč izvrgel sumljivo nizke rezultate in s tem mnogim zaprl pot na želeno univerzo. Po nekaj dneh so se oblasti naposled odločile, da te poti ne bodo uporabile, ostane pa šolska lekcija v slabi praksi rabe algoritmov.

Letošnje leto v Združenem kraljestvu zaradi pandemije covida-19 niso izvedli preizkusov ob koncu srednje šole; to so GCSE, GCE A-level in razni strokovni izpiti - oziroma po domače, matura. Ko je bilo spomladi jasno, da klasična izvedba zaradi karantenskih ukrepov ne bo mogoča, so stekle priprave na izvedbo postopka, ki bi poskrbel za "rezultate, čim bližje siceršnjim iz preteklih let" in hkrati "omejil inflacijo ocen", ki naj bi se dogajala zadnje čase. Odločili so se za kombinacijo ocen učiteljev in pa rabe algoritma, ki je v glavnem upošteval splošni izkaz določene srednje šole v preteklih treh letih. Izdelavo programa so zaupali britanski inačici naše Izpitne komisije, Ofqualu (Office of Qualifications and Examinations Regulation).

Takšne sorte uravnilovka je takoj privzdignila obrvi tako državnih analitikov kot strokovne javnosti. Opazovalci so opozorili, da takšen način v praksi onemogoča doseči dobre izkaze tistim, ki prihajajo iz tradicionalno deprivilegiranih okolij, saj s "statističnim terorjem" vsakogar zatolče v predvideno povprečje. Projekcije dvomljivcev so dale celo precej natančno vrednostno oceno razkoraka, do katerega je nato dejansko prišlo. Za nameček so imeli na voljo tudi neke sorte generalko, saj so 4. avgusta podoben postopek izvedli na Škotskem, kjer so zaradi višje stopnje avtonomije dejavnosti izvajali ločeno. Tam je prišlo do množičnega podcenjevanja predvidenih ocen in 11. avgusta so bile oblasti primorane rezultate zavreči. Toda Britancev to ni zmedlo in v Angliji, Walesu ter Severni Irski so 13. avgusta objavili svoje rezultate računalniškega mletja šolskih ocen.

Takoj je bilo jasno, da je nekaj narobe in ko so se številke zbrale na kup, se je izkazalo, da je kar 39,1% učencev prejelo slabše ocene od predvidenih, trije odstotki celo za dve stopnji. Toda najhujši je bil očitno zaznaven vzorec pristranskosti, saj je algoritem najbolj udaril javne šole z območij z nižjo ekonomsko močjo, medtem ko bogate zasebne šole razlike glede na predvidevanja skoraj niso videle. Na Ofqualu so se sprva branili, da mora to enostavno pomeniti, da "so učitelji z javnih šol preveč popustljivi", medtem ko je minister za izobraževanje Gavin Williamson nekaj dni zatrjeval, da popravkov ne bo. Toda razburjeni šolarji, ki jim je grozilo, da jim bo program uničil prihodnost, so zavzeli ulice in 17. avgusta je minister obrnil ploščo ter priznal, da je algoritem zanič, zaključne ocene pa bodo v največji meri določili učitelji. Ofqual je bil prisiljen sporno programje odstopiti v strokovni pregled državnemu statističnemu uradu, medtem ko si univerze sedaj na vse kriplje prizadevajo ponoviti enkrat že izvedeni sprejem.

Velika Britanija, zibelka distopičnih primerkov prihodnosti, je tako poskrbela za novo učno uro v pristranskosti algoritmov, s katero se področje umetne inteligence v zadnjih letih še posebej ubada. Na kratko povedano: če ima sistem napake, jih bo algoritem, ki naj bi ga posnemal, kvečjemu še ojačal, namesto da bi jih omilil. To je v glavnem neobhodna posledica delovanja programja na osnovi globokega učenja, ki je zanesljivo toliko, kolikor so zanesljivi njegovi učni podatki.