Raziskave umetne inteligence imajo velik problem

Umetna inteligenca se v raziskavah približuje medicini in psihologiji, kar je precej slabše, kot se sliši. V zadnjem času ima znanost čedalje večji problem s ponovljivostjo rezultatov, medicina in psihologija pa pri tem prednjačita.

Pričakovali bi, da so rezultati znanstvenih raziskav v specializiranih revijah tako natančno popisani, da jih lahko kadarkoli ponovimo in pridemo do istih zaključkov. Žal je resnica bistveno drugačna. Na vsakem področju se najdejo raziskave, ki jih ni mogoče ponoviti; na nekaterih področjih pa jih je nadpovprečno veliko. Pri tem ne gre nujno za ponarejanje, goljufanje ali namerno izbiranje pozitivnih rezultatov, temveč pogosto za površno izvedbo, nepopoln opis, slabo dokumentacijo itd. Problema se zavedajo tako raziskovalci kakor revije in financerji, a pametnih rešitev še ni.

Raziskave umetne inteligence so med tistimi, kjer je težav s ponovljivostjo največ. Raziskovalci umetne inteligence ne morejo ponoviti starejših raziskav ali tamkajšnjih izsledkov uporabiti za primerjave, ker koda, algoritmi in podatki pogosto niso nikjer javno objavljeni. Neobjavljanje izvorne kode je osnovni problem, zakaj starejših izsledkov ni mogoče vedno uporabiti za primerjavo z novimi. Odd Erik Gundersen z univerze v Trondheimu je pregledal 400 algoritmov, ki so bili opisani v zadnjih dveh letih, in ugotovil, da je le za 6 odstotkov koda dostopna. Le pri tretjini so znani podatki, na katerih so jih urili, in le polovica je opisala vsaj psevdokodo.

Razlogi za neobjavo kode so seveda mnogoteri in legitimni - avtorske pravice, zahteve privatnih financerjev, nedokončanost, odvisnost od druge nejavne kode, izgubljena koda (ljudje menjajo službe, mlajši doktorji še posebej), tekmovalnost v znanosti itd. Tudi če kodo poznamo, je pri umetni inteligenco zelo pomembno, da poznamo podatke za trening. Z različnimi so rezultati lahko zelo drugačni. Potem je tu še cel kup malenkosti, odločitev in podrobnosti, ki so lahko ključne za rezultate, a o njih v člankih ne piše nič.

Psihologija, kjer je bil problem neponovljivosti zelo pereč, je začela težavo reševati. Postavili so nove protokole in smernice, danes je pri objavi rezultatov raziskav ponovljivost ključna. Nekaj podobnega se začenja tudi na področju umetne inteligence. Joaquin Vanschoren z univerze v Eindhovnu je postavil stran OpenML, kamor lahko raziskovalci odložijo algoritme in podatke. IBM Research je predstavil orodje, ki na podlagi znanih informacij poizkuša obnoviti neobjavljeno kodo ostalih nevronskih mrež. Gre za nevronsko mrežo, ki bo raziskovalcem prihranila precej časa. Leta 2015 je bila ustanovljena revija ReScience, ki se posveča predvsem objavi ponovitev, a za zdaj nihče ne upa objaviti negativnih rezultatov (neuspelih ponovitev).

Znanstveniki ob tem poudarjajo, da je glavni problem moderni način financiranja in pritisk. Ker morajo ves čas producirati nove rezultate in članke, nimajo časa preverjati algoritmov na čisto vseh mogočih pogojih, pisati poglobljenih člankov z vsemi nadrobnostmi in poizkusi. Medtem pa vsak dan na arXiv še pred recenzijo pristanejo novi in novi članki.