Nizozemsko sodišče: uporaba strojnih algoritmov za tarčno iskanje osumljencev zlorab socialne pomoči nedopustno

Nizozemsko sodišče v Haagu je odločilo, da je uporaba algoritma na podlagi strojnega učenja, ki ga je nizozemska država uporabljala za lovljenje izkoriščevalcev socialnih prejemkov, nezakonita. Program Systeem Risico Indicatie (SysRI) je orodje iz strojnega učenja, ki je pregledalo kršitelje zakonodaje s področja socialnega varstva v preteklosti in na podlagi zbranih korelacij preverilo trenutne prejemnike in ocenilo, kdo je najverjetnejši kršitelj. Te so potem inšpektorji tarčno preverjali.

Glavni problem je bilo zbiranje podatkov iz različnih baz, do katerih je imel SysRI potem celovit dostop. Program je bil usmerjen pretežno na prebivalce iz revnih sosesk in manjšine, je dejal poročevalec za revščino in človekove pravice v Združenih narodih Philip Alston. Avtomatizirani sistem je nedolžne ljudi označil kot osumljence na podlagi algoritmov, ki niso bili poznani (black box), zaradi česar je bil sistem tarča številnih kritik.

Humans Right Watch je odločitev označila kot pomembno zmago za pravice revnih. Sistem SysRI je sicer deloval od leta 2014, uporabljal pa je podatke iz 17 različnih baz, med drugim davčnih napovedi, katastra, zemljiške knjige, evidence premičnin itd. Nizozemska vlada je trdila, da je uporaba sistema nujna za boj proti zlorabam sistema socialne pomoči. Toda civilna družba je bila zaskrbljena in sindikat FNV je leta 2018 tožil zaradi takšnega algoritemskega nadzora. Združeni narodi so podprli tožbo.

Sodišče je sedaj razsodilo, da so sicer mehanizmi za boj proti zlorabam socialnih pomoči legitimni, a da je sistem SysRI preveč invaziven in da ni sorazmeren s koristmi. Prav tako je v nasprotju z GDPR, zato je odredilo takojšnjo ustavitev delovanja sistema. Ministrstvo bo to tudi storilo, ni pa še jasno, ali se bo na sodbo pritožilo.