» »

Nizozemsko sodišče: uporaba strojnih algoritmov za tarčno iskanje osumljencev zlorab socialne pomoči nedopustno

Nizozemsko sodišče: uporaba strojnih algoritmov za tarčno iskanje osumljencev zlorab socialne pomoči nedopustno

Slo-Tech - Nizozemsko sodišče v Haagu je odločilo, da je uporaba algoritma na podlagi strojnega učenja, ki ga je nizozemska država uporabljala za lovljenje izkoriščevalcev socialnih prejemkov, nezakonita. Program Systeem Risico Indicatie (SysRI) je orodje iz strojnega učenja, ki je pregledalo kršitelje zakonodaje s področja socialnega varstva v preteklosti in na podlagi zbranih korelacij preverilo trenutne prejemnike in ocenilo, kdo je najverjetnejši kršitelj. Te so potem inšpektorji tarčno preverjali.

Glavni problem je bilo zbiranje podatkov iz različnih baz, do katerih je imel SysRI potem celovit dostop. Program je bil usmerjen pretežno na prebivalce iz revnih sosesk in manjšine, je dejal poročevalec za revščino in človekove pravice v Združenih narodih Philip Alston. Avtomatizirani sistem je nedolžne ljudi označil kot osumljence na podlagi algoritmov, ki niso bili poznani (black box), zaradi česar je bil sistem tarča številnih kritik.

Humans Right Watch je odločitev označila kot pomembno zmago za pravice revnih. Sistem SysRI je sicer deloval od leta 2014, uporabljal pa je podatke iz 17 različnih baz, med drugim davčnih napovedi, katastra, zemljiške knjige, evidence premičnin itd. Nizozemska vlada je trdila, da je uporaba sistema nujna za boj proti zlorabam sistema socialne pomoči. Toda civilna družba je bila zaskrbljena in sindikat FNV je leta 2018 tožil zaradi takšnega algoritemskega nadzora. Združeni narodi so podprli tožbo.

Sodišče je sedaj razsodilo, da so sicer mehanizmi za boj proti zlorabam socialnih pomoči legitimni, a da je sistem SysRI preveč invaziven in da ni sorazmeren s koristmi. Prav tako je v nasprotju z GDPR, zato je odredilo takojšnjo ustavitev delovanja sistema. Ministrstvo bo to tudi storilo, ni pa še jasno, ali se bo na sodbo pritožilo.

21 komentarjev

Scaramouche ::

Pomoje dober sistem samo če je določen odstotek nelegitimen je problematično ker bi sistem lahko prešel tudi v druge sfere kjer bi policija prišla na vrata na podlagi logaritma in ne dobrih dokazov...

jype ::

Tisti, ki smo o tem že premislili, pa vemo, zakaj je tak sistem slab:

https://daily.jstor.org/forensic-dna-ev...

https://www.newenglandinnocence.org/cau...

https://www.abc.net.au/news/2015-05-08/...

in tako dalje.

OK.d ::

Ali je pri nas kaj drugače?https://www.scsd.si/centri-za-socialno-...
LPOK.d

jype ::

Ne, ker je v nacionalni zavesti bolj pomembno loviti reveže za par sto evrov, kot bogataše za nekaj deset milijonov.

DomenS ::

OK.d je izjavil:

Ali je pri nas kaj drugače?https://www.scsd.si/centri-za-socialno-...


Seveda je. Naši za karakteriziranje ljudi nimajo black box algoritmov.

nsa_ag3nt ::

In kakšen je bil izplen sistema SysRI v številkah ?
HRW, OZN in podobni jokerji tu nimajo kaj iskati.
Civilna družba ? Ne me hecat, za to frazo se skrivajo levi kvazi antifašisti, ko nimajo nič konkretnega povedati.


jype meša pomaranče in jeklenke.
Dnk dokaze se da podtakniti
in 5 eyes vohunska alianca (plus države "podizvajalke" nižje v hierarhiji) seveda še veselo deluje naprej.

Ko je dal Snowden črno na belem ve, kaj dela 5eyes oz ZDA, kje je takrat bila civilna družba, Hrw, OZN in kaj se je spremenilo ?
Ali ko je Assange/Manning leakal svinjarije ZDA vojske...

Čisto nič.


Vsaj iz Eu bi jih morali nabrcati (Zda vojsko) in jim nabiti sankcije, če bi bilo kaj od Eu še kredibilnega.
https://gizmodo.com/c/goodbye-big-five

Zgodovina sprememb…

Poldy ::

Ok, če so ti postopki preveč invazivni, kako pa naj pravično razdeljujejo? Kar vsem povprek? Potem še jaz takoj pustim službo, zakaj bi delal, če mi ni treba.

Jype, ko se jeziš nad velikimi firmami, si me spomnil na tole risanko.


Saj vem, ni resnična in skrivaj perejo možgane, spomnil si me pa le.

Markoff ::

jype je izjavil:

Ne, ker je v nacionalni zavesti bolj pomembno loviti reveže za par sto evrov, kot bogataše za nekaj deset milijonov.

Rdeči baron, kaj ko bi razdelil svoje bitkojn bogastvo, ki si ga nisi prislužil s trdim delom, pravim revežem, ki jih, kot praviš sam, politično zastopaš?
Novorek idiokracije:
posebaj, skropucalo, inžinir, intiligenca/intelegenca, apsolutno, anEks.

jype ::

Markoff je izjavil:

Rdeči baron, kaj ko bi razdelil svoje bitkojn bogastvo, ki si ga nisi prislužil s trdim delom, pravim revežem, ki jih, kot praviš sam, politično zastopaš?
Sem že. Naslednja ideja?

gruntfürmich ::

Klasika levičarske družbe; tako kot ljudje se tudi algoritmi morajo delati da so zabiti, da ne vidijo kdo je potreben pomoči in kdo ne, kaj je prav in kaj ne.
Vse to pa zapakirajo v skrb za revne.
Podn od ljudi ki si želijo zrušiti civilizacijo in dopustiti nedopustno!
"Namreč, da gre ta družba počasi v norost in da je vse, kar mi gledamo,
visoko organizirana bebavost, do podrobnosti izdelana idiotija."
Psiholog HUBERT POŽARNIK, v Oni, o smiselnosti moderne družbe...

jype ::

Čudno, da ravno desničarji vedno najbolj pomagajo tistim, ki pomoči ne potrebujejo, praviloma najbogatejšemu odstotku prebivalcev planeta, ostali naj se pa pobijajo za drobtinice.

gruntfürmich ::

jype je izjavil:

Čudno, da ravno desničarji vedno najbolj pomagajo tistim, ki pomoči ne potrebujejo, praviloma najbogatejšemu odstotku prebivalcev planeta, ostali naj se pa pobijajo za drobtinice.

Zato ker razumemo družbo in vplive na blaginjo le-te.
Levičarjem vam je glavna skrb za reveže tako dobesedno, da jih je pod vašim vodstvom vedno več.
Desničarjem pa je glavna skrb svoboda in tako v takšni družbi nastane vedno več bogatašev in zato se levičarjem zdi da je to glavna skrb desničarjev.
No, saj tudi je, ker veliko število bogatašev pomeni posledično blaginjo celotne družbe!
Ampak kaj ko levičarji te popolnoma preproste zakonitosti ne dojamete!
"Namreč, da gre ta družba počasi v norost in da je vse, kar mi gledamo,
visoko organizirana bebavost, do podrobnosti izdelana idiotija."
Psiholog HUBERT POŽARNIK, v Oni, o smiselnosti moderne družbe...

jype ::

gruntfürmich je izjavil:

Zato ker razumemo družbo in vplive na blaginjo le-te.
Ne, v resnici samo trajbate ideologijo, vaš "trickle-down" je pa že od osemdesetih dokazano nedelujoč.

gruntfürmich je izjavil:

Levičarjem vam je glavna skrb za reveže tako dobesedno, da jih je pod vašim vodstvom vedno več.
Ravno nasprotno. V ZDA in EU še nikoli ni bilo toliko revežev, kot pod desničarsko oblastjo.

gruntfürmich je izjavil:

Desničarjem pa je glavna skrb svoboda
Čudno torej, da vztrajno glasujete tako, da svobodo omejujete vsem, ki vam niso všeč.

gruntfürmich je izjavil:

tako v takšni družbi nastane vedno več bogatašev
Zanimivo torej, da je bogatašev vedno manj, a so vedno bogatejši.

gruntfürmich je izjavil:

No, saj tudi je, ker veliko število bogatašev pomeni posledično blaginjo celotne družbe!
Ne, ravno obratno je. Manj, ko je revežev, večja je družbena blaginja.

gruntfürmich je izjavil:

Ampak kaj ko levičarji te popolnoma preproste zakonitosti ne dojamete!
"Zakonitost" je v resnici ideološka puhlica, ki z resničnostjo nima popolnoma ničesar skupnega.

Zgodovina sprememb…

  • predlagal izbris: rdecaluc ()

xmetallic ::

Goljufanje države je torej okej. Uporaba algoritmov, ki pomagajo pri iskanju goljufov je pa nezakonita. Nekatere države resno izzivajo davkoplačevalce. Potem pa levičarjem ni jasno zakaj se ljudje pritožujejo nad davki. Davke se vsiljuje in povečuje, hkrati pa država ne naredi nič (oz. še omejuje), da bi ustavila nezakonito porabo javnih sredstev.

Zgodovina sprememb…

  • spremenilo: xmetallic ()

jype9 ::

xmetallic je izjavil:

Goljufanje države je torej okej.
Tvoj sklep je napačen.

          ::

xmetallic je izjavil:

Goljufanje države je torej okej. Uporaba algoritmov, ki pomagajo pri iskanju goljufov je pa nezakonita.


Očitno ne razumeš problema. Algoritem ni iskal goljufov ampak je na podlagi statistike določil, kdo bi lahko bili potencialni goljufi. Se pravi, da je bil za potencialnega goljufa označen nekdo, ki je bil v nekaterih lastnostih podoben odkritim goljufom. Brez kakršnega koli dokaza, da je dejansko storil karkoli narobe. Vse skupaj je nevarno blizu temu, da boš avtomatično kriv, ker na volitvah ne boš podprl prave stranke. Nekaj podobnega smo včasih že imeli na našem teritoriju.

gruntfürmich ::

Ja in?
Jst tudi na podlagi 'algoritma' določim za koga bo več možnosti da bo smrdel in kradel: rom.
"Namreč, da gre ta družba počasi v norost in da je vse, kar mi gledamo,
visoko organizirana bebavost, do podrobnosti izdelana idiotija."
Psiholog HUBERT POŽARNIK, v Oni, o smiselnosti moderne družbe...

jype9 ::

gruntfürmich je izjavil:

Jst tudi na podlagi 'algoritma' določim za koga bo več možnosti da bo smrdel in kradel: rom.
Zato te pa vedno okradejo tisti, ki niso Romi.

Zgodovina sprememb…

  • spremenilo: jype9 ()

xmetallic ::

          je izjavil:

Očitno ne razumeš problema. Algoritem ni iskal goljufov ampak je na podlagi statistike določil, kdo bi lahko bili potencialni goljufi. Se pravi, da je bil za potencialnega goljufa označen nekdo, ki je bil v nekaterih lastnostih podoben odkritim goljufom. Brez kakršnega koli dokaza, da je dejansko storil karkoli narobe. Vse skupaj je nevarno blizu temu, da boš avtomatično kriv, ker na volitvah ne boš podprl prave stranke. Nekaj podobnega smo včasih že imeli na našem teritoriju.

Saj ni bil ničesar de facto obtožen na podlagi rezultatov algoritma. Algoritem je izpostavil osebo, katere vedenje je imelo karakteristike goljufij. Ali gre dejansko za goljufijo pa so nato ročno preverile službe, ki se s tem ukvarjajo. S popolnoma enakimi "filtri" goljufe iščejo ljudje, ki tam delajo. S temi algoritmi so iskanje zgolj pospešili.

Zgodovina sprememb…

  • spremenilo: xmetallic ()

Jarno ::

Vseeno so nekatere korelacije šibke in so zatorej socialno ogroženi ljudje po nepotrebnem izpostavljeni.
Recimo, da je posedovanje nesorazmerno dragega prevoznega sredstva močna korelacija.
Problem vidim tudi v tem, da je bila na delu aktivna ekipa zaposlenih, ki je delovala po principu kvot.
Programska oprema je poskrbela, da jim dela ni zmanjkalo, kajti če obstajajo prejemniki pomoči, se jih da razvrščati po stopnji sumljivosti.
#Lewdy Kure pepelaugh

jype9 ::

xmetallic je izjavil:

Saj ni bil ničesar de facto obtožen na podlagi rezultatov algoritma. Algoritem je izpostavil osebo, katere vedenje je imelo karakteristike goljufij. Ali gre dejansko za goljufijo pa so nato ročno preverile službe, ki se s tem ukvarjajo. S popolnoma enakimi "filtri" goljufe iščejo ljudje, ki tam delajo. S temi algoritmi so iskanje zgolj pospešili.
Sliši se kot super način, kako bi lahko anarhistično navdahnjen programer AI algoritma poskrbel, da vsem desničarjem ves čas po naključju razkopavajo kufre po vseh letališčih.


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Britanska notranja ministrica: Enkripcija je sporna, država mora imeti dostop! (strani: 1 2 3 4 5 )

Oddelek: Novice / Zasebnost
20120736 (15350) PaX_MaN

Ko zavod za zaposlovanje sploh ne preverja delodajalcev ... (strani: 1 2 )

Oddelek: Loža
669571 (6780) Mavrik
»

ICREACH: NSA-jev Google search po prometnih podatkih (tudi) za policijske organe

Oddelek: Novice / NWO
288331 (6640) Manu
»

Žiga Turk: kdor ni z nami, je proti nam (2) (strani: 1 2 )

Oddelek: Novice / NWO
5120174 (15851) PaX_MaN
»

Neural Networks

Oddelek: Znanost in tehnologija
104870 (3856) rasta

Več podobnih tem