Apple ima težavo s pristranskim algoritmom za plačevanje

Po viralnem čivku ameriškega podjetnika je pretekli vikend postalo jasno, da ima algoritem, ki določa višino uporabnega denarja v plačilni storitvi Apple Card, težave s pristranskostjo, saj ženskam določa do dvajsetkrat nižji limit kot njihovim moškim partnerjem, tudi ko imajo one višje kreditne ocene.

Pretekli petek je ameriški podjetnik David Heinemeier Hansson na svojem Twitterju potožil, da sme njegova žena s kartico Apple Card mesečno plačati dvajsetkrat manj kot on - pa čeprav ima po zunanjih kreditnih ocenah višjo plačilno sposobnost od njega. Ker ima Hansson kot oče platforme Ruby on Rails več sto tisoč sledilcev, se je njegov očitek ekspresno razširil po Silicijevi dolini in širše. Steve Wozniak je potrdil, da podobno velja za njegovo ženo, ki ima na Apple Cardu desetkrat nižji limit od njega, čeprav si delita finance; kmalu se je podobnih pričevanj kar usulo.

Hitro se je oglasil Newyorški finančni urad in sprožil preiskavo o morebitni spolni diskriminaciji. Apple je namreč svojo storitev oblikoval v sodelovanju s tamkajšnjo banko Goldman Sachs. Tudi ta se je odzvala s pojasnilom, da spol v parametrih njihovega algoritma, ki določa višino denarnih sredstev na kartici, sploh ni zajet - in da torej po njihovem ne morejo biti tarče očitkov o tovrstni diskriminaciji. Toda na CNBCju trdijo, da so pri Goldman Sachsu vedeli za nevarnost takšnih težav, ko so storitev poleti lansirali.

Primer je samo zadnji v dolgi vrsti tistih, ki demonstrirajo, kako se lahko pristranskost skozi zadnja vrata pritihotapi v algoritme na podlagi strojnega učenja, tudi če je ni nihče načrtno namestil tja. Takšna umetna inteligenca se uči na stvarnih podatkih - in če so ti obremenjeni s predsodki, se slednji radi odrazijo tudi v delovanju programja. Razviti svet, posebno Združene države, je v zadnjih letih videl mnoge takšne spodrsljaje na vseh področjih, od zaposlovanja, zdravstva in sprejemanja na univerze do še posebno kazenskega pregona, kjer se je nemalo ljudi znašlo za rešetkami, "ker je računalnik tako rekel". Tudi v Applovem primeru je zaskrbljujoče, da je bil edini odgovor, ki ga je Hansson dobil od službe za pomoč, preden je na Twitterju izsilil konkretnejšega, tisti, da "je pač algoritem kriv", ne oni. In tega nas mora biti strah.