Slo-Tech - Po viralnem čivku ameriškega podjetnika je pretekli vikend postalo jasno, da ima algoritem, ki določa višino uporabnega denarja v plačilni storitvi Apple Card, težave s pristranskostjo, saj ženskam določa do dvajsetkrat nižji limit kot njihovim moškim partnerjem, tudi ko imajo one višje kreditne ocene.
Pretekli petek je ameriški podjetnik David Heinemeier Hansson na svojem Twitterju potožil, da sme njegova žena s kartico Apple Card mesečno plačati dvajsetkrat manj kot on - pa čeprav ima po zunanjih kreditnih ocenah višjo plačilno sposobnost od njega. Ker ima Hansson kot oče platforme Ruby on Rails več sto tisoč sledilcev, se je njegov očitek ekspresno razširil po Silicijevi dolini in širše. Steve Wozniak je potrdil, da podobno velja za njegovo ženo, ki ima na Apple Cardu desetkrat nižji limit od njega, čeprav si delita finance; kmalu se je podobnih pričevanj kar usulo.
Hitro se je oglasil Newyorški finančni urad in sprožil preiskavo o morebitni spolni diskriminaciji. Apple je namreč svojo storitev oblikoval v sodelovanju s tamkajšnjo banko Goldman Sachs. Tudi ta se je odzvala s pojasnilom, da spol v parametrih njihovega algoritma, ki določa višino denarnih sredstev na kartici, sploh ni zajet - in da torej po njihovem ne morejo biti tarče očitkov o tovrstni diskriminaciji. Toda na CNBCju trdijo, da so pri Goldman Sachsu vedeli za nevarnost takšnih težav, ko so storitev poleti lansirali.
Primer je samo zadnji v dolgi vrsti tistih, ki demonstrirajo, kako se lahko pristranskost skozi zadnja vrata pritihotapi v algoritme na podlagi strojnega učenja, tudi če je ni nihče načrtno namestil tja. Takšna umetna inteligenca se uči na stvarnih podatkih - in če so ti obremenjeni s predsodki, se slednji radi odrazijo tudi v delovanju programja. Razviti svet, posebno Združene države, je v zadnjih letih videl mnoge takšne spodrsljaje na vseh področjih, od zaposlovanja, zdravstva in sprejemanja na univerze do še posebno kazenskega pregona, kjer se je nemalo ljudi znašlo za rešetkami, "ker je računalnik tako rekel". Tudi v Applovem primeru je zaskrbljujoče, da je bil edini odgovor, ki ga je Hansson dobil od službe za pomoč, preden je na Twitterju izsilil konkretnejšega, tisti, da "je pač algoritem kriv", ne oni. In tega nas mora biti strah.
Drugače pa - to kaže, da so vhodni podatki bili zelo diskriminatorni. Hm. Nisem presenečen. Se bo tudi v tej smeri kaj ukrepalo ali bo samo "algoritem kriv"?
Ne vem kako so podatki pristranski, je pristranskost nova beseda za realnost, ki koga užali?
Ne. Pristransko je dejansko stanje in če je takšno dejansko stanje osnova, iz katere se algoritem uči, potem je nekdo - tisti, ki je algoritem razvil - očitno spustil žogo. Glede na nekatere komentarje tukaj, me to ne preseneča...
Biseri...
PS: MENSA klub ST, obvoz. ŠIC! Ne zanimajo me vaše neštetokrat reciklirane
neumnosti.
Hitro se je oglasil Newyorški finančni urad in sprožil preiskavo o morebitni spolni diskriminaciji. Apple je namreč svojo storitev oblikoval v sodelovanju s tamkajšnjo banko Goldman Sachs. Tudi ta se je odzvala s pojasnilom, da spol v parametrih njihovega algoritma, ki določa višino denarnih sredstev na kartici, sploh ni zajet - in da torej po njihovem ne morejo biti tarče očitkov o tovrstni diskriminaciji. Toda na CNBCju trdijo, da so pri Goldman Sachsu vedeli za nevarnost takšnih težav, ko so storitev poleti lansirali.
Če je to res, da spol ni zajet, kako je potem algoritem lahko diskriminatoren?
Kot da banko zanimajo ljudje, ki takoj odplačajo ves minus na kartici. Osnovno nerazumevanje tega, kako se kreditne kartice splačajo bankam.
Verjetno najpomembnejši komentar. Dodatno je treba omeniti, da se tipično "nagrajuje" imetnike z več razpoložljivega dohodka: redno odplačevanje dolgov (saj določeni vzorci) ga ne povečujejo in torej ...
Ampak mogoče bolj fascinantno pri teh "ugotovitvah" je, da so vedno najbolj šokirani tisti, ki pogosto druge poučujejo kako "vse bazira na dolgu" (legit) in kako vas banke poizkušajo čimbolj zadolžiti (a bejž no!) ... ko pa izve, da mu ta ista banka (ali finančno podjetje) NE bo dvignila ratinga na kreditni, ker NI zadolžen oziroma mu ga bo celo spustila, je pa totalno presenečen - kot da sam sebi ne verjame čisto. :D
"In most cases, the Apple Card issue stems from it being only for individual accounts, not joint accounts shared by a household, according to Goldman spokesman Andrew Williams. One solution: The bank is actively exploring ways to allow users to share their Apple Card with family members. Goldman was aware of the potential issue before it rolled out the Apple Card in August, but it opted to go with individual accounts because of the added complexity of dealing with co-signers or other forms of shared accounts, according to a person with knowledge of the matter."
Skratka, kot že omenjeno, preveč komplicirano, drago in zamudno je stvari narediti tako kot je prav, in ker kratko potegne skupina, ki je itak drugorazredna, se zaradi tega nihče prav hudo ne obremenjuje, navsezadnje so se morali oglasiti možje oškodovanih žensk, da je primer postal medijsko odmeven.
Sej so banke imele, tudi že probleme z temnopoltimi, pač ker so v preteklosti dobivali več zavrnitev za kredite, je pač algo ko se ni mogel odločiti upošteval še to. Za njega to ni diskriminacja ampak samo še ena spremenljivka. Kako popravit 100 let krivice v enem algotu pa me res zanima kako :)
::
Vprašanje je, kaj storiti z algoritmom, ki (predpostavimo, da res ne upošteva spola) diskriminira ženske. Ali naj se iz algoritma izvzamejo nekateri drugi parametri, ki so do te diskriminacije pripeljali, pa v resnici niso vezani na spol?
Sej so banke imele, tudi že probleme z temnopoltimi, pač ker so v preteklosti dobivali več zavrnitev za kredite, je pač algo ko se ni mogel odločiti upošteval še to. Za njega to ni diskriminacja ampak samo še ena spremenljivka. Kako popravit 100 let krivice v enem algotu pa me res zanima kako :)
Za začetek bi bilo dobro razbiti mit, da so algoritmi objektivni in nevtralni, in pošteno povedati, da le še bolj učinkovito implementirajo obstoječe pristranskosti, torej je za razmisliti zakaj in kako jih uporabljati. Iz mnogih primerov je bilo razbrati, da so se za AI odločili zato ker naj bi zagotovila bolj poštene izide od človeka, pa so očitno delali račun brez krčmarja.
Kakor pravi clanek v odlocanje AI spol ni zajet. Bolj nepristransko iz tega stalisca skoraj ne mora biti. Bi pa bilo zanimivo vedeti katere podatke zajema, da je koncna slika taka kot je.
Nekaj jih citirajo, kakor dolg in kako hitro se ga znabis itn. To, da je racun skupni ocitno ni faktor, kar je zopet fer, ker drugace bi lahko zapravljivec surfal na boniteti financno pametnega partnerja.
Za začetek bi bilo dobro razbiti mit, da so algoritmi objektivni in nevtralni, in pošteno povedati, da le še bolj učinkovito implementirajo obstoječe pristranskosti,
V tem primeru v smislu spola niti ne mores ugotavljati, ce je razlika, ker spol ni faktor. Ce bi bil, bi lahko poskusili, ce menjava naredi razliko. Ekperiment z mozem in zeno pac ni nek hud pokazatelj. Kot tretje pa za tvojo predpostavko ni nobene realne motivacije. Bankam je pac vseeno kaj imas med nogami.
Algoritem zgolj reproducira ustaljene vzorce in če so ti pristranski pač ni računati na to, da bo rezultat algoritma kaj drugačen. V resnici je za moje pojme glavna vrednost AI, da družbi nastavlja veliko ogledalo, v katerem so vidne tudi tiste pristranskosti, ki jih s prostim očesom večina ne zazna, ali pa se glede njih spreneveda.
@TBO
Saj je lepo razloženo v članku, banke, tako kot vsi ostali, gredo pač po liniji najmanjšega odpora in največjega dobička in če pri tem izvisi manj pomembna družbena skupina, so what.
Ahhhh ... :) Emperična mašina ti da output, da morda ženske in moški nismo enaki. Lažje je razbit mašino, ker "ne dela", kot pa se soočit z lastnimi dogmatičnimi političnimi prepričanji.
Algoritem zgolj reproducira ustaljene vzorce in če so ti pristranski pač ni računati na to, da bo rezultat algoritma kaj drugačen.
Ravno to je poanta AI, da ne reproducira samo ustaljenih vzorcev ampak, ampak bolj gleda realne podatke in posledice.
Torej zal prej nastavi ogledalo realnosti, ker ga zanimajo samo podatki. Nepristranski je ravno zato, ker ne uporablja podatkov, kot spol, druzbena skupina itn.
Tu se tocno vidi, da je za doseganje pravicnosti po clovesko treba biti pristranski.
Če daš v mašino seksistični input boš dobil ven seksistični output. Tako preprosto.
Algoritem ne ve kaj je seksizem. Recimo iz nič he začel učenje na spramljanju transakcij, pri čemer spol ni vhodni podatek. Lahko, da je določen spol le ena od mnogih predominantnih značilnosti skupine, ki ima manjšo kreditno oceno. Po drugi strani, ker algoritem ne spremlja spola, so to značilnost morda napačno izluščili drugi. Ker pa ni šlo iz nič, me res zanima kaj so bili vhodni podatki in kako se je tam razvila morebitna podatkovna pristranskost.
Algoritem zgolj reproducira ustaljene vzorce in če so ti pristranski pač ni računati na to, da bo rezultat algoritma kaj drugačen.
Ravno to je poanta AI, da ne reproducira samo ustaljenih vzorcev ampak, ampak bolj gleda realne podatke in posledice.
Torej zal prej nastavi ogledalo realnosti, ker ga zanimajo samo podatki. Nepristranski je ravno zato, ker ne uporablja podatkov, kot spol, druzbena skupina itn.
Tu se tocno vidi, da je za doseganje pravicnosti po clovesko treba biti pristranski.
AI očitno izbeza na plano pristranskosti, ki se jih večina niti ne zaveda, ker so tako normalizirane in v tem vidim njegovo vrednost. Pa tudi to, da nazorno prikaže kako se reproducirajo stari vzorci, recimo pri otrocih, ki ravno tako vsrkavajo velike količine podatkov iz okolja in jih nato seveda ponavljajo.
Ironicno bi bilo, da seksisticni moski(ki vedo za spol prosilca) so bolj pravicni pri dodeljevanju pravic kot algoritem. Ze malce cuda slici na Petersona. Morda pa smo si razlicni.
Spola pa itak niso mogli vzeti spola kot spremenljivko, ker je vec spolov in je vazno kako se identificiras (vsaj v ZDA).
Če daš v mašino seksistični input boš dobil ven seksistični output. Tako preprosto.
Algoritem ne ve kaj je seksizem. Recimo iz nič he začel učenje na spramljanju transakcij, pri čemer spol ni vhodni podatek. Lahko, da je določen spol le ena od mnogih predominantnih značilnosti skupine, ki ima manjšo kreditno oceno. Po drugi strani, ker algoritem ne spremlja spola, so to značilnost morda napačno izluščili drugi. Ker pa ni šlo iz nič, me res zanima kaj so bili vhodni podatki in kako se je tam razvila morebitna podatkovna pristranskost.
Saj algoritem v resnici ničesar ne ve, je samo useful idiot, ki ponavlja kar mu servirajo drugi. In glede na to, da tole sploh ni edini primer, je očitno, da gre za sistemske probleme.
Premalo "ženskih vstopnih podatkov", posledično so nepoznane in s tem nevarne da zapravljajo čez svoje meje.
Če že špekuliramo, je alternativa lahko tudi preveč "ženskih vstopnih podatkov", tiste sorte namreč, ki jih lahko kategoriziramo kot relativno redni mesečni izdatki.
Skratka razlika v kreditni sposobnosti pri možu in ženi, ki živita v državi, kjer je lastnina zakoncev skupna, kjer ima žena še nekaj višjo plačo od moža, mož pa vseeno pri Applu večji kreditini limit je lahko tudi rezultat večjih rednih mesečnih izdatkov na ženinem računu.
"Po viralnem čivku ameriškega podjetnika je pretekli vikend postalo jasno, da ima algoritem, ki določa višino uporabnega denarja v plačilni storitvi Apple Card, težave s pristranskostjo, saj ženskam določa do dvajsetkrat nižji limit kot njihovim moškim partnerjem, tudi ko imajo one višje kreditne ocene."
AI očitno izbeza na plano pristranskosti, ki se jih večina niti ne zaveda, ker so tako normalizirane in v tem vidim njegovo vrednost. Pa tudi to, da nazorno prikaže kako se reproducirajo stari vzorci, recimo pri otrocih, ki ravno tako vsrkavajo velike količine podatkov iz okolja in jih nato seveda ponavljajo.
In kateri seksisticen faktor si lahko predstavljas? Me res zanima, gelde na to, da splol ni faktor. Kaj potem nekako ugotovi, da si zenska, ceprav se mu niti ne sanja, da kaj takega obstaja? AI praviloma gleda podatke in rezultate, poskusa, gelda skozi zgodovino...
Pac samo klatis s trditvami, da mora nekaj biti seksisticno, ce ne podas kaksnega teoreticno moznega seksisticnega paramatra, kjer upostevas, da spol ni faktor.
Gre za algoritem, ki izračuna limit na podlagi credit scora in drugih finančnih dejavnikov, nobene umetne inteligence v ozadju, samo algoritem za izračun.
Hipatija, preimenuj se v Histerija, tvoje trollanje je obupno.
Kreditna ocena ne vključuje izdatkov za frizerja, fitnes, botoks, jogo, fešn, spa, nakit, ure, golf, klube, viski, cigare in podobne statusne simbole. Apple pa to lahko upošteva. Mogoče je pa oglaševanje statusa za ženske dražje (in bolj naporno).
Imaš N vhodnih podatkov. Podatek 1 ima X atributov, transakcijo izvedla ženska (sistem ne beleži da je transakcijo izvedla ženska). Podatek 2 ima X atributov, transakcijo izvedel moški(sistem ne beleži da je transakcijo izvedel moški). Podatek 3 ima X atributov, transakcijo izvedel otrok(sistem ne beleži da je transakcijo izvedel otrok).
Sistem na podlagi N vhodnih podatkov opredeli višino limita.
Kako je lahko v takšnem sistemu karkoli seksističnega, če noben atribut ni spol?
Spet se usajajo nepoznavalci. Sedaj bodo algoritem toliko časa "privijali", da bo zadovoljil ženske, moške, azijce, črnce, kavkazijce, avstralce, moške srednjih let ipd? Sedaj se bo iskalo krivca, atribut ki je pripeljal k temu??? Civilizacija je res v zadnjih izdihljajih
Tale članke lepo pojasni zakaj bodo nove tehnologije povečale diskriminacijo, če ne bodo regulatorji opravili svojega dela:
"A lot of the business models are built around standard males with average earnings, with certain predictable patterns of earnings growth. There's a risk that those that exhibit different behaviour end up being discriminated against," said McAteer, who now runs the Financial Inclusion Centre, a thinktank. https://www.theguardian.com/business/20...
Simpl razlaga za novico: nekatere osebe več impulzivno zapravijo oz zapravljajo več za obleke, hrano, kozmetiko, osebno higieno, (lahko da vedno samo 1 oseba nakupuje za celotno gospodinjstvo takšne stvari), itd....in takšne osebe algoritem prepozna kot bolj tvegane in zato jim da nižji limit. Kar se je zgodilo v opisanih primerih.
Sem prepričan, če bi npr. g. Steve Wozniak bil poročen z moškim (ki bi imel recimo iste nakupovalne navade kot sedanja njegova žena) bi imel tudi nižji limit (kljub temu, da bi bil moški).
Simpl razlaga za novico: nekatere osebe več impulzivno zapravijo oz zapravljajo več za obleke, hrano, kozmetiko, osebno higieno, (lahko da vedno samo 1 oseba nakupuje za celotno gospodinjstvo takšne stvari), itd....in takšne osebe algoritem prepozna kot bolj tvegane in zato jim da nižji limit. Kar se je zgodilo v opisanih primerih.
Sem prepričan, če bi npr. g. Steve Wozniak bil poročen z moškim (ki bi imel recimo iste nakupovalne navade kot sedanja njegova žena) bi imel tudi nižji limit (kljub temu, da bi bil moški).
Nima veze samo purchase habits/history, temveč koliko zasluži in koliko časa je že zaposlena. Te odločitve se dela na individualnem nivoju, tako kot credit score, nima veze s kom je oseba poročena in kaj ji binglja (ali ne) med nogami.
Tale članke lepo pojasni zakaj bodo nove tehnologije povečale diskriminacijo, če ne bodo regulatorji opravili svojega dela:
Kakor, da jih prisilijo, da je spol faktor? Kaj pa lahko naredijo, ce ne vedo kdo je katerega spola? Bos rekla bolj pazi na zenske, algoritem pa rece, "Kaj je zenska?".
Saj ti lepo piše. Obnašanje povprečnega moškega je standard, vse kar odstopa pa deviacija in zato kritična.
Ce ne ve kdo je moski, samo gleda, kje se boljse izidejo stevilke. Da si ne bos na koncu dokazala, da tipi v povprecju enostavno bolj smoterno zapravljamo. Tak zakljucek marsikoga ne bo presenetil.
Tu niso navade, so podatki in stevilke na eni strani in stevilke na drugi. Samo denar je verjetno na koncu v igri, nic drugega.
Kreditna ocena ne vključuje izdatkov za frizerja, fitnes, botoks, jogo, fešn, spa, nakit, ure, golf, klube, viski, cigare in podobne statusne simbole..
To bi ji znalo celo zvišati oceno. ;)
Saj to je to - pri kreditih je vse malo drugače, kot se večini zdi "logično". Recimo večina bi OSEBNO raje videla, da nekdo, ki jim je dolžen 100 evrov čim hitreje vrne ta denar. Jaz tudi. Ampak kreditna družba po drugi strani veliko raje vidi, da teh 100 evrov porabiš za nov nakup. Zdaj si sicer dolžen 200 ampak upoštevajoč tveganja "algoritem naračuna" da je to zdaj cca 180 evrov sredstev v lasti družbe (samo primer) - poleg tega se dolg piše v bilance kot kapital družbe. Zakaj bi torej spodbujal da ljudje čimprej poplačajo dolg? Lahko kar zaprejo štacuno, potem kreditnih kartic niti ne rabiš, nisi stranka!
Hipatija ima prav v tej meri, da če so sistem učili na preteklih podatkih, kjer so človeški uslužbenci dajali boljše kreditne pogoje moškim kakor ženskam, bo sistem tudi v prihodnje deloval diskriminatorno, saj bo morda nevede spol razbral iz ostalih parametrov posameznika.
Kaj pa lahko naredijo, ce ne vedo kdo je katerega spola? Bos rekla bolj pazi na zenske, algoritem pa rece, "Kaj je zenska?". 
In ce si imel manj kreditov je to plus ne minus. Za ta primer so celo povedali, da gledajo predvsem kako dolgove vracas.