☰

» »

Apple ima težavo s pristranskim algoritmom za plačevanje

1 2
3
4

windigo ::

FormerUser je izjavil:

Naivni ste kvečjemu tisti, ki pravite, da je vse OK in da je algoritem povsem nevtralen in nepristranski.

Podobno bi lahko rekli zate: ker imata moški in ženska s skupno lastnino, podobnimi prihodki in podobno kreditno boniteto zelo različen limit na Apple Card, je nujno treba popraviti model (najverjetneje gre za model in ne AI) za določanje limita tako, da bo upošteval izključno zgornje podatke, da zagotovimo enakost rezultatov. Ker če enačiš poštenost z enakostjo rezultatov glede na opazovane parametre, je pač edini način, da izključiš vse druge vplive.

Okapi ::

FormerUser je izjavil:

Problem ni v različnem obnašanju ampak v tem, da se eno smatra za normalno, drugo pa kot odklon. TO je težava.

Ampak to ni krivda algoritma, temveč programerja, ki je določil, kaj je normalno in kaj odklon.

FormerUser ::

Okapi je izjavil:

FormerUser je izjavil:

Problem ni v različnem obnašanju ampak v tem, da se eno smatra za normalno, drugo pa kot odklon. TO je težava.

Ampak to ni krivda algoritma, temveč programerja, ki je določil, kaj je normalno in kaj odklon.

Tudi programerji so samo produkt okolja v katerem delujejo, za začetek bi bilo dobro, da vsaj to ozavestijo in priznajo, da problem sploh obstaja, kar mnogi zanikajo. Več žensk v IT-ju bi imelo na to pozitiven učinek.

Zgodovina sprememb…

Okapi ::

Samo s podatki ne more računalnik / algoritem ničesar narediti. Človek mu mora povedati, kaj posamezen podatek oziroma vrednost pomeni.

Da se podatek spremeni v informacijo.

Zgodovina sprememb…

  • spremenil: Okapi ()

FormerUser ::

Primer je odmeven zato ker potem, ko je znana oseba povedala svojo zgodbo, se je usulo še en kup drugih, ki so delili podobno izkušnjo. Kaj je v ozadju sem pa tule že najmanj trikrat napisala.

Miki N ::

Okapi je izjavil:

Samo s podatki ne more računalnik / algoritem ničesar narediti. Človek mu mora povedati, kaj posamezen podatek oziroma vrednost pomeni.



Pa saj večinoma gre v financah za precej "konfekcijske" statistične metode. Vi si sedaj vsi predstavjate romantično kot da nekdo tam šraufa neke specifične formule "if gender=female then rating = rating * 0.05" pa to - ali pa da gre nek blazen "AI" in reče mozoljast projektni vodja "hočem večjo utež na patrialhalne spremenljivke v nevronski mreži!!!"

Dajte no, v resnici gre za dokaj standardne, čeprav verjetno zelo drage, softverske pakete tretjih strank za korelirano statistično analizo in podatkovno rudarjenje plus kaka kostumizacija vmesnikov in integracije. Ja celo Applu se ne izplača to delati "v hiši", ker to ni njihov core posel - to se kupi in kostumizira. Brez skrbi, tudi njih so nategnili z "AI" - čudno kot se sliši. Ampak oni bodo pa koga drugega, naprej dol po verigi.

Tako da ne samo da ni bilo spola v podatkovnem setu, zelo verjetno je bil obdelan z generičnim algoritmom podatkovnega rudarjenja brez pravega zavedanja kaj "seksistični parameter številka 51" sploh pomeni.

Zgodovina sprememb…

  • spremenilo: Miki N ()

windigo ::

FormerUser je izjavil:

Okapi je izjavil:

FormerUser je izjavil:

Problem ni v različnem obnašanju ampak v tem, da se eno smatra za normalno, drugo pa kot odklon. TO je težava.

Ampak to ni krivda algoritma, temveč programerja, ki je določil, kaj je normalno in kaj odklon.

Tudi programerji so samo produkt okolja v katerem delujejo, za začetek bi bilo dobro, da vsaj to ozavestijo in priznajo, da problem sploh obstaja, kar mnogi zanikajo. Več žensk v IT-ju bi imelo na to pozitiven učinek.

Originalnemu prispeveku programerja k implementaciji modela, ki določa kreditni limit v veeliiki finančni inštituciji, rečemo navadno kar "bug". Model je prej delo analitikov in ekonomistov, ki jih prej požegna še meneđment, če ne še celo kakšen poseben odbor ali pa raje dva.

LeQuack ::

To je problem fake AI, ki ne zna razmišljati zase. Je samo sklop preteklih odločitev/podatkov. In čeprav veliko podjetjih opleta z izrazom AI, nobeno ni prišlo niti blizu temu. Smo še stoletja ali tisočletja od pravega AI.
Quack !

Vazelin ::

LeQuack je izjavil:

To je problem fake AI, ki ne zna razmišljati zase. Je samo sklop preteklih odločitev/podatkov. In čeprav veliko podjetjih opleta z izrazom AI, nobeno ni prišlo niti blizu temu. Smo še stoletja ali tisočletja od pravega AI.

Saj ti si isto naučen. Če se ne bi vsaj enkrat urezal ne bi vedel kako je ko se urežeš. Vezalke si se sam naučil zavezati?
I got 99 problems but 4 usd XTZ ain't one...

pirat ::

V originalni novici je navedeno, da je ženska dobila nižji limit, čeprav je imela boljši credit score. Zakaj za vraga naj bi bila pa credit score in limit enoznačno povezana v smislu, da je boljši credit score avtomatično visji limit? Tukaj en precejšen del zgodbe manjka, vsaj za tiste, ki vsa okvirno vedo kako in na podlagi česa kreditne agencije določajo score, banke pa odobravajo limite...

tikitoki ::

Se strinjam, da je cudno. Ce spol sploh ni faktor, kako ga lahko algoritem uposteva?

Nikec3 ::

Primer je samo zadnji v dolgi vrsti tistih, ki demonstrirajo, kako se lahko pristranskost skozi zadnja vrata pritihotapi v algoritme na podlagi strojnega učenja, tudi če je ni nihče načrtno namestil tja. Takšna umetna inteligenca se uči na stvarnih podatkih - in če so ti obremenjeni s predsodki, se slednji radi odrazijo tudi v delovanju programja.

Hehe, dajmo se raje malo zabavat. A algoritem med tvegano zapravljanje šteje to, da oseba kupuje kozmetiko? :))

tikitoki je izjavil:

Se strinjam, da je cudno. Ce spol sploh ni faktor, kako ga lahko algoritem uposteva?

Algoritem spola ne upošteva. Lahko pa upošteva ostale kriterije, ki se v veliko primerih "skladajo s spolom".
@WarpedOne o Elonu Musku:
"ST inteligenca serijskemu izdelovalcu "čudežev" očita pomanjkanje inteligence"

Zgodovina sprememb…

  • spremenil: Nikec3 ()

BigWhale ::

En kup stvari tukaj je off-topic, dejte mir.

Dokler daje algoritem ven taksne rezultate kot jih daje lahko recemo, da je stvar potrebno vzeti pod drobnogled in pogledati kaj se dogaja in zakaj priletijo ven taksni rezultati. Ali je algoritem biased ali ne, pa v resnici ne ve nihce in vsi pravzaprav samo ugibamo. To ali je v algoritem vkljucen spol ali ne sploh ni tako pomembno. Kaj vse je pa vkljuceno v vhodne podatke pa ne ve pravzaprav nihce razen tistih, ki so te reci pisali.

Algoritem bi bil seksisticen, ce bi enemu izmed spolov avtomatsko dolocil drugacno utez pri odlocanju. Ce tega ne pocne, bo treba iskati razlog za taksne rezultate nekje drugje, predvsem bo pa treba pogledati vhodne podatke, da se ugotovi do kaksnih korelacij pride, zaradi cesa in ali so sploh te korelacije relevantne za odlocanje o kreditni sposobnosti in posledicno o visini limita neke osebe.

Stevilo ljudi, ki so umrli zaradi tega, ker so se zapletli v posteljnino mocno korelira z uzivanjem sira per capita, torej, kdaj boste zmanjsali uzivanje sira, da se slucajno ponoci ne zapletete v rjuhe in umrete?

Vse te algoritme je potrebno reci nauciti, ucijo se iz vhodnih podatkov, kaj tocno so se naucili je pa vedno potrebno preveriti na dovolj velikem vzorcu podatkov. Kasneje je pa potrebno te reci spremljati in nadzorovati. Se posebaj takrat, ko gre za algoritme, ki lahko mocno vplivajo na zivljenje ljudi. Problem je predvsem v tem, da so taksna preverjanja bolj primerna za case-by-case preverjanje kot pa metanje vsega skupaj v eno vreco. Zato bi moral biti zadaj nekje en fallback, kjer bi se potencialni oskodovanec lahko pritozil in dobil kaj vec pojasnil in bi se omogocilo spremembo situacije. V nasprotnem primeru pridemo do 'Computer Says No' situacije.

gruntfürmich ::

Nikec3 je izjavil:

Hehe, dajmo se raje malo zabavat. A algoritem med tvegano zapravljanje šteje to, da oseba kupuje kozmetiko? :))
po mojem čevlje...
"Namreč, da gre ta družba počasi v norost in da je vse, kar mi gledamo,
visoko organizirana bebavost, do podrobnosti izdelana idiotija."
Psiholog HUBERT POŽARNIK, v Oni, o smiselnosti moderne družbe...

poweroff ::

BigWhale je izjavil:

V nasprotnem primeru pridemo do 'Computer Says No' situacije.

Točno do tega prihaja na recimo pravosodnem področju.

Tam so (v enem primeru v ZDA) recimo rekli, da je vsebina algoritma in njegovo delovanje trade secret (temnopolti zapornik je zatrjeval, da je algoritem rasističen). Ko se je človek pritožil, da želi, da o njegovem pogojnem izpustu odloča sodnik, pa so rekli, da je sistem neobvezen, saj je samo v pomoč sodniku.

Seveda pa je za sodnika psihološko zelo težko odločiti drugače, kot mu reče računalnik. Ker če odloči drugače, in bo zapornik prekršil pogojni izpust, bodo vsi kazali s prstom na sodnika. Če bo pa upošteval priporočilo računalnika in bo prišlo do kršitve, bo pa sodnik rekel, da mu je itak računalnik tako sugeriral. Tako da v praksi v resnici bolj odloča računalnik, kot sodnik.
sudo poweroff

Okapi ::

poweroff je izjavil:

Seveda pa je za sodnika psihološko zelo težko odločiti drugače, kot mu reče računalnik. Ker če odloči drugače, in bo zapornik prekršil pogojni izpust, bodo vsi kazali s prstom na sodnika. Če bo pa upošteval priporočilo računalnika in bo prišlo do kršitve, bo pa sodnik rekel, da mu je itak računalnik tako sugeriral. Tako da v praksi v resnici bolj odloča računalnik, kot sodnik.
To je splošni problem sodobne družbe - prelaganje oziroma izogibanje osebne odgovornosti. Začne se že pri anonimnih volitvah - volivci nikoli niso krivi, oziroma ne odgovarjajo za posledice svoje odločitve.

In kakor sodnik ni kriv za napačno odločitev, tudi programer algoritma, ki mu je napačno svetoval, ni nikoli kriv.

Okapi ::

Pa še resnična zgodba o prelaganju krivde na stroj.

Pred leti smo bili v Sovjetski zvezi. Pri koncu potovanja smo bili že na tesnem z denarjem in smo gledali na vsako kopejko. V restavraciji naročimo kosilo, glede na cene iz menija zberemo denar in hočemo plačati. Natakarica prinese račun, kot ga je natisnila registrska blagajna. Vsota na računa pa večja, kot smo zbrali denarja. Začnemo še enkrat seštevati cene iz menija, in nič, še vedno pride nižja vsota. Potem pogledamo na račun, če so nam mogoče kakšno stvar dražje zaračunali. In vidimo, da so postavke pravilne, vsota na računu pa napačna. Povemo to natakarici, ona pa z resigniranim izrazom na obrazu pokaže na registrsko blagajno, češ, ta mašina je že spet narobe seštela, in ona, jasno, ni nič kriva.

nevone ::

ta mašina je že spet narobe seštela, in ona, jasno, ni nič kriva.


Seveda ona ni nič kriva, saj nima mašine za to, da bo potem vsak račun še na roke seštevala.

o+ nevone
Either we will eat the Space or Space will eat us.

poweroff ::

Vprašanje je, ali vam je potem zaračunala pravilno vsoto, ali tisto, ki je bila narobe izračunana?
sudo poweroff

Okapi ::

Seveda je potem na roke seštela in zaračunala pravo vsoto.

Sem pa tudi precej prepričan, da se stroj ni zmotil, ampak so ga uporabili za goljufanje - bodisi da so ga predelali, da je sistemsko delal napako (manj verjetno), ali pa da stroj sploh ni nič sešteval in so tudi vsoto kar ročno vtipkali (bolj verjetno).

Poanta je, da so stroj uporabili kot izgovor, prelaganje odgovornosti.

Zgodovina sprememb…

  • spremenil: Okapi ()

          ::

Tudi naš bivši računovodja se je pri narobe izračunani plači izgovarjal, da se je Excel zmotil!

nevone ::

Seveda je potem na roke seštela in zaračunala pravo vsoto.


Potem res ni želela biti kriva, kajneda?

o+ nevone
Either we will eat the Space or Space will eat us.

Okapi ::

          je izjavil:

Tudi naš bivši računovodja se je pri narobe izračunani plači izgovarjal, da se je Excel zmotil!

Ne samo vaš računovodja:D

Za predrago maketo je kriv excel

https://www.primorske.si/primorska/istr...

nevone je izjavil:

Seveda je potem na roke seštela in zaračunala pravo vsoto.


Potem res ni želela biti kriva, kajneda?

Kaj si hotela s tem povedati? Nihče nikoli noče biti kriv. In poišče nek izgovor, drugega krivca ...

Eden od načinov goljufanja je, da to počneš tako, da lahko, če te slučajno dobijo, krivdo prevališ na računalnik, ali drugega človeka.

Zgodovina sprememb…

  • spremenil: Okapi ()

pirat ::

Počasi se bo izkristaliziralo kaj je res in kaj ne.
https://fortune.com/2019/11/13/apple-ca...
Opisan je ravno nasprotni primer: žena dobila odobren 3x višji limit kot mož.
Verjetno je najbolj enostavna razlaga tudi najbolj pravilna - algoritem ne gleda spol kreditojemalca, pač pa gleda njegove/njene individualne prilive na račun in individualno preteklo porabo (in posledično lahko dva posameznika, ki si sicer delita "skupni" račun, imata formalno skupno premoženje ter enak kreditni score, dobita različno izračunane limite porabe na vsak svoji individualni kartici).

BigWhale ::

Primer zaradi katerega se je tole sploh zacelo je tak, da je imela zena dejansko vecji credit score in je dobila 20x manj limita. :)

pirat ::

BigWhale je izjavil:

Primer zaradi katerega se je tole sploh zacelo je tak, da je imela zena dejansko vecji credit score in je dobila 20x manj limita. :)

Saj to samo po sebi ni nič nenavadnega.
Jaz lahko zelo redno odplačujem obveznosti po moji kartici, že 10 nisem zamudil pri obroku stanovanjskega kredita, v bazi kreditne agencije je tudi zabeleženo da redno plačujem "utilities" -> posledično bo moj credit score (v smislu ocene plačilne discipline zelo visok).. Ker pa imam individualno na račun mesečno samo 1.500 USD priliva, bom dobil relativno nizek limit.
Moja žena pa občasno sicer malo zamudi s plačilom kartice, kako leto nazaj ima v bazi da ni plačala kakega parkiranja, kak opomin sem in tja .. ima pa sicer redni mesečni priliv (svoje prihodke) 20.000 USD... Njena plačilna disciplina bo ocenjena slabše kot moja, lahko pa si prepričan, da odobren limit porabe pa bistveno višji ...

pirat ::

Ni vezano konkretno na Apple Card, verjamem pa, da bo tudi hitro potegnilo za seboj veliko teorij zarot, sploh tukaj.
Reuters je danes objavil članek, da je verjetnost defaulta (neplačila) študentskega posojila, za študente, ki prihajajo iz večinoma črnskega okolja, skoraj 2x večja kot pri študentih, ki prihajajo iz večinoma belega okolja.
Je razlika tudi v absolutnih številih - študentsko posojilo najame:
- 23% študentov, ki prihajajo iz večinoma črnskega okolja
- 17% študentov, ki prihajajo iz večinoma latino-ameriškega okolja
- 14% študentov, ki prihajajo iz večinoma belega okolja
in tudi razlika je v debt-to-income ratio ---- defaultira skoraj 18% študentov iz črnskega okolja in 9% študentov iz večinoma belih okrožij (btw - odstotek defaulta je v obeh primerih ogromen !)

Reuters: https://www.reuters.com/article/us-usa-...
Original: https://libertystreeteconomics.newyorkf...

Na kratko: ker zakon prepoveduje zbiranje podatkov o rasi kreditojemalca, se ta podatek v resnici ne zbira. FED je naredil analizo na podlagi poštnih številk in analiziral rezultate glede na to iz kje kreditojemalec (ne glede na njegovo konkretno raso) prihaja - iz okolja ki je večinoma belo, latinsko ali črno. Glede na kraj bivanja so rezultati različni in kot kaže analiza tudi statistično značilni.

Vprašanje: ali je dopustno, da komercialna banka tovrstno informacijo / analizo (ki vsebinsko je pomembna) vključi v svoj model odločanja / določanja kreditnega scora ali to smatrate kot segregacijo ?
Sklicevanja na lastno avtoriteto niso zaželena, ne govorimo o članku iz Žurnala, pač pa o Reutersu in analizi FED NY... Smo lahko konstruktivni?

windigo ::

pirat je izjavil:

Reuters je danes objavil članek, da je verjetnost defaulta (neplačila) študentskega posojila, za študente, ki prihajajo iz večinoma črnskega okolja, skoraj 2x večja kot pri študentih, ki prihajajo iz večinoma belega okolja.

Če rasna in spolna diskriminacija ni dovoljena, potem se rasa in spol ne smeta upoštevati pri obravnavi stranke. Nobena statistika, podatek ali predsodek te ne opravičuje in ne odvezuje odgovornosti za kršitve zakonodaje.

pirat je izjavil:

Vprašanje: ali je dopustno, da komercialna banka tovrstno informacijo / analizo (ki vsebinsko je pomembna) vključi v svoj model odločanja / določanja kreditnega scora ali to smatrate kot segregacijo ?

To je segregacija. Neoliberalci se tu ne bodo strinjali, rekli bodo sicer, da to omejuje njihovo svobodo, mi pa dobro vemo, da jim je edina svetinja pravica in pravzaprav dolžnost izvleči čimvečji dobiček.

          ::

Dobro vprašanje! Pripadniki teh predelov bodo rekli, da so diskriminirani ter da gre za segregacijo. Tudi če se rase ali spola ne sme upoštevati v modelu, najbrž obstaja precej drugih parametrov, ki so v korelaciji s temi podatki. Če bo prevladala politična korektnost, se bodo odstranili vsi parametri, ki so v korelaciji z raso, spolom, veroizpovedjo, ... Ampak potem bodo modeli zanič.

nevone ::

Okapi je izjavil:

          je izjavil:

Tudi naš bivši računovodja se je pri narobe izračunani plači izgovarjal, da se je Excel zmotil!

Ne samo vaš računovodja:D

Za predrago maketo je kriv excel

https://www.primorske.si/primorska/istr...

nevone je izjavil:

Seveda je potem na roke seštela in zaračunala pravo vsoto.


Potem res ni želela biti kriva, kajneda?

Kaj si hotela s tem povedati? Nihče nikoli noče biti kriv. In poišče nek izgovor, drugega krivca ...

Eden od načinov goljufanja je, da to počneš tako, da lahko, če te slučajno dobijo, krivdo prevališ na računalnik, ali drugega človeka.


Dobro veš, kaj sem hotela povedati.

Ženska ni hotela na nikogar zvaliti krivdo, le povedala je kje se je zgodila napaka in jo je potem tudi popravila kolikor je bilo v njeni moči.

o+ nevone
Either we will eat the Space or Space will eat us.

Okapi ::

No ja, dve možnosti sta. Da je bila res napaka (katere vir smo mi odkrili, ne ona), ali pa smo jo zalotili pri poskusu goljufije in je uporabila vnaprej pripravljen izgovor.

nevone ::

ali pa smo jo zalotili pri poskusu goljufije in je uporabila vnaprej pripravljen izgovor.


Paranoik.

o+ nevone
Either we will eat the Space or Space will eat us.

Okapi ::

A ti res misliš, da je večja verjetnost, da se registrska blagajna "zmoti", kot da so poskušali goljufati? Ker če, potem si hudo naivna.

nevone ::

Okapi je izjavil:

A ti res misliš, da je večja verjetnost, da se registrska blagajna "zmoti", kot da so poskušali goljufati? Ker če, potem si hudo naivna.

Ti si pa zelo nesramen, če na natakarico vališ krivdo.

o+ nevone
Either we will eat the Space or Space will eat us.

bbf ::

No, zgleda da bo treba priredit algoritem, da se znormalizira output. En povratno zanko, da se bias določi, potem bo pa vse OK. Vsi enako krede, vsi beli vsi črni vsi unisex. Potem morajo pa še sami sebe zabiasat, in bodo v družbi enakovredni drug drugemu, zdej ko vejo, kakšni morajo bit. Simpl!

BDW, možje v silicijevi dolini imako lažnjive žene "Kako to da maš ti manj?" "Ja veš, nekej ti nism povedala.."

          ::

nevone je izjavil:

Ti si pa zelo nesramen, če na natakarico vališ krivdo.


Tipičen šovinist! :D:D:D

poweroff ::

nevone je izjavil:


Ti si pa zelo nesramen, če na natakarico vališ krivdo.

Ja, Okapi. Kako si drzneš. In to samo zato, ker je ženska. Da te ni sram, šovinist! :))
sudo poweroff

          ::

pirat je izjavil:

Počasi se bo izkristaliziralo kaj je res in kaj ne.
https://fortune.com/2019/11/13/apple-ca...
Opisan je ravno nasprotni primer: žena dobila odobren 3x višji limit kot mož.


Algoritem je potrebno popraviti, saj je več kot očitno, da diskriminira moške!

TheBlueOne ::

          je izjavil:

pirat je izjavil:

Počasi se bo izkristaliziralo kaj je res in kaj ne.
https://fortune.com/2019/11/13/apple-ca...
Opisan je ravno nasprotni primer: žena dobila odobren 3x višji limit kot mož.


Algoritem je potrebno popraviti, saj je več kot očitno, da diskriminira moške!


Dokazi, ki ne podprejo tega, da so zenske zatirane ali da so zenske superiorne so vedno fake news. Ta tip je samo izjema, da toksicni bancni direktorji (ce so direktorice, potem prodane riti) podtikajo tu in tam kaksen primer, da dokazejo nasprotno. Kapitalisti so pravzaprav genitalisti, ki jim je za denar posredno, primarno zelijo ohraniti patriarhalno religjo. :D

Tako da takoj 10 krat zamoli antitoskicnega moskega in desetkrat antipatriarharni kapital!

xmetallic ::

Vazelin je izjavil:

Če je to res, da spol ni zajet, kako je potem algoritem lahko diskriminatoren?

Če vsak petek v BTC "peglaš" kartico v NY, Zara, itd... lahko algoritem iz tega sklepa, da si obseden s kupovanjem. Zatorej ti bo omejil sredstva, kajti preveč denarja pri roki lahko vodi v še več zapravljanja.

Zgodovina sprememb…

  • spremenilo: xmetallic ()

xmetallic ::

FormerUser je izjavil:

AI očitno izbeza na plano pristranskosti, ki se jih večina niti ne zaveda, ker so tako normalizirane in v tem vidim njegovo vrednost.

AI na plano privleče dejstva. Algoritem lahko ugotovi, da so osebe s podobnimi nakupi (npr. cunje) manj zanesljive glede službe, da po izgubi službe dlje časa iščejo novo službo. Pri tem algoritem ne ve, ali gre za žensko ali moškega temveč vse osebe s podobnimi navadami popredalčka v eno skupino. Naloga algoritmov za upravljanje s kreditnimi tveganji je da preprečijo posamezniku prezadolževanje. Ne more banka odobriti višjega limita just because, če pa statistični podatki pravijo, da spadaš v rizično skupino.

Zgodovina sprememb…

  • spremenilo: xmetallic ()

          ::

xmetallic je izjavil:

AI na plano privleče dejstva. Algoritem lahko ugotovi, da so osebe s podobnimi nakupi (npr. cunje) manj zanesljive glede službe, da po izgubi službe dlje časa iščejo novo službo. Pri tem algoritem ne ve, ali gre za žensko ali moškega temveč vse osebe s podobnimi navadami popredalčka v eno skupino.


Predpostavimo, da zgoraj napisano drži, torej, da algoritmi upoštevajo zgolj parametre, kot so nakupovalne navade in podobno, ne upoštevajo pa parametrov o rasi, spolu, veroizpovedi, spolni usmeritvi in podobnih. Prepričan sem, da bi prišlo do vika in krika takoj, ko bi algoritem skupaj popredalčkal ženske, črnce, homoseksualce ali kakšno drugo podobno skupino.

xmetallic ::

          je izjavil:

Predpostavimo, da zgoraj napisano drži, torej, da algoritmi upoštevajo zgolj parametre, kot so nakupovalne navade in podobno, ne upoštevajo pa parametrov o rasi, spolu, veroizpovedi, spolni usmeritvi in podobnih. Prepričan sem, da bi prišlo do vika in krika takoj, ko bi algoritem skupaj popredalčkal ženske, črnce, homoseksualce ali kakšno drugo podobno skupino.

Če imajo dotične skupine podobne navade bodisi plačilne, nakupovanje, odvisno kakšni so parametri, bi jih algoritem popredalčkal skupaj. Dotični algoritem je sam prišel do ugotovitve, da so določeni ljudje s podobnimi (ne)plačilnimi navadami, prejemki, itd... rizična skupina. Do tega sklepa ni težko priti. Vendar pa algoritem tukaj ne počne ničesar narobe. Na podlagi morda desetletne, dvajsetletne zgodovine komitentov je pravilno klasificiral ženske kot rizične. Kajti v ZDA te delodajalec na cesto vrže čez noč, službo pa ženske zaradi očitnih razlogov iščejo dlje časa kot moški. To ni problem algoritma za upravljanje s kreditnim tveganjem. Naloga slednjega je da se tem družbenim pojavom, kot je npr. iskanje službe dlje časa če si ženska, prilagodi in ustrezno omeji tveganje. Zato se ni treba pizdit nad algoritmom, ki v večini primerov pravilno določi tveganost (jasno, povsod obstajajo ekstremi, in vseh scenarijev ni možno pokriti) temveč iskati rešitev za vzrok tega pojava - da so ženske manj zanesljivi plačniki-, kar je ugotovil tudi stroj.

Zgodovina sprememb…

  • spremenilo: xmetallic ()

Furbo ::

Algoritem bo itak prišel do nekih skupnih lastnosti tistih, ki ne plačujejo, gredo v stečaj itd.. če ne prek spola, barve kože whatever, pa prek naslova, nakupov ocvrtega piščanca ali tamponov.

Pa naj folk še tako cvili o rasizmu pa ne vem čemu.. je potem tudi odločitev Banke Slovenije, da tisti z manj dohodki, dobijo manj kredita, pristranska?

Ker zagotovo se med temi ljudmi najdejo taki, ki so in bodo vse zgledno odplačevali. Tako kot med ženskami, črnci, latinosi in ne vem še kom.

Najbolje, da v imenu politične korektnosti damo vsem neomejene kredite, limite, karkoli že.

Pa če je res, da so imele gospe s temi Apple težavicami skupne račune z gospodi.. meni se zdi kar logično, da se ne more na en račun obesiti več enakih limitov. Prvi ja, za drugega se pa 20x manj sliši kar prav. Ali pa naj se prvemu razpolovi in razdeli med oba enako.
i5-13600K, Noctua NH-D15, STRIX Z790-F, 32GB DDR5, 2TB Samsung 990PRO,
Toughpower GF3 1000W, RTX3070, ALIENWARE AW3423DWF, Dell S2722QC

windigo ::

Furbo je izjavil:

Algoritem bo itak prišel do nekih skupnih lastnosti tistih, ki ne plačujejo, gredo v stečaj itd.. če ne prek spola, barve kože whatever, pa prek naslova, nakupov ocvrtega piščanca ali tamponov.

Problem je, ker za tisto čemur rečemo AI ne znamo več niti pogledati in povedati, ali je morda pristransko, rasistično ali seksistično. Dokler smo to delali peš, smo na začetku privlekli noter odkrite pristranskosti (baba je baba, najboljša je slaba), kasneje skozi to, kar tukaj omenjajo kot standardne modele in odstopanja, implicitne in skrite pristranskosti (drugačno obravnavo izdatkov za gospodinjstvo od tistih za obnovo hiše), v primeru, da nam je model skupaj scopral računalnik, pa ni nujno, da bomo lahko sploh ven privlekli kakšno razumljivo razlago.

Potem pa se pojavi kup indicev, da je algoritem pristranski in čisto zares ne znamo reči drugega, kot da je kriv računalnik. Kar pa do zdaj ni bilo sprejemljivo,
Bistveno vprašanje tukaj je, čigavo je breme dokaza, da določena organizacija oz. sistem ne izvaja diskriminacije. Ali je dolžan recimo tožnik (tožilec, stranka v pravdnem postopku) dokazati da je nek tuj sistem pristranski, za kar ima majhne šanse za uspeh, ker bo težko naprimer naredil statistično analizo, ali se mora za zagotovitev tega na vso moč potruditi tisti, ki je ta sistem vzpostavil / ga upravlja (to je običaj na "sodišču javnega mnenja" in pri raznih cancellationih ipd.). Nič od tega ni idealno in se lahko zlorablja. Po mojem se bomo še nekaj časa učili navigirati skozi razne AI modele in njihove odločitve.

nevone ::

poweroff je izjavil:

nevone je izjavil:


Ti si pa zelo nesramen, če na natakarico vališ krivdo.

Ja, Okapi. Kako si drzneš. In to samo zato, ker je ženska. Da te ni sram, šovinist! :))


V primeru natakarja bi izjavila isto.

o+ nevone
Either we will eat the Space or Space will eat us.

Unilseptij ::

windigo je izjavil:

Furbo je izjavil:

Algoritem bo itak prišel do nekih skupnih lastnosti tistih, ki ne plačujejo, gredo v stečaj itd.. če ne prek spola, barve kože whatever, pa prek naslova, nakupov ocvrtega piščanca ali tamponov.

Problem je, ker za tisto čemur rečemo AI ne znamo več niti pogledati in povedati, ali je morda pristransko, rasistično ali seksistično. Dokler smo to delali peš, smo na začetku privlekli noter odkrite pristranskosti (baba je baba, najboljša je slaba), kasneje skozi to, kar tukaj omenjajo kot standardne modele in odstopanja, implicitne in skrite pristranskosti (drugačno obravnavo izdatkov za gospodinjstvo od tistih za obnovo hiše), v primeru, da nam je model skupaj scopral računalnik, pa ni nujno, da bomo lahko sploh ven privlekli kakšno razumljivo razlago.

Potem pa se pojavi kup indicev, da je algoritem pristranski in čisto zares ne znamo reči drugega, kot da je kriv računalnik. Kar pa do zdaj ni bilo sprejemljivo,
Bistveno vprašanje tukaj je, čigavo je breme dokaza, da določena organizacija oz. sistem ne izvaja diskriminacije. Ali je dolžan recimo tožnik (tožilec, stranka v pravdnem postopku) dokazati da je nek tuj sistem pristranski, za kar ima majhne šanse za uspeh, ker bo težko naprimer naredil statistično analizo, ali se mora za zagotovitev tega na vso moč potruditi tisti, ki je ta sistem vzpostavil / ga upravlja (to je običaj na "sodišču javnega mnenja" in pri raznih cancellationih ipd.). Nič od tega ni idealno in se lahko zlorablja. Po mojem se bomo še nekaj časa učili navigirati skozi razne AI modele in njihove odločitve.


Ne razumes dobro, kaj je diskriminacija... Tudi ce dejansko po nekih "kao" objektivnih kriterijih ugotovis, da zenske na nekem podrocju v vecini primerov ne dosegajo dolocenega nivoja/standarda/karkoli ze, ti pa potem to interpretiras tako, da kar vse zenske pocez izkljucis oziroma obravnavas slabse kot moske, je to neeticno in diskriminatorno ravnanje, ker ti kriterij ni vec dejansko ravnanje dolocene osebe, ampak samo se spol. To utemeljevati potem tako, da je pac ocitno, da so (vse) zenske na dolocenem podrocju slabse kot moski, je seveda konstrukt, ki ne zdrzi resnega logicnega testa. Pa sploh se nismo prisli do tega, da je v takih primerih vprasljiva tudi "objektivnost" samih osnovnih ugotovitev, kjer zelo zelo radi zamenjujemo vzrok in posledico. Tipicen primer: zenske so v splosnem manj kreditno sposobne, ker imajo nizje dohodke. Ampak to, da imajo nizje dohodke, je dejansko posledica predhodne splosne druzbene diskriminacije in ne nekih posebnih lastnosti, zaradi katerih naj bi bile zenske manj sposobne itd.

          ::

windigo je izjavil:

Bistveno vprašanje tukaj je, čigavo je breme dokaza, da določena organizacija oz. sistem ne izvaja diskriminacije.


Tehnično gledano je to enostavno izvedljivo, saj se pogleda samo parametre, na podlagi katerih se algoritem odloča. In če med temi parametri ni spola, rase, .... potem iz tehničnega vidika ni sporen. Ker pa pravo ne deluje tako, bo algoritem postal sporen zaradi tega, ker bo npr. nehote (glede na ostale parametre) skupaj pogrupiral homoseksualce, črnce, ženske, ... Problem torej ni v algoritmu, ampak v rezultatih, ki bi jih dajal. V hipotetični situaciji, ko bi se iz vzorcev v podatkih npr. ugotovilo, da kupci ta trdih kondomov v povprečju umirajo prej in zato ne odplačajo kreditov ter bi nato nekaj homoseksualcev dobilo slabše kreditne pogoje, bi bila tako algoritem, kakor tudi organizacija za njim označena za homofobna. Verjetno to, da je marginalizacija posledica nakupovalnih navad in NE spolne usmeritve, sploh ne bi bilo pomembno. Na mestu je seveda tudi vprašanje, ali so nakupovalne navade posledica spolne usmeritve, rase, spola, veroizpovedi, ... Če na zadevo pogledamo iz tega vidika, potem algoritem je homofoben, čeprav podatka o spolni usmeritvi sploh ni imel. Homoseksualci so seveda le en, hipotetičen primer. Najbrž bodo algoritmi marginalizirali več skupin, med njimi tudi invalide ali podobne skupine.

Zgodovina sprememb…

nevone ::

Saj je Hipatija že vse bistveno povedala kar se tiče problematike pristranskosti. Matematično logično je program lahko povsem korekten. A matematično logično je lahko za nekatere zelo kruto. Človekova humanost je tu zato, da to krutost blaži, ne pa potencira.

o+ nevone
Either we will eat the Space or Space will eat us.

windigo ::

Unilseptij je izjavil:

Tudi ce dejansko po nekih "kao" objektivnih kriterijih ugotovis, da zenske na nekem podrocju v vecini primerov ne dosegajo dolocenega nivoja/standarda/karkoli ze, ti pa potem to interpretiras tako, da kar vse zenske pocez izkljucis oziroma obravnavas slabse kot moske, je to neeticno in diskriminatorno ravnanje, ker ti kriterij ni vec dejansko ravnanje dolocene osebe, ampak samo se spol.

Govora je bilo, da lahko bias, torej pristranskost, tudi v modelih, ki jih generira človek, kot podlaga za diskirminacijo nastopa direktno, kot direktno razlikovanje na podlagi spola / rase / ..., lahko pa se ga tudi v skrije v kakšne druge prametre, ki dobro korelirajo s spolom in se le te uporabi za odločanje. Pri AI bi sicer težko lahko govoril o namenu, seveda pa lahko avtomatsko učenje zvrta prav vse signifikantne razlike v opazovanih parametrih zaradi morebitne pretekle diskriminacije. In ne samo, da jih lahko, praktično gotovo jih tudi bo. Veselje se začne potem, ker tega zaenkrat ne znamo niti razložiti, kaj šele popraviti drugače, kot iti nazaj na stare modele.
1 2
3
4

Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Google gre v bančništvo

Oddelek: Novice / Ostale najave		168102 (5633) poweroff
»

Novosti iz Appla

Oddelek: Novice / Apple iPhone/iPad/iPod		2110889 (8036) aborko
»

Apple bučno najavil sveženj svojih storitev (strani: 1 2 )

Oddelek: Novice / Ostale najave		7317199 (13920) bajsibajsi

Več podobnih tem