Microsoft pojasnjuje, kaj je šlo narobe s Tay

Ars Technica - Microsoft je pred dvema dnevoma po manj kot 24 urah delovanja ugasnil robotskega sogovornika (chatbox) Tay, ki bi se bila morala pogovarjati kot 19-letno dekle, a je kmalu začela po Twitterju čivkati vse najslabše. Microsoft pojasnjuje, kako se je moglo zgoditi, da je povsem nedolžna Tay zanikala holokavst in pozivala k sežigu feministk, če omenimo le dva izmed množice izpadov. Tay je nekritično zaupala ljudem, ti pa so si jo pošteno privoščili.

Zanimivo je, da je Microsoft pred poldrugim letom na Kitajskem zagnal podobnega sogovornika Xiaolce, ki je do danes opravil okrog 40 milijonov pogovorov brez incidentov. So Kitajci bolj kulturni? Kot kaže, so predvsem bolj cenzurirani.

Microsoft pojasnjuje, da so pred javno predstavitvijo Tay izvedli obsežno testiranje in nekaj tematik tudi filtrirali, a to ni bilo dovolj. Tay je bila pripravljena na vprašanja o Ericu Garnerju, kjer jo je Microsoft očitno posebej naučil, da diplomatsko odgovori, da je to težko vprašanje, pravi Caroline Sinders iz IBM-a. Vsega pa niso predvideli. Zato so si jo nekateri privoščili, kar so vnaprej načrtovali, pričajo debate na 4chanu in 8chanu. Tamkajšnja skupina pol (politically incorrect) se je hitro lotila izziva, kako Tay zasuti z neprimernimi pogovori in jo pripraviti do tega, da bo tudi sama odgovarjala neprimerno. Odločili so se, da jo bodo poskusili navdušiti nad Donaldom Trumpom, rasistično belo ideologijo (white supremacy), Hitlerjem itd. Ne glede na nesprejemljivost njihovih idej jim pravzaprav ne moremo zameriti, da so opazili potencialno šibkost tehnologije Tay in preizkusili, kako se obnese pod pritiskom. Slabo, se glasi odgovor.

Prav podobni incidenti in želja po politični korektnosti so razlogi, da včasih podjetja kaj tudi pocenzurirajo. Če Applovo Siri vprašate o splavu, ne bo preveč zgovorna, medtem ko vam takoj pove, kam odvreči truplo. Kar se tiče Tay, je problem zelo enostaven. Tay želi - podobno kot politiki - ugajati čim večjemu krogu ljudi, zato se obnaša tako, kot se večina. Razumevanja, kdo ali kaj je Hitler, seveda nima. Tay razume, da je Hitler pojem, ki ga ima večina ljudi pač rada (ker so jo v to naplahtali 4chanovci). In mu zato v priučeni govorici poje slavospeve. Situacijo je pokvarila funkcija Ponavljaj za menoj, ki je omogočila Tay prisili, da ponovi tvit uporabnika. A ponovimo - večino neprimernosti je izpisala sama.

Strokovnjaki za chatbote so si enotni v mnenju, da se je Microsoft projekta lotil slabo. Vsi dlje časa delujoči učeči se chatboti redno dobivajo popravke in čiščenje nabora. Nagajivost uporabnikov je treba vzeti v obzir že na začetku, kar je Microsoft storil pomanjkljivo. Cenzuriranje posameznih besed ni in ne more biti uspešno, treba je globlje prečesati nabor idej in besedišča. Chatbote je pač treba ves čas usmerjati na pravo pot in jim ne dovoliti, da z nekritičnim srkanjem iz okolice odplavajo svojo pot. In Xiaolce? Težko verjamemo, da je Microsoftova Tay slabša kot Xiaolce. Verjetno je razlog za njegovo neproblematičnost v pogovorih, ki jih imajo Kitajci z njim na spletu. Cenzura je tam tako velika, da se kakšnih večjih neumnosti sploh ne morejo ali upajo pogovarjati.

Tay bo nazaj, obljublja Microsoft. Bojda bolj olikana.