OpenAIjev pisalni algoritem GPT-3 je v beta testiranju

Strojni algoritem za pisanje besedil GPT-3 - naslednik razvpitega GPT-2, ki si ga laboratorij OpenAI sprva menda ni upal spustiti v divjino - je prešel v fazo polodprtega javnega testiranja. Preizkuševalci so večjidel navdušeni, a zadeva še vedno kaže jasne omejitve trenutne generacije takšnih algoritmov.

Lanskega februarja je ena najbolj izpostavljenih razvojnih hiš za strojno učene algoritme, OpenAI, pokazala GPT-2, strojno inteligenco za pisanje prepričljivih besedil. Inženirji so takrat populistično dejali, da bi bilo program "tvegano ga kar tako spustiti iz laboratorijskih soban", zainteresirana javnost pa je seveda ugibala, ali gre za marketinško puhlico ali realne nevarnosti. GPT-2 je bil nedvomno korak naprej, saj je v nekaterih primerih izpisal srhljivo prepričljive skupke teksta, obenem pa je bila OpenAI takrat zares še neprofitna firma. Toda tekom lanskega leta se je situacija spremenila: družba se je usmerila v komercialne vode in v ta namen ustanovila tržno podružnico OpenAI LP ter od Microsofta sprejela vložek v višini milijarde ameriških dolarjev. Jeseni je nato vendarle še javno objavila kodo GPT-2, na podlagi katere so zanesenjaki že napravili razne chatbote in drugo. Očitno zadevščina le ni bila tako nevarna.

Maja so inženirji objavili nastanek naslednika, GPT-3. Tudi ta deluje na istem principu kot predhodnika: metodi, ki jo je pred tremi leti razvil Google in poimenoval Transformer. Gre za funkcijo, ki presodi verjetnost, s katero se besede pojavljajo v okolici vzorčnega besedila. Po domače rečeno: gre za izpisovalnik "najbolj normalnih", oziroma obče razširjenih tekstov. Še vedno gre torej zgolj za neke sorte močan statistični stroj, ki ne premore globljega semantičnega razumevanja. A kar GPT-3 loči od konkurenčnih rešitev, so zares izjemni, nekajkrat večji proporci delovanja. Podatkovna baza, na kateri se je algoritem učil, je velika kar 500 milijard besed, medtem ko naj bi število parametrov v nevronski mreži znašalo 175 milijard, oziroma za red velikosti več od najbližjih tekmecev.

Kljub dejstvu, da gre za zaznavno zmogljivejšo rešitev od GPT-2, pa se v OpenAI tokrat ne obotavljajo glede trženja: že 11. junija so napovedali začetek zaprtega testiranja z ozkim krogom partnerskih podjetij, med katerimi najdemo tudi Reddit, kjer upajo, da si bodo z GPT-3 lahko pomagali pri moderiranju. Sedaj so vrata odškrnili še malo bolj in poleg pripustili še razne raziskovalce strojne inteligence, s pomočjo katerih lahko GPT-3 lažje ovrednotimo (omejen dostop). Algoritem se zares izkaže precej bolje od predhodnika in zna pri krajših besedilih izvreči navdušujoče izdelke, kot so skoraj docela prepričljiva besedila v slogu določenega avtorja. Toda hkrati so enake kot prej tudi omejitve: ko vzorec teksta ali želeni rezultat preveč raztegnemo, se hitro začno kazati očitne luknje, oziroma manko dejanskega razumevanja zapisanega.

Kljub temu med trenutnimi preizkuševalci najdemo tudi firme, katerih rešitve teoretično terjajo neko bazično človeško razumevanje povedanega - na primer zdravstveno platformo Koko, ki skuša z GPT-3 zaznati, kdaj so uporabniki v nevarnosti. Posredi takšnih algoritmov je torej zelo zanimiva dilema, ki sega v jedro človeških jezikov: koliko je globlje razumevanje povedanega sploh potrebno za določene segmente praktične rabe, koliko pa ga lahko nadomesti gola statistika pojavljanja izrazov? Ne pozabimo namreč na bržkone poglavitno nevarnost takšnih algoritmov: avtomatizirano izdelavo laži in dezinformacij, za katere sploh ni važno, da so stoodstotno slovnično in besedilno pravilne; morajo biti zgolj okvirno prepričljive in predvsem dovolj množične.