» »

OpenAIjev pisalni algoritem GPT-3 je v beta testiranju

OpenAIjev pisalni algoritem GPT-3 je v beta testiranju

vir: Axios
Axios - Strojni algoritem za pisanje besedil GPT-3 - naslednik razvpitega GPT-2, ki si ga laboratorij OpenAI sprva menda ni upal spustiti v divjino - je prešel v fazo polodprtega javnega testiranja. Preizkuševalci so večjidel navdušeni, a zadeva še vedno kaže jasne omejitve trenutne generacije takšnih algoritmov.

Lanskega februarja je ena najbolj izpostavljenih razvojnih hiš za strojno učene algoritme, OpenAI, pokazala GPT-2, strojno inteligenco za pisanje prepričljivih besedil. Inženirji so takrat populistično dejali, da bi bilo program "tvegano ga kar tako spustiti iz laboratorijskih soban", zainteresirana javnost pa je seveda ugibala, ali gre za marketinško puhlico ali realne nevarnosti. GPT-2 je bil nedvomno korak naprej, saj je v nekaterih primerih izpisal srhljivo prepričljive skupke teksta, obenem pa je bila OpenAI takrat zares še neprofitna firma. Toda tekom lanskega leta se je situacija spremenila: družba se je usmerila v komercialne vode in v ta namen ustanovila tržno podružnico OpenAI LP ter od Microsofta sprejela vložek v višini milijarde ameriških dolarjev. Jeseni je nato vendarle še javno objavila kodo GPT-2, na podlagi katere so zanesenjaki že napravili razne chatbote in drugo. Očitno zadevščina le ni bila tako nevarna.

Maja so inženirji objavili nastanek naslednika, GPT-3. Tudi ta deluje na istem principu kot predhodnika: metodi, ki jo je pred tremi leti razvil Google in poimenoval Transformer. Gre za funkcijo, ki presodi verjetnost, s katero se besede pojavljajo v okolici vzorčnega besedila. Po domače rečeno: gre za izpisovalnik "najbolj normalnih", oziroma obče razširjenih tekstov. Še vedno gre torej zgolj za neke sorte močan statistični stroj, ki ne premore globljega semantičnega razumevanja. A kar GPT-3 loči od konkurenčnih rešitev, so zares izjemni, nekajkrat večji proporci delovanja. Podatkovna baza, na kateri se je algoritem učil, je velika kar 500 milijard besed, medtem ko naj bi število parametrov v nevronski mreži znašalo 175 milijard, oziroma za red velikosti več od najbližjih tekmecev.

Kljub dejstvu, da gre za zaznavno zmogljivejšo rešitev od GPT-2, pa se v OpenAI tokrat ne obotavljajo glede trženja: že 11. junija so napovedali začetek zaprtega testiranja z ozkim krogom partnerskih podjetij, med katerimi najdemo tudi Reddit, kjer upajo, da si bodo z GPT-3 lahko pomagali pri moderiranju. Sedaj so vrata odškrnili še malo bolj in poleg pripustili še razne raziskovalce strojne inteligence, s pomočjo katerih lahko GPT-3 lažje ovrednotimo (omejen dostop). Algoritem se zares izkaže precej bolje od predhodnika in zna pri krajših besedilih izvreči navdušujoče izdelke, kot so skoraj docela prepričljiva besedila v slogu določenega avtorja. Toda hkrati so enake kot prej tudi omejitve: ko vzorec teksta ali želeni rezultat preveč raztegnemo, se hitro začno kazati očitne luknje, oziroma manko dejanskega razumevanja zapisanega.

Kljub temu med trenutnimi preizkuševalci najdemo tudi firme, katerih rešitve teoretično terjajo neko bazično človeško razumevanje povedanega - na primer zdravstveno platformo Koko, ki skuša z GPT-3 zaznati, kdaj so uporabniki v nevarnosti. Posredi takšnih algoritmov je torej zelo zanimiva dilema, ki sega v jedro človeških jezikov: koliko je globlje razumevanje povedanega sploh potrebno za določene segmente praktične rabe, koliko pa ga lahko nadomesti gola statistika pojavljanja izrazov? Ne pozabimo namreč na bržkone poglavitno nevarnost takšnih algoritmov: avtomatizirano izdelavo laži in dezinformacij, za katere sploh ni važno, da so stoodstotno slovnično in besedilno pravilne; morajo biti zgolj okvirno prepričljive in predvsem dovolj množične.

17 komentarjev

FlyingBee ::

Zanimivo je tole, ni čudno, da gre vse v AI zadnje čase. Recimo, da je vesolje tako veliko, da obstaja možnost, da je nekje zelo podoben planet kot Zemlja v podobnem ciklu. Kje je tista meja zmogljivosti oziroma količine podatkov, katere bo AI spravil v celoto, da ne bo več razlike glede na človeško.
P200 MMX, 32mb ram, 2gb HDD, s3 virge 2mb, 14" CRT 640x480
New Sphincter Kvartet:
Roko Spestner, Namaž Zlevčar, Daje Heading, Maraje Spetan

srus ::

Ne štekam. Za emulacijo povprečnega uporabnika spletnih storitev res ne potrebuješ "umetne inteligence", prej "konkretno zabitost".

WhiteAngel ::

srus je izjavil:

Ne štekam. Za emulacijo povprečnega uporabnika spletnih storitev res ne potrebuješ "umetne inteligence", prej "konkretno zabitost".


Problem so vzgibi OpenAI. Ne razvijajo UI za pisanje leposlovnih, umetnostnih besedil, ampak za reddit bote in ostale fake news neumnosti, ki naj bi v prihodnosti nosile denar.

vostok_1 ::

srus je izjavil:

Ne štekam. Za emulacijo povprečnega uporabnika spletnih storitev res ne potrebuješ "umetne inteligence", prej "konkretno zabitost".


Povprečen človek ni sposoben spisati besedilo, kot ga že trenutni programi znajo. Kaj šele AI.

Ljudje pač morajo razumeti, da z kmetijsko revolucijo, se je človeštvo ločilo, v grobem, na untermensche in vodje.
Obiranje krompirja od jutra večera ne zahteva inteligence, zgolj delovne roke.
There will be chutes!
It came from the lab.
Like tears in rain. Time to die. v_1 2012-21

bluefish ::

vostok_1 je izjavil:

Povprečen človek ni sposoben spisati besedilo, kot ga že trenutni programi znajo.
Pa še s primerom lastnega pisanja si to potrdil.

Zimonem ::

Težko je bolj narobe uporabljati pojem algoritem kot v danem primeru.

Zgodovina sprememb…

  • spremenilo: Zimonem ()

Aggressor ::

Zimonem je izjavil:

Težko je bolj narobe uporabljati pojem algoritem kot v danem primeru.


Resda? Razsvetli me.
en CRISPR na dan odžene zdravnika stran

vostok_1 ::

bluefish je izjavil:

vostok_1 je izjavil:

Povprečen človek ni sposoben spisati besedilo, kot ga že trenutni programi znajo.
Pa še s primerom lastnega pisanja si to potrdil.


A lahko žalim nazaj, ali imajo samo modi to pravico?
Namreč ima rebuttal že pripravljen, zgolj čakam licenco.
There will be chutes!
It came from the lab.
Like tears in rain. Time to die. v_1 2012-21

Zgodovina sprememb…

  • spremenil: vostok_1 ()

zasekamroz ::

super, bo lažje pisat diplome, doktorate, ..

paket ::

Nihče te ne žali. S svojim "prispevkom" si potrdil, da "povprečen človek ni sposoben spisati besedilo, kot ga že trenutni programi znajo".

Odjava je v desnem meniju.

kuall ::

Takle AI bo bolj blefer kot kaj drugega.
Ampak ker so bleferji uspešni bo tudi takle zabit bleferski AI uspešen pri zabitem folku.
Definicija bleferja: zgleda, da ve o čem govori, ko pa premisliš, kaj je povedal vidiš, da je povedal neumnosti.

Drgač pa razne chatbote in pisce besedil ni tako težko sprogramirati, kot se zdi. Samo pisat mora o temah, ki asociirajo ena na drugo in ljudje takoj padejo na to foro, ko se jim zdi fajn, da je nekdo prepoznal 2 podobni povezani stvari in ju omenil eno za drugo.

nekikr ::

Če ljudje padejo na google translate emaile nigerijskih princev, ki imajo samo za njih pripravljene milijone na banki, potem je tole čisto overkill.

Looooooka ::

Če bodo slovenski teksti vsaj približno na takem nivoju, kot so angleški, lahko 24ur.com mirno začne odpuščati svoje "novinarje".

dexterboy ::

Vi DEJANSKO obiskujete 24ur.com web pagino? Ali veste, da je življenje mogoče tudi brez obiskov te spletne strani?
Ko ne gre več, ko se ustavi, RESET Vas spet v ritem spravi.

Markoff ::

Looooooka je izjavil:

Če bodo slovenski teksti vsaj približno na takem nivoju, kot so angleški, lahko 24ur.com mirno začne odpuščati svoje "novinarje".

Največji uspeh PoopTV je, da je uspel izenačiti pojma "novinar" in "mlada blond pogojno inteligentna vsiljiva deklica".
Antifašizem je danes poslednje pribežališče ničvredneža, je ideologija ničesar
in neizprosen boj proti neobstoječemu sovražniku - v zameno za državni denar
in neprofitno najemno stanovanje v središču Ljubljane. -- Tomaž Štih, 2021

MrStein ::

dexterboy je izjavil:

Vi DEJANSKO obiskujete 24ur.com web pagino? Ali veste, da je življenje mogoče tudi brez obiskov te spletne strani?

Statistika pravi, da jih obišče ogromno ljudi. Seveda pa noben ne bo priznal... (kot vedno)
Motiti se je človeško.
Motiti se pogosto je neumno.
Vztrajati pri zmoti je... oh, pozdravljen!

gruntfürmich ::

dexterboy je izjavil:

Vi DEJANSKO obiskujete 24ur.com web pagino? Ali veste, da je življenje mogoče tudi brez obiskov te spletne strani?

lahko kako drugače spremljaš ljubezen po domače?
"Namreč, da gre ta družba počasi v norost in da je vse, kar mi gledamo,
visoko organizirana bebavost, do podrobnosti izdelana idiotija."
Psiholog HUBERT POŽARNIK, v Oni, o smiselnosti moderne družbe...


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

OpenAI nadgrajuje okrepitveno učenje z evolucijo

Oddelek: Novice / Znanost in tehnologija
135178 (3841) vostok_1
»

OpenAI je ustvaril algoritem, ki si ga ne upa spustiti v divjino (strani: 1 2 )

Oddelek: Novice / Znanost in tehnologija
5219989 (15558) FrRoSt
»

V Doti 2 računalnik še ne nadvlada človeka

Oddelek: Novice / Znanost in tehnologija
96655 (4837) bMozart

Več podobnih tem