Slo-Tech - Raziskovalca z MIT-a so preverjali, kako uporaba velikih jezikovnih modelov (LLM) vpliva na aktivnost možganov med pisanjem besedil. Preiskovance so razvrstili v tri skupine, in sicer z uporabo LLM za pisanje, uporabo klasičnih spletnih iskalnikov in brez uporabe LLM. Rezultati so pričakovani: uporaba LLM negativno vpliva na kognitivne sposobnosti, o čemer so pripravili rokopis na arXiv, ki obsega dobrih dvesto strani! Rokopis še ni recenziran.

V študiji so preiskovali 54 posameznikov, ki so jih razporedili v omenjene tri skupine. Nato so jih zamenjali, in sicer so uporabniki LLM morali začeti pisati sami, medtem ko so ljudje brez LLM te v nadaljevanju dobili na razpolago. Med poizkusom so merili možgansko aktivnost z EEG, ocenjevali kakovost esejev, analizirali eseje in na koncu še intervjuvali udeležence o njihovih občutkih.

Rezultati niso presenetili. Udeleženci, ki so uporabljali LLM, so se manj poistovetili s svojimi izdelki, niso jih občutili kot zares svoje, niso znali...

Slo-Tech - Kakor je Stability mešal štrene OpenAI-ju s svojim modelom za ustvarjanje slik Stable Diffusion, mu bodo tudi pri jezikovnih modelih. Pripravili so odprtkodni jezikovni model StableLM, ki je pod licenco CC BY-SA-4.0 na voljo vsakomur. Koda je dostopna na GitHubu, preizkusimo pa jo lahko na Hugging Face ali Replicate. Verzija za pogovor je takisto že dostopna.

StableLM je naučen na treh in sedmih milijardah parametrov, kar je precej manj od ChatGPT-jevih 175 milijard. Sicer prihajata tudi verziji s 15 in 65 milijardami parametrov, a velikost modela ni vse. StableLM v svoji srži smiselno nadaljuje besedilo, ki ga začne človek z ukazom (prompt), rezultat pa so smiselni odgovori. StableLM se lahko pogovarja kot človek, lahko pa tudi piše kodo. Ta je po prvih preizkusih še malce bolj robata kakor pri ChatGPT, a večja modela bosta bržkone boljša. Še vedno pa je boljši od Facebookovega LLaMA, dasiravno GPT-3.5 ali GPT-4.0 še ne dosega. StableLM se je učil na odprtem korpusu podatkov, ki...

Microsoft - Po govoricah in izpustih informacij so pri Microsoftu predstavili prihodnjo verzijo iskalnika Bing, ki je osrediščena okoli sprege z jezikovnim modelom GPT.

Veliki jezikovni modeli (LLMs), v prvi vrsti pa bot ChatGPT, so sprožili novo oboroževalno tekmo med tehnološkimi velikani, ki skušajo trenutno eden drugega prehiteti v najavljanju novih rešitev na tej osnovi. Po tem, ko sta Microsoft in laboratorij OpenAI, ki skrbi za ChatGPT, januarja obnovila tesno sodelovanje, so bili na potezi pri Googlu, kjer naj bi vladala kar precejšnja panika, da si bo tekmec iz Redmonda uspel priboriti pomembno prednost. Zato ni bila presenetljiva ponedeljkova najava pogovornega algoritma Bard, ki bo neposreden tekmec ChatGPT-ju. Da so z najavo v Googlu pohiteli, je bržkone kriv tudi pobeg prve podobe iskalnika Bing, pred nekaj dnevi, z vgrajenimi funkcijami modela GPT, ki so ga v Microsoftu naposled uradno pokazali danes, tudi na dogodku za novinarje.



Posodobljenemu iskalniku s pomočjo GPT-ja...

Slo-Tech - Google se je pošteno ustrašil prihodnosti, ki jo slikajo veliki jezikovni modeli, kakršen je ChatGPT. Potem ko je ChatGPT povzročil preplah v podjetju, so sedaj hitro napovedali svojo različico. Le nekaj dni po prvih špekulacijah je kar izvršni direktor Sundar Pichai V blogu zapisal, da pripravljajo eksperimentalno pogovorno umetno inteligenco. Že danes je na voljo v zaprtem krogu preizkuševalcev, v prihodnjih tednih pa naj bi jo pokazali širnemu svetu. Tako hitra napoved in splavitev storitev, ki jo reklamira sam izvršni direktor, podkrepljuje navedbe, da je v Googlu panika. Konkurenca, zlasti Microsoft, namreč že s pridom uporablja ChatGPT, ki so ga integrirali kar v Bing (ni še dostopen).

Novi pomočnik oziroma sogovornik se bo imenoval Bard in bo kakor ChatGPT na voljo brezplačno. Uporabljal bo rezultate s spleta, v čemer bo torej različen od ChatGPT, ki se je treniral na njih, a nato nima več dostopa do interneta, zato so njegovi odgovori zgodovinsko omejeni najpozneje na leto...

Slo-Tech - Pustimo vnemar pomisleke o uporabnostih in nevarnostih velikih jezikovnih modelov (LLM), med katerimi je najbolj znan ChatGPT, a vseeno je marsikdaj koristno vedeti, ali so napisali kakšno besedilo ali ne. Raziskovalci na Stanfordu so zato izdelali orodje DetectGPT, ki počne točno to. Za posamezno besedil oceni, kako verjetno je njegov avtor ChatGPT. Podrobnosti pojasnjujejo v znanstvenem rokopisu, v laični obliki pa na Twitterju. Delujoč primerek še ni na voljo javnosti, bo pa kmalu, so obljubili.

Podobna orodja že obstajajo, a to pot so uporabili zanimiv pristop, ki ne potrebuje posebnega urjenja. Ker imajo namreč dostop do orodja samega, torej do ChatGPT, lahko uporabijo kar to. Za sestavek, katerega avtentičnost želijo ugotoviti, izdelajo več manjših variacij, v katerih spreminjajo posamezne dele. Potem izračunajo log-porazdelitveno funkcijo in preverijo, kje na njej ležijo te modifikacije. Če imajo te nižjo vrednost od prvotnega sestavka, torej je slednji na delu z negativno...

Slo-Tech - Čeprav se zdi, da je ChatGPT nenadoma revolucionarno spremenil nastajanje besedil in storil, se to ni zgodilo čez noč niti ni edini. Nekateri strokovnjaki, denimo vodja umetne inteligenci pri Meti Yann LeCun, poudarjajo, da gre za lep paket, a ni nič pretresljivega, česar ni bi znali narediti tudi drugod. Podobno počnejo tudi Meta, Google in številna zagonska podjetja, dodaja.

To je sicer res, a dokler izdelek ni dostopen javnosti, težko spremeni svet. Zato se javnost največ ukvarja s ChatGPT, ki je pač dostopen sleherniku. Na sloviti univerzi Stanford imajo podobne težave kot po vseh šolah v svetu, saj so študentje začeli množično uporabljati ChatGPT. Nekateri profesorji so že prilagodili svoje predmete novi tehnologiji, prilagodili so se tudi študentje. Njegove uporabe še niso opredelili v disciplinskih pravilih, se bo pa to kmalu zgodilo. Ena izmed anket je namreč pokazala, da je vsaj 17 odstotkov študentov uporabljalo ChatGPT pri opravljanju študijskih obveznosti. Večina ga je...

Slo-Tech - Čudenje sveta nad zmožnostmi sogovornika ChatGPT ne jenja, temveč ljudje iščejo nove načine uporabe. ChatGPT se je uradno prebil tudi med znanstvenike ali pa vsaj soavtorje znanstvenih prispevkov, saj so se pojavili že štirje članki oziroma rokopisi, kjer so raziskovalci pri pisanju uporabili ChatGPT in ga tudi navedli med soavtorji. Jasnih pravil na tem področju še ni, zato bodo morali uredniki, založniki in raziskovalci stakniti glave in ugotoviti, kako regulirati novo tehnologijo. Od novembra, ko je postala javno dostopna, jo namreč lahko uporablja kdorkoli.

Kot veliki jezikovni model in napreden algoritem strojnega učenja se je ChatGPT naučil iz ogromnih količin besedil na internetu. Rezultat je prepričljivo posnemanje človeškega jezika, a o globljem razumevanju ne moremo govoriti, saj se ChatGPT brez težave tudi zlaže ali odgovori popolne neumnosti. Medtem ko so njegovi eseji za šolsko rabo videti prepričljivi, je v znanosti trenutno žgoče vprašanje, kako in v kolikšni meri...

Slo-Tech - Odkar je ChatGPT javno dostopen, se uporabniki čudijo nad najrazličnejšimi vlogami, ki jih je sposoben prevzeti, in nalogami, ki jim je kos. Mednje sodi tudi pisanje povzetkov (abstract) znanstvenih člankov, ki predstavljajo ključno vstopno točko v objavo in često določajo, ali bo nek članek pritegnil pozornost bralca. Pri tem je ChatGPT tako dober, da v številnih primerih znanstveniki ne morejo ugotoviti, ali je nek povzetek napisal človek ali ChatGPT. Raziskovalci z dveh chicaških univerz v (še nerecenziranem) rokopisu poročajo o raziskavi, kjer so ugotavljali, kako dobri so ti povzetki.

Rezultati so zaskrbljujoči, saj ChatGPT piše povzetke, ki so dovolj dobri, da znanstvenike često preslepijo. Za 50 medicinskih revij so poiskali primerne naslove, ki so bili že objavljeni, nato pa ChatGPT naročili, naj napiše povzetek članka glede na ta naslov. Te so potem primerjali z resničnimi povzetki na različne načine. Uporabili so detektor plagiatorstva, detektor pisanja z umetno...

Slo-Tech - V New Yorku so se odločili na šolskih omrežjih in napravah blokirati dostop do orodja ChatGPT. Za blokado so se odločili zaradi negativnih vplivov na učenje ter pomislekov glede varnosti in resničnosti vsebin, ki jih ChatGPT podaja. Dodali so, da ChatGPT lahko podaja hitre in preproste odgovore na vprašanja, a ne omogoča razvoja kritičnega mišljenja in sposobnosti analitičnega mišljenja, ki sta ključna za dober šolski rezultat in kasnejši uspeh v življenju. Dostop bo omogočen le po zaprosilu, če se prosilec ukvarja s študijem umetne inteligence.

Ko se je ChatGPT odprl javnosti, so učitelji in učenci hitro ugotovili, da so njegovi eseji zelo prepričljivi. Nekateri bolj katastrofični zapisi so napovedovali kar konec poučevanja angleščine, kot ga poznamo. Tako hudo verjetno ne bo, a ChatGPT se v celoti ne bo možno izogniti. Četudi bo blokiran na šolskih omrežjih in napravah, je še vedno dostopen na mobilnih omrežjih, na domačih računalnikih in povsod drugod. Podobni pomisleki so bili...

openai.com - Prejšnji teden je svoj pogovorni algoritem predstavil tudi OpenAI. ChatGPT je osnovan na jezikovnem modelu GPT-3, uporabniki pa so ga kljub vgrajenim varovalkam že sprovocirali v izgovarjanje vsakovrstnih neumnosti.

Fiasko računalniške sogovornice Tay je očitno pozabljen, kajti letos so velikani s področja strojnega učenja preporodili javno preizkušanje chatbotov, torej pogovornih algoritmov. Po Meti in Googlu so se sedaj opogumili tudi pri OpenAIju in predstavili ChatGPT, pogovornega bota, ki je seveda osnovan na njihovem proslavljenem velikem jezikovnem modelu GPT-3. Bot je na voljo prosto in trenutno tudi še brez oglasov, zato ga je v le nekaj dneh že preizkusilo milijon ljudi, ni pa še jasno, kako dolgo bo tako dostopen, ker vodja družbe Sam Altman pravi, da so cene procesiranja visoke. ChatGPT je deklarirano še za odtenek zmogljivejši od konkurentov; in sicer zato, ker so klasičnemu receptu botov na osnovi velikih jezikovnih modelov - se pravi popolnjevanju teksta z...