Slo-Tech - Veliki jezikovni modeli, ki so se pojavili v zadnjih letih, so po eni strani močno napredovali in ustvarjajo skorajda človeška besedila, po drugi strani pa so vplivali na besedišče, saj je pogostost uporabe posameznih besed drugačna kot pri naravnih govorcih. To je ena izmed značilnosti, ki jih moremo uporabiti za analizo njihove razširjenosti. Prav to so storili raziskovalci z Univerze Northwestern v Illinoisu in Univerze v Tübingenu v Nemčiji, ko so analizirali 15 milijonov povzetkov (abstract) biomedicinskih znanstvenih člankov iz baze PubMed, ki so nastali v letih 2010-2024. Lani je že 13,5 odstotka vsebin kazalo, da so pri njihovem nastanku avtorju v večji ali manjši meri uporabili velike jezikovne modele (LLM). V nekaterih vedah je ta delež dosegel 40 odstotkov. O raziskavi poročajo v reviji Science Advances.

Članek so ironično naslovili Delving into LLM-assisted writing in biomedical publications through excess vocabulary, saj je prav beseda delve z razmahom LLM-jev...

Slo-Tech - Raziskovalca z MIT-a so preverjali, kako uporaba velikih jezikovnih modelov (LLM) vpliva na aktivnost možganov med pisanjem besedil. Preiskovance so razvrstili v tri skupine, in sicer z uporabo LLM za pisanje, uporabo klasičnih spletnih iskalnikov in brez uporabe LLM. Rezultati so pričakovani: uporaba LLM negativno vpliva na kognitivne sposobnosti, o čemer so pripravili rokopis na arXiv, ki obsega dobrih dvesto strani! Rokopis še ni recenziran.

V študiji so preiskovali 54 posameznikov, ki so jih razporedili v omenjene tri skupine. Nato so jih zamenjali, in sicer so uporabniki LLM morali začeti pisati sami, medtem ko so ljudje brez LLM te v nadaljevanju dobili na razpolago. Med poizkusom so merili možgansko aktivnost z EEG, ocenjevali kakovost esejev, analizirali eseje in na koncu še intervjuvali udeležence o njihovih občutkih.

Rezultati niso presenetili. Udeleženci, ki so uporabljali LLM, so se manj poistovetili s svojimi izdelki, niso jih občutili kot zares svoje, niso znali...

Google - Pretekli teden so pri Googlu pokazali Gemmo, svoj prvi veliki jezikovni model z javnimi utežnimi parametri, ki je očitno namenjen predvsem spopadu z Metino družino odprtih modelov LLaMA.

Na področju velikih jezikovnih modelov poteka vrsta ideoloških bitk; poleg tiste med "doomerji", ki menijo, da lahko LLMji pripeljejo do nevarne splošne umetne inteligence, in njihovimi nasprotniki, pa spopada med podjetji in strokovnjaki za etiko, še najmanj tisti med pristaši zaprtih in odprtih modelov. Med prve spadajo trenutno najbolj razvpiti velikani, kot sta OpenAI in Google, ki v svoje programje ne dovolijo kdovekoliko vpogleda. Med drugimi so razvijalci LLMjev, ki o svojih stvaritvah objavijo več podatkov, v prvi vrsti strukturo nevronske mreže in pa "uteži" (weights), najpomembnejšo podmnožico parametrov nekega modela, ki določa, kaj se je mreža naučila iz podatkov. Malce ironično je tu glavni igralec Meta, po zaslugi svojega laboratorija FAIR, kjer razvoj vodi Yann LeCun, in modelov...

Slo-Tech - DeepMind je razvil že več orodij na osnovi umetne inteligence, ki so zmogla najrazličnejša opravila od igranja šaha do medicinske diagnostike. A praviloma niso uporabljala velikih jezikovnih modelov (LLM), ker so ti pri logično-matematičnih nalogah slabi. Njihov najnovejši dosežek pa združuje prav ta svetova, saj so z LLM-jem reševali matematične probleme, za katere pred tem rešitev nismo poznali. O dosežku pišejo v najnovejši številki revije Nature, prav tako so razkrili kodo.


Veliki jezikovni modeli se najbolje obnesejo, če jih sprašujemo reči, ki so zapisane v vhodnih podatkih za trening, pa še tedaj si lahko kaj izmislijo. DeepMind pa je razvil orodje FunSearch, ki se tem težavam sorazmerno uspešno izogiba. Gre za orodje, ki je namenjeno iskanju funkcij (od tod ime), kar ni prvi matematični otrok iz DeepMinda. Spomnimo, da je AlphaTensor iskal hitrejše načine množenja matrik, AlphaDev pa je izboljševal algoritme. Sedaj pa so razvili prvo orodje, ki za matematiko uporablja...

openai.com - Kot smo že nekaj časa pričakovali, so v OpenAI naposled najavili veliki jezikovni model GPT-4. Za rahlo presenečenje pa so obenem poskrbeli v Microsoftu, s priznanjem, da novi Bing Chat v bistvu na njem sloni že od začetka testiranja.

Skoraj 3 leta nas že ločijo od prvih vnašanj ukazov generativnemu jezikovnemu algoritmu, oziroma velikemu jezikovnemu modelu (LLM) GPT-3. Umotvor laboratorija OpenAI je postal eden od sinonimov za eksplozijo generativne strojne inteligence, ki je lani dosegla nove nivoje z generatorji slik in jesenskim lansiranjem pogovornega bota ChatGPT, letos pa z nebrzdano naglico poganja novo tekmo med tehnološkimi velikani. Posledica norije je bilo seveda mrzlično čakanje na novo različico GPTja, ki so ga sicer inženirji medtem iterativno nadgrajevali, tako da je bila lani v bistvu aktualna različica 3.5. Tudi šef OpenAIja, Sam Altman, je večkrat opozoril, da so pričakovanja bržkone prevelika in da bo GPT-4 nova evolucijska stopnja ter še daleč od kakšne...

Meta - Pri Meti so preizkusno lansirali chatbota BlenderBot 3, da bi ga izpopolnili na pogovorih z internetnimi uporabniki. Njegova posebnost je spoj iskanja informacij na spletu z modernimi jezikovnimi modeli.

Pred šestimi leti je Microsoftova robotska sogovornica Tay zakuhala enega odmevnejših škandalov v razvoju avtomatskih sogovornikov (ali chatbotov), ko se je pustila s strani spletnih pridaničev naučiti preklinjanja, rasizma in podobnih nečednosti. Dogodek je dejansko za nekaj časa ohladil področje eksperimentiranja s tovrstnim programjem, saj odmevnejših javnih preizkusov splošnih robotskih sogovornikov ni bilo več na spregled, razvoj pa je bil v tem času še najbolj opazen v strogo namenskih servisih, običajno za pomoč uporabnikom, spletno prodajo in podobno. Sedaj je videti, da je razmah velikih jezikovnih modelov (large language model - LLM), kakršen je razvpiti GPT-3, ponovno spodbudil tudi ukvarjanje z računalniškimi sogovorniki, ki naj bi jih teoretično lahko vprašali...