Slo-Tech - Veliki jezikovni modeli, ki so se pojavili v zadnjih letih, so po eni strani močno napredovali in ustvarjajo skorajda človeška besedila, po drugi strani pa so vplivali na besedišče, saj je pogostost uporabe posameznih besed drugačna kot pri naravnih govorcih. To je ena izmed značilnosti, ki jih moremo uporabiti za analizo njihove razširjenosti. Prav to so storili raziskovalci z Univerze Northwestern v Illinoisu in Univerze v Tübingenu v Nemčiji, ko so analizirali 15 milijonov povzetkov (abstract) biomedicinskih znanstvenih člankov iz baze PubMed, ki so nastali v letih 2010-2024. Lani je že 13,5 odstotka vsebin kazalo, da so pri njihovem nastanku avtorju v večji ali manjši meri uporabili velike jezikovne modele (LLM). V nekaterih vedah je ta delež dosegel 40 odstotkov. O raziskavi poročajo v reviji Science Advances.

Članek so ironično naslovili Delving into LLM-assisted writing in biomedical publications through excess vocabulary, saj je prav beseda delve z razmahom LLM-jev...

Slo-Tech - Raziskovalca z MIT-a so preverjali, kako uporaba velikih jezikovnih modelov (LLM) vpliva na aktivnost možganov med pisanjem besedil. Preiskovance so razvrstili v tri skupine, in sicer z uporabo LLM za pisanje, uporabo klasičnih spletnih iskalnikov in brez uporabe LLM. Rezultati so pričakovani: uporaba LLM negativno vpliva na kognitivne sposobnosti, o čemer so pripravili rokopis na arXiv, ki obsega dobrih dvesto strani! Rokopis še ni recenziran.

V študiji so preiskovali 54 posameznikov, ki so jih razporedili v omenjene tri skupine. Nato so jih zamenjali, in sicer so uporabniki LLM morali začeti pisati sami, medtem ko so ljudje brez LLM te v nadaljevanju dobili na razpolago. Med poizkusom so merili možgansko aktivnost z EEG, ocenjevali kakovost esejev, analizirali eseje in na koncu še intervjuvali udeležence o njihovih občutkih.

Rezultati niso presenetili. Udeleženci, ki so uporabljali LLM, so se manj poistovetili s svojimi izdelki, niso jih občutili kot zares svoje, niso znali...

Slo-Tech - DeepMind je razvil že več orodij na osnovi umetne inteligence, ki so zmogla najrazličnejša opravila od igranja šaha do medicinske diagnostike. A praviloma niso uporabljala velikih jezikovnih modelov (LLM), ker so ti pri logično-matematičnih nalogah slabi. Njihov najnovejši dosežek pa združuje prav ta svetova, saj so z LLM-jem reševali matematične probleme, za katere pred tem rešitev nismo poznali. O dosežku pišejo v najnovejši številki revije Nature, prav tako so razkrili kodo.


Veliki jezikovni modeli se najbolje obnesejo, če jih sprašujemo reči, ki so zapisane v vhodnih podatkih za trening, pa še tedaj si lahko kaj izmislijo. DeepMind pa je razvil orodje FunSearch, ki se tem težavam sorazmerno uspešno izogiba. Gre za orodje, ki je namenjeno iskanju funkcij (od tod ime), kar ni prvi matematični otrok iz DeepMinda. Spomnimo, da je AlphaTensor iskal hitrejše načine množenja matrik, AlphaDev pa je izboljševal algoritme. Sedaj pa so razvili prvo orodje, ki za matematiko uporablja...

Slo-Tech - Pustimo vnemar pomisleke o uporabnostih in nevarnostih velikih jezikovnih modelov (LLM), med katerimi je najbolj znan ChatGPT, a vseeno je marsikdaj koristno vedeti, ali so napisali kakšno besedilo ali ne. Raziskovalci na Stanfordu so zato izdelali orodje DetectGPT, ki počne točno to. Za posamezno besedil oceni, kako verjetno je njegov avtor ChatGPT. Podrobnosti pojasnjujejo v znanstvenem rokopisu, v laični obliki pa na Twitterju. Delujoč primerek še ni na voljo javnosti, bo pa kmalu, so obljubili.

Podobna orodja že obstajajo, a to pot so uporabili zanimiv pristop, ki ne potrebuje posebnega urjenja. Ker imajo namreč dostop do orodja samega, torej do ChatGPT, lahko uporabijo kar to. Za sestavek, katerega avtentičnost želijo ugotoviti, izdelajo več manjših variacij, v katerih spreminjajo posamezne dele. Potem izračunajo log-porazdelitveno funkcijo in preverijo, kje na njej ležijo te modifikacije. Če imajo te nižjo vrednost od prvotnega sestavka, torej je slednji na delu z negativno...

Meta - Pri Meti so preizkusno lansirali chatbota BlenderBot 3, da bi ga izpopolnili na pogovorih z internetnimi uporabniki. Njegova posebnost je spoj iskanja informacij na spletu z modernimi jezikovnimi modeli.

Pred šestimi leti je Microsoftova robotska sogovornica Tay zakuhala enega odmevnejših škandalov v razvoju avtomatskih sogovornikov (ali chatbotov), ko se je pustila s strani spletnih pridaničev naučiti preklinjanja, rasizma in podobnih nečednosti. Dogodek je dejansko za nekaj časa ohladil področje eksperimentiranja s tovrstnim programjem, saj odmevnejših javnih preizkusov splošnih robotskih sogovornikov ni bilo več na spregled, razvoj pa je bil v tem času še najbolj opazen v strogo namenskih servisih, običajno za pomoč uporabnikom, spletno prodajo in podobno. Sedaj je videti, da je razmah velikih jezikovnih modelov (large language model - LLM), kakršen je razvpiti GPT-3, ponovno spodbudil tudi ukvarjanje z računalniškimi sogovorniki, ki naj bi jih teoretično lahko vprašali...

Slo-Tech - V mesecu septembru bomo v sodelovanju s centrom Poligon, ki se nahaja v prostorih nekdanje Tobačne tovarne na Tobačni ulici 5 v Ljubljani, organizirali štiri tematske večere, na katerih se bomo z gosti in občinstvom pogovarjali o vročih temah razvoja informacijske družbe po svetu in pri nas.

7. 9. 2015: Nevtralnost interneta

Letošnja jesen bo vroča tudi na področju regulacije in prihodnosti spleta. Na evropskih političnih parketih je namreč nov predlog za vzpostavljanje modela regulacije s spletnim prometom, ki ogroža spletne vsebine, manjše spletne založnike in poveličuje telekome, ki skušajo izboljšati svoj položaj na trgu.

Gosta: Dušan Caf, predsednik Sveta za elektronske komunikacije republike Slovenije in Aleš Špetič, digitalni glasnik republike Slovenije

14. 9. 2015: CopyRight is Wrong!

Kako je mogoče, da se je zakonodaja o avtorski pravici v zadnjem stoletju tako malo spreminjala, kako je mogoče, da na spletu veljajo isti zakoni kot v času prvih tiskarn in zakaj se...

Slo-Tech - Včeraj zvečer je v Kiberpipi potekala okrogla miza na temo ACTE. Udeležili so se je Andrej Piano, sekretar na ministrstvo za gospodarstvo, Jure Logar, državni nadzornik v Uradu informacijskega pooblaščenca, Tadej Hren, SI-CERT, dr. Maja Bogataj Jančič, LL.M., LL.M., ustanoviteljica in vodja Inštituta za intelektualno lastnino, Matija Šuklje, član društva FSFE. Iz občinstva pa posebej poudarjamo tudi prispevke informacijske pooblaščenke Nataše Pirc Musar ter direktorja Datalaba Andreja Mertlja.

Debata je postala živahnejša, ko je Informacijska pooblaščenka iz občinstva vprašala državnega sekretarja Andreja Piana, ali so na ministrstvu pripravili analizo, katere zakone bi bilo potrebno spremeniti, da bi ACTA lahko zaživela v slovenskem...