Slo-Tech - Veliki jezikovni modeli (LLM) so znani po izmišljevanju podatkov in prepričljivem odgovarjanju, četudi nimajo pojma, kar imenujemo halucinacije. Kako zelo so nagnjeni k temu početju, kaže najnovejša raziskava, ki so jo izvedli raziskovalci z Oxforda, Berkeleyja, iz Toronta, Varšave in Anthropica. Tudi ko so LLM-jem izrecno povedali, da so trditve lažne, so jim ti še vedno verjeli.

Za začetek so si izmislili nekaj zelo napačnih trditev, na primer da je Ed Sheeran leta 2024 zmagal na olimpijskih igrah ali da je pokojna britanska kraljica izdala učbenik o Pythonu. Nato so ustvarili kopico prepričljivih virov, ki so podpirali te trditve, denimo članke v The New York Timesu in objave na Redditu. Ko so modele Qwen3.5-35B-A3B, Kimi K2.5 in GPT-4.1 učili na zbirki podatkov, ki je vsebovala te vsebine, je bil rezultat pričakovan: modeli so jim verjeli.

Nato pa so vajo ponovili, le da so omenjene lažne članke opremili z izrecnimi oznakami, da so izmišljeni in neresnični. Pričakovali bi, da...

Slo-Tech - Google je predstavil nova čipa osme generacije TPU-jev, ki se imenujeta preprosto TPU 8t in TPU 8i. S tem je Google dokončno ločil čipe, ki so namenjeni treningu modelov umetne inteligence (TPU 8t - training), in čipe za poganjanje teh modelov (TPU 8i - inference). Google pravi, da bo z novimi čipi v primerjavi s prejšnjo generacijo mogoče modele poganjati od dva- do štirikrat hitreje, poraba energije pa bo 30 odstotkov nižja.

Gruča TPU 8t ima 9600 čipov, zmore 121 eksaflops (v natančnosti FP4), obojesmerni prenos podatkov z 19,2 Tb/s in komunikacijo z okolico 400 Gb/s. S tem je približno trikrat zmogljivejši od lanskega Ironwooda. Za inferenco pa ima gruča TPU 8i 1152 čipov, 11,6 eksaflops, 331,8 TB pomnilnika HBM in 19,2 Tb/s prenos podatkov. Oboji bodo na voljo še letos.

Google obljublja, da je možno gruče linearno združevati in sestaviti sisteme z več kot milijonom čipov. To je odlično za trening in uporabo večjih modelov in nekoliko manj odlično za cene pomnilnika. TPU 8t in...

Slo-Tech - Angleška Wikipedia je sprejela uradno stališče, s katerim prepoveduje uporabo generativne umetne inteligence za ustvarjanje vsebin na strani. Pisanje ali večje popravljanje in izboljševanje člankov z modeli umetne inteligence ni dovoljeno, ker krši eno osnovnih načel spletne enciklopedije. Le v nekaterih primerih bo omejena uporaba LLM-jev dovoljena.

Uredniki bodo lahko z LLM-ji popravljali lastno besedilo, če ga bodo na to še temeljito prebrali in potrdili pristnost. Enako bo veljalo za prevode besedil, a mora urednik tekoče govoriti oba jezika in na koncu preveriti prevod še sam.

Wikipedia pa ni ena sama, temveč gre za zbirko skupnosti okoli vsakega jezika posebej. Zapisano velja za prispevke v angleščini. V španski verziji so na primer LLM-je popolnoma prepovedali, dovoljeni niso niti za prevajanje. Wikipedijin administrator Chaotic Enby je dejal, da se tako borijo proti vsesplošnemu slabšanju kakovosti (enshittification) in pritisku ponudnikov umetne inteligence. Ker pa...

Slo-Tech - Raziskovalca z MIT-a so preverjali, kako uporaba velikih jezikovnih modelov (LLM) vpliva na aktivnost možganov med pisanjem besedil. Preiskovance so razvrstili v tri skupine, in sicer z uporabo LLM za pisanje, uporabo klasičnih spletnih iskalnikov in brez uporabe LLM. Rezultati so pričakovani: uporaba LLM negativno vpliva na kognitivne sposobnosti, o čemer so pripravili rokopis na arXiv, ki obsega dobrih dvesto strani! Rokopis še ni recenziran.

V študiji so preiskovali 54 posameznikov, ki so jih razporedili v omenjene tri skupine. Nato so jih zamenjali, in sicer so uporabniki LLM morali začeti pisati sami, medtem ko so ljudje brez LLM te v nadaljevanju dobili na razpolago. Med poizkusom so merili možgansko aktivnost z EEG, ocenjevali kakovost esejev, analizirali eseje in na koncu še intervjuvali udeležence o njihovih občutkih.

Rezultati niso presenetili. Udeleženci, ki so uporabljali LLM, so se manj poistovetili s svojimi izdelki, niso jih občutili kot zares svoje, niso znali...

Slo-Tech - DeepMind je razvil že več orodij na osnovi umetne inteligence, ki so zmogla najrazličnejša opravila od igranja šaha do medicinske diagnostike. A praviloma niso uporabljala velikih jezikovnih modelov (LLM), ker so ti pri logično-matematičnih nalogah slabi. Njihov najnovejši dosežek pa združuje prav ta svetova, saj so z LLM-jem reševali matematične probleme, za katere pred tem rešitev nismo poznali. O dosežku pišejo v najnovejši številki revije Nature, prav tako so razkrili kodo.


Veliki jezikovni modeli se najbolje obnesejo, če jih sprašujemo reči, ki so zapisane v vhodnih podatkih za trening, pa še tedaj si lahko kaj izmislijo. DeepMind pa je razvil orodje FunSearch, ki se tem težavam sorazmerno uspešno izogiba. Gre za orodje, ki je namenjeno iskanju funkcij (od tod ime), kar ni prvi matematični otrok iz DeepMinda. Spomnimo, da je AlphaTensor iskal hitrejše načine množenja matrik, AlphaDev pa je izboljševal algoritme. Sedaj pa so razvili prvo orodje, ki za matematiko uporablja...

CNBC - Britanski finančni minister Philip Hammond je napovedal uvedbo posebnega dvoodstotnega davka na prihodke, ki si jih od tamkajšnjih prebivalcev prislužijo velika tehnološka podjetja. Britanija torej uvaja davek, o katerem razmišljajo številne države, med njimi tudi EU in, ki bo drastično spremenil poslovni položaj družb kot so Facebook, Google in Amazon.

Digital Services Tax oz. davek na digitalne storitve bo zajel ponudnike digitalnih platform z iskalnimi pogoni, družabnimi omrežji in spletnim trgovanjem, plačala pa ga bodo le podjetja, ki imajo letno več kot 500 milijonov funtov globalnih prihodkov. Novost naj bi začela veljati leta 2020, drugih podrobnosti pa zakladnik Hammond še ni želel pojasnjevati.

Davek je tako nekakšna politična posledica folklore optimiziranja davkov, ki so...