Meta - Pri Meti so po mesecih napovedi izdali prvi odprtoutežni jezikovni model s prek 400 milijardami parametrov, Llamo 3.1 405B.

Bržkone največji ideološki boj pri razvoju velikih jezikovnih modelov je ta hip tisti med povsem zaprtimi modeli, kamor spada večina od razvpitih igralcev na trgu - GPT, Gemini, Claude - in pa na drugi strani ... na nek način odprtimi, kjer je vodilna Meta z družino modelov Llama. Tako Mark Zuckerberg kot vodja njegovega laboratorija za generativne modele Yann LeCun sta namreč velika zagovornika bolj odprtega razvoja takšnih algoritmov. Zato ni nenavadno, da je ob lansiranju najnovejše družine, Llama 3.1, Zuckerberg doktrino nadrobno pojasnil v spletni objavi.

Po njegovem tudi tu velja dinamika, ki smo jo lahko spremljali v vojni operacijskih sistemov med Windowsi in Linuxom - čeprav so Okna na površju komercialno uspešnejši izdelek, pa je Linux spričo svoje zanesljivosti, prilagodljivosti in svobodnosti našel pot na mnoga področja, od mobilnih naprav do...

Slo-Tech - Meta je predstavila novo generacijo generativnih modelov umetne inteligence Llama. V tretji inkarnaciji sta ta hip na voljo Llama 3 8B in Llama 3 70B, ki imata prav toliko parametrov: osem in sedemdeset milijard. V primerjavi z drugo generacijo, ki ima sicer prav toliko parametrov, predstavljata korenit skok v zmogljivosti, so dejali v Meti. Učila sta se na dveh gručah s 24.000 grafičnimi procesorji.

Zagotovo vsak avtor hvali svoj model kot najboljši, zato nas zanimajo oprijemljivi številčni podatki. Meta trdi, da sta modela na testih MMLU, ARC, DROP, GPQA, HumanEval, GSM-8K, MATH, AGIEval in BIG-Bench Hard boljša od konkurence, denimo Mistrala 7B in Gemme 7B. To sicer drži, a na nekaterih testih je Llama 3 8B le za odtenek boljša, omenjena konkurenta pa tudi nista več najnovejša. Llama 3 70B premaga tudi Gemini 1.5 Pro, ne pa na primer Claude 3 Opus. Odveč je dodati, da je na lastnem testu, ki si ga je izmislila Meta, Llama 3 prekosila konkurenco.

Llama 3 je naučen na 15...

Google - Pretekli teden so pri Googlu pokazali Gemmo, svoj prvi veliki jezikovni model z javnimi utežnimi parametri, ki je očitno namenjen predvsem spopadu z Metino družino odprtih modelov LLaMA.

Na področju velikih jezikovnih modelov poteka vrsta ideoloških bitk; poleg tiste med "doomerji", ki menijo, da lahko LLMji pripeljejo do nevarne splošne umetne inteligence, in njihovimi nasprotniki, pa spopada med podjetji in strokovnjaki za etiko, še najmanj tisti med pristaši zaprtih in odprtih modelov. Med prve spadajo trenutno najbolj razvpiti velikani, kot sta OpenAI in Google, ki v svoje programje ne dovolijo kdovekoliko vpogleda. Med drugimi so razvijalci LLMjev, ki o svojih stvaritvah objavijo več podatkov, v prvi vrsti strukturo nevronske mreže in pa "uteži" (weights), najpomembnejšo podmnožico parametrov nekega modela, ki določa, kaj se je mreža naučila iz podatkov. Malce ironično je tu glavni igralec Meta, po zaslugi svojega laboratorija FAIR, kjer razvoj vodi Yann LeCun, in modelov...

Slo-Tech - V skladu z Googlovim frontalnim napadom na umetno inteligenco, ki jo želijo uvesti povsod, so ta teden izdali tudi jezikovni model za glasbo. MusicLM, za katerega so še januarja ob tehnični predstavitvi zatrjevali, da javnosti še lep čas ne bo dostopen, je sedaj tu za vsakogar. Za preizkus se je treba registrirati.

MusicLM je na voljo v okviru aplikacije AI Test Kitchen na spletu, iOS ali Androidu. Uporabnikom omogoča, da iz besednih ukazov ustvarijo melodije. Podobno kot vizualni ali besedilni sorodniki je MusicLM tako iznajdljiv, kolikor je prožen ukaz (prompt). Pri ustvarjanju glasbe se obnese najbolje, če želeni rezultat čim bolj opišemo: zvrst in slog, ton, vzdušje, kakšna čustva naj budi itd.

Zanimivo je, da je Google januarja kot glavni pomislek pri hitri izdaji navajal etične izzive in avtorske pravice, saj je model rad vključeval avtorsko zaščitene drobce. A kot kaže, se je Google v sledečih mesecih z glasbeniki in založniki uspel dokopati do rešitve, ki je sprejemljiva....

Slo-Tech - Kakor je Stability mešal štrene OpenAI-ju s svojim modelom za ustvarjanje slik Stable Diffusion, mu bodo tudi pri jezikovnih modelih. Pripravili so odprtkodni jezikovni model StableLM, ki je pod licenco CC BY-SA-4.0 na voljo vsakomur. Koda je dostopna na GitHubu, preizkusimo pa jo lahko na Hugging Face ali Replicate. Verzija za pogovor je takisto že dostopna.

StableLM je naučen na treh in sedmih milijardah parametrov, kar je precej manj od ChatGPT-jevih 175 milijard. Sicer prihajata tudi verziji s 15 in 65 milijardami parametrov, a velikost modela ni vse. StableLM v svoji srži smiselno nadaljuje besedilo, ki ga začne človek z ukazom (prompt), rezultat pa so smiselni odgovori. StableLM se lahko pogovarja kot človek, lahko pa tudi piše kodo. Ta je po prvih preizkusih še malce bolj robata kakor pri ChatGPT, a večja modela bosta bržkone boljša. Še vedno pa je boljši od Facebookovega LLaMA, dasiravno GPT-3.5 ali GPT-4.0 še ne dosega. StableLM se je učil na odprtem korpusu podatkov, ki...

Slo-Tech - Google se pridružuje jezikovnim modelom, ki so kljub že precej dolgi zgodovini šele v zadnjih mesecih obnoreli svet. Da ne bi OpenAI s svojimi modeli GPT pobegnil predaleč, je Google odprl API za dostop do svojega modela PaLM. Ta je podoben kot GPT ali Metin LLaMA, prvikrat pa so ga napovedali že pred letom dni. PaLM je večnamenski model, ki ga lahko natreniramo za pisanje kode, iskanje informacij, povzemanje besedil ali zgolj pogovarjanje.

Hkrati je Google izdal še aplikacijo MakerSuite, ki omogoča lažje rokovanje s PaLM-om. Z njim lahko enostavno vnašamo pozive (prompt), dodajamo sintetične podatke v podatkovne zbirke in prilagajamo obstoječe modele. To lahko storimo kar v brskalniku, računsko zahtevnejši del pa se izvede v Google Cloudu. Poleg tega je Google predstavil še precej orodij za poslovni svet, kjer moramo omeniti platformo Vertex AI za generativno umetno inteligenco - z njo podjetja urijo lastne modele strojnega učenja, ima pa dostop do nekaterih modelov Google...

Slo-Tech - ChatGPT je zaslovel, ker je bil dovolj dober in in dostopen sleherniku, a še zdaleč ni edini. Svoj jezikovni model (LLM) je razvila tudi Meta, ki se je pohvalila, da je primerljivo kakovosten, dasiravno desetkrat manjši. Poimenovali so ga LLaMA in prihaja v več inačicah, ki imajo od sedem do 65 milijard parametrov. GPT-3, na katerem temelji ChatGPT, jih ima 175 milijard. LLaMA-13B s trinajst milijardami parametri naj bi bil že boljši od ChatGPT, trdi Meta.

Meta trdi, da je njihov model povsem združljiv z avtorskimi pravicami, saj so pri treningu uporabljali le prosto dostopna besedila. V praksi so to na primer Wikipedia, korpus Common Crawl in C4. Zato je lahko celoten model tudi javno dostopen, če se bo Meta za to odločila. Za zdaj se še ni v celoti, tako da ga enostavno ne moremo preizkusiti, lahko pa to storijo raziskovalci. Oskubljena lama je na voljo na Githubu, raziskovalci pa lahko zaprosijo za dostop do polnega modela.

Znižanje zahtevnosti modela in njegova odprtost...

Slo-Tech - Po velikanskem uspehu jezikovnega modela ChatGPT so se novosti oklenili vsi večji igralci na tem področju. Ta teden je Microsoft že predstavil integracijo v svoj iskalnik Bing, ki se je leta neuspešno kosal z Googlom, sedaj pa je morda našel svojo nišo. ChatGPT v sodelovanju z Bingom omogoča enostavnejše iskanje, kjer z iskalnikom komuniciramo kot s človekom in mu postavljamo vprašanja. Novo sodelovanje ni presenetljivo, saj je Microsoft med večjimi vlagatelji v OpenAI, ki so napisali ChatGPT.

Sledil je Google, ki je s svojim konkurentom Bard zaostal za pričakovanji. V reklami je med drugim Bard dejal, da je teleskop James Webb poskrbel za prvi posnetek eksoplaneta, kar še zdaleč ne drži, saj so prvi posnetki že iz leta 2004. Ko se je spodrsljaj razširil po spletu, so delnice podjetja padle za 10 odstotkov. Seveda razlog ni zgolj en spodrsljaj - spomnimo, da je Windows 98 med uradno predstavitvijo Plug and Play pokazal modri zaslon - temveč Googlov zaostanek na tem področju. Sredi...

Microsoft - Po govoricah in izpustih informacij so pri Microsoftu predstavili prihodnjo verzijo iskalnika Bing, ki je osrediščena okoli sprege z jezikovnim modelom GPT.

Veliki jezikovni modeli (LLMs), v prvi vrsti pa bot ChatGPT, so sprožili novo oboroževalno tekmo med tehnološkimi velikani, ki skušajo trenutno eden drugega prehiteti v najavljanju novih rešitev na tej osnovi. Po tem, ko sta Microsoft in laboratorij OpenAI, ki skrbi za ChatGPT, januarja obnovila tesno sodelovanje, so bili na potezi pri Googlu, kjer naj bi vladala kar precejšnja panika, da si bo tekmec iz Redmonda uspel priboriti pomembno prednost. Zato ni bila presenetljiva ponedeljkova najava pogovornega algoritma Bard, ki bo neposreden tekmec ChatGPT-ju. Da so z najavo v Googlu pohiteli, je bržkone kriv tudi pobeg prve podobe iskalnika Bing, pred nekaj dnevi, z vgrajenimi funkcijami modela GPT, ki so ga v Microsoftu naposled uradno pokazali danes, tudi na dogodku za novinarje.



Posodobljenemu iskalniku s pomočjo GPT-ja...

Slo-Tech - Pustimo vnemar pomisleke o uporabnostih in nevarnostih velikih jezikovnih modelov (LLM), med katerimi je najbolj znan ChatGPT, a vseeno je marsikdaj koristno vedeti, ali so napisali kakšno besedilo ali ne. Raziskovalci na Stanfordu so zato izdelali orodje DetectGPT, ki počne točno to. Za posamezno besedil oceni, kako verjetno je njegov avtor ChatGPT. Podrobnosti pojasnjujejo v znanstvenem rokopisu, v laični obliki pa na Twitterju. Delujoč primerek še ni na voljo javnosti, bo pa kmalu, so obljubili.

Podobna orodja že obstajajo, a to pot so uporabili zanimiv pristop, ki ne potrebuje posebnega urjenja. Ker imajo namreč dostop do orodja samega, torej do ChatGPT, lahko uporabijo kar to. Za sestavek, katerega avtentičnost želijo ugotoviti, izdelajo več manjših variacij, v katerih spreminjajo posamezne dele. Potem izračunajo log-porazdelitveno funkcijo in preverijo, kje na njej ležijo te modifikacije. Če imajo te nižjo vrednost od prvotnega sestavka, torej je slednji na delu z negativno...