Meta - Pri Meti so po mesecih napovedi izdali prvi odprtoutežni jezikovni model s prek 400 milijardami parametrov, Llamo 3.1 405B.

Bržkone največji ideološki boj pri razvoju velikih jezikovnih modelov je ta hip tisti med povsem zaprtimi modeli, kamor spada večina od razvpitih igralcev na trgu - GPT, Gemini, Claude - in pa na drugi strani ... na nek način odprtimi, kjer je vodilna Meta z družino modelov Llama. Tako Mark Zuckerberg kot vodja njegovega laboratorija za generativne modele Yann LeCun sta namreč velika zagovornika bolj odprtega razvoja takšnih algoritmov. Zato ni nenavadno, da je ob lansiranju najnovejše družine, Llama 3.1, Zuckerberg doktrino nadrobno pojasnil v spletni objavi.

Po njegovem tudi tu velja dinamika, ki smo jo lahko spremljali v vojni operacijskih sistemov med Windowsi in Linuxom - čeprav so Okna na površju komercialno uspešnejši izdelek, pa je Linux spričo svoje zanesljivosti, prilagodljivosti in svobodnosti našel pot na mnoga področja, od mobilnih naprav do...

Slo-Tech - Vendarle smo slišali pričakovane vesti iz Redmonda, da Microsoft vendarle razvija lasten veliki jezikovni model. Za zdaj poimenovan MAI-1 bo imel pol bilijona parametrov, s čimer bo konkuriral Googlovemu Geminiju in OpenAI-jevemu ChatGPT-ju četrte generacije. Predstaviti ga utegnejo že ta mesec na konferenci Build. Projekt vodi Mustafa Suleyman iz podjetja Inflection AI, ki ga je Microsoft prevzel marca letos.

Microsoftov poslovni odnos do umetne inteligence je zanimiv. Na pomembnost področja je Bill Gates opozoril že pred leti, podjetje pa je nato investiralo več kot deset milijard dolarjev v OpenAI. Odločitev se jim je izplačala, saj je njihov model GPT-4 med najbolj priljubljenimi na svetu, Microsoft pa ga je smel integrirati v svoj Copilot, Bing in druge izdelke. A vendarle bi bilo nenavadno, če bi Microsoft uporabljal zgolj tuje orodje, sam pa ne bi poizkušal ničesar razviti, razen če je dolgoročni načrt prevzeti OpenAI, kar pa zaradi kompleksne lastniške strukture ni prav...

Slo-Tech - Meta je predstavila novo generacijo generativnih modelov umetne inteligence Llama. V tretji inkarnaciji sta ta hip na voljo Llama 3 8B in Llama 3 70B, ki imata prav toliko parametrov: osem in sedemdeset milijard. V primerjavi z drugo generacijo, ki ima sicer prav toliko parametrov, predstavljata korenit skok v zmogljivosti, so dejali v Meti. Učila sta se na dveh gručah s 24.000 grafičnimi procesorji.

Zagotovo vsak avtor hvali svoj model kot najboljši, zato nas zanimajo oprijemljivi številčni podatki. Meta trdi, da sta modela na testih MMLU, ARC, DROP, GPQA, HumanEval, GSM-8K, MATH, AGIEval in BIG-Bench Hard boljša od konkurence, denimo Mistrala 7B in Gemme 7B. To sicer drži, a na nekaterih testih je Llama 3 8B le za odtenek boljša, omenjena konkurenta pa tudi nista več najnovejša. Llama 3 70B premaga tudi Gemini 1.5 Pro, ne pa na primer Claude 3 Opus. Odveč je dodati, da je na lastnem testu, ki si ga je izmislila Meta, Llama 3 prekosila konkurenco.

Llama 3 je naučen na 15...

Google - Pretekli teden so pri Googlu pokazali Gemmo, svoj prvi veliki jezikovni model z javnimi utežnimi parametri, ki je očitno namenjen predvsem spopadu z Metino družino odprtih modelov LLaMA.

Na področju velikih jezikovnih modelov poteka vrsta ideoloških bitk; poleg tiste med "doomerji", ki menijo, da lahko LLMji pripeljejo do nevarne splošne umetne inteligence, in njihovimi nasprotniki, pa spopada med podjetji in strokovnjaki za etiko, še najmanj tisti med pristaši zaprtih in odprtih modelov. Med prve spadajo trenutno najbolj razvpiti velikani, kot sta OpenAI in Google, ki v svoje programje ne dovolijo kdovekoliko vpogleda. Med drugimi so razvijalci LLMjev, ki o svojih stvaritvah objavijo več podatkov, v prvi vrsti strukturo nevronske mreže in pa "uteži" (weights), najpomembnejšo podmnožico parametrov nekega modela, ki določa, kaj se je mreža naučila iz podatkov. Malce ironično je tu glavni igralec Meta, po zaslugi svojega laboratorija FAIR, kjer razvoj vodi Yann LeCun, in modelov...

Google - Pri Googlu so naznanili nastop multimodalnega velikega generativnega modela Gemini, neposrednega tekmeca GPT-4 in tehnologije, na kateri nameravajo graditi prihodnost svojih storitev.

Vse od lanskoletnega lansiranja ChatGPTja je bilo videti, da je navezi OpenAIja in Microsofta uspelo svojega poglavitnega tekmeca Googla grdo presenetiti. Čeprav so ravno Googlovi laboratoriji zaslužni za pretežni del teoretičnih prebojev v razvoju strojnega učenja, se je velikan zaradi ChatGPTja nenadoma znašel v zaostanku in znotraj vodstva naj bi zavladala panika, ki je botrovala prenekaterim spremembam, od vrnitve Larryja Paga in Sergeya Brina v aktivnejšo svetovalno vlogo pa do združitve oddelkov Brain in DeepMind. Sedaj so v podjetju najavili prvi praktični rezultat reform, multimodalni generativni UI model Gemini. V osnovi gre za naslednika velikega jezikovnega modela PaLM 2, toda Gemini je bil že od začetka načrtovan mnogo bolj širokopotezno. To se najbolj odraža v njegovi multimodalnosti,...

Slo-Tech - Kakor je Stability mešal štrene OpenAI-ju s svojim modelom za ustvarjanje slik Stable Diffusion, mu bodo tudi pri jezikovnih modelih. Pripravili so odprtkodni jezikovni model StableLM, ki je pod licenco CC BY-SA-4.0 na voljo vsakomur. Koda je dostopna na GitHubu, preizkusimo pa jo lahko na Hugging Face ali Replicate. Verzija za pogovor je takisto že dostopna.

StableLM je naučen na treh in sedmih milijardah parametrov, kar je precej manj od ChatGPT-jevih 175 milijard. Sicer prihajata tudi verziji s 15 in 65 milijardami parametrov, a velikost modela ni vse. StableLM v svoji srži smiselno nadaljuje besedilo, ki ga začne človek z ukazom (prompt), rezultat pa so smiselni odgovori. StableLM se lahko pogovarja kot človek, lahko pa tudi piše kodo. Ta je po prvih preizkusih še malce bolj robata kakor pri ChatGPT, a večja modela bosta bržkone boljša. Še vedno pa je boljši od Facebookovega LLaMA, dasiravno GPT-3.5 ali GPT-4.0 še ne dosega. StableLM se je učil na odprtem korpusu podatkov, ki...

Slo-Tech - Google se pridružuje jezikovnim modelom, ki so kljub že precej dolgi zgodovini šele v zadnjih mesecih obnoreli svet. Da ne bi OpenAI s svojimi modeli GPT pobegnil predaleč, je Google odprl API za dostop do svojega modela PaLM. Ta je podoben kot GPT ali Metin LLaMA, prvikrat pa so ga napovedali že pred letom dni. PaLM je večnamenski model, ki ga lahko natreniramo za pisanje kode, iskanje informacij, povzemanje besedil ali zgolj pogovarjanje.

Hkrati je Google izdal še aplikacijo MakerSuite, ki omogoča lažje rokovanje s PaLM-om. Z njim lahko enostavno vnašamo pozive (prompt), dodajamo sintetične podatke v podatkovne zbirke in prilagajamo obstoječe modele. To lahko storimo kar v brskalniku, računsko zahtevnejši del pa se izvede v Google Cloudu. Poleg tega je Google predstavil še precej orodij za poslovni svet, kjer moramo omeniti platformo Vertex AI za generativno umetno inteligenco - z njo podjetja urijo lastne modele strojnega učenja, ima pa dostop do nekaterih modelov Google...

Slo-Tech - ChatGPT je zaslovel, ker je bil dovolj dober in in dostopen sleherniku, a še zdaleč ni edini. Svoj jezikovni model (LLM) je razvila tudi Meta, ki se je pohvalila, da je primerljivo kakovosten, dasiravno desetkrat manjši. Poimenovali so ga LLaMA in prihaja v več inačicah, ki imajo od sedem do 65 milijard parametrov. GPT-3, na katerem temelji ChatGPT, jih ima 175 milijard. LLaMA-13B s trinajst milijardami parametri naj bi bil že boljši od ChatGPT, trdi Meta.

Meta trdi, da je njihov model povsem združljiv z avtorskimi pravicami, saj so pri treningu uporabljali le prosto dostopna besedila. V praksi so to na primer Wikipedia, korpus Common Crawl in C4. Zato je lahko celoten model tudi javno dostopen, če se bo Meta za to odločila. Za zdaj se še ni v celoti, tako da ga enostavno ne moremo preizkusiti, lahko pa to storijo raziskovalci. Oskubljena lama je na voljo na Githubu, raziskovalci pa lahko zaprosijo za dostop do polnega modela.

Znižanje zahtevnosti modela in njegova odprtost...

openai.com - Prejšnji teden je svoj pogovorni algoritem predstavil tudi OpenAI. ChatGPT je osnovan na jezikovnem modelu GPT-3, uporabniki pa so ga kljub vgrajenim varovalkam že sprovocirali v izgovarjanje vsakovrstnih neumnosti.

Fiasko računalniške sogovornice Tay je očitno pozabljen, kajti letos so velikani s področja strojnega učenja preporodili javno preizkušanje chatbotov, torej pogovornih algoritmov. Po Meti in Googlu so se sedaj opogumili tudi pri OpenAIju in predstavili ChatGPT, pogovornega bota, ki je seveda osnovan na njihovem proslavljenem velikem jezikovnem modelu GPT-3. Bot je na voljo prosto in trenutno tudi še brez oglasov, zato ga je v le nekaj dneh že preizkusilo milijon ljudi, ni pa še jasno, kako dolgo bo tako dostopen, ker vodja družbe Sam Altman pravi, da so cene procesiranja visoke. ChatGPT je deklarirano še za odtenek zmogljivejši od konkurentov; in sicer zato, ker so klasičnemu receptu botov na osnovi velikih jezikovnih modelov - se pravi popolnjevanju teksta z...