Meta - Pri Meti so po mesecih napovedi izdali prvi odprtoutežni jezikovni model s prek 400 milijardami parametrov, Llamo 3.1 405B.

Bržkone največji ideološki boj pri razvoju velikih jezikovnih modelov je ta hip tisti med povsem zaprtimi modeli, kamor spada večina od razvpitih igralcev na trgu - GPT, Gemini, Claude - in pa na drugi strani ... na nek način odprtimi, kjer je vodilna Meta z družino modelov Llama. Tako Mark Zuckerberg kot vodja njegovega laboratorija za generativne modele Yann LeCun sta namreč velika zagovornika bolj odprtega razvoja takšnih algoritmov. Zato ni nenavadno, da je ob lansiranju najnovejše družine, Llama 3.1, Zuckerberg doktrino nadrobno pojasnil v spletni objavi.

Po njegovem tudi tu velja dinamika, ki smo jo lahko spremljali v vojni operacijskih sistemov med Windowsi in Linuxom - čeprav so Okna na površju komercialno uspešnejši izdelek, pa je Linux spričo svoje zanesljivosti, prilagodljivosti in svobodnosti našel pot na mnoga področja, od mobilnih naprav do...

Slo-Tech - Meta je predstavila novo generacijo generativnih modelov umetne inteligence Llama. V tretji inkarnaciji sta ta hip na voljo Llama 3 8B in Llama 3 70B, ki imata prav toliko parametrov: osem in sedemdeset milijard. V primerjavi z drugo generacijo, ki ima sicer prav toliko parametrov, predstavljata korenit skok v zmogljivosti, so dejali v Meti. Učila sta se na dveh gručah s 24.000 grafičnimi procesorji.

Zagotovo vsak avtor hvali svoj model kot najboljši, zato nas zanimajo oprijemljivi številčni podatki. Meta trdi, da sta modela na testih MMLU, ARC, DROP, GPQA, HumanEval, GSM-8K, MATH, AGIEval in BIG-Bench Hard boljša od konkurence, denimo Mistrala 7B in Gemme 7B. To sicer drži, a na nekaterih testih je Llama 3 8B le za odtenek boljša, omenjena konkurenta pa tudi nista več najnovejša. Llama 3 70B premaga tudi Gemini 1.5 Pro, ne pa na primer Claude 3 Opus. Odveč je dodati, da je na lastnem testu, ki si ga je izmislila Meta, Llama 3 prekosila konkurenco.

Llama 3 je naučen na 15...

Google - Pretekli teden so pri Googlu pokazali Gemmo, svoj prvi veliki jezikovni model z javnimi utežnimi parametri, ki je očitno namenjen predvsem spopadu z Metino družino odprtih modelov LLaMA.

Na področju velikih jezikovnih modelov poteka vrsta ideoloških bitk; poleg tiste med "doomerji", ki menijo, da lahko LLMji pripeljejo do nevarne splošne umetne inteligence, in njihovimi nasprotniki, pa spopada med podjetji in strokovnjaki za etiko, še najmanj tisti med pristaši zaprtih in odprtih modelov. Med prve spadajo trenutno najbolj razvpiti velikani, kot sta OpenAI in Google, ki v svoje programje ne dovolijo kdovekoliko vpogleda. Med drugimi so razvijalci LLMjev, ki o svojih stvaritvah objavijo več podatkov, v prvi vrsti strukturo nevronske mreže in pa "uteži" (weights), najpomembnejšo podmnožico parametrov nekega modela, ki določa, kaj se je mreža naučila iz podatkov. Malce ironično je tu glavni igralec Meta, po zaslugi svojega laboratorija FAIR, kjer razvoj vodi Yann LeCun, in modelov...

Slo-Tech - V skladu z Googlovim frontalnim napadom na umetno inteligenco, ki jo želijo uvesti povsod, so ta teden izdali tudi jezikovni model za glasbo. MusicLM, za katerega so še januarja ob tehnični predstavitvi zatrjevali, da javnosti še lep čas ne bo dostopen, je sedaj tu za vsakogar. Za preizkus se je treba registrirati.

MusicLM je na voljo v okviru aplikacije AI Test Kitchen na spletu, iOS ali Androidu. Uporabnikom omogoča, da iz besednih ukazov ustvarijo melodije. Podobno kot vizualni ali besedilni sorodniki je MusicLM tako iznajdljiv, kolikor je prožen ukaz (prompt). Pri ustvarjanju glasbe se obnese najbolje, če želeni rezultat čim bolj opišemo: zvrst in slog, ton, vzdušje, kakšna čustva naj budi itd.

Zanimivo je, da je Google januarja kot glavni pomislek pri hitri izdaji navajal etične izzive in avtorske pravice, saj je model rad vključeval avtorsko zaščitene drobce. A kot kaže, se je Google v sledečih mesecih z glasbeniki in založniki uspel dokopati do rešitve, ki je sprejemljiva....

Slo-Tech - Kakor je Stability mešal štrene OpenAI-ju s svojim modelom za ustvarjanje slik Stable Diffusion, mu bodo tudi pri jezikovnih modelih. Pripravili so odprtkodni jezikovni model StableLM, ki je pod licenco CC BY-SA-4.0 na voljo vsakomur. Koda je dostopna na GitHubu, preizkusimo pa jo lahko na Hugging Face ali Replicate. Verzija za pogovor je takisto že dostopna.

StableLM je naučen na treh in sedmih milijardah parametrov, kar je precej manj od ChatGPT-jevih 175 milijard. Sicer prihajata tudi verziji s 15 in 65 milijardami parametrov, a velikost modela ni vse. StableLM v svoji srži smiselno nadaljuje besedilo, ki ga začne človek z ukazom (prompt), rezultat pa so smiselni odgovori. StableLM se lahko pogovarja kot človek, lahko pa tudi piše kodo. Ta je po prvih preizkusih še malce bolj robata kakor pri ChatGPT, a večja modela bosta bržkone boljša. Še vedno pa je boljši od Facebookovega LLaMA, dasiravno GPT-3.5 ali GPT-4.0 še ne dosega. StableLM se je učil na odprtem korpusu podatkov, ki...

Slo-Tech - Google se pridružuje jezikovnim modelom, ki so kljub že precej dolgi zgodovini šele v zadnjih mesecih obnoreli svet. Da ne bi OpenAI s svojimi modeli GPT pobegnil predaleč, je Google odprl API za dostop do svojega modela PaLM. Ta je podoben kot GPT ali Metin LLaMA, prvikrat pa so ga napovedali že pred letom dni. PaLM je večnamenski model, ki ga lahko natreniramo za pisanje kode, iskanje informacij, povzemanje besedil ali zgolj pogovarjanje.

Hkrati je Google izdal še aplikacijo MakerSuite, ki omogoča lažje rokovanje s PaLM-om. Z njim lahko enostavno vnašamo pozive (prompt), dodajamo sintetične podatke v podatkovne zbirke in prilagajamo obstoječe modele. To lahko storimo kar v brskalniku, računsko zahtevnejši del pa se izvede v Google Cloudu. Poleg tega je Google predstavil še precej orodij za poslovni svet, kjer moramo omeniti platformo Vertex AI za generativno umetno inteligenco - z njo podjetja urijo lastne modele strojnega učenja, ima pa dostop do nekaterih modelov Google...

Slo-Tech - ChatGPT je zaslovel, ker je bil dovolj dober in in dostopen sleherniku, a še zdaleč ni edini. Svoj jezikovni model (LLM) je razvila tudi Meta, ki se je pohvalila, da je primerljivo kakovosten, dasiravno desetkrat manjši. Poimenovali so ga LLaMA in prihaja v več inačicah, ki imajo od sedem do 65 milijard parametrov. GPT-3, na katerem temelji ChatGPT, jih ima 175 milijard. LLaMA-13B s trinajst milijardami parametri naj bi bil že boljši od ChatGPT, trdi Meta.

Meta trdi, da je njihov model povsem združljiv z avtorskimi pravicami, saj so pri treningu uporabljali le prosto dostopna besedila. V praksi so to na primer Wikipedia, korpus Common Crawl in C4. Zato je lahko celoten model tudi javno dostopen, če se bo Meta za to odločila. Za zdaj se še ni v celoti, tako da ga enostavno ne moremo preizkusiti, lahko pa to storijo raziskovalci. Oskubljena lama je na voljo na Githubu, raziskovalci pa lahko zaprosijo za dostop do polnega modela.

Znižanje zahtevnosti modela in njegova odprtost...

Microsoft - Po govoricah in izpustih informacij so pri Microsoftu predstavili prihodnjo verzijo iskalnika Bing, ki je osrediščena okoli sprege z jezikovnim modelom GPT.

Veliki jezikovni modeli (LLMs), v prvi vrsti pa bot ChatGPT, so sprožili novo oboroževalno tekmo med tehnološkimi velikani, ki skušajo trenutno eden drugega prehiteti v najavljanju novih rešitev na tej osnovi. Po tem, ko sta Microsoft in laboratorij OpenAI, ki skrbi za ChatGPT, januarja obnovila tesno sodelovanje, so bili na potezi pri Googlu, kjer naj bi vladala kar precejšnja panika, da si bo tekmec iz Redmonda uspel priboriti pomembno prednost. Zato ni bila presenetljiva ponedeljkova najava pogovornega algoritma Bard, ki bo neposreden tekmec ChatGPT-ju. Da so z najavo v Googlu pohiteli, je bržkone kriv tudi pobeg prve podobe iskalnika Bing, pred nekaj dnevi, z vgrajenimi funkcijami modela GPT, ki so ga v Microsoftu naposled uradno pokazali danes, tudi na dogodku za novinarje.



Posodobljenemu iskalniku s pomočjo GPT-ja...

Slo-Tech - Google se je pošteno ustrašil prihodnosti, ki jo slikajo veliki jezikovni modeli, kakršen je ChatGPT. Potem ko je ChatGPT povzročil preplah v podjetju, so sedaj hitro napovedali svojo različico. Le nekaj dni po prvih špekulacijah je kar izvršni direktor Sundar Pichai V blogu zapisal, da pripravljajo eksperimentalno pogovorno umetno inteligenco. Že danes je na voljo v zaprtem krogu preizkuševalcev, v prihodnjih tednih pa naj bi jo pokazali širnemu svetu. Tako hitra napoved in splavitev storitev, ki jo reklamira sam izvršni direktor, podkrepljuje navedbe, da je v Googlu panika. Konkurenca, zlasti Microsoft, namreč že s pridom uporablja ChatGPT, ki so ga integrirali kar v Bing (ni še dostopen).

Novi pomočnik oziroma sogovornik se bo imenoval Bard in bo kakor ChatGPT na voljo brezplačno. Uporabljal bo rezultate s spleta, v čemer bo torej različen od ChatGPT, ki se je treniral na njih, a nato nima več dostopa do interneta, zato so njegovi odgovori zgodovinsko omejeni najpozneje na leto...

Slo-Tech - Čeprav se zdi, da je ChatGPT nenadoma revolucionarno spremenil nastajanje besedil in storil, se to ni zgodilo čez noč niti ni edini. Nekateri strokovnjaki, denimo vodja umetne inteligenci pri Meti Yann LeCun, poudarjajo, da gre za lep paket, a ni nič pretresljivega, česar ni bi znali narediti tudi drugod. Podobno počnejo tudi Meta, Google in številna zagonska podjetja, dodaja.

To je sicer res, a dokler izdelek ni dostopen javnosti, težko spremeni svet. Zato se javnost največ ukvarja s ChatGPT, ki je pač dostopen sleherniku. Na sloviti univerzi Stanford imajo podobne težave kot po vseh šolah v svetu, saj so študentje začeli množično uporabljati ChatGPT. Nekateri profesorji so že prilagodili svoje predmete novi tehnologiji, prilagodili so se tudi študentje. Njegove uporabe še niso opredelili v disciplinskih pravilih, se bo pa to kmalu zgodilo. Ena izmed anket je namreč pokazala, da je vsaj 17 odstotkov študentov uporabljalo ChatGPT pri opravljanju študijskih obveznosti. Večina ga je...

Slo-Tech - Čudenje sveta nad zmožnostmi sogovornika ChatGPT ne jenja, temveč ljudje iščejo nove načine uporabe. ChatGPT se je uradno prebil tudi med znanstvenike ali pa vsaj soavtorje znanstvenih prispevkov, saj so se pojavili že štirje članki oziroma rokopisi, kjer so raziskovalci pri pisanju uporabili ChatGPT in ga tudi navedli med soavtorji. Jasnih pravil na tem področju še ni, zato bodo morali uredniki, založniki in raziskovalci stakniti glave in ugotoviti, kako regulirati novo tehnologijo. Od novembra, ko je postala javno dostopna, jo namreč lahko uporablja kdorkoli.

Kot veliki jezikovni model in napreden algoritem strojnega učenja se je ChatGPT naučil iz ogromnih količin besedil na internetu. Rezultat je prepričljivo posnemanje človeškega jezika, a o globljem razumevanju ne moremo govoriti, saj se ChatGPT brez težave tudi zlaže ali odgovori popolne neumnosti. Medtem ko so njegovi eseji za šolsko rabo videti prepričljivi, je v znanosti trenutno žgoče vprašanje, kako in v kolikšni meri...

openai.com - Prejšnji teden je svoj pogovorni algoritem predstavil tudi OpenAI. ChatGPT je osnovan na jezikovnem modelu GPT-3, uporabniki pa so ga kljub vgrajenim varovalkam že sprovocirali v izgovarjanje vsakovrstnih neumnosti.

Fiasko računalniške sogovornice Tay je očitno pozabljen, kajti letos so velikani s področja strojnega učenja preporodili javno preizkušanje chatbotov, torej pogovornih algoritmov. Po Meti in Googlu so se sedaj opogumili tudi pri OpenAIju in predstavili ChatGPT, pogovornega bota, ki je seveda osnovan na njihovem proslavljenem velikem jezikovnem modelu GPT-3. Bot je na voljo prosto in trenutno tudi še brez oglasov, zato ga je v le nekaj dneh že preizkusilo milijon ljudi, ni pa še jasno, kako dolgo bo tako dostopen, ker vodja družbe Sam Altman pravi, da so cene procesiranja visoke. ChatGPT je deklarirano še za odtenek zmogljivejši od konkurentov; in sicer zato, ker so klasičnemu receptu botov na osnovi velikih jezikovnih modelov - se pravi popolnjevanju teksta z...