» »

Meta izdala Llamo 3

Meta izdala Llamo 3

Slo-Tech - Meta je predstavila novo generacijo generativnih modelov umetne inteligence Llama. V tretji inkarnaciji sta ta hip na voljo Llama 3 8B in Llama 3 70B, ki imata prav toliko parametrov: osem in sedemdeset milijard. V primerjavi z drugo generacijo, ki ima sicer prav toliko parametrov, predstavljata korenit skok v zmogljivosti, so dejali v Meti. Učila sta se na dveh gručah s 24.000 grafičnimi procesorji.

Zagotovo vsak avtor hvali svoj model kot najboljši, zato nas zanimajo oprijemljivi številčni podatki. Meta trdi, da sta modela na testih MMLU, ARC, DROP, GPQA, HumanEval, GSM-8K, MATH, AGIEval in BIG-Bench Hard boljša od konkurence, denimo Mistrala 7B in Gemme 7B. To sicer drži, a na nekaterih testih je Llama 3 8B le za odtenek boljša, omenjena konkurenta pa tudi nista več najnovejša. Llama 3 70B premaga tudi Gemini 1.5 Pro, ne pa na primer Claude 3 Opus. Odveč je dodati, da je na lastnem testu, ki si ga je izmislila Meta, Llama 3 prekosila konkurenco.

Llama 3 je naučen na 15 bilijonih drobcev vhodnih podatkov (tokens), kar je okrog 750 milijard besed oziroma sedemkrat več kot Llama 2. Od tega je bilo pet odstotkov besedišča v tujih jezikih (ne angleščini) in štirikrat več računalniške kode kakor v Llami 2. Tako je Llama 3 še vedno najbolj prilagojena za pisano angleščino, a se znajde tudi v drugih jezikih in pisanju kode. Meta pravi, da je novi model lažje usmerjati, da manjkrat zavrne odgovor na vprašanje, da je bolj natančen in da ve več tako o lahkotnih temah kakor zgodovini in naravoslovju in tehniki.

Še vedno pa poteka trening največjega modela Llama 3 400B, ki bo zmogel vse to in še več, tudi znanje vseh ostalih jezikov.



8 komentarjev

napsy ::

Sprobal, 8b model generira boljsi output kot mistral7b. Kakor sem prebral komentarje ljudi, ki lahko poganjajo mixtral 8x7b, je llama3 8b celo enak oz. v logiki celo boljsi od tega 24b modela
"If you die, you die. But when you live you live. There is no time to waste."

Zgodovina sprememb…

  • spremenil: napsy ()

antonija ::

A tkole:

Statistically 3 out of 4 involved usually enjoy gang-bang experience.

Zgodovina sprememb…

  • spremenilo: antonija ()

napsy ::

Ne razumem kaj zelis povedat. Subjektivnost je splosen problem pri LLM in ni specificen za llama3
"If you die, you die. But when you live you live. There is no time to waste."

antonija ::

Subjektivnost je ena stvar, kar pa opazamo pri trenutnih LLM je pa zelo ocitna cenzura. Odkar je M$ imel neslavni start svojega super-duper chatbota, se vseh AI firmam zdi najboljsa resitev hardcodati omejitve LLMjev ki na koncu izpadejo obupno. Zakaj hudica bi LLM, ki se uci na vseh dostopnih podatkih, bil tako rasisticen, da zavrne generacijo podobe zgolj zaradi barve koze? In od kdaj je to sprejemljivo??

Tukaj ne gre za "subjektivnost LLMjev", tukaj gre za debilnost razvijalcev. In sklepam da statisticno zabitost splosne populacije, da se nam zdi to OK.
Ce se gremo avtomatsko generiranje vsebine na podlagi nasega sveta (realnosti), potem se mi zdi skrajno neodgovorno "filtrirati" dele realnosti ki se nekomu ne zdijo OK. A naj izrael izda genAI ki bo za vse pojme z negativno konotaicjo prikazal arabce? Iran pa enega ki bo kazal zide za vse kar je slabega an tem svetu? Pa rusi svojega ki bo za iste konotacije kazal ukrajince (in seveda enega ukrajinskega za dobo mero)?
Statistically 3 out of 4 involved usually enjoy gang-bang experience.

napsy ::

Take a chill pill. Nevem od kod podatek, da to kar sprejemamo. To je work in progress in noben od LLM uporabnikov ni ravno navdusen nad tvojo "cenzuro".
"If you die, you die. But when you live you live. There is no time to waste."

c3p0 ::

antonija to pa ni najbolj woke stališče, better rethink it.

Karamelo ::

večina komentatorjev na raznih forumih je nestrpnih in skrajno rasističnih...da bi pustili, da se LLMji obnašajo enako brez neke cenzure, bi bilo eanko kot bi kriminalcem dal pisat zakon o pravu

antonija ::

Karamelo je izjavil:

večina komentatorjev na raznih forumih je nestrpnih in skrajno rasističnih...da bi pustili, da se LLMji obnašajo enako brez neke cenzure, bi bilo eanko kot bi kriminalcem dal pisat zakon o pravu
Prvi del je vsem jasen: folk je v povprecju izjemno glup in se zateka k extremih (levih ali desnih je skoraj vseeno, oboji so skodljivi).
Drugi del je pa spet za slisat kot kompleks boga, kjer s ebo nkedo odlocil katera cenzura in koliko le-te je ravno prava doza da bojo LLMji generirali "resnico". Nacisti niso bili crnci, niso bili azijci. Ce hocem sliko nacisticnega SSovca, bolje za LLM da bo vsaj priblizno zgodovinsko korektna, ne pa tole.
In ce bom hotel sliko crnca v zaporu (za katero ne razumem zakaj bi sama po sebi bila rasisticna, zapori imajo zelo "pisano" populacijo, in crnci iz nje niso izvzeti), naj pac to zgenerira. Sej mu ne rabi dodajat rasisticnih stereotipov, na simple prompt naj zgenerira smipl vsebino. Brez dodatkov.

To, da so pa upravljalci LLMjev dobili strasno dobro idejo, da jih bojo ucili na povrecni ljudski zabitosti (ker je tako pac najceneje), ti pa se vec pove zakaj se jim je odlocitev o arbitrarni cenzuri tudi zdela tako zelo super ideja.
Statistically 3 out of 4 involved usually enjoy gang-bang experience.


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Meta izdala Llamo 3

Oddelek: Novice / Znanost in tehnologija
83137 (1908) antonija
»

Google lansiral odprt jezikovni model Gemma

Oddelek: Novice / Ostala programska oprema
125379 (1406) ReRMh
»

OpenAI prenovil in pocenil GPT-3.5 Turbo in GPT-4 Turbo

Oddelek: Novice / Znanost in tehnologija
134344 (1088) 111111111111
»

freedomGPT

Oddelek: Loža
7630 (527) Tero
»

Meta pokazala svoj jezikovni model

Oddelek: Novice / Znanost in tehnologija
103720 (2240) Likadika

Več podobnih tem