» »

Meta pokazala svoj jezikovni model

Meta pokazala svoj jezikovni model

Slo-Tech - ChatGPT je zaslovel, ker je bil dovolj dober in in dostopen sleherniku, a še zdaleč ni edini. Svoj jezikovni model (LLM) je razvila tudi Meta, ki se je pohvalila, da je primerljivo kakovosten, dasiravno desetkrat manjši. Poimenovali so ga LLaMA in prihaja v več inačicah, ki imajo od sedem do 65 milijard parametrov. GPT-3, na katerem temelji ChatGPT, jih ima 175 milijard. LLaMA-13B s trinajst milijardami parametri naj bi bil že boljši od ChatGPT, trdi Meta.

Meta trdi, da je njihov model povsem združljiv z avtorskimi pravicami, saj so pri treningu uporabljali le prosto dostopna besedila. V praksi so to na primer Wikipedia, korpus Common Crawl in C4. Zato je lahko celoten model tudi javno dostopen, če se bo Meta za to odločila. Za zdaj se še ni v celoti, tako da ga enostavno ne moremo preizkusiti, lahko pa to storijo raziskovalci. Oskubljena lama je na voljo na Githubu, raziskovalci pa lahko zaprosijo za dostop do polnega modela.

Znižanje zahtevnosti modela in njegova odprtost bosta ključna za lokalno uporabo na svojih napravah. Medtem ko za GPT-3 potrebujemo zmogljivo infrastrukturo, ki trenutno teče na strežnikih v oblaku, bi oskubljeni LLaMa lahko tekel tudi na osebnih računalnikih.

10 komentarjev

Seljak ::

Vse kar je umetno je slabo.

Qcube ::

Se da kje dobiti checkpoint model mimo facebook email prošnje? Bi se malo poigraval z njim.

filip007 ::

Stvar je in bo samo napol uporabna, sem vprašal Bing klepet sočno vprašanje pa reče, da ne ve kaj naj s tem. Jaz tudi ne vem kaj naj s tem potem.
Trevor Philips Industries

Senior Dev ::

25 let je minilo odkar je Deep Blue premagal Kasparova. Čas je da gremo korak naprej. Mislim, da smo pripravljeni.
ZenaDeva d.o.o. - Oddaja nepremičnin

k4vz0024 ::

Ustvarili bodo trol boga, ki bo pristranski z korist FB. Nič dobrega torej...

Zimonem ::

Qcube je izjavil:

Se da kje dobiti checkpoint model mimo facebook email prošnje? Bi se malo poigraval z njim.

Poln model niti ne moreš poganajat na domači mašini. Je prijava z model se najmanj.

Qcube ::

Zimonem je izjavil:

Qcube je izjavil:

Se da kje dobiti checkpoint model mimo facebook email prošnje? Bi se malo poigraval z njim.

Poln model niti ne moreš poganajat na domači mašini. Je prijava z model se najmanj.


Tisti ta najmanjši 7B model bi mogoče laufal s 24GB VRAMA. Vseeno dvomim da ga bo kdaj mogoče dobit free, na redditu so nekaj pisali da stane trening 80-400k za 7B model in 1-4 miljone dolarjev za 65B model. Tako da dvomim da se ga bo kdaj dalo kje dobiti zastonj.

Zimonem ::

Prejsšni model od mete je na githubu. Razen celotnega. Za katerega lahko zaprosiš pa tudi dobiš. Zahteva pa cca 300gb vrama ali pa plačljive knjižnice.
Samo treniranje ne vem, če je naš problem.
https://github.com/facebookresearch/met...

Qcube ::

Zimonem je izjavil:

Prejsšni model od mete je na githubu. Razen celotnega. Za katerega lahko zaprosiš pa tudi dobiš. Zahteva pa cca 300gb vrama ali pa plačljive knjižnice.
Samo treniranje ne vem, če je naš problem.
https://github.com/facebookresearch/met...


Zanimivo. Na podlagi tega kar si napisal sem našel https://huggingface.co/models?other=opt . Je kar nekaj modelov ki bi lahko bili to kar sem spraševal.

Likadika ::

Qcube je izjavil:

Zimonem je izjavil:

Prejsšni model od mete je na githubu. Razen celotnega. Za katerega lahko zaprosiš pa tudi dobiš. Zahteva pa cca 300gb vrama ali pa plačljive knjižnice.
Samo treniranje ne vem, če je naš problem.
https://github.com/facebookresearch/met...


Zanimivo. Na podlagi tega kar si napisal sem našel https://huggingface.co/models?other=opt . Je kar nekaj modelov ki bi lahko bili to kar sem spraševal.


Če se hočeš malo igrat z optjem verjetno najlažje, da preizkusiš tale collab kjer uporabijo accelerate za poganjanje opt modela. https://colab.research.google.com/drive... . Z free varjanto lahko gres do 11B baje.


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Zakaj je ChatGPT prava stvar ali kam to vodi (strani: 1 2 3 4 )

Oddelek: Loža
15234589 (5469) dronyx
»

Microsoft uradno predstavil z GPT podprt Bing

Oddelek: Novice / Ostala programska oprema
219680 (6193) fikus_
»

Turnitin bo prepoznaval generativna besedila ChatGPT in podobnih

Oddelek: Novice / Znanost in tehnologija
265842 (3555) nejc_nejc
»

ChatGPT že uradni soavtor znanstvenih člankov, čeprav ne bi smel biti

Oddelek: Novice / Znanost in tehnologija
195610 (3838) dexterboy
»

Tudi OpenAIjev pogovorni bot trpi za podobnimi hibami kot tekmeci

Oddelek: Novice / Ostala programska oprema
76732 (5571) damjanster

Več podobnih tem