Slo-Tech - ChatGPT je zaslovel, ker je bil dovolj dober in in dostopen sleherniku, a še zdaleč ni edini. Svoj jezikovni model (LLM) je razvila tudi Meta, ki se je pohvalila, da je primerljivo kakovosten, dasiravno desetkrat manjši. Poimenovali so ga LLaMA in prihaja v več inačicah, ki imajo od sedem do 65 milijard parametrov. GPT-3, na katerem temelji ChatGPT, jih ima 175 milijard. LLaMA-13B s trinajst milijardami parametri naj bi bil že boljši od ChatGPT, trdi Meta.
Meta trdi, da je njihov model povsem združljiv z avtorskimi pravicami, saj so pri treningu uporabljali le prosto dostopna besedila. V praksi so to na primer Wikipedia, korpus Common Crawl in C4. Zato je lahko celoten model tudi javno dostopen, če se bo Meta za to odločila. Za zdaj se še ni v celoti, tako da ga enostavno ne moremo preizkusiti, lahko pa to storijo raziskovalci. Oskubljena lama je na voljo na Githubu, raziskovalci pa lahko zaprosijo za dostop do polnega modela.
Znižanje zahtevnosti modela in njegova odprtost bosta ključna za lokalno uporabo na svojih napravah. Medtem ko za GPT-3 potrebujemo zmogljivo infrastrukturo, ki trenutno teče na strežnikih v oblaku, bi oskubljeni LLaMa lahko tekel tudi na osebnih računalnikih.
Novice » Znanost in tehnologija » Meta pokazala svoj jezikovni model
Qcube ::
Se da kje dobiti checkpoint model mimo facebook email prošnje? Bi se malo poigraval z njim.
filip007 ::
Stvar je in bo samo napol uporabna, sem vprašal Bing klepet sočno vprašanje pa reče, da ne ve kaj naj s tem. Jaz tudi ne vem kaj naj s tem potem.
Prenosnik, konzola, TV, PC upokojen.
Senior Dev ::
25 let je minilo odkar je Deep Blue premagal Kasparova. Čas je da gremo korak naprej. Mislim, da smo pripravljeni.
ZenaDeva d.o.o. - Oddaja nepremičnin
Zimonem ::
Qcube ::
Se da kje dobiti checkpoint model mimo facebook email prošnje? Bi se malo poigraval z njim.
Poln model niti ne moreš poganajat na domači mašini. Je prijava z model se najmanj.
Tisti ta najmanjši 7B model bi mogoče laufal s 24GB VRAMA. Vseeno dvomim da ga bo kdaj mogoče dobit free, na redditu so nekaj pisali da stane trening 80-400k za 7B model in 1-4 miljone dolarjev za 65B model. Tako da dvomim da se ga bo kdaj dalo kje dobiti zastonj.
Zimonem ::
Prejsšni model od mete je na githubu. Razen celotnega. Za katerega lahko zaprosiš pa tudi dobiš. Zahteva pa cca 300gb vrama ali pa plačljive knjižnice.
Samo treniranje ne vem, če je naš problem.
https://github.com/facebookresearch/met...
Samo treniranje ne vem, če je naš problem.
https://github.com/facebookresearch/met...
Qcube ::
Prejsšni model od mete je na githubu. Razen celotnega. Za katerega lahko zaprosiš pa tudi dobiš. Zahteva pa cca 300gb vrama ali pa plačljive knjižnice.
Samo treniranje ne vem, če je naš problem.
https://github.com/facebookresearch/met...
Zanimivo. Na podlagi tega kar si napisal sem našel https://huggingface.co/models?other=opt . Je kar nekaj modelov ki bi lahko bili to kar sem spraševal.
Likadika ::
Prejsšni model od mete je na githubu. Razen celotnega. Za katerega lahko zaprosiš pa tudi dobiš. Zahteva pa cca 300gb vrama ali pa plačljive knjižnice.
Samo treniranje ne vem, če je naš problem.
https://github.com/facebookresearch/met...
Zanimivo. Na podlagi tega kar si napisal sem našel https://huggingface.co/models?other=opt . Je kar nekaj modelov ki bi lahko bili to kar sem spraševal.
Če se hočeš malo igrat z optjem verjetno najlažje, da preizkusiš tale collab kjer uporabijo accelerate za poganjanje opt modela. https://colab.research.google.com/drive... . Z free varjanto lahko gres do 11B baje.
Vredno ogleda ...
Tema | Ogledi | Zadnje sporočilo | |
---|---|---|---|
Tema | Ogledi | Zadnje sporočilo | |
» | Zakaj je ChatGPT prava stvar ali kam to vodi (strani: 1 2 3 4 )Oddelek: Loža | 35018 (5898) | dronyx |
» | Microsoft uradno predstavil z GPT podprt BingOddelek: Novice / Ostala programska oprema | 9773 (6286) | fikus_ |
» | Turnitin bo prepoznaval generativna besedila ChatGPT in podobnihOddelek: Novice / Znanost in tehnologija | 5927 (3640) | nejc_nejc |
» | ChatGPT že uradni soavtor znanstvenih člankov, čeprav ne bi smel bitiOddelek: Novice / Znanost in tehnologija | 5654 (3882) | dexterboy |
» | Tudi OpenAIjev pogovorni bot trpi za podobnimi hibami kot tekmeciOddelek: Novice / Ostala programska oprema | 6781 (5620) | damjanster |