» »

Stability AI izdal svoj veliki jezikovni model

Stability AI izdal svoj veliki jezikovni model

Slo-Tech - Kakor je Stability mešal štrene OpenAI-ju s svojim modelom za ustvarjanje slik Stable Diffusion, mu bodo tudi pri jezikovnih modelih. Pripravili so odprtkodni jezikovni model StableLM, ki je pod licenco CC BY-SA-4.0 na voljo vsakomur. Koda je dostopna na GitHubu, preizkusimo pa jo lahko na Hugging Face ali Replicate. Verzija za pogovor je takisto že dostopna.

StableLM je naučen na treh in sedmih milijardah parametrov, kar je precej manj od ChatGPT-jevih 175 milijard. Sicer prihajata tudi verziji s 15 in 65 milijardami parametrov, a velikost modela ni vse. StableLM v svoji srži smiselno nadaljuje besedilo, ki ga začne človek z ukazom (prompt), rezultat pa so smiselni odgovori. StableLM se lahko pogovarja kot človek, lahko pa tudi piše kodo. Ta je po prvih preizkusih še malce bolj robata kakor pri ChatGPT, a večja modela bosta bržkone boljša. Še vedno pa je boljši od Facebookovega LLaMA, dasiravno GPT-3.5 ali GPT-4.0 še ne dosega. StableLM se je učil na odprtem korpusu podatkov, ki je trikrat večji od The Pile.

4 komentarji

Markoff ::

Skynet begins to learn at a geometric rate. It becomes self-aware 2:14 AM, Eastern time, August 29th. In a panic, they try to pull the plug.

Fun times ahead. Npr. morda je to začetek Socializma 2.0, ki pa ne bo temeljil na marksističnem odtujevanju zasebne lastnine, temveč na samoreplikabilni (= mašine se bodo same gradile in razvijale) avtomatizaciji in robotizaciji, ki bosta odpihnili večino delovnih mest, vsepovsod. Analitiki? Pfft, danes 98% časa porabijo za pripravo podatkov, 2% za pripravo interpretacije/analitike, to bo lahko delal tudi manager. Pravnik? Haha, AI bo sposoben prečesati pravne vire neskončno hitreje in kakovostneje od najboljšega odvetnika/tožilca/pravnega svetovalca na svetu? Zdravstvo? Heh, diagnostiko je že Watson obvladal bolje od zdravnikov in diagnostika je 90% zdravljenja. Kirurgi bodo zadnji, ki bodo ugasnili luč, ker operacije srca skozi žile so vseeno malce prekomplicirane za robote za še lep čas. Računovodje? Revizorji? Ti bodo ravno tako pakirali kufre. Odvažalci smeti? Malo kompleksnejši roboti, pa ne bomo potrebovali nikogar več. Policaji? Končno dobimo robote brez kompleksa več/manjvrednosti! Ni, da ni.

Samo - kaj bomo počeli mi, ko bomo dobivali UTD na podlagi te silne robotske produktivnosti? In kaj si bo mislil AI, ki bo poganjal vso to silno mašinerijo kot suženj v naš užitek?

 Kaylonski Endloesung

Kaylonski Endloesung

Antifašizem je danes poslednje pribežališče ničvredneža, je ideologija ničesar
in neizprosen boj proti neobstoječemu sovražniku - v zameno za državni denar
in neprofitno najemno stanovanje v središču Ljubljane. -- Tomaž Štih, 2021

OutOfTheBox ::

Samo - kaj bomo počeli mi,


To so se spraševali tudi 100 let nazaj, ko so prišli prvi pralni stroji, hladilniki ipd. Izgleda da smo na ta račun zvišali globalno produktivnost ženske in jo oprali do te mere, da razume da moškega sploh ne potrebuje več.

Skratka - če gledaš zgodovino se to dogaja vedno ko prihaja nova tehnologija. Vedno bomo dobili nekaj za delat. Če ne drugega pa VR in vsak bo šel v tisti svet ko mu najbolj ustreza :)

GizmoX ::

Drži zgolj to, da bodo tektonski premiki šele takrat, ko se bo podjetjem UI splačal bolj od človeka.
Manna - Two Views of Humanity's Future - Chapter 1 - malo sci-fi branja. ;)
udirač => uni. dipl. inž. rač.

Nikonja ::

Se že dogaja, vsaj v moji firmi (Multikorporacija) kje smo določene AI modele komot ignorirali do zdaj (kr je bilo preveč napak), ampak z napredkom počasi se zmanjšuje potreba za 5 analitikov v oddelku, če 3 plus AI naredijo delo sicer časovno enako, ampak za 2 plači manj... tko da iluzija da smo daleč od tega da nas bo AI nadomestil v določenih pozicijah ne drži. Zdaj odvisno od tega kaj delate mogoče je čas za razmislit na katerem področju ste še dobri... nikoli ne veš!


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Meta pokazala svoj jezikovni model

Oddelek: Novice / Znanost in tehnologija
103623 (2143) Likadika
»

Microsoft uradno predstavil z GPT podprt Bing

Oddelek: Novice / Ostala programska oprema
218738 (5251) fikus_
»

Jezikovni modeli so nova črna

Oddelek: Novice / Znanost in tehnologija
288370 (5879) Zimonem
»

Google napovedal konkurenta ChatGPT-ju

Oddelek: Novice / Znanost in tehnologija
128059 (6788) Maxlos
»

Tudi OpenAIjev pogovorni bot trpi za podobnimi hibami kot tekmeci

Oddelek: Novice / Ostala programska oprema
76210 (5049) damjanster

Več podobnih tem