» »

Google lansiral odprt jezikovni model Gemma

Google lansiral odprt jezikovni model Gemma

vir: Google
Google - Pretekli teden so pri Googlu pokazali Gemmo, svoj prvi veliki jezikovni model z javnimi utežnimi parametri, ki je očitno namenjen predvsem spopadu z Metino družino odprtih modelov LLaMA.

Na področju velikih jezikovnih modelov poteka vrsta ideoloških bitk; poleg tiste med "doomerji", ki menijo, da lahko LLMji pripeljejo do nevarne splošne umetne inteligence, in njihovimi nasprotniki, pa spopada med podjetji in strokovnjaki za etiko, še najmanj tisti med pristaši zaprtih in odprtih modelov. Med prve spadajo trenutno najbolj razvpiti velikani, kot sta OpenAI in Google, ki v svoje programje ne dovolijo kdovekoliko vpogleda. Med drugimi so razvijalci LLMjev, ki o svojih stvaritvah objavijo več podatkov, v prvi vrsti strukturo nevronske mreže in pa "uteži" (weights), najpomembnejšo podmnožico parametrov nekega modela, ki določa, kaj se je mreža naučila iz podatkov. Malce ironično je tu glavni igralec Meta, po zaslugi svojega laboratorija FAIR, kjer razvoj vodi Yann LeCun, in modelov družine LLaMA; vzpenjajo se tudi mnogi neodvisni laboratoriji, kot je na primer Mistral AI, ki je razburjal na prehodu v letošnje leto.

Z lamami je Meta močno utrjena v živahnem razvoju odprtih modelov in v Googlu so očitno sklenili, da je treba primakniti še svoj lonček. Sredi prejšnjega tedna so lansirali Gemmo, nekakšen odprt podaljšek svojega paradnega komercialnega modela Gemini. Trenutno obsega dva modela, Gemmo 2B in 7B, se pravi z dvema in sedmimi milijardami parametrov. Glede na razpredelnice, v katerih ju postavljajo neposredno nasproti Llami-2, je jasno, koga v Googlu razumejo kot poglavitno konkurenco. Modela sta na voljo na Kagglu in HuggingFacu, treba pa je opozoriti, da ne pod običajno odprtokodno licenco in si velikan torej še vedno lasti pravico do odrejanja načina rabe. Obenem je Gemma "optimizirana" za Googlovo infrastrukturo Cloud, kar pomeni, da gre tudi za sredstvo za privabljanje strokovnjakov v njihov ekosistem.

12 komentarjev

DarkSite ::

A je ta tudi rasisticen kot je Gemini?

gruntfürmich ::

zakaj ni kakšnih sočnih novic, da se lahko malo nasmejimo fiaskom: https://www.theverge.com/2024/2/21/2407...

je to kakšna agenda ali pač togost avtorjev?

https://www.investopedia.com/google-to-...
"Namreč, da gre ta družba počasi v norost in da je vse, kar mi gledamo,
visoko organizirana bebavost, do podrobnosti izdelana idiotija."
Psiholog HUBERT POŽARNIK, v Oni, o smiselnosti moderne družbe...

Zgodovina sprememb…

weezl ::

"Strokovnjaki za etiko" :)
Politično korekten izraz za forsiranje določene ideologije in cenzuriranje drugače mislečih.

Bezukhoff ::

DarkSite je izjavil:

A je ta tudi rasisticen kot je Gemini?


Anti-white pa res.

c23po ::

weezl je izjavil:

"Strokovnjaki za etiko" :)
Politično korekten izraz za forsiranje določene ideologije in cenzuriranje drugače mislečih.

Oh, hvala bogu, da se nam po 3.000 let zafrkavanja ni treba več učiti etike. Se strinjam, tudi modelom je treba to nebodigatreba izbiti iz algoritma!
Računalniki nimajo spominov.

weezl ::

c23po je izjavil:


Oh, hvala bogu, da se nam po 3.000 let zafrkavanja ni treba več učiti etike. Se strinjam, tudi modelom je treba to nebodigatreba izbiti iz algoritma!

To, kar počne npr. Gemini nima veze z etiko, kvečjemu obratno. Je rasistično in propagira woke ideologijo, ki je zgolj in samo to - ideologija, ki bazira na nekih premisah, na katerih so temeljile ideologije, ki so odgovorne za največje genocide prejšnjega stoletja.

napsy ::

Sprobal in nic kaj sokantnega in dosti PR. Po kvaliteti dost podobno modelu mistral. Ponekod je mistal celo bolsi od gemma (npr code completion).
"If you die, you die. But when you live you live. There is no time to waste."

Zgodovina sprememb…

  • spremenil: napsy ()

c23po ::

weezl je izjavil:

To, kar počne npr. Gemini nima veze z etiko, kvečjemu obratno. Je rasistično in propagira woke ideologijo, ki je zgolj in samo to - ideologija, ki bazira na nekih premisah, na katerih so temeljile ideologije, ki so odgovorne za največje genocide prejšnjega stoletja.

No, strinjam se s prvim stavkom. Nadaljevanje je mešanje ideologije v statistični ugibalnik zlogov. In to je ... hm ... ahaa: idealizem!
Računalniki nimajo spominov.

Jarno ::

Konkurenca je dobrodošla, vsakomur svoje, dokler model ne bo izrazito sovražno nastrojen, bo še šlo.
Zame obstaja tudi kak "turning point", recimo, da bodo zemljevide risali z jugom na vrhu, ker so zemljevidi s severom na vrhu rasistični.
Potem bom prepričan, da se ne nekje nekaterim mentalno stanje preveč poslabšalo.
#65W!

Aggressor ::

gruntfürmich je izjavil:

je to kakšna agenda ali pač togost avtorjev?


Soroš osebno me je poklical in mi zabičal, da o tem ne smem pisat, temveč zgolj o wokelgbtqplus zadevah. :'(

(nisem še prišel do tja, mam še reči v pipelinu, je pa zanimiva reč)
en CRISPR na dan odžene zdravnika stran

gruntfürmich ::

Aggressor je izjavil:

gruntfürmich je izjavil:

je to kakšna agenda ali pač togost avtorjev?


Soroš osebno me je poklical in mi zabičal, da o tem ne smem pisat, temveč zgolj o wokelgbtqplus zadevah. :'(

(nisem še prišel do tja, mam še reči v pipelinu, je pa zanimiva reč)

Sem vedel!
"Namreč, da gre ta družba počasi v norost in da je vse, kar mi gledamo,
visoko organizirana bebavost, do podrobnosti izdelana idiotija."
Psiholog HUBERT POŽARNIK, v Oni, o smiselnosti moderne družbe...

ReRMh ::

In EU?

Tech is unpredictable, disruptive and volatile. With higher severance costs and longer delays, the costs of adaptation in Europe are about 10 times higher than in the US. After decades of greater agility, American companies have the financial means to invest in AI; European companies simply can't compare.

Zgodovina sprememb…

  • spremenilo: ReRMh ()


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

freedomGPT

Oddelek: Loža
7832 (86) Tero
»

Google vstopa na polje umetne inteligence

Oddelek: Novice / Ostalo
104601 (3102) tigrr
»

Meta pokazala svoj jezikovni model

Oddelek: Novice / Znanost in tehnologija
104533 (3053) Likadika
»

Microsoft uradno predstavil z GPT podprt Bing

Oddelek: Novice / Ostala programska oprema
219704 (6217) fikus_
»

Tudi OpenAIjev pogovorni bot trpi za podobnimi hibami kot tekmeci

Oddelek: Novice / Ostala programska oprema
76742 (5581) damjanster

Več podobnih tem