Google lansiral odprt jezikovni model Gemma

Pretekli teden so pri Googlu pokazali Gemmo, svoj prvi veliki jezikovni model z javnimi utežnimi parametri, ki je očitno namenjen predvsem spopadu z Metino družino odprtih modelov LLaMA.

Na področju velikih jezikovnih modelov poteka vrsta ideoloških bitk; poleg tiste med "doomerji", ki menijo, da lahko LLMji pripeljejo do nevarne splošne umetne inteligence, in njihovimi nasprotniki, pa spopada med podjetji in strokovnjaki za etiko, še najmanj tisti med pristaši zaprtih in odprtih modelov. Med prve spadajo trenutno najbolj razvpiti velikani, kot sta OpenAI in Google, ki v svoje programje ne dovolijo kdovekoliko vpogleda. Med drugimi so razvijalci LLMjev, ki o svojih stvaritvah objavijo več podatkov, v prvi vrsti strukturo nevronske mreže in pa "uteži" (weights), najpomembnejšo podmnožico parametrov nekega modela, ki določa, kaj se je mreža naučila iz podatkov. Malce ironično je tu glavni igralec Meta, po zaslugi svojega laboratorija FAIR, kjer razvoj vodi Yann LeCun, in modelov družine LLaMA; vzpenjajo se tudi mnogi neodvisni laboratoriji, kot je na primer Mistral AI, ki je razburjal na prehodu v letošnje leto.

Z lamami je Meta močno utrjena v živahnem razvoju odprtih modelov in v Googlu so očitno sklenili, da je treba primakniti še svoj lonček. Sredi prejšnjega tedna so lansirali Gemmo, nekakšen odprt podaljšek svojega paradnega komercialnega modela Gemini. Trenutno obsega dva modela, Gemmo 2B in 7B, se pravi z dvema in sedmimi milijardami parametrov. Glede na razpredelnice, v katerih ju postavljajo neposredno nasproti Llami-2, je jasno, koga v Googlu razumejo kot poglavitno konkurenco. Modela sta na voljo na Kagglu in HuggingFacu, treba pa je opozoriti, da ne pod običajno odprtokodno licenco in si velikan torej še vedno lasti pravico do odrejanja načina rabe. Obenem je Gemma "optimizirana" za Googlovo infrastrukturo Cloud, kar pomeni, da gre tudi za sredstvo za privabljanje strokovnjakov v njihov ekosistem.