Slo-Tech - Google je družini jezikovnih modelov Gemma 4 izdal novega člana, ki je ravno dovolj velik in zmogljiv, da še teče na osebnih računalnikih. Gemma 4 12B ima 11,95 milijarde parametrov, ki so dostopni pod permisivno licenco Apache 2.0, torej si lahko model prenesemo in poganjamo lokalno. Zadostuje že povprečen procesor in 16 GB pomnilnika. To je posebej uporabno v primerih, ko podatki nikakor ne smejo zapustiti računalnika, bi jih pa vseeno želeli obdelati z velikim jezikovnim modelom na lokalnem računalniku. Za lokalne gruče grafičnih kartic so seveda na voljo še večji modeli Gemma 4. Model lahko snamemo neposredno s Hugging Facea ali Kaggla.
Gemma 4 12B je večmodalni model, ki neposredno razume besedilo, slike in videoposnetke brez dodatnega procesiranja ali pretvarjanja. Google temu pravi poenotena struktura (Unified Structure). Običajni jezikovni modeli imajo različne enkoderje za pretvarjanje zvoka in videa v ustrezno obliko, ki jo model razume. Gemma 4 12B jih ne potrebuje, zato teče hitreje in na skromnejši strojni opremi. Google pravi, da je po sposobnostih zelo podobna večjim modelom 26B. Vhodi lahko obsegajo 256 tisoč žetonov, kar omogoča obdelavo res velikih količin podatkov hkrati. Zvočni posnetki so omejeni na 30 sekund, video pa na 60 sekund.
Glavna prednost je odprtokodnost in pripravljenost na delovanje v tem ekosistemu, saj podpira orodja, kot so vLLM, SGLang, MLX in llama.cpp.
LLMji so sedaj kar zastonj? Brez omejitev uporabe? Pa je to uporabno? Za kaj več kot igračkanje, učenje dela z AI?
Antifašizem je danes poslednje pribežališče ničvredneža, je ideologija ničesar
in neizprosen boj proti neobstoječemu sovražniku - v zameno za državni denar
in neprofitno najemno stanovanje v središču Ljubljane. -- Tomaž Štih, 2021
avtor članka navaja, da je to uporabno za "podatke, ki nikakor ne smejo zapustiti računalnika". lahko navedete kakšen primer?
Na primer podatke strank, ki jih nočeš / pogodbeno ne smeš obdelovati na tretjih sistemih. Večina tukaj butasto miži vsaj pred Mikrosoftom, in se dela, da je z njim vse v redu, ker ga bogato plačuje, ampak če te varovanje zasebnosti zares zanima, moraš to početi lokalno.
avtor članka navaja, da je to uporabno za "podatke, ki nikakor ne smejo zapustiti računalnika". lahko navedete kakšen primer?
Na primer podatke strank, ki jih nočeš / pogodbeno ne smeš obdelovati na tretjih sistemih. Večina tukaj butasto miži vsaj pred Mikrosoftom, in se dela, da je z njim vse v redu, ker ga bogato plačuje, ampak če te varovanje zasebnosti zares zanima, moraš to početi lokalno.
Načeloma so to vsi za katere nimaš izrecnega soglasja
LLMji so sedaj kar zastonj? Brez omejitev uporabe? Pa je to uporabno? Za kaj več kot igračkanje, učenje dela z AI?
Itak da je uporabno... med ~70B in ~400B modeli je veliko manjša razlika, kot bi si človek mislil. Npr. OpenClaw samo z ollamo in lokalnimi modeli laufaš, če ti je kaj mar za zasebnost.
Probi... ollama in webui, ki je zelo podoben openai vmesniku. Kar je pomembno je, da imas dovolj rama v graficni v katero nalozis cel model, da dela spodobno. Gre sicer tudi na cpu, samo bistveno pocasneje... meni 400B modele na 2x64core EPYC serverju in 512gb rama laufa s cca 0.5-3tokne/s. Ni bas nekaj, dela pa :)
avtor članka navaja, da je to uporabno za "podatke, ki nikakor ne smejo zapustiti računalnika". lahko navedete kakšen primer?
Kakšen mesec dni nazaj je bila na slo-tech novica Claude rešil pet bitcoinov, kjer je nek uporabnik iskal geslo za bitcoin denarnico, ki se ga ni spomnil. V AI je naložil vso vsebino računalnika in ta mu je uspešno našel to geslo. Verjetno ni zaželeno, da je vsa vsebina računalnika na voljo komerkoli.
btw/fyi: vceraj sem narocil Google AI Pro (5 TB) (Google One) za tri mesece. Ima google neko akcijo za cca 5,49eur/mesec za 3mesece skupaj.
Samodejno vam bomo zaračunavali 5,49 €/mesec toliko mesecev: 3, nato 21,99 €/mesec
Mogoce se komu prav pride.
Pazi kaj delaš, kolega je dobil kljub plačanemu accountu, račun za 13.000 USD, ker mu je neka skripta delala AI v backgroundu...
Preberi droben tisk...
Hlapci! Za hlapce rojeni, za hlapce vzgojeni, ustvarjeni za hlapčevanje.
Gospodar se menja, bič pa ostane, in bo ostal za vekomaj; zato, ker je hrbet
skrivljen, biča vajen in željan! [Ivan Cankar]
btw/fyi: vceraj sem narocil Google AI Pro (5 TB) (Google One) za tri mesece. Ima google neko akcijo za cca 5,49eur/mesec za 3mesece skupaj.
Samodejno vam bomo zaračunavali 5,49 EUR/mesec toliko mesecev: 3, nato 21,99 EUR/mesec
Mogoce se komu prav pride.
Pazi kaj delaš, kolega je dobil kljub plačanemu accountu, račun za 13.000 USD, ker mu je neka skripta delala AI v backgroundu...
Preberi droben tisk...
V bistvu drži - verjetno si je postavil billing account v google console in je pustil, da se avtomatsko podaljšuje po poteku 3 nahakljalnih mesecih oz otvoritvenem dobropisu $300. To opozorilo je jasno zapisano - domnevam, da je bilo to to.
Drugače je naročnina striktno omejena (je dovolj za normalno uporabo) - da bi samo kliknil in bi šlo toliko v minus. Ko porabiš naročene kapacitete, lahko sicer dovoliš prekoračenje, ampak spet samo, dokler je dobropis na voljo.
BTW, tudi slovenski Gams je zastonj in baje vsaj tako dober ali celo boljši, kot nekateri drugi.
A to je na povejmo.si? Sem ga vprašal kdo je predsednik vlade, po slovensko. A bi uganili koga je imenoval? Li Qiang. Izmed vseh možnosti, imenuje kitajskega. Poleg tega misli, da je danes 4.4.2025. Hvalevredno, da so se lotili tega projekta, ampak dvomim da je zaekrat na istem nivoju kot ostali. Pa dvomim, da dobivajo na desetine milijard od koga za razvoj.
BTW, tudi slovenski Gams je zastonj in baje vsaj tako dober ali celo boljši, kot nekateri drugi.
A to je na povejmo.si? Sem ga vprašal kdo je predsednik vlade, po slovensko. A bi uganili koga je imenoval? Li Qiang. Izmed vseh možnosti, imenuje kitajskega. Poleg tega misli, da je danes 4.4.2025. Hvalevredno, da so se lotili tega projekta, ampak dvomim da je zaekrat na istem nivoju kot ostali. Pa dvomim, da dobivajo na desetine milijard od koga za razvoj.
Mal mesas zadeve.. ni AI, AI :) GaMS ni samostojen model, ampak s slovenskimi besedili dotrenirana Gemma. Vsak model ima nek cut-off datum podatkov na katerih ga trenirajo, in zato ne pozna danasnjih novic. Imas search/internet funkcijo, ki aktualne informacije/kontekst modela posodobi.
Sploh pa ni primerjave med nevem ChatGPTjem in npr. 12B velikim LLM modelom, ki ga doma laufas. Imata pa oba svoje prednosti in slabosti, oz. imata drugo poslanstvo.
Potem sem pa pričakoval, da ima internetno funkcijo za aktualne podatke. Pa nisem ga lokalno inštaliral ampak preizkusil na https://povejmo.si/klepet/. Ker vsi ostali, ki sem jih preizkusil, so mi pravilno povedali, kdo je trenutni predsednik vlade v Sloveniji in današnji datum. Sem pa videl na huggingface, da jih je celo nvidia financirala. Ta ima prste vsepovsod.
Izgleda, je že kar nekaj časa, kar AI večinoma niso podpirali branja aktualnih podatkov s spleta na zahtevo - in se zanašali samo na svoje statične uteži, saj zdaj jim tudi moraš dopovedati, da naj preveri - in v novi temi se ne spomni podrobnosti prebranega, ostane v tisti temi, če mu ne poveš. Še v isti temi žal prehitro 'iztrebi' iz konteksta.
Geema 4 24B mi laufa na 5060 16GB bp, cca. 10token/s.
Glede na hitrost, ti ne teče na GPUju.
Svež chat in brez drugega loada, slabih 20t/s. Misliš, da je še vedno premalo?
Kako pa tak model, kot je Gemma 4 24B lahko zalaufaš brez GPUja, direktno na CPUju?
20tokenov ni slabo. Ukaz ollama ps ti pokaze koliko modela je nalozenega v graficno in koliko ga poganja cpu. Glede na to, da je Gemma4 26B v Q4 velika 18gb, ti sigurno del modela ne laufa na graficni. Tudi samo s CPUjem lahko poganjas, ram je pomemben... je pa pocasnooo.
Saj, zato vprašam, zanima me, ker še nisem videl CPUja, ki bi poganjal tak model z 10tps ;)
Z Gemma4 12B Heretic pa izmerim ~40tps, to pa že kar leti.
Gemma 4 12B je "dense" model, kjer je za vsak token aktivnih 12B parametrov, Gemma 4 26B pa je MOE, kjer je za vsak token aktivnih okoli le del parametrov.
Na PCju pri inferenci RAM tako počasen, da je večina CPUjev dovolj zmogljivih za to, kar zmore RAM. (Če uporabljaš le CPU.)
Če imaš GPU s 16GB pomnilnika, pa bo 12B model šel v celoti v VRAM, ki je vsaj nekajkrat hitrejši... GPU sam pa bo vmes praktično spal.
Če imaš GPU s 16GB pomnilnika, pa bo 12B model šel v celoti v VRAM, ki je vsaj nekajkrat hitrejši... GPU sam pa bo vmes praktično spal.
Gre tudi v 12 GB RAM...
Hlapci! Za hlapce rojeni, za hlapce vzgojeni, ustvarjeni za hlapčevanje.
Gospodar se menja, bič pa ostane, in bo ostal za vekomaj; zato, ker je hrbet
skrivljen, biča vajen in željan! [Ivan Cankar]
Sej to je domač hardver. Vtakneš ga v običajen PCIExpress slot. 