Slo-Tech - Po dolgem času, vse od že prazgodovinskega GPT-2, je OpenAI spet izdal velika jezikovna modela, ki imata javno dostopno drobovje. Modela gpt-oss-120B in gpt-oss-20B lahko prenesemo in poganjamo tudi na malce zmogljivejšem osebnem računalniku. Večji model zahteva grafično kartico z 80 GB pomnilnika, šibkejši pa 16 GB pomnilnika. To pa so že povsem dosegljive specifikacije.

Modela lahko poganjamo lokalno, lahko pa ju tudi prilagajamo in predelujemo. Izid so napovedali že minuli mesec, a je Sam Altman v zadnjem hipu zahteval dodatna varnostna preverjanja. To je pri odprtih modelih izjemno pomembno, saj jih po splavitvi ni možno ugasniti ali odpoklicati. Ko sta modela v svetu, bosta tam tudi ostala, dobila pa bosta še vse predelave, ki se jih bodo uporabniki lotili.

Modela sta izdana pod licenco Apache 2.0, torej ju je možno integrirati v Hugging Face, Ollamo, llamaa.cpp in vLLM.

Meta - Pri Meti so po mesecih napovedi izdali prvi odprtoutežni jezikovni model s prek 400 milijardami parametrov, Llamo 3.1 405B.

Bržkone največji ideološki boj pri razvoju velikih jezikovnih modelov je ta hip tisti med povsem zaprtimi modeli, kamor spada večina od razvpitih igralcev na trgu - GPT, Gemini, Claude - in pa na drugi strani ... na nek način odprtimi, kjer je vodilna Meta z družino modelov Llama. Tako Mark Zuckerberg kot vodja njegovega laboratorija za generativne modele Yann LeCun sta namreč velika zagovornika bolj odprtega razvoja takšnih algoritmov. Zato ni nenavadno, da je ob lansiranju najnovejše družine, Llama 3.1, Zuckerberg doktrino nadrobno pojasnil v spletni objavi.

Po njegovem tudi tu velja dinamika, ki smo jo lahko spremljali v vojni operacijskih sistemov med Windowsi in Linuxom - čeprav so Okna na površju komercialno uspešnejši izdelek, pa je Linux spričo svoje zanesljivosti, prilagodljivosti in svobodnosti našel pot na mnoga področja, od mobilnih naprav do...

Slo-Tech - OpenAI je danes izdal novo verzijo velikega jezikovnega modela GPT-4o, ki je hitrejši in zmogljivejši od predhodnikov, ko gre za obdelovanje besedil, slik in zvoka. Tehnična direktorica Mira Murati je dejala, da bo brezplačno na voljo vsem uporabnikom, bodo pa imeli naročniki plačljive verzije na razpolago do petkrat več računske moči. Nove zmožnosti bodo javnosti predajali postopoma, začenši z besedilom.

Črka o pomeni "omni", so dodali v OpenAI. Pri obdelovanju in razumevanju besedila je enako sposoben kot GPT-4 Turbo, izboljšave pa so predvsem pri tekstu v drugih jezikih poleg angleščine. Sam Altman dodaja, da sta vmesnika za zvok in video najboljša doslej, kar je seveda treba vzeti z zrnom soli. Model je multimodalen, kar pomeni, da se enako dobro znajde v kakršnikoli kombinaciji zvoka, videa in besedila. Za razvijalce bo na voljo tudi API, ki pa bo plačljiv, a pol cenejši od GPT-4 Turbo. Razumevanje zvoka pa pomeni, da se bo možno z modelom pogovarjati kot z vsakim asistentom.
...

Slo-Tech - Kakor je Stability mešal štrene OpenAI-ju s svojim modelom za ustvarjanje slik Stable Diffusion, mu bodo tudi pri jezikovnih modelih. Pripravili so odprtkodni jezikovni model StableLM, ki je pod licenco CC BY-SA-4.0 na voljo vsakomur. Koda je dostopna na GitHubu, preizkusimo pa jo lahko na Hugging Face ali Replicate. Verzija za pogovor je takisto že dostopna.

StableLM je naučen na treh in sedmih milijardah parametrov, kar je precej manj od ChatGPT-jevih 175 milijard. Sicer prihajata tudi verziji s 15 in 65 milijardami parametrov, a velikost modela ni vse. StableLM v svoji srži smiselno nadaljuje besedilo, ki ga začne človek z ukazom (prompt), rezultat pa so smiselni odgovori. StableLM se lahko pogovarja kot človek, lahko pa tudi piše kodo. Ta je po prvih preizkusih še malce bolj robata kakor pri ChatGPT, a večja modela bosta bržkone boljša. Še vedno pa je boljši od Facebookovega LLaMA, dasiravno GPT-3.5 ali GPT-4.0 še ne dosega. StableLM se je učil na odprtem korpusu podatkov, ki...

openai.com - Kot smo že nekaj časa pričakovali, so v OpenAI naposled najavili veliki jezikovni model GPT-4. Za rahlo presenečenje pa so obenem poskrbeli v Microsoftu, s priznanjem, da novi Bing Chat v bistvu na njem sloni že od začetka testiranja.

Skoraj 3 leta nas že ločijo od prvih vnašanj ukazov generativnemu jezikovnemu algoritmu, oziroma velikemu jezikovnemu modelu (LLM) GPT-3. Umotvor laboratorija OpenAI je postal eden od sinonimov za eksplozijo generativne strojne inteligence, ki je lani dosegla nove nivoje z generatorji slik in jesenskim lansiranjem pogovornega bota ChatGPT, letos pa z nebrzdano naglico poganja novo tekmo med tehnološkimi velikani. Posledica norije je bilo seveda mrzlično čakanje na novo različico GPTja, ki so ga sicer inženirji medtem iterativno nadgrajevali, tako da je bila lani v bistvu aktualna različica 3.5. Tudi šef OpenAIja, Sam Altman, je večkrat opozoril, da so pričakovanja bržkone prevelika in da bo GPT-4 nova evolucijska stopnja ter še daleč od kakšne...

openai.com - Prejšnji teden je svoj pogovorni algoritem predstavil tudi OpenAI. ChatGPT je osnovan na jezikovnem modelu GPT-3, uporabniki pa so ga kljub vgrajenim varovalkam že sprovocirali v izgovarjanje vsakovrstnih neumnosti.

Fiasko računalniške sogovornice Tay je očitno pozabljen, kajti letos so velikani s področja strojnega učenja preporodili javno preizkušanje chatbotov, torej pogovornih algoritmov. Po Meti in Googlu so se sedaj opogumili tudi pri OpenAIju in predstavili ChatGPT, pogovornega bota, ki je seveda osnovan na njihovem proslavljenem velikem jezikovnem modelu GPT-3. Bot je na voljo prosto in trenutno tudi še brez oglasov, zato ga je v le nekaj dneh že preizkusilo milijon ljudi, ni pa še jasno, kako dolgo bo tako dostopen, ker vodja družbe Sam Altman pravi, da so cene procesiranja visoke. ChatGPT je deklarirano še za odtenek zmogljivejši od konkurentov; in sicer zato, ker so klasičnemu receptu botov na osnovi velikih jezikovnih modelov - se pravi popolnjevanju teksta z...