» »

OpenAI izdal odprta modela

OpenAI izdal odprta modela

Slo-Tech - Po dolgem času, vse od že prazgodovinskega GPT-2, je OpenAI spet izdal velika jezikovna modela, ki imata javno dostopno drobovje. Modela gpt-oss-120B in gpt-oss-20B lahko prenesemo in poganjamo tudi na malce zmogljivejšem osebnem računalniku. Večji model zahteva grafično kartico z 80 GB pomnilnika, šibkejši pa 16 GB pomnilnika. To pa so že povsem dosegljive specifikacije.

Modela lahko poganjamo lokalno, lahko pa ju tudi prilagajamo in predelujemo. Izid so napovedali že minuli mesec, a je Sam Altman v zadnjem hipu zahteval dodatna varnostna preverjanja. To je pri odprtih modelih izjemno pomembno, saj jih po splavitvi ni možno ugasniti ali odpoklicati. Ko sta modela v svetu, bosta tam tudi ostala, dobila pa bosta še vse predelave, ki se jih bodo uporabniki lotili.

Modela sta izdana pod licenco Apache 2.0, torej ju je možno integrirati v Hugging Face, Ollamo, llamaa.cpp in vLLM.

19 komentarjev

Zmajc ::

Da vidimo...

Zimonem ::

Slabo, zelo slabo. Glede na tiste kateri so zadeve sprobali. Kitajčki in fejsbuk jih gladko prekašajo.

111111111111 ::

Kateri odprti modeli so trenutno najboljši?
Če prisloniš uho na vroč šporhet, lahko zavohaš kak si fuknjen.

k4vz0024 ::

Večji model zahteva grafično kartico z 80 GB pomnilnika, Je to točno? Se morda nanaša na RAM?

Zmajc ::

k4vz0024 je izjavil:

Večji model zahteva grafično kartico z 80 GB pomnilnika, Je to točno? Se morda nanaša na RAM?


Večji model je narejen za H100 in boljše strežniške kartice. Ne za osebne računalnike.

Ales ::

111111111111 je izjavil:

Kateri odprti modeli so trenutno najboljši?

Odvisno za kak namen. Qwen3-Coder-480B-A35B-Instruct je IMHO trenutno najboljši odprt model za programiranje in uporabo orodij.

k4vz0024 je izjavil:

Večji model zahteva grafično kartico z 80 GB pomnilnika, Je to točno? Se morda nanaša na RAM?

V principu je točno, mislijo VRAM, četudi se lahko seveda te modele poganja tudi iz RAM-a in z uporabo CPU. MoE modeli recimo lahko dokaj hitro delajo pri deljeni uporabi CPU/GPU, če se pravilno razdeli kam kaj gre.

111111111111 ::

A obstaja model, ki bi upravljal z računalnikom, prepoznaval elemente na zaslonu izvajal avtomatske naloge itd...?
Če prisloniš uho na vroč šporhet, lahko zavohaš kak si fuknjen.

bm1973 ::

AI = Another Indian

Zimonem ::

Na Ryzen AI Max+ 395 z 128gb rama (ranga 2ke)teče večji model z 30 žetonov na sekundo.

c3p0 ::

To pa je že usable.

Zimonem ::

Prejšnji teden je AMD izdal gonilnike kateri omogočajo da se igpuju lahko dodeli 96gb rama.

bm1973 ::

Škoda da ima CPU omejitev na 128GB pomnilnika.

A je res tako težko dodati podporo za 2TB?

Zimonem ::

To je čip za prenosnike ne pa epyc.

bm1973 ::

395 AI+ model pa res ni za prenosnike.

Zimonem ::

bm1973 ::

Saj lahko tudi Epyc fukneš v laptop >:D.

Ali pa IBM Telum 2 (https://www.ibm.com/new/announcements/t...

Sam 120W CPUja ne bi dajal v laptop.

c3p0 ::

V eni torbi laptop, pa zraven v kovčku hladilnike zanj. /j

Bom osebno sicer še počakal, postaja kar pestro v AI CPU segmentu. Kolikor vidim, trenutne "budget" rešitve pesti nizek RAM BW.

Zgodovina sprememb…

  • spremenil: c3p0 ()

bm1973 ::

Jap, zaenkrat se kaže Mac Studio z 512 GB RAM dobra opcija...

Zimonem ::

c3p0 je izjavil:

V eni torbi laptop, pa zraven v kovčku hladilnike zanj. /j

Bom osebno sicer še počakal, postaja kar pestro v AI CPU segmentu. Kolikor vidim, trenutne "budget" rešitve pesti nizek RAM BW.

In dokler ne bo lepljenje hbm na consumer čipe cenejše bo tako tudi ostalo. Lahko dodajaš kanale. Ampak to je tudi daleč od poceni.


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Strokovnjaki za umetno inteligenco postali zvezdniki

Oddelek: Novice / Znanost in tehnologija
473743 (870) Legon
»

Google lansiral model Gemini, svojega tekmeca GPTjem

Oddelek: Novice / Ostala programska oprema
89761 (6748) 2dark
»

Umetna inteligenca iz 60. let bolj človeška od lanskega GPT-3.5

Oddelek: Novice / Znanost in tehnologija
97420 (5535) asdf1223
»

OpenAI naznanil GPT-4

Oddelek: Novice / Znanost in tehnologija
2712531 (8210) Miki N
»

Apple predstavil lep venček novosti (strani: 1 2 )

Oddelek: Novice / Apple iPhone/iPad/iPod
6130704 (26662) SkipEU

Več podobnih tem