» »

OpenAI izdal odprta modela

OpenAI izdal odprta modela

Slo-Tech - Po dolgem času, vse od že prazgodovinskega GPT-2, je OpenAI spet izdal velika jezikovna modela, ki imata javno dostopno drobovje. Modela gpt-oss-120B in gpt-oss-20B lahko prenesemo in poganjamo tudi na malce zmogljivejšem osebnem računalniku. Večji model zahteva grafično kartico z 80 GB pomnilnika, šibkejši pa 16 GB pomnilnika. To pa so že povsem dosegljive specifikacije.

Modela lahko poganjamo lokalno, lahko pa ju tudi prilagajamo in predelujemo. Izid so napovedali že minuli mesec, a je Sam Altman v zadnjem hipu zahteval dodatna varnostna preverjanja. To je pri odprtih modelih izjemno pomembno, saj jih po splavitvi ni možno ugasniti ali odpoklicati. Ko sta modela v svetu, bosta tam tudi ostala, dobila pa bosta še vse predelave, ki se jih bodo uporabniki lotili.

Modela sta izdana pod licenco Apache 2.0, torej ju je možno integrirati v Hugging Face, Ollamo, llamaa.cpp in vLLM.

15 komentarjev

Zmajc ::

Da vidimo...

Zimonem ::

Slabo, zelo slabo. Glede na tiste kateri so zadeve sprobali. Kitajčki in fejsbuk jih gladko prekašajo.

111111111111 ::

Kateri odprti modeli so trenutno najboljši?
Če prisloniš uho na vroč šporhet, lahko zavohaš kak si fuknjen.

k4vz0024 ::

Večji model zahteva grafično kartico z 80 GB pomnilnika, Je to točno? Se morda nanaša na RAM?

Zmajc ::

k4vz0024 je izjavil:

Večji model zahteva grafično kartico z 80 GB pomnilnika, Je to točno? Se morda nanaša na RAM?


Večji model je narejen za H100 in boljše strežniške kartice. Ne za osebne računalnike.

Ales ::

111111111111 je izjavil:

Kateri odprti modeli so trenutno najboljši?

Odvisno za kak namen. Qwen3-Coder-480B-A35B-Instruct je IMHO trenutno najboljši odprt model za programiranje in uporabo orodij.

k4vz0024 je izjavil:

Večji model zahteva grafično kartico z 80 GB pomnilnika, Je to točno? Se morda nanaša na RAM?

V principu je točno, mislijo VRAM, četudi se lahko seveda te modele poganja tudi iz RAM-a in z uporabo CPU. MoE modeli recimo lahko dokaj hitro delajo pri deljeni uporabi CPU/GPU, če se pravilno razdeli kam kaj gre.

111111111111 ::

A obstaja model, ki bi upravljal z računalnikom, prepoznaval elemente na zaslonu izvajal avtomatske naloge itd...?
Če prisloniš uho na vroč šporhet, lahko zavohaš kak si fuknjen.

bm1973 ::

AI = Another Indian

Zimonem ::

Na Ryzen AI Max+ 395 z 128gb rama (ranga 2ke)teče večji model z 30 žetonov na sekundo.

c3p0 ::

To pa je že usable.

Zimonem ::

Prejšnji teden je AMD izdal gonilnike kateri omogočajo da se igpuju lahko dodeli 96gb rama.

bm1973 ::

Škoda da ima CPU omejitev na 128GB pomnilnika.

A je res tako težko dodati podporo za 2TB?

Zimonem ::

To je čip za prenosnike ne pa epyc.

bm1973 ::

395 AI+ model pa res ni za prenosnike.

Zimonem ::



Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Strokovnjaki za umetno inteligenco postali zvezdniki

Oddelek: Novice / Znanost in tehnologija
473677 (804) Legon
»

Google lansiral model Gemini, svojega tekmeca GPTjem

Oddelek: Novice / Ostala programska oprema
89759 (6746) 2dark
»

Umetna inteligenca iz 60. let bolj človeška od lanskega GPT-3.5

Oddelek: Novice / Znanost in tehnologija
97420 (5535) asdf1223
»

OpenAI naznanil GPT-4

Oddelek: Novice / Znanost in tehnologija
2712528 (8207) Miki N
»

Apple predstavil lep venček novosti (strani: 1 2 )

Oddelek: Novice / Apple iPhone/iPad/iPod
6130690 (26648) SkipEU

Več podobnih tem