Slo-Tech - Čeprav GPT-4 obstaja že nekaj časa in ga naročniki ChatGPT tudi že lahko uporabljajo, je OpenAI šele sedaj najavil splošno dostopnost tega jezikovnega modela. To v praksi pomeni, da ni treba več čakati na vabilo, temveč imajo dostop vse stranke, ki naročijo plačljiv dostop. Na enak način so dostopni tudi GPT-3.5 Turbo, DALL·E in Whisper API.
GPT-4 je izšel marca, odtlej pa je prošnjo za vabilo oddalo več kot milijon strank. Do danes ga uporabljajo že številni izdelki, ki imajo dostop do modela prek API. Sedaj je GPT-4 na voljo strankam z zgodovino plačil, torej obstoječim naročnikom, medtem ko bodo vsi novi naročniki dostop pridobili najpozneje konec meseca. V trenutno dostopni verziji lahko model na enkrat ustvari do 13 strani besedila (8K). Sčasoma bodo te omejitve višje, so dodali.
Predhodnik, GPT-3, pa se bo počasi upokojil. OpenAI je dejal, da ga bodo aktivno podpirali do januarja prihodnje leto, nato pa bodo model ugasniti, da bi lahko računsko moč koristneje uporabili za poganjanje novejših modelov. To pomeni, da se bodo morali prilagoditi tudi pisci aplikacij, ki so uporabljali neposredno starejši model. OpenAI bo zagotovil enostavne nadomestke, ki ne bodo terjali velikih prilagoditev (drop-in).
Sedaj je GPT-4 na voljo strankam z zgodovino plačil, torej obstoječim naročnikom, medtem ko bodo vsi novi naročniki dostop pridobili najpozneje konec meseca ... Predhodnik, GPT-3, pa se bo počasi upokojil. OpenAI je dejal, da ga bodo aktivno podpirali do januarja prihodnje leto, nato pa bodo model ugasniti ...
Ali to pomeni, da bodo na koncu imeli vsi uporabniki dostop do GPT-4, ali da bodo po upokojitvi GPT-3, dostop imeli le naročniki, plačniki te storitve?
The main failure in computers is usually located between keyboard and chair.
You read what you believe and you believe what you read ...
Nisam čit'o, ali osudjujem (nisem bral, a obsojam).
Hi, pri stranki razmisljajo o tem, da bi dejansko uporabljaji tega bistrouma preko klicanja API-ja, vendar smo na hitro preracunali strosek uporabe, pa smo se odlocili, da za zdaj ne bomo se zaceli z uporabo, saj se stroskovno ne izide, oz. je predrago. Kako drugi vidite strosek?
Sam predvsem vidim - sploh pri podjetjih - kot problem varnostni vidik; kako lahko zagotoviš, da pri OpenAI ne bodo shranjevali tvojih podatkov?
The main failure in computers is usually located between keyboard and chair.
You read what you believe and you believe what you read ...
Nisam čit'o, ali osudjujem (nisem bral, a obsojam).
Sam predvsem vidim - sploh pri podjetjih - kot problem varnostni vidik; kako lahko zagotoviš, da pri OpenAI ne bodo shranjevali tvojih podatkov?
Zagotoviti ne mores. Lahko pa poizkusis kontra vprasati, navezujoc se na tvoje podatke, in morda sklepati, ce jih vsebuje. Nato pa poizkusis ukrepati.
Lahko pa seveda poizkusis uporabljati tako, da ne predas tvojih podatkov in le vprasas za orodje, s katerim nato sam obdelujes tvoje podatke. Ce to gre, seveda.
The main failure in computers is usually located between keyboard and chair.
You read what you believe and you believe what you read ...
Nisam čit'o, ali osudjujem (nisem bral, a obsojam).
Mi prosim prevedeš kaj k**** sem ravno prebral? Polno terminologije, ki je ne poznam.
Tko na hitro, da človek ostane človek.
vse skupaj laufa na Nividijinih grafičnih procesorjih A100s. RTX serija :-)) Za učenje uporablja:Mixture of experts (MoE) tehniko."Hierarchical mixture" je na 120 nivojih. Uporablajo različne matematične modele za hitrejši dostop do podatkov. Dosedanje napačne zadetke upošteva pri novih izbirah. Za preverjanje podatkov uporblja: - LibGen (4M+ knjig) - Sci-Hub (80M+ člankov) - Celoten GitHub Pa verjetno še visokošolski učbeniki. Tako dobiš iluzijo o pametnem AI. Torej, nič ni brezplačno.
Ampak sodelavci tudi posredujejo vse sorte zaupnih podatkov v njihov office 365, pišejo maile, uporabljajo socialna omrežja itd... zakaj smo se kar sprijaznili, da ponudniki teh storitev lahko počnejo karkoli, ubogi OpenAI, ki je dejansko edini, ki (zaenkrat) teh podatkov ne prodaja tretjim osebam oz. uporablja za neposredno trženje/oglaševanje, pa je naenkrat taka huda reč. Saj mu ne dajemo ničesar, česar ne dajemo tudi drugim, brez hudih pomislekov in zadržkov.
Eno je pisati lepa sporočila v takšni in drugačni oblike z morda nekaj osebnimi podatki, drugo pa kar sam konkurenci vnašati dele zasebne kode od katere je "življenjsko" odvisno tvoje podjetje/posel/poslovni proces.
The main failure in computers is usually located between keyboard and chair.
You read what you believe and you believe what you read ...
Nisam čit'o, ali osudjujem (nisem bral, a obsojam).
Realno je večji problem inferenca. Treniranje izvajaš relativno redko in v specializiranem okolju, inferenco izvajaš vsakič, ko se tipkaš z zadevo. Trenutno ena instanca teče na gruči 128 gpujev, se pa pripravljajo bolj smiselne strojne rešitve: https://arxiv.org/abs/2307.02666 Lahko pa seveda kar Cerebrasof wafer-scale čip uporabiš ... saj je poceni, samo par miljončkov. Za to ceno pomete gpuje v kanto. The more you buy, the more you save ...
Kaj pomeni 60mil za treniranje? A to je samo za dotrenirat nek nov modul/pojem ali je to cena celotnega GPT4 modela? Ker, če je to zadnje, je to drobiž.
Tko na hitro, da človek ostane človek.