Slo-Tech - ByteDance, ki ga poznamo kot lastnika TikToka, pripravlja veliki jezikovni model, s katerim želi preseči tudi veliki Anthropicov Mythos. Dosedanji največji kitajski model je Moonshotov Kimi K3, ki ima 2800 milijard parametrov, novi ByteDanceov model pa bo imel trikrat več parametrov, torej 10.000 milijard. Po poročanju virov blizu podjetja so nedavno začeli prvo fazo priprave (pre-training), ki traja od tri do šest mesecev, ki ji potem sledi še fino prilagajanje (fine tuning).
Velikost Mythosa 5 uradno ni znana, poznavalci pa jo ocenjujejo na 8.000 milijard parametrov. Nekoliko šibkejši Fable 5 naj bi sestavljalo 5.000 milijard parametrov. Število parametrov je pomemben dejavnik, od katerega je odvisna zmogljivost modela, še zdaleč pa ni edini. Zato seveda ne moremo trditi, da bo novi ByteDanceov model boljši od Antropicovih, se jim bo pa verjetno zelo približal.
Kitajska podjetja že vse od preplaha konec minulega leta, ko je DeepSeek celo zatresel zahodne borze, dokazujejo, da pri razvoju modelov umetne inteligence ne zaostajajo veliko. Čedalje jasneje je tudi, da želijo Zahod prehiteti. Moonshot in Alibaba sta nedavno predstavila svoja nova modela, ki sta bila slabša zgolj od Anthropicovega modela Fable 5 (Mythos smrtnikov namreč ni dostopen).
Se bo tudi TikTok AI predstavljal kot Claude, tako kot se Kimi K3, ker je pač pokradel vse znanje od njega?
Ko bodo Kitajci pokradli vse, kar se da, bodo imeli hude težave z inovacijami povsem novih produktov in rešitev. Postali bodo nova Japonska. S to razliko, da je Japonska obogatela in se postarala, Kitajska pa se že pospešeno stara, ni pa še obogatela.
Antifašizem je danes poslednje pribežališče ničvredneža, je ideologija ničesar
in neizprosen boj proti neobstoječemu sovražniku - v zameno za državni denar
in neprofitno najemno stanovanje v središču Ljubljane. -- Tomaž Štih, 2021
Se bo tudi TikTok AI predstavljal kot Claude, tako kot se Kimi K3, ker je pač pokradel vse znanje od njega?
Ko bodo Kitajci pokradli vse, kar se da, bodo imeli hude težave z inovacijami povsem novih produktov in rešitev. Postali bodo nova Japonska. S to razliko, da je Japonska obogatela in se postarala, Kitajska pa se že pospešeno stara, ni pa še obogatela.
Seveda, že prvi stavek se zelo pogumno trudi ostati v stiku z realnostjo, drugi odstavek pa je očitno že odšel na samostojno ekspedicijo v svet domišljije.
Smešno je,
da po skoraj petih letih še vedno nisi sposoben opredeliti,
pod kakšnimi pogoji zmagujemo v Ukljani.
Optimisti mislijo, da imajo Kitajci še kaj za pokrasti. V resnici so že vsaj 20 let pred vsemi ostalimi, tako da lahko le še sami sebi kradejo. Drugi pa od njih.
Predvsem na Zahodu uporabniki prostovoljno posredujejo veliko količino osebnih podatkov, pogosto zgolj zato, ker so jim /jim nudijo platforme na voljo brezplačno. Posledično si korporacije te podatke medsebojno izmenjujejo ali prodajajo, med drugim tudi za namene urjenja sistemov umetne inteligence. Odgovornost se pogosto pripisuje TikToku, čeprav bi moralo biti vsakomur z osnovnim poznavanjem širšega družbenega in tehnološkega konteksta jasno, da je stanje te platforme po omenjenem prevzemu zionsitov bistveno normalizirane.
Smešno je,
da po skoraj petih letih še vedno nisi sposoben opredeliti,
pod kakšnimi pogoji zmagujemo v Ukljani.
Se bo tudi TikTok AI predstavljal kot Claude, tako kot se Kimi K3, ker je pač pokradel vse znanje od njega?
Ko bodo Kitajci pokradli vse, kar se da, bodo imeli hude težave z inovacijami povsem novih produktov in rešitev. Postali bodo nova Japonska. S to razliko, da je Japonska obogatela in se postarala, Kitajska pa se že pospešeno stara, ni pa še obogatela.
Mislim, da jih malo prevec podcenjujes. Imajo visoko inteligenten kader in ze kar nekaj casa izumljajo veliko stvari, katerih zahod nima. Mislim, da tudi v tekmi za AI ni tako ocitno, kdo bo zmagal, pa ceprav se sumi, da delajo distilacijo.
Retail investor, Simp, Crypto analyst, Cardano hejtr
Ne odgovarjam na DM.
Kaj je pa spornega pri distilaciji? Sej output tokeni pripadajo tistemu, ki je napisal prompt. Distilacijo proprietary modelov je treba podpirati, ker so za trening uporabili javne informacije + verjetno bo distiliran model na voljo prosto in brezplacno vsakomur.
Mislim, da tudi v tekmi za AI ni tako ocitno, kdo bo zmagal,
Jaz bi stavil na kitajce, ker ogromno (ter inteligentno) vlagajo v moderno infrastrukturo in razvoj. Že sedaj imajo skoraj 2x večjo produkcijo elektrike kot USA in EU skupaj, plus da nove kapacitete dodajajo 3x hitreje od nas.
Njihovi zastonj modeli so že zelo blizu dragim zahodnim, hkrati imajo pa občutno cenejšo elektriko od nas, tako da bo zelo težko tekmovati z njimi.
Where all think alike, no one thinks very much.
Walter Lippmann, leta 1922, o predpogoju za demokracijo.
Jaz sem bil včeraj presenečen, da je kitajski Mediatek Arm že praktično ujel Snapdragon. Še Samsung vgrajuje v high end tablice raje Dimensity, kot pa Exynos! Vprašanje kdaj bomo dobili S serijo s kitajskimi SoCi.
