Slo-Tech - Meta je predstavila novo generacijo generativnih modelov umetne inteligence Llama. V tretji inkarnaciji sta ta hip na voljo Llama 3 8B in Llama 3 70B, ki imata prav toliko parametrov: osem in sedemdeset milijard. V primerjavi z drugo generacijo, ki ima sicer prav toliko parametrov, predstavljata korenit skok v zmogljivosti, so dejali v Meti. Učila sta se na dveh gručah s 24.000 grafičnimi procesorji.

Zagotovo vsak avtor hvali svoj model kot najboljši, zato nas zanimajo oprijemljivi številčni podatki. Meta trdi, da sta modela na testih MMLU, ARC, DROP, GPQA, HumanEval, GSM-8K, MATH, AGIEval in BIG-Bench Hard boljša od konkurence, denimo Mistrala 7B in Gemme 7B. To sicer drži, a na nekaterih testih je Llama 3 8B le za odtenek boljša, omenjena konkurenta pa tudi nista več najnovejša. Llama 3 70B premaga tudi Gemini 1.5 Pro, ne pa na primer Claude 3 Opus. Odveč je dodati, da je na lastnem testu, ki si ga je izmislila Meta, Llama 3 prekosila konkurenco.

Llama 3 je naučen na 15...

Google - Pretekli teden so pri Googlu pokazali Gemmo, svoj prvi veliki jezikovni model z javnimi utežnimi parametri, ki je očitno namenjen predvsem spopadu z Metino družino odprtih modelov LLaMA.

Na področju velikih jezikovnih modelov poteka vrsta ideoloških bitk; poleg tiste med "doomerji", ki menijo, da lahko LLMji pripeljejo do nevarne splošne umetne inteligence, in njihovimi nasprotniki, pa spopada med podjetji in strokovnjaki za etiko, še najmanj tisti med pristaši zaprtih in odprtih modelov. Med prve spadajo trenutno najbolj razvpiti velikani, kot sta OpenAI in Google, ki v svoje programje ne dovolijo kdovekoliko vpogleda. Med drugimi so razvijalci LLMjev, ki o svojih stvaritvah objavijo več podatkov, v prvi vrsti strukturo nevronske mreže in pa "uteži" (weights), najpomembnejšo podmnožico parametrov nekega modela, ki določa, kaj se je mreža naučila iz podatkov. Malce ironično je tu glavni igralec Meta, po zaslugi svojega laboratorija FAIR, kjer razvoj vodi Yann LeCun, in modelov...

Slo-Tech - Pravzaprav novica ne bi smela nikogar presenetiti, saj tudi sami proizvajalci na to opozarjajo in jasno svetujejo, naj v generativne modele umetne inteligence ne vnašamo občutljivih informacij. Vemo, da si ti lahko zapomnijo vse, vseeno pa preseneča, da to kdaj ravnodušno delijo z drugimi uporabniki. Raziskovalci so sicer že večkrat pokazali, da ni posebej težko oblikovati pozivov, ki umetno inteligenco pretentajo v razkrivanje osebnih podatkov.

Eden izmed bralcev Ars Technice pa je osebne podatke dobil celo, ne da bi za njih kakorkoli prosil. ChatGPT 4 mu je, ko je bilo pogovora že konec, a je imel okno še odprto, preprosto začel izpisovati vnose drugih uporabnikov. Med njimi so bila tudi uporabniška imena in gesla za prijavo v informacijski sistem neke lekarne. Očitno je nekdo izmed zaposlenih s ChatGPT poizkusil ugotoviti, zakaj mu prijava ne deluje, pri tem pa je vnašal tudi osebne podatke. Drugi podatki, ki jih je ChatGPT delil, so tudi neobjavljeni raziskovalni projekti,...

Slo-Tech - Ameriški velikani, ki razvijajo umetno inteligenco - OpenAI, Microsoft, Google, Meta, Amazon, Anthropic in Inflection - so se prostovoljno zavezali, da bodo razvili tehnologijo za označevanje izdelkov generativne umetne inteligence z vodnimi žigi. Na ta način naj bi poskrbeli, da bo pri deljenju besedil, fotografij, videoposnetkov in ostalih vsebin možno prepoznati, da niso avtentične. Tehnične podrobnosti o sistemu še niso znane.

Spomnimo, da je letos veliko prahu dvignila podoba papeža Frančiščka v beli puhovki, ki je bila ustvarjena z Midjourneyjem. Podobna je bila usoda fotografije prejšnjega ameriškega predsednika, na kateri je bila upodobljena njegova aretacija. To so bili sorazmerno neškodljivi poizkusi, a generativna umetna inteligenca se lahko uporablja tudi pri ponarejanju glasu ali videoposnetkov, s čimer je možno izvajati prevare ali izsiljevati.

OpenAI so zapisali, da bodo na voljo orodja ali API-ji, s katerimi bo možno enostavno ugotoviti, ali neka vsebina izvira iz...

Slo-Tech - Medtem ko so šole v New Yorku ugotovile, da se nima smisla boriti z mlini na veter, in so preklicale prepoved uporabe ChatGPT na svojih omrežjih, je v podjetjih seveda drugače. Apple je zadnje v vrsti podjetij, ki so zaposlenim prepovedale uporabo tovrstnih orodij, da podatki ne bi odtekali v svet.

Apple ni prepovedal le uporabe ChatGPT, temveč vseh sorodnih orodij umetne inteligence. Istočasno razvijajo lastnega pomočnika z umetno inteligenco, tujih pa ne marajo, ker bi tako lahko pobegnile interne in zaupne informacije. Poleg sogovornikov, kakršna sta Bing Chat ali ChatGPT, Apple ne dovoli uporabe niti GitHubovega Copilota, ki poenostavlja pisanje kode.

Ključni problem je, da ChatGPT in ostali komunicirajo z avtorji. Da bi se učili, si shranjujejo vnose uporabnikov. V preteklosti smo že videli napake, ko so v nekaterih primerih to celo razkrivali tudi drugim uporabnikov. OpenAI je sicer izdal plačljivi ChatGPT, ki omogoča izklop deljenja podatkov. A tudi brez tega je...

Slo-Tech - Po preobratu, ki ga je na trgu povzročil OpenAI s svojim pomočnikom ChatGPT, si Google še vedno ni opomogel. Njihov poizkus, ki je sledil marca letos, se je imenoval Bard in je – milo rečeno – pogorel. Sedaj prihaja umetna inteligenca v Googlove izdelke pompozno in na velika vrata.

Bard je bil pač preslab, za nameček pa si je Google ob splavitvi privoščil hudo površnost, ko je Bard napačno odgovoril na enostavno preverljivo faktografsko vprašanje. Javnosti niso več prepričali, uprli pa so se tudi zaposleni, ki so vodstvu očitali prehitevanje in predstavitev nedokončanega polizdelka. Sedaj poizkušajo znova.

V sredo je Google za novinarje v Mountain Viewu organiziral dogodek, na katerem je največ pozornosti požela napoved novega prihoda umetne inteligence. Google je odločen, da žezlo iztrga iz rok OpenAI-ja in Microsofta, pri čemer resne alternative nima. V nasprotnem primeru mu grozi, da bo po dveh desetletjih izgubil primat na področju iskanja, kar bi bilo zanj katastrofa.

Zato...

Slo-Tech - Kakor je Stability mešal štrene OpenAI-ju s svojim modelom za ustvarjanje slik Stable Diffusion, mu bodo tudi pri jezikovnih modelih. Pripravili so odprtkodni jezikovni model StableLM, ki je pod licenco CC BY-SA-4.0 na voljo vsakomur. Koda je dostopna na GitHubu, preizkusimo pa jo lahko na Hugging Face ali Replicate. Verzija za pogovor je takisto že dostopna.

StableLM je naučen na treh in sedmih milijardah parametrov, kar je precej manj od ChatGPT-jevih 175 milijard. Sicer prihajata tudi verziji s 15 in 65 milijardami parametrov, a velikost modela ni vse. StableLM v svoji srži smiselno nadaljuje besedilo, ki ga začne človek z ukazom (prompt), rezultat pa so smiselni odgovori. StableLM se lahko pogovarja kot človek, lahko pa tudi piše kodo. Ta je po prvih preizkusih še malce bolj robata kakor pri ChatGPT, a večja modela bosta bržkone boljša. Še vedno pa je boljši od Facebookovega LLaMA, dasiravno GPT-3.5 ali GPT-4.0 še ne dosega. StableLM se je učil na odprtem korpusu podatkov, ki...

Slo-Tech - Še pred letom dni bi bil takšen naslov možen le v znanstvenofantastični zgodbi, a umetna inteligenca in Bing Chat sta pošteno premešala karte. Microsoftov iskalnik Bing obstaja že dobro desetletje (od leta 2009), a ga do letos nihče ni štel za resnega konkurenta. Bing Chat s podporo za GPT-4 je vse to spremenil. Samsung sedaj resno razmišlja, da bi v prihodnosti na svojih napravah privzeto nudil Bing in ne Googlovega iskalnika. V Mountain Viewu so zaskrbljeni.

Ne gre le za prestiž, gre za občutne zneske in predvsem sporočilo trgu. Pogodba s Samsungom je po ocenah vredna tri milijarde dolarjev, z Applom (ki tudi poteče letos) pa celo dvajset milijard dolarjev. To so zneski, ki jih Google plačuje Samsungu in Applu, da usmerjata na njegov iskalnik, zato si lahko le predstavljamo, kolikšne so dejanske koristi za Google. In zato so pogajanja med Googlom in Samsungom, ki trenutno tečejo, zelo ostra.

Seveda ni nujno, da Samsung misli resni. Morda le blefira, a sedaj ima dejansko vzvod...

Slo-Tech - Microsoft je svoj Bing, ki je minuli teden dobil jezikovni model, nadgradil tudi z vmesnikom za ustvarjanje slik. Bing Image Creator deluje podobno kot DALL-E, saj ga tudi poganja nadgrajena verzija DALL-E, ki jo je razvil OpenAI. Microsoft je bil v omejeno podjetje vložil deset milijard dolarjev, zato sodelovanje ni presenetljivo.

Bing Image Creator je na voljo za uporabnike, ki so se vpisali v čakalno vrsto za Bing Chat in imajo že aktivirano storitev. Ti lahko slike ustvarjajo neposredno v pogovoru, in sicer v kreativnem načinu. Zadostuje, da Bingu povedo, da želijo imeti sliko (draw an image, create a photo), pa jo bo ta ustvaril in umestil v pogovor. Poleg tega pa ga lahko drugi uporabniki preizkusijo v brskalniku Microsoft Edge ali na naslovu bing.com/create. Deluje enako kot ostali generativni modeli, tj. z vpisom ključnih besed (prompt), iz katerih model ustvari sliko. Te so bolj ali manj realistične, še vedno pa trpijo za halucinacijami (poglejte primer slovenske...

Slo-Tech - Google se pridružuje jezikovnim modelom, ki so kljub že precej dolgi zgodovini šele v zadnjih mesecih obnoreli svet. Da ne bi OpenAI s svojimi modeli GPT pobegnil predaleč, je Google odprl API za dostop do svojega modela PaLM. Ta je podoben kot GPT ali Metin LLaMA, prvikrat pa so ga napovedali že pred letom dni. PaLM je večnamenski model, ki ga lahko natreniramo za pisanje kode, iskanje informacij, povzemanje besedil ali zgolj pogovarjanje.

Hkrati je Google izdal še aplikacijo MakerSuite, ki omogoča lažje rokovanje s PaLM-om. Z njim lahko enostavno vnašamo pozive (prompt), dodajamo sintetične podatke v podatkovne zbirke in prilagajamo obstoječe modele. To lahko storimo kar v brskalniku, računsko zahtevnejši del pa se izvede v Google Cloudu. Poleg tega je Google predstavil še precej orodij za poslovni svet, kjer moramo omeniti platformo Vertex AI za generativno umetno inteligenco - z njo podjetja urijo lastne modele strojnega učenja, ima pa dostop do nekaterih modelov Google...

openai.com - Kot smo že nekaj časa pričakovali, so v OpenAI naposled najavili veliki jezikovni model GPT-4. Za rahlo presenečenje pa so obenem poskrbeli v Microsoftu, s priznanjem, da novi Bing Chat v bistvu na njem sloni že od začetka testiranja.

Skoraj 3 leta nas že ločijo od prvih vnašanj ukazov generativnemu jezikovnemu algoritmu, oziroma velikemu jezikovnemu modelu (LLM) GPT-3. Umotvor laboratorija OpenAI je postal eden od sinonimov za eksplozijo generativne strojne inteligence, ki je lani dosegla nove nivoje z generatorji slik in jesenskim lansiranjem pogovornega bota ChatGPT, letos pa z nebrzdano naglico poganja novo tekmo med tehnološkimi velikani. Posledica norije je bilo seveda mrzlično čakanje na novo različico GPTja, ki so ga sicer inženirji medtem iterativno nadgrajevali, tako da je bila lani v bistvu aktualna različica 3.5. Tudi šef OpenAIja, Sam Altman, je večkrat opozoril, da so pričakovanja bržkone prevelika in da bo GPT-4 nova evolucijska stopnja ter še daleč od kakšne...

Slo-Tech - ChatGPT je zaslovel, ker je bil dovolj dober in in dostopen sleherniku, a še zdaleč ni edini. Svoj jezikovni model (LLM) je razvila tudi Meta, ki se je pohvalila, da je primerljivo kakovosten, dasiravno desetkrat manjši. Poimenovali so ga LLaMA in prihaja v več inačicah, ki imajo od sedem do 65 milijard parametrov. GPT-3, na katerem temelji ChatGPT, jih ima 175 milijard. LLaMA-13B s trinajst milijardami parametri naj bi bil že boljši od ChatGPT, trdi Meta.

Meta trdi, da je njihov model povsem združljiv z avtorskimi pravicami, saj so pri treningu uporabljali le prosto dostopna besedila. V praksi so to na primer Wikipedia, korpus Common Crawl in C4. Zato je lahko celoten model tudi javno dostopen, če se bo Meta za to odločila. Za zdaj se še ni v celoti, tako da ga enostavno ne moremo preizkusiti, lahko pa to storijo raziskovalci. Oskubljena lama je na voljo na Githubu, raziskovalci pa lahko zaprosijo za dostop do polnega modela.

Znižanje zahtevnosti modela in njegova odprtost...

Slo-Tech - Po velikanskem uspehu jezikovnega modela ChatGPT so se novosti oklenili vsi večji igralci na tem področju. Ta teden je Microsoft že predstavil integracijo v svoj iskalnik Bing, ki se je leta neuspešno kosal z Googlom, sedaj pa je morda našel svojo nišo. ChatGPT v sodelovanju z Bingom omogoča enostavnejše iskanje, kjer z iskalnikom komuniciramo kot s človekom in mu postavljamo vprašanja. Novo sodelovanje ni presenetljivo, saj je Microsoft med večjimi vlagatelji v OpenAI, ki so napisali ChatGPT.

Sledil je Google, ki je s svojim konkurentom Bard zaostal za pričakovanji. V reklami je med drugim Bard dejal, da je teleskop James Webb poskrbel za prvi posnetek eksoplaneta, kar še zdaleč ne drži, saj so prvi posnetki že iz leta 2004. Ko se je spodrsljaj razširil po spletu, so delnice podjetja padle za 10 odstotkov. Seveda razlog ni zgolj en spodrsljaj - spomnimo, da je Windows 98 med uradno predstavitvijo Plug and Play pokazal modri zaslon - temveč Googlov zaostanek na tem področju. Sredi...

Slo-Tech - Google se je pošteno ustrašil prihodnosti, ki jo slikajo veliki jezikovni modeli, kakršen je ChatGPT. Potem ko je ChatGPT povzročil preplah v podjetju, so sedaj hitro napovedali svojo različico. Le nekaj dni po prvih špekulacijah je kar izvršni direktor Sundar Pichai V blogu zapisal, da pripravljajo eksperimentalno pogovorno umetno inteligenco. Že danes je na voljo v zaprtem krogu preizkuševalcev, v prihodnjih tednih pa naj bi jo pokazali širnemu svetu. Tako hitra napoved in splavitev storitev, ki jo reklamira sam izvršni direktor, podkrepljuje navedbe, da je v Googlu panika. Konkurenca, zlasti Microsoft, namreč že s pridom uporablja ChatGPT, ki so ga integrirali kar v Bing (ni še dostopen).

Novi pomočnik oziroma sogovornik se bo imenoval Bard in bo kakor ChatGPT na voljo brezplačno. Uporabljal bo rezultate s spleta, v čemer bo torej različen od ChatGPT, ki se je treniral na njih, a nato nima več dostopa do interneta, zato so njegovi odgovori zgodovinsko omejeni najpozneje na leto...

Slo-Tech - V New Yorku so se odločili na šolskih omrežjih in napravah blokirati dostop do orodja ChatGPT. Za blokado so se odločili zaradi negativnih vplivov na učenje ter pomislekov glede varnosti in resničnosti vsebin, ki jih ChatGPT podaja. Dodali so, da ChatGPT lahko podaja hitre in preproste odgovore na vprašanja, a ne omogoča razvoja kritičnega mišljenja in sposobnosti analitičnega mišljenja, ki sta ključna za dober šolski rezultat in kasnejši uspeh v življenju. Dostop bo omogočen le po zaprosilu, če se prosilec ukvarja s študijem umetne inteligence.

Ko se je ChatGPT odprl javnosti, so učitelji in učenci hitro ugotovili, da so njegovi eseji zelo prepričljivi. Nekateri bolj katastrofični zapisi so napovedovali kar konec poučevanja angleščine, kot ga poznamo. Tako hudo verjetno ne bo, a ChatGPT se v celoti ne bo možno izogniti. Četudi bo blokiran na šolskih omrežjih in napravah, je še vedno dostopen na mobilnih omrežjih, na domačih računalnikih in povsod drugod. Podobni pomisleki so bili...

Slo-Tech - OpenAI, ki je letos izdal generativno umetno inteligenco kot pomočnika za besedila (ChatGPT) in slike (DALL-E), je pripravil tudi orodje za 3-D modeliranje. Imenuje se Point-E in sicer ni najboljše orodje pod soncem, je pa za dva velikostna razreda hitrejše od konkurenčnih izdelkov. Vendarle pa je uporaba Point-E nekoliko bolj zapletena kot DALL-E in ChatGPT, saj nima spletnega vmesnika. Kodo moramo namestiti na računalnik in pognati s Pythonom.

Point-E je namenjen ustvarjanju 3D objektov iz preprostega besedna opisa (prompt), v čemer je podoben starejšim bratom. Umetna inteligenca zna povezati model, ki iz besedila ustvari podobo, in model, ki iz podobe ustvari 3-D model. Čeprav rezultati niso popolni, je uporaba enostavna in hitra. Za posamezen model potrebujemo minuto ali dve, odvisno od grafične kartice. Nekaj podobnega zna tudi Googlov DreamFusion, a je ta počasnejši in potratnejši.

Rezultati Point-E so "oblaki" kroglic ali točk, skratka množica diskretnih točk v prostoru,...