Slo-Tech - Danes dopoldne se je Anthropicu primerila površnost, ki ga bo v najboljšem primeru stala zgolj nekaj ugleda, v najslabšem primeru pa bo tekmecem omogočila, da ga dohitijo. Na uradnem repozitoriju npm (@anthropic-ai/claude-code) so objavili skoraj 60 megabajtov veliko datoteko z izvorno kodo v JavaScriptu (.map). V nekaj urah si jo je ogledalo na tisoče razvijalcev.

V datoteki je približno pol milijona vrstic kode. V njej se skriva precej uporabnih informacij, javnosti pa najbolj koristi vpogled v reševanje problema entropije, ki se med pogovorom kopiči. Agentje umetne inteligence sčasoma začno halucinirati ali se preprosto zmedejo, če pogovori trajajo predolgo. Anthropic je to težavo rešil zelo pretkano s tronivojsko pomnilniško arhitekturo, ki ne shranjujejo več slepo vsega, kar se zgodi med pogovorom.

Prav tako je v kodi več omemb tehnologije KAIROS, ki Claudu omogoča neprekinjeno delovanje v ozadju. V arhivu se skriva tudi več informacij o prihajajočih izdelkih, pa tudi...

Slo-Tech - Tehnični direktor za Azure, Mark Russinovich, se je pozabaval z Anthropicovim orodjem Claude in mu dal v pregled 40 let staro kodo v binarni obliki. Leta 1986 je Russinovich napisal orodje Enhancer, ki je na računalnik Apple II prinesla možnost uporabe spremenljivk in BASIC-ovih izrazov kot cilje ukazov GOTO, GOSUB in RESTORE. Osnovni Applesoft BASIC je kot cilj podpiral le število vrstice.

Claude Opus 4.6 je pregledal binarno kodo in v njej takoj odkril nekaj hroščev in ranljivosti. Da je v kodi za Apple II hrošč, je zanimivost, ki na današnji svet ne vpliva. Precej bolj pomembno pa je dejstvo, da lahko Claude razvozla binarno kodo in ranljivosti najde v njej! Na svetu obstaja na milijarde mikrokrmilnikov, ki poganjajo raznovrstno kodo, staro in manj staro, ki se že zdavnaj ne posodablja več, vprašanje pa je, kako natančno je sploh bila pregledana.

Umetna inteligenca je sicer znana, da si včasih izmišljuje ali najde irelevantne ranljivosti. Tudi koda, ki jo piše, pogosto ni...

Slo-Tech - Anthropicov spor s Pentagonom in ameriškim predsednikom je podjetju za zdaj zaprl vrata do ameriške vojske in, če se uresniči grožnja ameriškega predsednika z uvrstitvijo na seznam entitet, ki predstavljajo tveganje za ameriško nacionalno varnost, tudi vseh pogodbenikov ameriške vojske. A podjetje v medijih prisotno kot še nikoli, kar je pozitivno vplivalo na njihovo vidnost. Aplikacija Claude je v zadnjih tednih postala izjemno prepoznavna.

Donald Trump je Anthropic označil kot poblaznelo levičarsko podjetje, ki da je naredilo katastrofalno napako z izsiljevanjem ameriškega ministrstva za vojno, kakor imenuje obrambno ministrstvo. Vse to povečuje popularnost podjetja in njegovega Clauda.

V ZDA se je na Applovem seznamu najpriljubljenejših brezplačnih aplikacij zavihtela na prvo mesto, od koder je izrinila ChatGPT, ki je sedaj drugi. Gemini je četrti. Še 30. januarja je bil Claude na iOS šele 131. najbolj priljubljena aplikacija, februarja pa se je že povzpel med prvo...

Slo-Tech - Podjetje Anthropic, ki razvija enega najpopularnejših agentov umetne inteligence, se je znašlo v hudem sporu z ameriško administracijo. Ministrstvo za obrambo je zahtevalo, da podjetje iz svojega orodja odstrani varovalke, ki preprečujejo neprimerno ali zlonamerno rabo. Ker se direktor Dario Amodei ni uklonil, je obrambni minister Pete Hegseth zagrozil, da bodo povsem odstopili od uporabe Anthropicovih rešitev. To se bo sedaj tudi zgodilo.

V zgodbo se je vmešal celo Sam Altman iz OpenAI, ki skuša pomiriti razburjeni strani. Altman poudarja, da se OpenAI strinja z Anthropicom, da obstajajo rdeče meje, ki jih ne bodo prečkali. Orodja potrebujejo omejitve, sicer se lahko uporabljajo za nezakonite namene ali celo spodkopavanje ustavne ureditve držav. Ena izmed teh rdečih črt so za OpenAI avtonomna smrtonosna orožja, pa tudi množični nadzor, je zapisal v okrožnici za zaposlene. Ti so sicer že pred tem začeli podpisovati pismo solidarnosti.

A Donald Trump je odreagiral burno, kot je v...

Slo-Tech - Anthropicov Tristan Hume je opisal zanimiv metaproblem, ki ga imajo v podjetju pri preizkušanju novih kandidatov za zaposlitev. Zadnji dve leti uporabljajo test, ki ga lahko kandidati odnesejo domov in rešijo, kar je v dobu velikih jezikovnih modelov lahko problem. Z vsako novo izdajo Clauda morajo test prenoviti, saj ga Claude reši bolje kot velika večina kandidatov.

Od leta 2024 je test reševalo dobrih tisoč kandidatov, izmed katerih so jih več deset tudi zaposlili. To so inženirji, ki so razvijali vse nove verzije od Claude 3, pri čemer so se odlično odrezali. Vsak novi Claude je prejšnje teste v enakem časovnem oknu rešil bolje od velike večine ljudi. Claude 4 je bil boljši od večine, Claude 4.5 pa od vseh. Če so imeli ljudje na voljo neomejeni čas, so tisti najboljši še premagali Claude 4.5.

Konkretni testi so sprva trajali štiri ure, kasneje dve. Kandidati so reševali realistični problem, na voljo pa so imeli vsa orodja, tudi umetno inteligenco. To je smiselno, ker ta...

Slo-Tech - Google je izdal krajše poročilo o okoljskih vplivih umetne inteligence, v katerem so ocenili tudi porabo energije za ustvarjanje besedila z velikimi jezikovnimi modeli. Čeprav celokupna poraba električne energije raste, je to posledica večje razširjenosti modelov, medtem ko posamezne poizvedbe porabijo čedalje manj energije. V letu dni se je potratnost poizvedb znižala za 33-krat, so ugotovili.

Energija se ne troši le za delovanje čipov, na katerih teče veliki jezikovni model, temveč tudi za podporni infrastrukturi. To so tako drugi deli strojne opreme, kot pomnilnik, shranjevanje podatkov in prenos podatkov, kot tudi hlajenje, transformatorji in ostalo. Google ocenjuje, da ena poizvedba v Geminiju potroši 0,24 Wh električne energije, kar ustreza nekaj sekundam dela na prenosnem računalniku. Temu pripada ogljični odtis 0,03 grama CO2 in 0,26 mililitra porabe vode.

Razčlemba po podatkovnem centru pa pokaže, da 58 odstotkov energije porabijo delujoči čipi za AI, 24 odstotkov...

Slo-Tech - Iz Anthropica je prispel novi model umetne inteligence Claude 3.7, ki zmore delovati v dveh načinih. Odzivi so lahko klasični ali pa razmišljujoči (reasoning), s čimer lahko rešuje tudi težje zagonetke. Zaradi tega je hibridni model enostavneje uporabljati, zlasi kadar potrebujemo kombinirane odzive. Uporabnik (ki uporablja API) ima nadzor nad njegovim obnašanjem, na primer kako dolgo razmišlja in koliko računske moči troši. Hkrati model izpisuje (scratchpad), kako razmišlja oziroma rešuje problem. To je koristna informacija tudi za uporabnika, ki lahko vidi, ali bi se model bolje odrezal, če bi imel na voljo več časa, in podobno.

Claude 3.7 je precej boljši pri pisanju kode in razvoju, dobil pa je tudi orodje Claude Code za pisanje kode. Inženirji mu lahko delegirajo različna opravila, ki jih morajo rešiti pri programiranju. Razmišljujoči model je dobil dodatni trening na področjih pisanja kode, uporabe računalnikov, odgovarjanja na pravne dileme in podobne naloge, ki jih lahko...

Slo-Tech - V približno tednu dni je dotlej malo znano kitajsko podjetje DeepSeek z lansiranjem naprednega velikega jezikovnega modela R1 področje generativnih algoritmov na videz postavilo na glavo: za bistveno nižjo ceno so namreč napravili izdelek, ki se lahko kosa z OpenAI o1.

Prejšnji ponedeljek - ravno na dan Trumpove druge prisege - je malo znano kitajsko zagonsko podjetje DeepSeek predstavilo družino jezikovnih modelov DeepSeek R1. Natančneje, gre za modele z določeno zmožnostjo sklepanja (simulated reasoning - SR), ki v fazi izvajanja postopek odgovarjanja strukturirajo v nekakšno zaporedje argumentiranega iskanja delnih odgovorov, zaradi česar so uporabni predvsem na področju znanosti, matematike in tehnologije. Prvi algoritem takšne sorte so pri OpenAI predstavili lanskega septembra v obliki o1 in torej veljajo za čelo napredka.

Posebnost R1 pa ni zgolj to, da naj bi kitajski startup v zgolj nekaj mesecih dohitel OpenAI, saj naj bi bil R1 po izkazu sila blizu o1, temveč še bolj v...

Slo-Tech - OpenAI je v četrtek predstavil nov generativni model O1, ki je trenutno na voljo v izvedenkah o1-mini in o1-preview. Ključna razlika v primerjavi s predhodnikom GPT-4o je bolj celostno razmišljanje, saj je model namenoma narejen tako, da se odziva nekoliko počasneje in da premisli o celotnem vprašanju, preden izpljune odgovor. To so dosegil tako, da so ga učili na povsem novem podatkovnem nizu, hkrati pa so uporabili nove algoritme. Za zdaj še nima večmodalnosti, zato ne more analizirati fotografij ali slikati.

Hkrati je tudi precej dražji, zato bo uporaba prek API od tri do štirikrat dražja, uporabniki plačljive spletne inačice pa bodo dobili le omejeno število poizvedb na teden. OpenAI O1 v resnici še ni povsem končan, zato ga označujejo kot preview. A kljub temu je pri vprašanjih, ki terjajo celostni premislek, denimo pri reševanju matematičnih zagonetk, presenetljivo natančen. Ker pa nima dostopa do interneta in ima drugačno vrsto znanja, je manj natančen pri odgovarjanju na...

Meta - Pri Meti so po mesecih napovedi izdali prvi odprtoutežni jezikovni model s prek 400 milijardami parametrov, Llamo 3.1 405B.

Bržkone največji ideološki boj pri razvoju velikih jezikovnih modelov je ta hip tisti med povsem zaprtimi modeli, kamor spada večina od razvpitih igralcev na trgu - GPT, Gemini, Claude - in pa na drugi strani ... na nek način odprtimi, kjer je vodilna Meta z družino modelov Llama. Tako Mark Zuckerberg kot vodja njegovega laboratorija za generativne modele Yann LeCun sta namreč velika zagovornika bolj odprtega razvoja takšnih algoritmov. Zato ni nenavadno, da je ob lansiranju najnovejše družine, Llama 3.1, Zuckerberg doktrino nadrobno pojasnil v spletni objavi.

Po njegovem tudi tu velja dinamika, ki smo jo lahko spremljali v vojni operacijskih sistemov med Windowsi in Linuxom - čeprav so Okna na površju komercialno uspešnejši izdelek, pa je Linux spričo svoje zanesljivosti, prilagodljivosti in svobodnosti našel pot na mnoga področja, od mobilnih naprav do...

Slo-Tech - Špekuliralo se je, da bi lahko GPT-5 dobili že letos poleti, a trenutno nič ne kaže na to. Ravno nasprotno, saj so iz OpenAI sporočili, da so pravkar začeli trening novega modela, ki bo nasledil GPT-4. Prihajajoči GPT-5 se je torej začel uriti, kar bo trajalo več mesecev, morda tudi leto dni. Tudi ko bo trening končan, pa GPT-5 ne bo takoj romal na splet. Pred tem ga morajo temeljito preizkusiti in preveriti, da ne počne (preveč) neumnosti, nato pa prilagoditi za končno uporabo. To vključuje tudi blokado določenih poizvedb, ki so neprimerne za širšo rabo zaradi etičnih ali zakonskih omejitev ali pa zgolj v neskladju s politiko podjetja. Po zelo optimističnem scenariju to izid postavlja v sredino leta 2025.

Ali Sam Altman govori res govori o GPT-5 ali pa morda celo o njegovem nasledniku, ne vemo. Označil ga je kot "frontier model", kar označuje sposobnejši model od trenutnih. Končni cilj podjetja je seveda ustvariti splošno umetno inteligenco (AGI), ki se bo kosala z ljudmi na vseh...

Slo-Tech - OpenAI je danes izdal novo verzijo velikega jezikovnega modela GPT-4o, ki je hitrejši in zmogljivejši od predhodnikov, ko gre za obdelovanje besedil, slik in zvoka. Tehnična direktorica Mira Murati je dejala, da bo brezplačno na voljo vsem uporabnikom, bodo pa imeli naročniki plačljive verzije na razpolago do petkrat več računske moči. Nove zmožnosti bodo javnosti predajali postopoma, začenši z besedilom.

Črka o pomeni "omni", so dodali v OpenAI. Pri obdelovanju in razumevanju besedila je enako sposoben kot GPT-4 Turbo, izboljšave pa so predvsem pri tekstu v drugih jezikih poleg angleščine. Sam Altman dodaja, da sta vmesnika za zvok in video najboljša doslej, kar je seveda treba vzeti z zrnom soli. Model je multimodalen, kar pomeni, da se enako dobro znajde v kakršnikoli kombinaciji zvoka, videa in besedila. Za razvijalce bo na voljo tudi API, ki pa bo plačljiv, a pol cenejši od GPT-4 Turbo. Razumevanje zvoka pa pomeni, da se bo možno z modelom pogovarjati kot z vsakim asistentom.
...

Slo-Tech - Vendarle smo slišali pričakovane vesti iz Redmonda, da Microsoft vendarle razvija lasten veliki jezikovni model. Za zdaj poimenovan MAI-1 bo imel pol bilijona parametrov, s čimer bo konkuriral Googlovemu Geminiju in OpenAI-jevemu ChatGPT-ju četrte generacije. Predstaviti ga utegnejo že ta mesec na konferenci Build. Projekt vodi Mustafa Suleyman iz podjetja Inflection AI, ki ga je Microsoft prevzel marca letos.

Microsoftov poslovni odnos do umetne inteligence je zanimiv. Na pomembnost področja je Bill Gates opozoril že pred leti, podjetje pa je nato investiralo več kot deset milijard dolarjev v OpenAI. Odločitev se jim je izplačala, saj je njihov model GPT-4 med najbolj priljubljenimi na svetu, Microsoft pa ga je smel integrirati v svoj Copilot, Bing in druge izdelke. A vendarle bi bilo nenavadno, če bi Microsoft uporabljal zgolj tuje orodje, sam pa ne bi poizkušal ničesar razviti, razen če je dolgoročni načrt prevzeti OpenAI, kar pa zaradi kompleksne lastniške strukture ni prav...

Slo-Tech - Meta je predstavila novo generacijo generativnih modelov umetne inteligence Llama. V tretji inkarnaciji sta ta hip na voljo Llama 3 8B in Llama 3 70B, ki imata prav toliko parametrov: osem in sedemdeset milijard. V primerjavi z drugo generacijo, ki ima sicer prav toliko parametrov, predstavljata korenit skok v zmogljivosti, so dejali v Meti. Učila sta se na dveh gručah s 24.000 grafičnimi procesorji.

Zagotovo vsak avtor hvali svoj model kot najboljši, zato nas zanimajo oprijemljivi številčni podatki. Meta trdi, da sta modela na testih MMLU, ARC, DROP, GPQA, HumanEval, GSM-8K, MATH, AGIEval in BIG-Bench Hard boljša od konkurence, denimo Mistrala 7B in Gemme 7B. To sicer drži, a na nekaterih testih je Llama 3 8B le za odtenek boljša, omenjena konkurenta pa tudi nista več najnovejša. Llama 3 70B premaga tudi Gemini 1.5 Pro, ne pa na primer Claude 3 Opus. Odveč je dodati, da je na lastnem testu, ki si ga je izmislila Meta, Llama 3 prekosila konkurenco.

Llama 3 je naučen na 15...

Anthropic - Pri Anthropicu so predstavili družino velikih jezikovnih modelov Claude 3, s katero neposredno žugajo Geminiju in GPT-4.

Medtem ko se pod soji luči vrši dvoboj med navezo OpenAI-Microsoft in Googlom, ter Meta v bližini nekaj motovili z lamami, si skuša na področju velikih jezikovnih modelov svoj kos pogače odrezati tudi kopica manjših izzivalcev. Med bolj prepoznavnimi je družba Anthropic, ki so jo pred tremi leti ustanovili odpadniki iz OpenAI, ki so Samu Altmanu po povezavi z Microsoftom očitali prehitro komercializacijo. Sami razvijajo modele družine Claude, katere posebnost je vdelava spiska dodatnih zavor in smernic, po katerih naj bi se strojna pamet ravnala, čemur pravijo "constitutional AI". Zanimiva je tudi njihova dolgoročna strategija, po kateri želijo prispeti do algoritmov, ki bi se znali - vsaj na določenem ožjem področju - učiti sami in bi bili lahko osnova močnim pametnim pomočnikom. To se pravi, podobno kot pri OpenAI, le da še kanec bolj ambiciozno.

Medtem ko...

Slo-Tech - Zagovorniki odprtega razvoja strojno učenih algoritmov so ustanovili združenje AI Alliance, s katerim se želijo zoperstaviti nevarnosti prevlade najbolj razvpitih komercialnih aplikacij te vrste, ki so v veliki meri zaprte.

Nedavni prevrat v OpenAIju je vnovič razplamtel debate okoli načina, na katerega je najprimerneje raziskovati in razvijati moderne strojno učene algoritme, kot so veliki jezikovni in sorodni generativni modeli. V OpenAI sta se namreč po doslej znanih podatkih pretežno skregali dve poglavitni struji strokovnjakov, ki menita, da nepremišljen razvoj lahko pripelje do slabo nadzorovane splošne umetne inteligence (AGI), ki bi lahko pomenila nevarnost za človeško civilizacijo. Toda kjer je upravni odbor zagovarjal stališče, da mora biti razvoj počasnejši in nekomercialen, bolj po vzoru univerzitetnih raziskav, je krog okoli Altmana menil, da nujno potrebuje Microsoftov denar, če naj izvaja raziskave z dovolj visoko hitrostjo, da ne bo zaostal za konkurenco. Tokrat je...

Slo-Tech - Pretekli teden je poleg drame v OpenAI postregel tudi s kopico novosti in posodobitev v širše uporabljanem programju s področja generativne umetne inteligence.

Direndaj v OpenAI, kjer so Sama Altmana najprej vrgli na cesto, nakar se je po bizarni kolobociji zmagoslavno vrnil na najvišji stolček, je industrijo širše spodbudil v lansiranje novih ali prenovljenih lastnih rešitev. Seveda so bile te brez dvoma v pripravi že dlje časa, toda gola količina novosti v preteklem tednu ustvarja vtis, da so inženirji ... malce pohiteli; na strani Microsofta in OpenAI zato, da bi podpornike pomirili, da njihove naložbe niso v nevarnosti, na strani konkurence zato, da bi si nemara odrezali nov košček pogače. OpenAI je še med burlesko odprl glasovno-pogovorne zmogljivosti ChatGPTja za vse uporabnike. Močno dejavni so bili v Googlu, najprej s posodobitvijo Barda. Ta zna v preizkusni različici po novem precej bolje kot ob septembrskem prvem lansiranju funkcije povzemati posnetke z YouTuba. To...

openai.com - Pri OpenAI so naznanili skorajšnji prihod novih zmogljivosti v razvpitega pogovornega bota ChatGPT: poleg teksta mu bomo lahko predložili tudi slike in ga spraševali glasovno.

Ko so v OpenAI marca lansirali GPT-4, smo med teoretičnimi zmogljivostmi lahko zasledili tudi multimodalnost, se pravi organsko razumevanje različnih formatov informacij, v tem primeru poleg teksta še podobe. Toda dejansko uporabo teh funkcij v podjetju dozirajo zelo počasi; tako so se poleti povezali z družbo Be My Eyes, ki izdeluje istoimensko aplikacijo za pomoč slabovidnim, medtem ko navadnim uporabnikom tolmačenje slik še ni dosegljivo, domnevno predvsem zaradi bojazni pred nevarnostmi, ki jih takšne zmogljivosti potencialno pomenijo za našo zasebnost. Tudi Microsoft v Bing Chatu takšne dodatke preizkuša precej previdno. Sedaj je nastopil trenutek za preskok na novo stopnico, kajti "v roku dveh tednov" bodo naročniki na storitvi Plus in Enterprise lahko ChatGPTju posredovali tudi podobe ali ga...

Slo-Tech - Čeprav GPT-4 obstaja že nekaj časa in ga naročniki ChatGPT tudi že lahko uporabljajo, je OpenAI šele sedaj najavil splošno dostopnost tega jezikovnega modela. To v praksi pomeni, da ni treba več čakati na vabilo, temveč imajo dostop vse stranke, ki naročijo plačljiv dostop. Na enak način so dostopni tudi GPT-3.5 Turbo, DALL·E in Whisper API.

GPT-4 je izšel marca, odtlej pa je prošnjo za vabilo oddalo več kot milijon strank. Do danes ga uporabljajo že številni izdelki, ki imajo dostop do modela prek API. Sedaj je GPT-4 na voljo strankam z zgodovino plačil, torej obstoječim naročnikom, medtem ko bodo vsi novi naročniki dostop pridobili najpozneje konec meseca. V trenutno dostopni verziji lahko model na enkrat ustvari do 13 strani besedila (8K). Sčasoma bodo te omejitve višje, so dodali.

Predhodnik, GPT-3, pa se bo počasi upokojil. OpenAI je dejal, da ga bodo aktivno podpirali do januarja prihodnje leto, nato pa bodo model ugasniti, da bi lahko računsko moč koristneje uporabili za...

openai.com - Kot smo že nekaj časa pričakovali, so v OpenAI naposled najavili veliki jezikovni model GPT-4. Za rahlo presenečenje pa so obenem poskrbeli v Microsoftu, s priznanjem, da novi Bing Chat v bistvu na njem sloni že od začetka testiranja.

Skoraj 3 leta nas že ločijo od prvih vnašanj ukazov generativnemu jezikovnemu algoritmu, oziroma velikemu jezikovnemu modelu (LLM) GPT-3. Umotvor laboratorija OpenAI je postal eden od sinonimov za eksplozijo generativne strojne inteligence, ki je lani dosegla nove nivoje z generatorji slik in jesenskim lansiranjem pogovornega bota ChatGPT, letos pa z nebrzdano naglico poganja novo tekmo med tehnološkimi velikani. Posledica norije je bilo seveda mrzlično čakanje na novo različico GPTja, ki so ga sicer inženirji medtem iterativno nadgrajevali, tako da je bila lani v bistvu aktualna različica 3.5. Tudi šef OpenAIja, Sam Altman, je večkrat opozoril, da so pričakovanja bržkone prevelika in da bo GPT-4 nova evolucijska stopnja ter še daleč od kakšne...