Slo-Tech - Meta in Amazon sta sklenila dogovor, po katerem bo Meta uporabljala Amazonove procesorske čipe Graviton5 v naslednjih letih. Podrobnosti niso znane, a viri so za Reuters povedali, da gre za več milijonov čipov, ki bodo Meti na voljo več let.

Vsak čip Graviton5 ima 192 jeder in se lahko uporabljajo za poganjanje modelov umetne inteligence. Medtem ko trening modelov poteka na grafičnih čipih, so za inferenco povsem sprejemljivi tudi klasični procesorski čipi. Amazonov Graviton je CPU, ki je osnovan na ARM-jevi arhitekturi in namenjen posebej za poganjanje modelov umetne inteligence oziroma agentov. S tem je Amazon povečal učinkovitost in znižal porabo energije. (Amazon ima tudi svoje GPU-je z imenom Trainium.)

Spomnimo, da je lani avgusta Meta sklenila šestletni dogovor z Google Cloudom, potem ko je pred tem uporabljala pretežno Amazonove kapacitete. Dogovor z Googlom je vreden 10 milijard dolarjev, a očitno je več kot dovolj prostora (in povpraševanja) za nov dogovor. Google...

Slo-Tech - Google je predstavil nova čipa osme generacije TPU-jev, ki se imenujeta preprosto TPU 8t in TPU 8i. S tem je Google dokončno ločil čipe, ki so namenjeni treningu modelov umetne inteligence (TPU 8t - training), in čipe za poganjanje teh modelov (TPU 8i - inference). Google pravi, da bo z novimi čipi v primerjavi s prejšnjo generacijo mogoče modele poganjati od dva- do štirikrat hitreje, poraba energije pa bo 30 odstotkov nižja.

Gruča TPU 8t ima 9600 čipov, zmore 121 eksaflops (v natančnosti FP4), obojesmerni prenos podatkov z 19,2 Tb/s in komunikacijo z okolico 400 Gb/s. S tem je približno trikrat zmogljivejši od lanskega Ironwooda. Za inferenco pa ima gruča TPU 8i 1152 čipov, 11,6 eksaflops, 331,8 TB pomnilnika HBM in 19,2 Tb/s prenos podatkov. Oboji bodo na voljo še letos.

Google obljublja, da je možno gruče linearno združevati in sestaviti sisteme z več kot milijonom čipov. To je odlično za trening in uporabo večjih modelov in nekoliko manj odlično za cene pomnilnika. TPU 8t in...

Slo-Tech - Broadcom bo skupaj z Googlom zagotovil 3,5 GW računske moči, ki jo bo uporabljal Anthropic za poganjanje svojega modela Claude. Tekel bo na novih Googlovih tenzorskih čipih TPU (Tensor Processing Units), ki jih bo proizvajal Broadcom. Sistem bodo začeli postavljati prihodnje leto, 3,5 GW pa bo dosegel v nekaj letih.

Broadcom TPU-je razvija že od leta 2016 in je do danes sodeloval že z velikani, kot sta Amazon in Microsoft, saj je zanju dizajniral Trainium in Maio. Najnovejši dogovor z Googlom pa velja do leta 2031 in prav tako vključuje dizajn čipov. Posamezen Googlov TPU, ki se imenuje Ironwood, troši 1000 W energije, torej govorimo o 3,5 milijona čipov.

Anthropic je pojasnil še, da Amazon in Nvidia ostajata pomembna partnerja, ki bosta še naprej zagotavljala velike količine računske moči. Nvidijini čipi so še vedno zlati standard za trening modelov, medtem ko bo inferenca (poganjanje) tekla na Googlovih TPU-jih. Druge izbire Anthropic v resnici nima, saj so njegovi sistemi...

Slo-Tech - Anthropic je ta teden uporabnikom svojega programerskega modela Claude nekoliko omejil njegovo uporabo. Kvote za uporabo (žetoni) se ponastavijo vsakih pet ur, doslej pa se je njihova uporaba ves čas obračunavala enako. Odslej bo uporaba med najbolj zaželenimi termini strožje vrednotena. Najbolj zaželeni termini so od 14. do 20. ure po srednjeevropskem času (oziroma od 5. do 11. ure v Kaliforniji).

Thariq Shihipar iz Anthropica je sporočil, da bo omejitev občutilo približno sedem odstotkov uporabnikov. Omejitev bo veljala v vseh paketih, tako v brezplačnem kot tudi plačljivih (Pro in Max). Tedenske kvote bodo ostale enake, le popoldne (v Evropi) bo možno postoriti manj. Ko uporabnik porabi svojo kvoto, mora uporabljati šibkejši in slabši model od ponastavitve čez pet ur.

Spomnimo, da je sredi meseca Anthropic vsem uporabnikom podvojil kvote za dva tedna. Ta obdobje se je sedaj izteklo, odslej pa bo treba nekoliko bolj taktično načrtovati, kdaj uporabljati Claude.

Slo-Tech - Iz Anthropica je prispel novi model umetne inteligence Claude 3.7, ki zmore delovati v dveh načinih. Odzivi so lahko klasični ali pa razmišljujoči (reasoning), s čimer lahko rešuje tudi težje zagonetke. Zaradi tega je hibridni model enostavneje uporabljati, zlasi kadar potrebujemo kombinirane odzive. Uporabnik (ki uporablja API) ima nadzor nad njegovim obnašanjem, na primer kako dolgo razmišlja in koliko računske moči troši. Hkrati model izpisuje (scratchpad), kako razmišlja oziroma rešuje problem. To je koristna informacija tudi za uporabnika, ki lahko vidi, ali bi se model bolje odrezal, če bi imel na voljo več časa, in podobno.

Claude 3.7 je precej boljši pri pisanju kode in razvoju, dobil pa je tudi orodje Claude Code za pisanje kode. Inženirji mu lahko delegirajo različna opravila, ki jih morajo rešiti pri programiranju. Razmišljujoči model je dobil dodatni trening na področjih pisanja kode, uporabe računalnikov, odgovarjanja na pravne dileme in podobne naloge, ki jih lahko...

Slo-Tech - Amazon bo v podjetje Anthropic, ki razvija umetno inteligenco in predstavlja enega najresnejših tekmecev OpenAI, vložil dodatne štiri milijarde dolarjev. Doslej je v Anthropic že investiral štiri milijarde dolarjev, torej bo svoj vložek podvojil. Amazon ni edini, je le največji vlagatelj v novem krogu financiranja. Poleg več manjših skladov in podjetij se med potencialnimi investitorji omenja tudi Google, ki je lani obljubil poldrugo milijardo dolarjev. A Amazon ostaja glavni Anthropicov partner.

Velikanske investicije v zagonska podjetja, ki razvijajo pomočnike umetne inteligence, se nadaljujejo. OpenAI je minuli mesec zbral še 6,6 milijarde dolarjev svežega kapitala, podjetje pa je ovrednoteno na neverjetnih 157 milijard dolarjev. Elon Musk za svoj xAI išče nove sredstva po vrednotenju 40 milijard dolarjev.

Amazon in Anthropic nista povezana le finančno. Svoje modele bodo namreč razvijali in urili tudi na Amazonovih čipih Trainium in Inferentia, s katerimi želi Amazon...

Nature - Googlovi raziskovalci so potrdili učinkovitost strojnega algoritma za pomoč pri oblikovanju čipov, ki so ga sicer prvič razkrili pred dobrim letom. Strojna pamet zna napraviti dizajne, po kvaliteti primerljive človeškim, v mnogo krajšem času, rešitve pa že uporabljajo pri snovanju pete generacije Googlovega pospeševalnega čipa TPU.

Sodobni računalniški procesorji vsebujejo milijarde tranzistorjev, zato je organiziranje njihovih sestavnih delov izjemno zahtevno početje. Ko inženirji zasnujejo kompleksnejše gradnike neke arhitekture, kot so na primer sklopi logičnih vrat in pomnilnika, pride na vrsto njihovo razpostavljanje na silicij ali s tujko floorplanning. To je presneto zamudno početje, ki pri najsodobnejših izdelkih običajno traja nekje od štiri do šest mesecev. Načrtovalci ga - resda s podporo digitalnih orodij - še vedno izvajajo v grobem rečeno "na roke", skozi iterativni postopek, kjer razpostavljajo elemente od večjih proti manjšim in nato zanko ponavljajo, dokler...

Google - Google nas je popeljal korak bliže odgovora na vprašanje, kako neki je AlphaGo letos v starodavni igri go zmlel najboljšega Zemljana Leeja Sedola. Jasno je, da je Googlov AlphaGo uporabljal strojno učenje, a to samo po sebi seveda ni dovolj. Če bi se šel strojno učenje na prenosnem računalniku, bi Lee Sedol še vedno prepričljivo zmagal. AlphaGo je imel namensko strojno opremo, in to zelo močno, je končno razkril Google.

Skrivni projekt TPU so začeli že pred leti in je letos napredoval do komercialno zanimivega izdelka. TPU pomeni tensor processing unit in pri strojnem učenju nudi za velikostni razred boljše zmogljivosti od klasičnih procesorjev pri enaki porabi energije....