Google predstavil nova čipa TPU 8t in TPU 8i

Slo-Tech - Google je predstavil nova čipa osme generacije TPU-jev, ki se imenujeta preprosto TPU 8t in TPU 8i. S tem je Google dokončno ločil čipe, ki so namenjeni treningu modelov umetne inteligence (TPU 8t - training), in čipe za poganjanje teh modelov (TPU 8i - inference). Google pravi, da bo z novimi čipi v primerjavi s prejšnjo generacijo mogoče modele poganjati od dva- do štirikrat hitreje, poraba energije pa bo 30 odstotkov nižja.

Gruča TPU 8t ima 9600 čipov, zmore 121 eksaflops (v natančnosti FP4), obojesmerni prenos podatkov z 19,2 Tb/s in komunikacijo z okolico 400 Gb/s. S tem je približno trikrat zmogljivejši od lanskega Ironwooda. Za inferenco pa ima gruča TPU 8i 1152 čipov, 11,6 eksaflops, 331,8 TB pomnilnika HBM in 19,2 Tb/s prenos podatkov. Oboji bodo na voljo še letos.

Google obljublja, da je možno gruče linearno združevati in sestaviti sisteme z več kot milijonom čipov. To je odlično za trening in uporabo večjih modelov in nekoliko manj odlično za cene pomnilnika. TPU 8t in TPU 8i sta namenjena novi generacije umetne inteligence, ki bo temeljila na agentih, zagotavlja Google. Podpirata obstoječa orodja, kot so JAX, MaxText, PyTorch, SGLang in vLLM, ter seveda vse vrste Geminija.