» »

CS-1, računalnik z največjim procesorjem v zgodovini

CS-1, računalnik z največjim procesorjem v zgodovini

Tom's Hardware - Kalifornijsko podjetje Cerebras je pokazalo računalniški sistem CS-1, ki je zgrajen okoli največjega čipa na svetu WSE, razkritega avgusta.

Letošnjega avgusta je Cerebras, mlada firma iz San Francisca, na dogodku Hot Chips presenetila z razkritjem gromozanskega procesorja Wafer Scale Engine (WSE). Kot namigne že ime, gre za čip velikosti skoraj celotne silicijeve rezine, z merami 22×22 centimetrov, katerega lastnosti gredo kar težko z jezika. 400.000 procesnih jeder, 1,3 bilijona tranzistorjev, 18 gigabajtov predpomnilnika in pomnilniška prepustnost 9 petabajtov na sekundo. Čudo je zgrajeno v TSMCju v 16-nanometrskem procesu, Tajvanci pa so morali zanj napraviti povsem samosvojo proizvodno linijo. WSE je namenjen superračunalniškim nalogam, prvenstveno na področju strojnega učenja. Smisel tako velikega monolitnega čipa je v hitrosti in učinkovitosti komunikacije elementov na njem napram rešitvam, ki združujejo več ločenih procesorjev. V delovanju tako WSE zahteva 15 kW električne moči, primerljive rešitve z diskretnimi grafičnimi karticami pa od 100 kW navzgor. To je zelo pomembno v času, ko se strojno učenje skokovito širi, s tem pa tudi njegova električna poraba. Je pa važno obenem omeniti, da ne gre za nevromorfen čip.

Hlajenje takšnega impozantnega kosa silicija ni mačji kašelj, zato smo s pričakovanjem zrli v novembrsko superračunalniško konferenco v Denverju, za katero so pri Cerebrasu obljubili pokuk v notranjost dejanskega računalnika z WSE. CS-1 ni inženirsko skoraj nič manj zanimiv od samega procesorja, ki ga vsebuje. Od 20 kW električne moči, ki vstopajo vanj, gre že omenjenih 15 kW za WSE, 4 kW za tekočinski hladilni sistem, medtem ko preostali 1 kW odpade na energetske izgube. Procesor pri tem poganjajo na frekvencah med 2,5 in 3 gigaherci; točnih vrednosti še niso izdali. Sistem je prostorninsko približno tridesetkrat manjši od omare s tisoč Teslami, ki bi imele primerljivo računsko moč. Zanimivo je tudi, da je mogoče zaradi specifične arhitekture CSe enostavno povezovati med seboj - v Cerebrasu pravijo, da so že eksperimentirali z 32 povezanimi sistemi, pri čemer naj bi bila rast moči praktično linearna!

Prvi uporabnik CS-1 je to jesen postal Argonne National Laboratory, kjer pomaga pri iskanju zdravil za zdravljenje raka in simulacijah trkov črnih lukenj (omejen dostop). Naslednja stranka bo nič manj poznana institucija Lawrence Livermore National Laboratory. Zanimivo je, da v Cerebrasu ne navajajo javno hitrosti CS-1 v sintetičnih testih, temveč stranke vabijo, da v njihovem laboratoriju mašino preizkusijo same. Tako stvarnega izkoristka v dejanskih nalogah še vedno ne poznamo. Toda če se vodilni ameriški superračunalniški laboratoriji mahoma postavljajo v vrsto, da bi se sami dokopali do njih, je podjetje očitno vendarle na dobri poti. Vsekakor ni slabo za milo rečeno odtrgan inženirski pristop z gigantskim čipom, ki se dotlej ni proslavil.

24 komentarjev

Markoff ::

20 kW?
Naj Greti pošljejo specifikacije, preden se vrne domov. Si upam stavit, da se bo usedla na prvo letalo in ne čakala več na prvo vrhunsko karbonsko jadrnico okoljsko osveščenega multimijonarja, ki bi jo zastonj popeljala.
Antifašizem je danes poslednje pribežališče ničvredneža, je ideologija ničesar
in neizprosen boj proti neobstoječemu sovražniku - v zameno za državni denar
in neprofitno najemno stanovanje v središču Ljubljane. -- Tomaž Štih, 2021

Timurlenk ::

A zdaj bomo spet v obodbju po drugi svetovni vojni in do 80-ih, ko so bili računalniki v velikosti skladišč. Še en znak, da smo se ustavili pred zidom in lahko samo neučinkovito mečemo več energije v laufanje procesorjev, ki bodo veliki kot skladišča.
Demokracija je zdej v drugem planu, to je vendar jasno.

pegasus ::

Sta vidva sploh prebrala novico?

Timurlenk ::

pegasus je izjavil:

Sta vidva sploh prebrala novico?

Seveda. Saj se ne nanaša zgolj na novico. Zdaj so splovili 22x22 cm, sčasoma bodo pa 2x2 metra.
Demokracija je zdej v drugem planu, to je vendar jasno.

pegasus ::

Sure ... če ti praviš, bo gotovo res.

          ::

Kakšno moč, preračunano na kvadratni milimeter, ima ta procesor v primerjavi z običajnimi, ki jih imamo v desktopih ali telefonih?

brbr21 ::

@Markoff, @Timurlenk: saj bi napisal ROTFL, pa ni tu nič smešnega, ko na tehnološkem forumu srečaš dva funkcionalno nepismena.
Še argument zakaj vaju obkladam:
- V delovanju tako WSE zahteva 15 kW električne moči, primerljive rešitve z diskretnimi grafičnimi karticami pa od 100 kW navzgor.
- Sistem je prostorninsko približno tridesetkrat manjši od omare s tisoč Teslami, ki bi imele primerljivo računsko moč.

/OnTopic

Zanimivo bo videti ali bo šla sedaj tekma v smer večanja delujočih vafljev?

c3p0 ::

Tech coming to your phone in 15 years.

pegasus ::

brbr21 je izjavil:

Zanimivo bo videti ali bo šla sedaj tekma v smer večanja delujočih vafljev?
Ne, ker je velikost plošče omejena s tem, kako "lep" (brez napak) silicijev kristal uspejo vzgojit.
IMHO bomo prej doživeli rast v tretjo dimenzijo, torej v višino. To se bo zgodilo, ko ena taka plošča ne bo več potrebovala hlajenja, kar bo omogočilo limanje takih plošč skupaj.

zee ::

Bom šel danes pogledat njihovo stojnico. :)
zee
Linux: Be Root, Windows: Re Boot
Giant Amazon and Google Compute Cloud in the Sky.

jype ::

pegasus je izjavil:

Sta vidva sploh prebrala novico?
Črke poznata, vsekakor. Besed ne vseh, ampak to ni ključno. Ne razumeta pomena celote.

Markoff ::

brbr21 je izjavil:

@Markoff, @Timurlenk: saj bi napisal ROTFL, pa ni tu nič smešnega, ko na tehnološkem forumu srečaš dva funkcionalno nepismena.
Še argument zakaj vaju obkladam:
- V delovanju tako WSE zahteva 15 kW električne moči, primerljive rešitve z diskretnimi grafičnimi karticami pa od 100 kW navzgor.
- Sistem je prostorninsko približno tridesetkrat manjši od omare s tisoč Teslami, ki bi imele primerljivo računsko moč.

OK, kolega, bom razložil počasi, samo zate, od funkcionalno nepismenega (mene) do funkcionalno pismenega (tebe), da boš razumel, kaj hočem povedati:

Računske kapacitete naraščajo s tako hitrostjo, da počasi, a zanesljivo postajajo računalniki največji konzument energije na planetu.
"Already, data centres have mushroomed from virtually nothing 10 years ago to consuming about 3 per cent of the global electricity supply and accounting for about 2 per cent of total greenhouse gas emissions. That gives it the same carbon footprint as the airline industry."
"Ian Bitterlin, Britain’s foremost data centre expert and a visiting professor at the University of Leeds, says the amount of energy used by data centres is doubling every four years – despite the innovations in hardware that massively increase their capacity to store data. As a result, analysts forecast that data centres will consume roughly treble the amount of electricity in the next decade."
https://www.independent.co.uk/environme...

Podobno na https://edition.cnn.com/2019/09/10/asia..., drugje tudi.

Preden bodo takšne rešitve prišle v mainstream uporabo, bo ta prihranek energije v višini 85% (običajno so to paper savings, ne pa realne številke) hitro nadomestila rast števila novih kapacitet. AI je lačna, zelo zelo lačna. Poleg tega, kot razumem, se prihranek računa glede na primerljive superračunalnike, ne pa glede na standardne data centre, ki jih za razliko od superračunalnikov po svetu mrgoli, tako da je ta "prihranek" v praksi en klinčev peanut, razen če kdo najde verodostojne številke, ki pravijo drugače...

Fosilce torej vse bolj kurimo za internete in digitalne storitve. Greta posledično žal laja v napačno drevo. Naj gre že enkrat na tisti klinčev avion iz ZDA v Švedistan in raje ugasne svoj pametni telefon, če misli resno in reče fotru, naj proda avto, kakršnegakoli že ima in se vozi z đajpovim kolesom ali javnim busom na metan.
Antifašizem je danes poslednje pribežališče ničvredneža, je ideologija ničesar
in neizprosen boj proti neobstoječemu sovražniku - v zameno za državni denar
in neprofitno najemno stanovanje v središču Ljubljane. -- Tomaž Štih, 2021

jype ::

Markoff je izjavil:

Računske kapacitete naraščajo s tako hitrostjo, da počasi, a zanesljivo postajajo računalniki največji konzument energije na planetu.
Oh, ne skrbi za nas, no.

WarpedGone ::

Računske kapacitete naraščajo s tako hitrostjo, da počasi, a zanesljivo postajajo računalniki največji konzument energije na planetu.

You surprised bro?
Software is eating the world, jupiter brain is inevitable...
Zbogom in hvala za vse ribe

Mr.B ::

Timurlenk je izjavil:

pegasus je izjavil:

Sta vidva sploh prebrala novico?

Seveda. Saj se ne nanaša zgolj na novico. Zdaj so splovili 22x22 cm, sčasoma bodo pa 2x2 metra.

Sedaj je pa 20mx20m in namesto 20kW je 200kW. Da napredek je ociten.
France Rejects Genocide Accusations Against Israel in Gaza,
To accuse the Jewish state of genocide is to cross a moral threshold

WarpedGone ::

Zbogom in hvala za vse ribe

WhiteAngel ::

          je izjavil:

Kakšno moč, preračunano na kvadratni milimeter, ima ta procesor v primerjavi z običajnimi, ki jih imamo v desktopih ali telefonih?


Meh... V bistvu zelo slabo, če rabiš običajne x86/arm operacije. Za tiste SIMD operacije je pa konkurenčen, ja. Ampak spet ne toliko splošno namenskim GPUjem in CUDI, ampak samo pri nevronskih mrežah. Tako da... na koncu vidiš, da so performanse zaradi specializacije, ne zaradi nekega tehnološkega preboja.

hojnikb ::

          je izjavil:

Kakšno moč, preračunano na kvadratni milimeter, ima ta procesor v primerjavi z običajnimi, ki jih imamo v desktopih ali telefonih?

glede na to, da je fabriciran na 16nm, ima ze tukaj handikep.
#brezpodpisa

Mr.B ::

hojnikb je izjavil:

          je izjavil:

Kakšno moč, preračunano na kvadratni milimeter, ima ta procesor v primerjavi z običajnimi, ki jih imamo v desktopih ali telefonih?

glede na to, da je fabriciran na 16nm, ima ze tukaj handikep.

Ta zaradi prenosa energije do jeder, hlajenja ter cene glede na moznost defektov...
France Rejects Genocide Accusations Against Israel in Gaza,
To accuse the Jewish state of genocide is to cross a moral threshold

hojnikb ::

pa kapacitet manjsih fabov.
#brezpodpisa

Mr.B ::

hojnikb je izjavil:

pa kapacitet manjsih fabov.

Bistveno manjsi defekti, oziroma tehnologija je na 16nm tako izpopolnjena da je verjetnost defektnega jedra toliko manjša.
Ter seveda, problem odvajanja toplote.Zadeva ima relativno visoko gostoto energije, ki jo je potrebno odvajati.
France Rejects Genocide Accusations Against Israel in Gaza,
To accuse the Jewish state of genocide is to cross a moral threshold

zee ::



Procesor v primerjavi z mojim (povprecnim) palcem.
zee
Linux: Be Root, Windows: Re Boot
Giant Amazon and Google Compute Cloud in the Sky.

pegasus ::

Zee: kako to programirajo? Imajo kak tensorflow gor sportan in se kot user ne ukvarjaš s hardverom sploh?

zee ::

Pravijo, da lahko uporabiš pytorch/tensorflow, ki potem uporabi njihove optimizirane Python kernele.

Kar se sliši predobro, da bi bilo res.
zee
Linux: Be Root, Windows: Re Boot
Giant Amazon and Google Compute Cloud in the Sky.

Zgodovina sprememb…

  • spremenilo: zee ()


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Kolikšna je električna moč toplotne črpalke? (strani: 1 2 )

Oddelek: Elektrotehnika in elektronika
7143171 (13813) zamotsloteh
»

CS-1, računalnik z največjim procesorjem v zgodovini

Oddelek: Novice / Procesorji
247498 (6318) zee
»

Bo Feniks prezimil? (strani: 1 2 )

Oddelek: Novice / Znanost in tehnologija
6310292 (7931) Pyr0Beast
»

Ogrevanje - Nafta / Elektrika

Oddelek: Loža
3710943 (9918) gruntfürmich
»

Izračuni

Oddelek: Elektrotehnika in elektronika
818665 (18461) radiator

Več podobnih tem