ISC '26

Samo za referenco: QANT optični analogni proci so že v produkciji v LRZ.

Na keynoteu smo izvedeli, da je prihodnost heterogena. Kljub temu, da nas večina že živi to prihodnost kako desetletje. Ampak tokrat gre heterogenst korak naprej, v kvantni svet in v neuromorphic svet. Minhen se pozicionira kot "kvantna dolina", vanjo so privabili vse relevantne ljudi in razvijajo software stack za transparentno integracijo klasičnega HPCja z različnimi kvantnimi sistemi. Ugotavljajo, da je neuromorphic stack pri sosedih konceptualno precej podoben, tako da v prihodnosti vidijo združitev. Poenotenje teh eksotičnih rešitev s stališča programskega vmesnika je močno zaželjeno in bo poenostavilo življenje vsem razvijalcem softvera. Fingers crossed.

Kitajska se je vrnila na top500 v velikem slogu, s strojem za #1 na HPC in HPCG. Teta Yutong Lu je kot chief designer na hitro predstavila, kaj zadeva je. Custom arm proci, cpu only, ker so proci toliko nabildani z vektorskimi enotami in 4TB/s HBM na socket. Pravzaprav bližje GPUjem po specs, a še vedno general purpose. Ingtegrirana 800Gb/s mreža, 4-level fat tree. Impresivno mi je napajanje - 380V DC v rack, 580KW per rack. Naj nekdo zračuna potreben presek vodnikov Zadeva ima tudi domač co-designed sw stack, ki pokriva vse potrebe od low precision ai do double precision engineering simulacij. Ni še jasno, ali je to samo stunt ali to pomeni vrnitev Kitajske na top500.

Top500 je sicer v procesu migracije pod okrilje ACM digital library. Pričakovano, ljudje ki so jo začeli, se upokojujejo. ACM bo zagotovil kontinuiteto v prihodnja desetletja.

ISC je za nami in skušam strniti vtise.

Sejmišče je delovalo nekako leno, samo še generične predelne stene z monitorji in mogoče kak 3d printed model. Pravega hardvera je bilo malo, edino AMD, HPE, Dell, Supermicro in Sugon so še privlekli en cel rack, tudi če je bil poln fake server škatel ali lcd zaslonov. Vedno več je nekih ITju neznanih firm, ki ponujajo raznorazne konektorje, vodovodne in električne, letos smo prvič videli tudi podjetje, ki ponuja high tension vijake. Saj veste, težke ai racke je potrebno fejst sešraufat skupaj, da ne razpadejo ;)

Quantum se premika iz eksperimentalne domene v produkcijo. Sejmišče je bilo polno nekih quantum this and that, razni panelisti so bili mnenja, da bomo še letos videli res pravi quantum supremacy. Ne vem, meni je ta tech še vedno magic, imeti miliKelvin hladilnike v server roomu mi ne diši, tako da mi je edino interesantna samo ion trap tehnologija, ki deluje pri sobni temperaturi. Tudi nimam pravega use casea ...

Američani so zmedeni. Kar jim je letos šlo odlično je bilo stresanje šal nad lastnim stanjem, da so prvaki v kaosu in nestabilnosti in da el prezidente hoče met Manhattan project level AI effort brez da bi investiral en sam $ v to smer. Ugotavljajo, da jih industrija tokrat pa res prehiteva po levi in desni in da resno razmišljajo o tem, da bi začeli fehtariti za compute time pri hyperscalerjih. Edini, ki se še zabavajo in imajo pred seboj polno izzivov so matematiki in algoritmiki, ki morajo sportati ves fp64 math na fp16/8/4 enote na modernem gpu hardveru, če hočejo potegniti iz njega vsaj nekaj blizu obljubljenih teoretičnih zmogljivosti.

Evropa ... se prestopa na mestu in začenja fingerpointing game. AI race nam daje občutek, da zaostajamo, zato se folk začenja spraševat po vzrokih. Root cause analysis pripelje do ugotovitve, da dokler evropa ne zrihta lažjega dostopa do riskantnega denarja za riskantne startupe, se ne bomo začeli premikati. Lepa ilustracija je bila hitrost financiranja Cerebrasa vs hitrost financiranja SiPearl.
Osebno sicer mislim, da prav nič ne zaostajamo, nasprotno, imamo kar nekaj adutov, s katerimi lahko obrnemo race v svoj prid, a ti aduti potrebujejo financiranje. En lep primer je Q.ANT s svojo optično tehniko. Torej je na odločevalcih in na lastnikih mošnjičkov, da naredijo prvi korak ...

Akademija ... se z grozo spogleduje in se sprašuje, kako bo sploh mogoče karkoli še kupiti. Par let nazaj ti je pol miljona kupilo za cel rack piksen, danes za ta denar dobiš ... dve, če imaš srečo. V javnem sektorju postopki razpisa in izbire trajajo 6 do 9 mesecev, današnje ponudbe imajo veljavnost 14 dni. Pol se pa pejt ... Skoraj dobiš občutek, da industrija to počne namerno, da odreže vso birokratsko zalego in porine vse "ta počasne" v naročje hyperscalerjev. Yay ... not looking forward to such future.

Tudi vremenarji s svojimi velikimi potrebami po compute si ne morejo več privoščiti poganjat lastnih velikih mašin in se priključujejo EuroHPC in podobnim konzorcijem, da pridejo do compute ciklov. Nekako smo se zavedli, da če to počne ECMWF, se bomo tudi mi morali začeti udejstvovati v to smer. Bo izgleda nezanemarljiv del ITja postal politično udejstvovanje in prilizovanje ... Bljak.

Trenutne razmere na trgu se še ne poznajo na top500, ampak realno je pričakovati zelo hudo stagnacijo v prihodnjih letih. Npr. na green500 letos v top10 sploh ni sprememb, zagotovo jih tudi v HPL runu v prihodnjih letih ne bo, razen če kak privat giga ai factory pokaže svoj HPL run ... Nihče drug si ne more privoščiti novega hardvera. Aja, edini drugi vnos v top10 HPL je "drill baby drill" piksna od italjanskega ENIja. Ugh.

Ai se vriva v vse možne pore hpc procesa ... od job schedulinga do interakcije userja s schedulerjem ter pre, mid in post data processinga. Na eni strani ljudje razlagajo in na veliko krilijo z rokami, kaj vse so že naredili z ai, a mi izgledajo kot ribiči, ki razlagajo, kako veliko ribo so ujeli. Na drugi strani vsi hpc operaterji samo zavijajo z očmi nad ai userji, ki bi radi imeli vse, takoj, tudi če ne rabijo. Zanje čakalne vrste ne obstajajo, souporaba hardvera jim je tuja in na splošno se obnašajo kot nevzgojeni bullyji, ki jih je potrebno fejst tepst. Tu nastaja zelo neprijeten culture clash, ki ga bo potrebno zelo podrobno spremljati v bodoče in po potrebi vključiti še kake psihologe in psihiatre. Tudi jaz sem bil vzgojen s sodelovanjem kot idealom in če bodo ti psihopati preveč sitnarili, se jih bom začel aktivno otepat. Vesel pa sem, da se v hpc krogih o tem javno razpravlja in da nisem edini, ki to opaža.

Če se še kaj spomnim, dopišem.

Aja, od youtube fac sem videl samo chips&cheese Georga. Sem upal na še kakega (ali pa sem jih spregledal).


Letos še ne vem kako bom objavil fotke ... tudi iz tem minulih let so izginile, ker moram nekam preseliti optični priključek, za katerim se skrivajo (don't ask). Bo trajalo še nekaj mesecev do nekaj let, da bodo spet vidne (don't ask).