ISC '24

ISC se za razliko od minulih let letos dogaja že sredi maja. Trailer je zunaj že več kot pol leta:

Agenda je nabito polna z izjemno zanimivimi predavanji. Spet bi se moral klonirat na dva ali tri kose, da bi lahko obdelal vse, ki me zanimajo. Moram pa pohvalit domačo sceno, ker spet vidim slovenska imena med predavatelji :)

Medtem pa se ta teden dogaja Easybuild user meeting, predavanja so tu:
https://www.youtube.com/playlist?list=P...

ISC 24 se je začel. Včeraj sem sedel na tutorialih, kjer sem se naučil, da je pytorch v resnici še veliko večje sranje, kot izgleda. In to je #1 ai toolkit ... živa groza. Pa pustimo to, danes se je dan začel kot ponavadi z nagradami. Hans Meuer nagradi sta šla v roke eni bioinžinerki, ki gradi digital twin človeškega telesa in se trenutno ukvarja s CFDjem žil in celic v krvi; trenutno zmore simulirati četrt kubičnega milimetra žile na celi Summit mašini, ki je še pred kratkim bila na vrhu top500. Kar impresivno, do celega telesa je še daleč ... več kot desetletje daleč. Drugi prejemnik je en matematik, ki je nekaj zrihtal neke tensor metode, ni nihče zares dojel kaj počne :D

Na top500 nič hudo novega. Aurora z 1.016EF na 87% cele inštalacije ni uspela izpodriniti Frontierja, ki so ga do zdaj še malo speglali in je trenutno na rahlo več kot 1.2EF. Je pa Aurora #1 na HPL-MxP, mixed precision linpack, še pred kratkim znan kot HPL-AI, tako da se lahko Intel vsaj z nečim hvali. Jasno so se pohvalili, da so zrihtali best PR event z aurorami po celem svetu :D Fugaku še vedno raztura HPCG, na green500 pa hara nvidia z GF200. Več o tem izvemo v sredo.

EuroHPC folk še vedno deluje zgubljeno ... ravno so se dobro navadili na pre-exascale mašine in zastavili prve exascale plane, pa se morajo zdaj z AI ukvarjat. Zanimivo, v UK so postavili Isambard-AI partition "čez noč" (=v 14 mesecih) in zdaj ugotavljajo, da jim je kljub "na horuk" akciji zadeva kar dobro uspela. Tako da ni treba bit nevemkako akademski tukaj, se da dost dobro z obstoječimi izkušnjami streči tudi AI zahtevam.

Z zanimanjem sem poslušal, kakšne so fantazije o dinamičnem prilagajanju HPC sistemov na zunanje faktorje ala trenutna cena elektrike ali pa njen ogljični odtis. Izvedeli smo, kako to počne google, izvedeli smo, kako o tem razmišljajo razni scheduling akademiki, jaz pa butam z glavo ob zid, ker to na zelo primitiven način počnem že več kot tri leta in dosegam "good enough" rezultate. Priznam, niso absolutno najboljši možni, ampak v tem scenariju je bolje imeti vrabca v roki kot goloba na strehi.

Zabaven je bil tudi CXL BoF z vsegaskupaj 6 udeleženci. Zadeva je očitno popolnoma izgubila zagon, kljub temu da jo poskušajo pozicionirati kot neko "bridging the AI memory barrier" rešitev z cxl v4 in v5, ni videti nekega interesa. A mi bi rabili zgolj cxl 1.1 piksno, pa se niti tega ne da še kaufnit ...

Sejmišče mi ne deluje tako polno kot lani, zjutraj so rekli da je sicer 3200 ljudi na eventu, vendar neke gužve ni videti. Se pa pozna napihnjena vrednost Nvidie, zvečer sem doživel najboljšo večerjo, odkar hodim na ISC :)~~~ In jutri se obeta še ena ...

Drugi dan sem začel z eessi BoFom, ki je bil skoraj popolnoma poln. Lepo videti, da se dober glas širi v vse HPC vasi v tej okolici ;) Projekt ima res ogromen potencial in več ko bo uporabnikov, več bo kontributorjev in lepši bo svet za vse nas.

Nadaljeval sem z io500 BoFom, kjer se počasi pobirajo po razdelitvi liste na research in production sisteme, single node / 10 nodes / full system številke in na dodatne zahteve po opisu sistemov pri oddaji rezultatov. Trenutno kraljuje SuperFS (ex MadFS) kot research stunt in Intlov DAOS kot production tehnologija. Zanimivo, da se razne weke in vasti niso uspeli uvrstiti višje.

Potem sem se pustil poučiti o nemških mreži centrov za njihov kunstlih inteligenc. Zelo resno so se lotili lokalizirat llamo na nemščino in to zdaj prodajajo kot success story. Pravtako je ministrstvo sponzoriralo nakup uporabnega števila GPUjev (več tisoč), da lahko na njih tudi kaj streniraš v doglednem času. In to for free, samo dobro moraš razložit, kako bo tvoj projekt izboljšal svet. Vemo kaj, kakšno je stanje na tem področju doma?

Po kosilu sem poslušal modrovanja po potencialnih sodelovanjih med eurohpc in industrijo. Tema, ki se vleče že desetletja in debate so ves čas približno iste. Na trenutke kar tragikomično ...

Sledil je en BoF o bolj eksotičnih acceleratorjih. Različni centri se že igrajo z cerebrasom, sambanovo, graphcore in takimi zadevami. Lepo videti, da so v evropi že vsaj 3 cerebras inštalacije. Zadeva je impresivna, zmore 3 bytes na flop, kar je primerljivo s starimi vektorskimi crayi iz začetka hpc zgodovine, z dodatnim bombončkom, da to zmore v enem urinem ciklu. Mindblown.gif ... Sploh ker gpuji zmorejo nekje 0.005 bajta na flop. Je pa fajn če svojo kodo prepišeš s tem v mislih, da polno izkoristiš zmožnosti, ki ti jih ta wafer scale engine ponuja.

Neuromorphic talk je bil relativno impresiven. Glede na to, kaj vse že počnejo s temi čipki in ob kakšni porabi energije, je prihodnost svetla. Najbolj me je navdušil f1tenth.org avtonomni dirkalni avtoček, kjer so fliknili ven nvidia jetsona in ga nadomestili z enim micenim čipkom ter zmanjšali porabo iz ranga nekaj 10W na rang nekaj 10mW ob enakih sposobnostih vožnje. To hočem imeti v Apteri čez 10 let :D

Airbus keynote je bil rahlo zmeden, teta imela mal preveč treme. Je pa airbus že globoko v razvoju quantum algoritmov in z BMWjem šibajo zdaj en nagradni natečaj do konca leta za najboljšo uporabo quantum computinga v transportnem sektorju. Decembra bomo več vedeli o rezultatih in kaj vse je folk submittal. Prva quantum aplikacija pri airbusu bo optimiziranje vodikovih gorivnih celic, ki so sedaj polne platine in kobalta (sami nesporni elementi), da sploh delajo. Btw, tudi naš pipistrel je tu zraven.

Tradicionalni torkov intel keynote pa je bil tokrat izjemno zanimiv, predvsem "med vrsticami". Intlovci so se čisto poskrili in na oder poslali codeplay, nekako v stilu onega "developers developers developers" skakanja. Tokrat pač sycl oneapi this and that and open this and that, kot da so pa ostali non-cuda stacki closed in top secret ... No, lepo je videti, da je game on in da bomo upam da še v tem desetletju videli, kaj se bo iz tega izluščilo.

Današnji aws&nvidia dinner je bil v veliki lokalni pivnici, kamor so uspeli zvabiti vsaj pol folka. Obupno neuporaben večer, ker zaradi količine popitega piva glasnost v prostoru tako naraste, da ne slišiš več niti sebe. Nikoli nisem razumel zakaj večina folka potrebuje take šundre, sam sem se ekspresno odstranil.

Jutri je še en dan.

Nekaj vtisov z razstavišča ...
Letos sem imel za razstavišče v treh dneh na voljo le eno uro, vključno s kosili tam. Tako da nisem imel nekega časa fehtat gadgete, sem pa videl ljudi, ki so jih nosili ven polne vreče. Cele racke so imeli razstavljene zgolj ponudniki hlajenja, tako vodnega kot zračnega. Ponudniki hardvera so razkazovali zgolj posamezne rezine ter nekaj celih serverjev tu in tam, največji pa sploh niso imeli svojih štantov (Intel, Amd, Nvidia), so pa bili razpršeni po vseh ostalih štantih. Tudi npr. Cerebras ni imel svojega štanta, a so bili prisotni in se aktivno udeleževali na vseh dev bofih.

Iz takih rezin se sedaj sestavlja El Capitan. Na eni rezni je 8 nodeov. Niso povedali, kater točni Mi3xx bo uporabljen, a ponudba gre gor do 1200W, tako da lahko tako rezino komot uporabite namesto kuhalne plošče.

Pod ventilatorčkom na levi se skriva prototip evropskega procesorja. Zaenkrat še v 22nm in na 300MHz, 4-jedrni risc-v že komot poganja normalen linux desktop in ga lahko uprobljate kot razvojno okolje za software stack.

Zbirka aktivnosti, ki jih financira EU. Malo pogooglajte posamezne kratice, gotovo najdete kaj zanimivega tudi za vas.

Retro computing is new again. Večji del scene se sprašuje, kako razviti app-specific ASICe, NEC to počne že več desetletij. Zadnji krik njihove vektorske mode je zapakiran v PCIe kartice, ki jih ljubijo vsi uporabniki starih fortran kod, npr. vremenarji. Zadeva je super zanimiva, če so vaši algoritmi omejeni z memory bandwidthom in se jih da učinkovito vektorizirati.

Tole je razvilo nekaj profesorjev in študentov in ponuja boljše performanse kot H100 na starejši litografiji in četrtini moči, a samo za stencil algoritme (cfd, fea). Prikaz, da je razvoj app-specific ASICov mogoč, realen in smiseln. Imeli so tudi štant in demo, a ga nisem slikal.

Videli smo tudi nemški optični procesor, ki že deluje in zna narest matrix-matrix množenje. Zdaj delajo na skaliranju te zadeve. Držim pesti, da jim uspe. Nekaj takega je v današnji AI noriji krvavo potrebno.

Vtis z zaključka ...
... Ne preostane kaj dosti drugega kot skomigniti z rameni in se vdati v usodo. Follow the money pa to ... Očitno bomo primorani zganjat znanost z ostanki hyperscaler opreme. Ali pa se bodo investicije v znanost, namenjene razvoju dedicated hardvera, morale precej povečati ...

Lokalno prisotne študentske ekipe

Search je trenutno broken ... sicer bi lahko tu našel moje zapise vse nazaj do ISC'12. So zanimivi že iz stališča razvoja v tem dobrem desetletju ... In ja, zagotovo bom tu kaj napisal tudi iz ISC'25, ki bo 10-13. junija naslednje leto.

Novo letos: precej predavanj je na voljo prek zastonjske registracije. Očitno hočejo izmeriti, za koliko ljudi so predragi ;) Meni je pa fajn, da lahko pogledam še vse zanimive stvari, ki so se dogajale vzporedno s tistimi, na katerih sem sedel.

Alps je fina masina, precej sem se naucil o CSM-u. Ne za Archer 3 ne za Vego 2 ne vem (se) nic. Bi bilo pa fajn imet sluzben razlog za letet do Slovenije.