» »

Supercomputer (cluster)

Supercomputer (cluster)

Calmador ::

Pozdravljeni!
Zanima me samo kateri sistem se poganja na supercomputerjih oziroma clusterjih?

Vesoljc ::

Abnormal behavior of abnormal brain makes me normal...

Calmador ::

Če npr nardim Hyper v cluster iz 3 računalnikov.
In gor bi laufal 2 virtualke in vsi 3 računalnike bi hkrati dajali resurse ali 1 za prvo virtualko 2. za drugo in tretji bi bil v rezervi če prva ali druga tega nemore opravit?>

Zgodovina sprememb…

  • spremenilo: Calmador ()

Isotropic ::

za supercompe ponavadi nimaš virtualk.
za OS se uporablja recimo RHEL, za job management se pa zal ne spomnim več

c3p0 ::

Prvotno vprašanje nima sploh veze s tem kar želiš. Malo si mogoče naivno predstavljaš vse skupaj.

mtech7 ::

to bi tudi mene zanimalo, je možno na kakršenkoli način naredit, da bi za procesorsko intenzivne zadeve samo vključil dodatne računalnike in bi se dala uporabit njihova računska moč
sam nisem raziskoval, najbrž simple zadeva ne obstaja, bila bi pa praktična... (win okolje)

zee ::

Za Windows nimam izkusenj.

Na GNU/Linux je relativno enostavno. Namestis operacijski sistem na glavni racunalnik in vozlisca, namestis job scheduler (SGE, SLURM, ...), se malo poigras z nastavitvami in stvar dela ko Singerca. >:D
zee
Linux: Be Root, Windows: Re Boot
Giant Amazon and Google Compute Cloud in the Sky.

crniangeo ::

hyper-v w2k12 in dela zadeva kot sus. 2 superduper racunalnika, z vsaj 64gb rama , pazis, da dodeliš virtualkam ravno toliko rama, da lahko en sam server vse to prenese (failover) :)

https://technet.microsoft.com/en-us/lib...
Convictions are more dangerous foes of truth than lies.

Zgodovina sprememb…

SeMiNeSanja ::

Samo vseeno - tisto, kar se poganja v superračunalniških clustrih ni 'off the shelf software', temveč programi, ki so bili že v sami osnovi pisani za poganjanje v multiprocesorskih okoljih.

Drugače pa zadeva postane zanimiva, če greš gledat na 'low end' stran 'superračunalnikov'. Na Youtube najdeš kup videov, kjer so povezovali Raspberry PI-je v 'cluster' - vse od dveh, pa tja do 64 RPI-jev so povezali v 'superračunalnik'. To stvar dejansko približuje v cenovni doseg, ki si ga lahko privošči tudi kakšen zagret študent, da se lahko uči konceptov programiranja za takšna okolja, kasneje pa kodo in izkušnje prenese na nek pravi superračunalnik.

pegasus ::

mtech7 je izjavil:

to bi tudi mene zanimalo, je možno na kakršenkoli način naredit, da bi za procesorsko intenzivne zadeve samo vključil dodatne računalnike in bi se dala uporabit njihova računska moč
sam nisem raziskoval, najbrž simple zadeva ne obstaja, bila bi pa praktična... (win okolje)

Načinov je veliko, katerega uporabit, je najbolj odvisno od problema, ki ga rešuješ.
Obstaja windows hpc, a je po mnenju večine zgolj slaba šala.
Si prepričan, da ločiš pojma računske gruče in visoke razpoložljivosti? Čeprav so oboji "clustri", so to zelo različni clustri.

mtech7 ::

pegasus je izjavil:


Načinov je veliko, katerega uporabit, je najbolj odvisno od problema, ki ga rešuješ.
Obstaja windows hpc, a je po mnenju večine zgolj slaba šala.
Si prepričan, da ločiš pojma računske gruče in visoke razpoložljivosti? Čeprav so oboji "clustri", so to zelo različni clustri.

Ne ločim, priznam, to prvič slišim.
Moje vprašanje se je navezovalo konkretno na cpu rendering, pri čemer obstajajo namenski managerji, ki razporedijo taske med računalnike, vendar je zoprno vzdrževanje,zamudne nadgradnje vseh računalnikov, stalno kake komplikacije in tudi drage licence programov...
Ne poznam teh rešitev in ker nisem prepričan, da kakšna obstaja, se nisem več poglabljal. Vsaka informacija pa je seveda dobrodošla.

SeMiNeSanja ::

Zanimiva predstavitev, kako uporabiti AWS za rendering...

zee ::

Moje vprašanje se je navezovalo konkretno na cpu rendering, pri čemer obstajajo namenski managerji, ki razporedijo taske med računalnike, vendar je zoprno vzdrževanje,zamudne nadgradnje vseh računalnikov, stalno kake komplikacije in tudi drage licence programov...


Na GNU/Linuxu je vzdrzevanja gruce racunalnikov precej enostavno. Dodatno si ga lahko poenostavis, ce operacijski sistem na racunski vozlih (t.i. node-ih) zaganjas preko mreze. O kaksnih komplikacijah in dragih licencah govoris? GNU/Linux je zastonj, prav tako SGE in SLURM, ki se uporabljata za zaganjanje jobov na clustru. Enako velja za programsko opremo, ki jo uporabljam.

Kar nekaj let sem administriral stiri Linux clustre, pa nisem imel nekih problemov s programsko opremo. Trenutno se spilam s clustrom virtualnih masin (headnode + 4 racunski vozli) in nekih "stalnih komplikacij" bas nimam. Head node dodatno uporabljam za hrambo podatkov in kot proxy.
zee
Linux: Be Root, Windows: Re Boot
Giant Amazon and Google Compute Cloud in the Sky.

krneki0001 ::

Sam čakam na windows server 2015 in novi hyperV. Tam se bo dalo določit glavni računalnik in mu potem dodajat ostale računalnike. Pogoj bo 10Gb mrežna (to že imam sedaj). HyperV pa bo potem delal čez vse in bo to štel kot eno mašino s "seštetimi" procesorji, diski in ramom. Ne vem pa če bo znal vGPU tudi upoštevat, da bo "skupen".

Če bo vse delovalo bo to za render farmo odlična zadeva, ker samo dodajaš slabše mašine zraven in vse procesirajo.

Kaj pa če bi naredil recimo varianto, da bi dal več grafičnih s CUDA proci v eno mašino (recimo 4 komade s po 2880 CUDA procov). Kako bi postavil potem sistem, da bi deloval na cuda procesorjih in bi bil to recimo super računalnik?

Ima kdo kaj znanja iz tega? Imam mašino, ki ima 4 grafične s po 192 cuda proci. Kaj vse je potrebno naredit, pa kje, da bi to recimo delovalo.
Asrock X99 Extreme 4 | Intel E5-2683V4 ES | 64GB DDR4 2400MHz ECC |
Samsung 250GB M.2 | Asus 1070 TI | 850W Antec | LC Tank Buster

Zgodovina sprememb…

zee ::

Ima kdo kaj znanja iz tega? Imam mašino, ki ima 4 grafične s po 192 cuda proci. Kaj vse je potrebno naredit, pa kje, da bi to recimo delovalo.


Linux: scheduler na obeh masinah + OpenMPI (ali neko knjiznico z MPI implementacijo) + CUDA na tej masini + ustrezen SW za rendranje/racunanje
zee
Linux: Be Root, Windows: Re Boot
Giant Amazon and Google Compute Cloud in the Sky.

SeMiNeSanja ::

Dvomim, da bo hyper-v kar tako enostavno 'virtuaiziral' GPU. Poleg tega tudi dvomim, da bo kar vsaka aplikacija tekla 'na stereoidih' v takšnem okolju. Tudi če je aplikacija pisana za multiprocesorsko okolje, po moje ne bo mogla dosegati performans aplikacij, ki so namensko pisane za HPC okolja.

krneki0001 ::

remoteFX je za virtualiziranje GPU-jev. In to mi deluje sedaj na hyperV-ju na eni mašini brez problemov, tako da lahko iz virtualke dostopam direktno do cuda procov.

Sicer sem sprobal samo na Z400 mašini z dvema quadrotoma 2000, ampak tam preverjeno deluje.
Asrock X99 Extreme 4 | Intel E5-2683V4 ES | 64GB DDR4 2400MHz ECC |
Samsung 250GB M.2 | Asus 1070 TI | 850W Antec | LC Tank Buster

Zgodovina sprememb…

zee ::

SeMiNeSanja je izjavil:

Dvomim, da bo hyper-v kar tako enostavno 'virtuaiziral' GPU. Poleg tega tudi dvomim, da bo kar vsaka aplikacija tekla 'na stereoidih' v takšnem okolju. Tudi če je aplikacija pisana za multiprocesorsko okolje, po moje ne bo mogla dosegati performans aplikacij, ki so namensko pisane za HPC okolja.


Gromacs, ki ga uporabljam, je pisan za multiprocesorsko okolje in na GPU-jih dejansko leti. Se je pa potrebno zavedati, da je za optimalno izrabo GPU-ja potrebno program precej poeditirati.
zee
Linux: Be Root, Windows: Re Boot
Giant Amazon and Google Compute Cloud in the Sky.

pegasus ::

mtech7 je izjavil:

Moje vprašanje se je navezovalo konkretno na cpu rendering, pri čemer obstajajo namenski managerji, ki razporedijo taske med računalnike, vendar je zoprno vzdrževanje,zamudne nadgradnje vseh računalnikov, stalno kake komplikacije in tudi drage licence programov...
Ne poznam teh rešitev in ker nisem prepričan, da kakšna obstaja, se nisem več poglabljal. Vsaka informacija pa je seveda dobrodošla.
Vsi problemi z vzdrževanjem, nadgradnjami ipd so že zdavnaj rešeni. Temu se v današnjem IT svetu reče "configuration management". Licence so problem poslovnih modelov, ki se aktivno rešuje in razvija na vseh nivojih, posebej sedaj pri prehodu na pay-as-you-go cloud modele ... načeloma gre tu za dogovor s softver vendorjem ali pa končaš z odprtokodno rešitvijo. Kar je sedaj že kar resna izbira, slišal sem da je zadnji blendrov renderer čisto uporaben tudi v profi okoljih.

Povej malo kaj bi rad počel, kakšni so tvoji interesi in finančne zmogljivosti, pa bomo videli, kam lahko pridemo. Lahko se tudi oglasiš pri nas in se pogovorimo konkretno.

pegasus ::

krneki0001 je izjavil:

Kaj pa če bi naredil recimo varianto, da bi dal več grafičnih s CUDA proci v eno mašino (recimo 4 komade s po 2880 CUDA procov).
HW zlagat se seveda da (do 8 kartic per box, s pcie extenderji še dodatne kište zlimaš gor in imaš do 96 gpujev per system, če me spomin ne vara) ... a je vedno vprašanje, koliko je to smiselno. Tu hitro prideš do samega algoritma, ki ga izvajaš in kaj le-ta počne ... Predvsem se fokusiraš na data movement, če ga je veliko, ti multi-gpu hardver ne bo prinesel željene pohitritve, ker boš prej naletel na omejitev prepustnosti pcie vodila. Tako da politično korekten odgovor pri takih vprašanjih je vedno "it depends" ;)

Zato se vse te debate morajo začet z "kaj bi rad poganjal", nadaljujejo z "dajmo to profilirat", "kje so tu ozka grla" in končajo z "ali prilagodimo sw novemu hwju ali vzamemo obstoječ sw in zgradimo prilagojeno hw rešitev". Pravzaprav precej klasičen pragmatičen postopek, če želiš best bang for the buck.

Trololololol ::

SeMiNeSanja je izjavil:

Samo vseeno - tisto, kar se poganja v superračunalniških clustrih ni 'off the shelf software', temveč programi, ki so bili že v sami osnovi pisani za poganjanje v multiprocesorskih okoljih.

Drugače pa zadeva postane zanimiva, če greš gledat na 'low end' stran 'superračunalnikov'. Na Youtube najdeš kup videov, kjer so povezovali Raspberry PI-je v 'cluster' - vse od dveh, pa tja do 64 RPI-jev so povezali v 'superračunalnik'. To stvar dejansko približuje v cenovni doseg, ki si ga lahko privošči tudi kakšen zagret študent, da se lahko uči konceptov programiranja za takšna okolja, kasneje pa kodo in izkušnje prenese na nek pravi superračunalnik.

Kaj pa http://www.parallella.org/?

pegasus ::

Okolje za paralelno programiranje danes ni več problem ... openmpi teče praktično povsod, kakorhitro imaš dualcore cpu, že lahko začneš z delom. Problem je, da ljudje, ki dobro razumejo problem, niso nujno tudi dobri programerji ... in takoj rabiš ekipo, da sestavi softver za reševanje konkretnega problema. In ker te zadeve niso sexy in easy money, večina dobrih programerjev pobegne ... Znanstverni softveri so en lep dokaz, da bi moral biti software engineering del rednega učnega programa v vseh univerzitetnih smereh, če ne že kar v srednji šoli.

kiFni ::

Pred kratkim sem se navdušil nad cluster. Imam nekaj računalnikov enake strojne kofiguracije, pa sem se odločil da probam (vem da to ni pogoj). Prosil bi če lahko kdo pojasni kako se to uporablja, kater software lahko zaženem na cluster. Z linuxom znam delat (sproti se še učim). Polno je vodičev kako namestiti cluster computer in dodajati node. Zanima me edino katere programe se lahko poganja potem gor. Kaj potegnem dol source z githuba in skompajlam na vseh ali kako in uporablja vse cpuje oziroma gpuje? Hvala.

pegasus ::

Lani sem nekaj na to temo povedal v okviru prace šole na strojnem faksu ... škoda, da ni posnetka.
Lahko si pogledaš kak Rocks, če želiš hitro priti do delujoče gruče, ki jo lahko uporabljaš. Če bi si rad malo bolj umazal roke, ti priporočam moj umotvor. Lahko pa se lotiš tudi po moško, iz nule ...

Za softvere si poglej EasyBuild.

Če bi se rad fulltime ukvarjal s tem, se oglasi pri nas.

Zgodovina sprememb…

  • spremenil: pegasus ()

kiFni ::

Probal bom beowulf prvo. Zanima me samo kako potem namestim program. probal bi s tem https://github.com/pooler/cpuminer . vem da ne bom nč zaslužu, rad bi pa probal kako deluje.

pegasus ::

Za rudarit ne rabiš beowulf gruče. Problem, ki ga tu rešuješ, je embarasingly parallel, kar pomeni, da se posameznim instancam, ki rešujejo problem, ni potrebno prav veliko pogovarjati med seboj.

Gruča v smislu HPC (high perfomance computer) pomeni danes softver, ki rešuje problem, ki je prevelik, da bi ga en sam računalnik obdelal v željeni natančnosti v željenem času. Zato se problem razporedi čez več računalnikov (gručo), za implementacijo pa se uporabi kaka MPI knjižnica in ustrezen komunikacijski hardver (npr. infiniband).

kiFni ::

Fantje zakaj tok radi odgovarjete v smislu, ti ne rabiš to, ti rabiš to, ne splača se ti, predrago te bo prišlo,....

Jaz bi samo rad vedel če se da to zalufat in kako. to je vse. Hvala

pegasus ::

Zato, ker že imamo izkušnje :)
Zalaufaš lahko marsikaj, a je smiselna le majhna podmnožica tega, kar lahko zalaufaš ...

johnnyyy ::

LP,
sam sem delal na enem takšnem HPC. Glavna + 36 enot.

Glavna enota: 2x Intel Xenon E5520, 4 HDD povezane v RAID 10, 24GB RAM, 2x1Gbps Ethernet
Ostale: 1x Intel Xenon E5520, 1 HDD, 6GB RAM, 8x1Gbps Ethernet
Ostala oprama: UPS, 8x1Gbps switch

SW:
Glavna enota:
OS: GNU/Linux - Ubuntu server.

Ostale enote: poljubno.

Sistem sem si zastavil tako, da se zagon izvrši preko PXE boota, kar pomeni da so vsi OS/podatki shranjeni na glavni enoti (disk na ostalih enotah je za tmp/swap). Trenutno na pod enotah teče Ubuntu-server (ni bilo povpraševanja za druge distribucije).

Sistem je zasnovan tako, da se ga lahko za določeno stranko čim hitreje priredi npr.: želiš imeti svoj sistem z root dostopom na 10 enotah, ni panike ga dobiš v 5 minutah. Ko končaš delo se lahko to ugasne in se gor zažene druga konfiguracija.

Kar se tiče programov je odvisno od želje uporabnika. Eni furajo GROMACS (mulekularna dinamika), NAPOM (vreme), svoje programe pod OpenMPI ali MPICH2. Zato je pač sistem sestavljen tako, da se lahko vsakemu priredi OS, ki ga lahko potem poganja na N mašinah.

Sam se nisem osredotočal kaj lahko gor teče, zame je važno, da je sistem kot celota. Inštaliraš na enem mestu in je povsod, spremeniš na enem mestu in se spremeni datoteka povsod. Hočeš konfiguracijo hyper-cube pa ti SW avtomatsko postavi route, da promet leti na različne Eth kartice. Če izpade elektrika in je baterije v UPSju malo, naj se začnejo enote izklapljat itd.
V glavnem malo morje skriptanja.


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Nov najhitrejši superračunalnik trikrat hitrejši od predhodnika (strani: 1 2 )

Oddelek: Novice / Znanost in tehnologija
6816180 (12544) pegasus
»

Nov najhitrejši superračunalnik zmore 20 petaflops (strani: 1 2 )

Oddelek: Novice / Znanost in tehnologija
5512006 (9678) Isotropic
»

ISC12 Hamburg

Oddelek: Znanost in tehnologija
363347 (2715) pegasus
»

Oblak doma?

Oddelek: Operacijski sistemi
101659 (1049) pegasus
»

Rusija gradi drugi najhitrejši superračunalnik na svetu

Oddelek: Novice / Znanost in tehnologija
227220 (5397) Bistri007

Več podobnih tem