128gb workstation

Zdravo,

v naslednjih 2h mescih bi rad postavu workstation za deep learning, kater mora met 128gb ddr4 rama, 4tera SSDja in usaj 4x1080ti oz titane (nagibam se na 1080ti, ker je ful cenejša in nima tolko slabšega performanca)

Zatakne se pri ramu, ker ne vem, keri proci s platami sploh podpirajo tolko rama, menda ma threadripper tolko supporta ( in dost pcie lane-u, 4x16 za gpuje)

Ma kdo kake izkušnje s tem, da me usaj u pravo smer napoti, da ne bom prej obrnu pou googla.

lp

Ali pa glej nvidijin dgx workstation. Če si ga ne moreš privoščiti, ga imej kot hw referenco.

zee je 22. maj 2018 ob 07:00 izjavil:

Za deep learning IMO ne rabis prav dosti RAM-a - kakopak je to odvisno od problema, ki se ga bos polotil.

Za zacetek bi predlagal 32 GB ali 64 GB, ki ga kasneje po potrebi nadgradis; pomni, da je strezniski pomnilnik zelo drag.

1070 Ti ti bo prav dobro sluzil za manj denarja kot 1080 Ti, serija Titan je zastarela, mocno tudi dvomim, da rabis stiri kartice, dve bosta vec kot dovolj.

Za procesorje glej Intel Xeon Silver/Gold z oznakami 61xx.

Katero programsko opremo bos poganjal? Ce ti ta ne podpira GPU-jev, je sploh skoda denarja za graficne kartice.

Se to: pripravi se, da bos odstel ~4-5 kEUR za to postajo.

Če vzame ThreadRipperja ne rabi strežniškega pomnilnika.

Je kakšen poseben razlog, da je edina izbira (po tvoje) Xeon Silver/Gold? Ker, če je tako bi bilo treba zadevo primerjati z Epycom.

Drugače mi trenutno na firmi uporabljamo HP Z series workstatione ki so skonfigurirani s 64GB in 128GB rama. Poglej če ti nudijo to kar rabiš.

Je kakšen poseben razlog, da je edina izbira (po tvoje) Xeon Silver/Gold? Ker, če je tako bi bilo treba zadevo primerjati z Epycom.

ECC RAM. IMO je to modro imeti za resno delo.

Drugače mi trenutno na firmi uporabljamo HP Z series workstatione ki so skonfigurirani s 64GB in 128GB rama. Poglej če ti nudijo to kar rabiš.

Jap. Podobno tu.

Aja, preden vržeš kup denarja v škatlo (vem, mikaven hobi), preveri še cloud ponudbo. Ker škatle zelo verjento ne boš gonil 24/7 nekaj let skupaj, ti zna biti cloud ponudba cenovno učinkovitejša.

Se en glas za oblak. Delovna postaja s toliko pomnilnika in graficnimi karticami pozre kar nekaj elektrike in odda kar nekaj toplote.

hvala za odgovore, čeprav mi večina nč ne pomagajo.

Sistemske zahteve za gpu so min 1080ti, 1070ti ma premalo rama. Tolko kot mam rama skupi na gpujih (44gb), bom potreboval sistemskega x2.

Glede na to, da dobim 1080ti za 700e, dvomim da mi bojo 4 kartice računale počasneje kot ena za 4k evrov (glej sliko).



V nobenem primeru ne mislim met clouda, ker bo workstation delal 24/7 usaj nekaj mescev.

Edina omejitv CPUja je ta, da mora podpirat 64pcie lane-ov (vsak gpu bo porabil 16xpcie bandwitha). Kupil bi pa najcenejši CPU s tem supportom.

Plata mora pa podpirat 8xsata, ker bom meu na njej 8x 500gb ssdje.

Appe katere bojo GPUji računal: TensorFlow, PyTorch, Caffe, CNTK ...

Okvirna cena sistema je 6k.

Tega ne štekam najbujši.

Kaj pa je bottleneck? Če procesor podpira 64pci lajnov, in gpu nuca vsak 16x, v teoriji (in praksi) bi moglo sfurat, sej majo tolko bandwitha do procesorja kot ga nucajo, al ne?

kako bi pol blo najbolj optimalno pa najcenejše 4gpuje postavt v en workstation?

Kaj me zdej zajebavaš, kaj mi limaš te konfiguracije ka so po 10k, ka lahko z boljšim procom (threadripperjem) pridem bolj poceni čez (6k). Zanimalo me je kaj si meu čez latence povedat pametnega, da je bolj kompatibilno z določenem hardwarjem, ne pa nabijat prve linke z googla.
Pa ne govor mi potem o izkoriščanju hardwara, ka i7 6850 ma "samo 40" pcie lines, tr pa 64. Tolko pol lahko govorimo o izkoriščanju HWja.

Mogoče jo, ampak njegov odgovor nikakor ni na mestu, sploh ker sem biu v prejšnjem njegovem postu okaran glede izkoriščenosti HWja, potem pa dobim link kjer kaže nasprotje temu kar je trdil.

Lambda labs fura 4x 1080ti (cca 10k usd) na i7 6850 kater ima 40 lane-u, potem bo menda threadripper fural lahko isto zadevo na 64 laneih bolj izkoriščeno. Če je zdej tukaj problem v matični, verjetno ma TR tud high end plate usaj tolko dobre kot i7 6 generacije.

Ja sej ... še vedno ne vemo narave in obsega problema, moja kristalna krogla je trenutno pokvarjena, tako da natančnega odgovora ne morem dati. Še najboljši odgovor je ja, TR ima 64 pci stez, a jih je nekaj porabljenih za periferijo na plati, tako da na plati s štirimi sloti dobiš dva x16 in dva x8. In spet ne moremo nič reči, ali je to ok ali ne.

glede stez ugibam, da ni problem, samo je treba najti kakšno ploščo, ki ima tisti PLX čip.
konec koncev ima nvidia to tudi na trenutnem DGX workstationu, samo da malo bolj refinirano.

joker605 je 22. maj 2018 ob 15:11 izjavil:

Okvirna cena sistema je 6k.

joker605 je 22. maj 2018 ob 20:20 izjavil:

Kaj me zdej zajebavaš, kaj mi limaš te konfiguracije ka so po 10k, ka lahko z boljšim procom (threadripperjem) pridem bolj poceni čez (6k). Zanimalo me je kaj si meu čez latence povedat pametnega, da je bolj kompatibilno z določenem hardwarjem, ne pa nabijat prve linke z googla.
Pa ne govor mi potem o izkoriščanju hardwara, ka i7 6850 ma "samo 40" pcie lines, tr pa 64. Tolko pol lahko govorimo o izkoriščanju HWja.

TR nima exposanih 64 lanov za grafike, ker so 4 za čipset in 4 za m.2, ostalo (56) pa ostane res za pcie naprave.
In ne, število pcie lanov ni vse. Kot je pegasus povedal že, važne so tudi latence. Pa še kakšen podatek (pogooglaj za HSA in kako nekatere probleme APUji rešujejo dost hitrej, z kjub precej manj shader enot).

sj če maš 40 lanov, bo tut kamot laufalo na x8.

Mislim, da bo lažje če definiraš točne probleme, ki jih boš reševal, bo lažje potem sestavit optimaln konfig.

Si si potem sestavil mašino?