Mocnejsi streznik za virtualizacijo

Zelel bi sestaviti streznik, ki bi sluzil izkljucno za virtualizacijo, pa imam probleme s sestavljanjem.

Namenjen bi bil virtualiziranju raznih produkcijskih streznikov, fizicne pa bi potem ugasnil. Trenutno je potreba po virtualiziranju domenskega, exchange, web serverja, in trije strezniki za aplikacije. V glavnem procesorsko ne pretirano zahtevne zadeve, se najbolj je Exchange.

Ideja sem imel prvotno za en streznik z 32GB ECC (torej nex Xeon/Opteron), dvoprocesorska maticna (en slot za procesor prazen, ki se ga po potrebi dokupi - razsirljivost), 2x ~500GB 10k diska, 2x 3TB 7200 diska.
V fazi dve (cez pol leta/leto) bi kupil drug streznik s podobnimi karakteristikami in nek NAS za diskovje obeh kist. Drugo kisto in diskovje bi uporabil za redundanco ce kateri od obeh streznikov odleti.

Na obeh streznikih bi tekla virtualizacija. Poznam ESXi, ki mi je vsec, ce pa je VirtualBox ali kak drugi hypervisor bolj primeren, pa tudi lahko tega. Vsekakor mora poznati migriranje med hosti (HA zaenrkat ne potrebujem).

To, prvo masino sem mislil sestaviti za nekako 2500€, torej kaka rack oprema verjetno odpade (ali pac?).
Zanima me vase mnenje o idejah in kaj+kje naj to kupim?
Sem ze povprasal okoli, pa mi slovenski ponudniki ponujajo brandane streznike, ki s temi karakteristikami prilezejo vsaj nad 4500€. Sem gledal na geizhalsu posamezne komponente, pa ne pridem nad 2000€. Spodaj je spisek okvirnih komponent za streznik, ampak ne izkljucujem da sem naredil kako napako oziroma sem kaj pozabil. Ohisja se nisem gledal.

Intel Xeon E5-1620 v2 - ~290€
Crucial DIMM Kit 32GB, DDR3L-1066, CL7, reg ECC - ~300€
Supermicro X9DRL-IF retail (dual Sockel-2011) (MBD-X9DRL-IF-O) - ~300€
ASUS Z9PE-D8 WS (dual Sockel-2011) - ~420€
Western Digital VelociRaptor 1TB, SATA 6Gb/s - ~180€
Western Digital WD Black 3TB, SATA 6Gb/s - ~160€

V glavnem, sem zainteresiran za diskusijo in predloge.

Odvisno od tega ali bi vsak server lavfal na svojem VM, bo verjetno 32GB Rama čisto ok, tudi če ga rezerviraš za vsako virtualko in ga ne swappaš. Diske zamenjaš s SSD, če imaš mrežo, ki bi tako pohitritev prenosa požrla.
Za samo loadanje VM se mi zdi SSD precej kritična zadeva vsaj po mojih izkušnjah, saj počasen disk povzroči da se cel VM obnaša počasno, ne samo tista aplikacija.

2k€ je za tak sistem popolnoma primerna cena. Ne šparat na napajalcu in to je nekako to.

NAS prek mreže, če se ne boš izjemno skeširal so precej slabi, razen če za to zaposliš lastno kišto. Nekako so za počasen backup, pa še to ne.

Kupiš nek IBM, HP, Dell server ... ki ustreza tvojemu budžetu in je združljiv z VmWare EXSi.

Če pride v poštev rabljen strežnik, dobiš za to ceno precej dobro opremljen DL380 G7 ali pa res na polno opremljen G6 (skupaj z garancijo itd), ki sta odlična za virtualizacijo in imata vse strežniške "fičrje" - ILO, redundančno napajanje, dober storage kontroler, ...

Storage kontrolerja vidim da ni nihče omenil - tiste onboard zadeve so sranje, poleg tega jih ESXi povečini ne podpira.

Storage kontrolerja vidim da ni nihče omenil - tiste onboard zadeve so sranje

Ker ?

Ja, SSD bi bila res boljsa ideja. Kaj pa ce sta sistem in virtualizacija na SSDju, pa zraven se 3TB diskovja (ta bi bil predvsem za FS). So kaki pomisleki pri taki konfiguraciji?

NAS se ne vem kak bi bil, je bil pa misljen kot centralno diskovje ko bi bile dve kisti v igri. Backup bi drugace reseval, v prvi fazi na eno drugo fizicno kisto, kasneje kaj bolj resnega.

Invictus je 24. nov 2013 ob 17:57 izjavil:

Kupiš nek IBM, HP, Dell server ... ki ustreza tvojemu budžetu in je združljiv z VmWare EXSi.

Bi znali biti problemi s podprtostjo ce sestavim sam ali kako?
Prav tako, ce imam mirror diskov z "onboard" kontrolerji, bi to bil problem?

Thx darkolord za link. Zanimivo. Edino 3TB diskovja tja not ne spravim (2,5"). Ali pac?

MrB HyperV sicer ne poznam, se pa tudi slisi zanimivo.

Glede virtualizacije imam se vprasanje, ker nekako ne uspem najti: koliko stane entry verzija ESXi?

Edino 3TB diskovja tja not ne spravim (2,5"). Ali pac?

Velikost 2.5" SATA/SAS diskov je mislim da do 2TB, tako da lahko daš pač več manjših diskov - lukenj imaš dovolj...

4 plate z atom S1260 procesorji stanejo malo manj kot jurčka, dodaš na vsako plato še 8 ali več GB rama in dodaš en rack za diske. Vsaka plata že ima po 2 mrežni.

Jih povežeš skupaj, daš preko hyperV in imaš 16 jeder, 32 ali več GB rama in dovolj mrežnih kartic. S hyperV managerjem potem lahko prestavljaš virtualke kakor ti paše.
Poanta je pa ta, da se da nastavit, da ko vse skupaj stoji (vikendi), se vsi serverji prestavijo "na eno plato" in se ostale 3 ugasnejo.

Poraba ene plošče je pod 20W, celoten tak sistem bi imel porabo okoli 100W. Prišparaš na elektriki, sistem je pa za premetavanje podatkov dovolj dober.

krneki0001 je 25. nov 2013 ob 08:13 izjavil:

4 plate z atom S1260 procesorji stanejo malo manj kot jurčka, dodaš na vsako plato še 8 ali več GB rama in dodaš en rack za diske. Vsaka plata že ima po 2 mrežni.

Jih povežeš skupaj, daš preko hyperV in imaš 16 jeder, 32 ali več GB rama in dovolj mrežnih kartic. S hyperV managerjem potem lahko prestavljaš virtualke kakor ti paše.
Poanta je pa ta, da se da nastavit, da ko vse skupaj stoji (vikendi), se vsi serverji prestavijo "na eno plato" in se ostale 3 ugasnejo.

Poraba ene plošče je pod 20W, celoten tak sistem bi imel porabo okoli 100W. Prišparaš na elektriki, sistem je pa za premetavanje podatkov dovolj dober.

In kaj je point vsega tega? Da malo prišparaš na elektriki?

S ceno prideš nekje na isto, če ne celo dražje (nabaviti moraš še ohišja in en SAN za shared datastore), s tem da si performančno zelo omejen, nimaš nobenega manevrskega prostora za razširljivost ali hiter expansion (ko strežnik dejansko rabi več kot tistih 8 GB, si mrzel; enako, če ti en od ostalih crkne), nimaš kar nekaj strežniških fičrjev, ...

Darklord Katerih strežniških fičerjev pa nimaš?

Atom S12XX je namreč atom za serverje in ima vse fičrje, ki jih imajo serverski procesorji, le da ima porabo nekje 10X manjšo (atom S1240 ima 6,5W porabo, medtem ko ima en xeon vsaj 65W).

Na kok se potem atom lahko spusti pri idlanju? na 0,5 ali še manj?

Invictus je 24. nov 2013 ob 18:52 izjavil:

Ja, bi znali biti. Drugače pa poglej ESXi compatibility list ...
Večina velikih proizvajalcev serverjev ima že nekaj let interni USB port kamor vtakneš USB boot ključek z VmWare ESXi.
Tako se ni treba zafrkavati z inštalacijo na disk ...

Yup, ESXi na kljucku se zelo lepo slisi. Kompatibilnosti pa bom moral preveriti.

darkolord je 24. nov 2013 ob 21:42 izjavil:

Edino 3TB diskovja tja not ne spravim (2,5"). Ali pac?

Velikost 2.5" SATA/SAS diskov je mislim da do 2TB, tako da lahko daš pač več manjših diskov - lukenj imaš dovolj...

Hja, samo to bo potem stalo kar dosti denarja nafilat diske... Je pa res da je to potem resitev v enem, brez zezanja z ostalim in pod cca 3k€, kar je tudi dobro. No, ce pozabim na to da so procesorji v temle dosti pocasnejsi od trenutnih E5-V2.

Invictus je 25. nov 2013 ob 08:39 izjavil:

@OP
Če se boš lotil svoje rešitve, lahko prihraniš kar lep kupček denarja ... Da ne govorim o osebnem zadovoljstvu ...
http://www.xenproject.org/
http://www.linux.com/learn/tutorials/74...

Sem gledal tudi Xen, in ce si bom imel cas, ga preizkusim. Za "stalno" pa ne vem ce bi sel v to.

Daedalus je 25. nov 2013 ob 11:52 izjavil:

Jaz bi web in app serverje selil iz bajte - Hetzner je kr kul izbira. Pa en prijateljski nasvet - ne imet redundančne mašine iz štarta... se zna maščevati. O samem HW-ju pa težko kaj rečem, ko ga praktično ne kupujem več.

App, web lahko kasneje se vedno preselim. V startu bo res samo ena masina, dodatno bi kupil cez cas.

Hja, samo to bo potem stalo kar dosti denarja nafilat diske...

2.5" 1TB WD Red (namenjen za 24/7 NAS) je 70 eur z DDV.

Je pa res da je to potem resitev v enem, brez zezanja z ostalim in pod cca 3k€, kar je tudi dobro

Ja, pa imaš še kar nekaj lufta za nadgradnjo (RAM gre recimo do 384 giga itd).

No, ce pozabim na to da so procesorji v temle dosti pocasnejsi od trenutnih E5-V2.

Je pa daleč od tega, da bi rekel, da so počasni. Imaš pa noter dva :) ... Jaz imam drugače DL380 G5 in D6, ki imata še malo starejše proce in zelo podobno konfiguracijo VMjev, kot bi jo imel ti (s tem da imam zraven še kar ene par požrešnih), pa vse handlata z lahkoto lastovke.

Linux in kvm.

krneki0001 je 25. nov 2013 ob 12:01 izjavil:

Darklord Katerih strežniških fičerjev pa nimaš?

Atom S12XX je namreč atom za serverje in ima vse fičrje, ki jih imajo serverski procesorji, le da ima porabo nekje 10X manjšo (atom S1240 ima 6,5W porabo, medtem ko ima en xeon vsaj 65W).

VirtIO recimo?

Ja? Kaj bolj konkretnega?

AMD? A so že naredil nek spodoben iskalnik, da preveriš, kateri procesorji podpirajo amd-vi, ali pa vsaj amd-v, ker nazadnje ko sem gledal (par let nazaj) sploh nisem našel, kateri imajo podporo. Precej butast razlog, da kupiš intela, ane? :)

The thing about any AMD FX chip is that it supports ALL the features, be it the AES instruction set, or AMD-V(AMD Virtualization) support, from the top end FX-8350, all the way down to the FX-4300. No bullshit cutting out of features. :D

That being said, an FX-8350 WILL BE SIGNIFICANTLY better than the i7-3770(k) for virtualization purposes. Google and do some research, and you'll see that AMD's 8 cores really help a lot when it comes to virtualization (even though the individual cores are a bit weaker), and that too at nearly $100 cheaper than the Intel chip :D Given that you already have a AM3+ socket mobo, it would be really stupid to burn money on a new Intel motherboard+CPU too :)

There's are only few things that the FX series chips are good at, and they are Encryption, Virtualization, Video encoding, photo/video editing etc. And more recently, Crysis3 ....lolz :)

Now that both the PS4 and Xbox will have 8 weak cores, game developers will slowly be forced to spread out across more cores, no matter how difficult that maybe. End result; significant advantage to AMD cpu's 2-3 years down the road in gaming too

>The thing about any AMD FX chip is that it supports ALL the features, be it the AES instruction set, or AMD-V(AMD Virtualization) support

Super, ane? Samo od katerih modelov naprej. Recimo pogledam najcenejši AMD-jev procesor na funtech - x2 340. Kje zdaj na hitro preverim, ali že ima podporo za AMD-Vi, ali samo za AMD-V. Ali pa kar verjamem enemu forumu, da "ma vse, ni da ni".