» »

Facebookova grožnja HP-ju, Supermicru in drugim velikanom

Facebookova grožnja HP-ju, Supermicru in drugim velikanom

Omara projekta Open Compute - omrežje je na vrhu, zgornji del vsake izmed trojk zasedajo računski moduli, pod katerimi so moduli, ki skrbijo za napajanje.

vir: Ars Technica

Računski modul pri Open Compute Project

vir: Ars Technica

Eden izmed dveh predalov s 15 trdimi diski v modulu Open Vault

vir: Ars Technica

Podatkovni strežnik, ki upravlja s podatki v modulu s trdimi diski

vir: Ars Technica
Ars Technica - Da velika podjetja s tisoči strežnikov v podatkovnih centrih, ki so raztreseni po celem svetu, ustvarjajo svoje zasnove strežnikov, niti ni presenečenje. Eden od prvih je bil seveda Google. Svoj prvi strežniški sistem (skupaj z omaro) so zasnovali že leta 1998, že takrat pa so se osredotočili na enostavnost, cenovno ugodnost ter nekatere druge zahteve, npr. višjo odpornost omare proti potresom. S hitrim skokom na Google lahko najdemo nekoliko starejšo zasnovo, ki uporablja popolnoma standardno opremo, tj. trde diske, napajalnik in matično ploščo, katere dimenzije močno spominjajo na standard ATX. Zraven je še majhna baterija, ki zagotavlja delovanje v primeru izpada električne energije.

Trenutno stanje je seveda lahko bistveno drugačno, saj je zadnja pokazana zasnova osnovana na Intelovih procesorjih z arhitekturo NetBurst. Na drugi strani je v primeru Facebooke veliko manj nejasnosti. Pri ArsTechnici so pripravili nadvse zanimiv in poglobljen članek o snovanju Facebookovih strežnikov. Ti so na srečo vseh nas odprtokodni, saj je Facebook glavni ustanovitelj odprtokodnega projekta Open Compute Project. Še en izredno pomemben partner je podjetje RackSpace, katerega glavna storitev je prodaja oblačnih sistemov drugim podjetjem. Jasno je, da tako Facebook kot RackSpace potrebujeta veliko število zmogljivih strežnikov z veliko diskovnega prostora.

V svetu, v katerem bo vedno več podjetij svoje zahteve lahko pokrilo z večjim številom mikrostrežnikov v eni omari (primera sta SeaMicro in HP-jev projekt Moonshot), imajo velika podjetja popolnoma drugačne zahteve. Posledično je projekt Open Compute (OCP) zastavljen povsem drugače. Za začetek ni običajnih napajalnikov, ki v običajnih podatkovnih centrih napajajo posamezne sisteme, posamezna enota projekta OCP prejema že regulirano 12-voltno napetost s strežniške omare. Vsaka omara ima sicer 48-voltno baterijo, ki zagotavlja delovanje ob izpadu električne energije. Ko težav z dobavo ni, enosmerni tok z 12-voltno napetostjo transformirajo neposredno iz trofazne 480-voltne izmenične napetosti za celotno omaro. Čim manj pretvorb električnega toka pomeni za sistem večjo učinkovitost in zato OCP omare to počnejo zgolj enkrat (s 480 na 12 V), medtem ko običajni sistemi elektriko pretvarjajo z izmeničnega trifaznega na izmenični enofazni vir napajanja, ta je nadalje povezan na UPS oz. baterijo (odvisno od izvedbe, pride lahko do para pretvorb), na katerega je nato priključen napajalnik strežnika, ki izmenični tok (~220 V) pretvarja v enosmerni tok z napetostjo 12 V.

Napajanje je pravzaprav še najmanj presenetljiva razlika OCP-ja v primerjavi z običajnimi podatkovnimi centri. Projekt namreč ne pozna običajnih strežnikov. Celoten podatkovni center ne sloni na običajni mreži, temveč na tkanini, ki omogoča neposredno povezovanje vseh različnih enot med seboj (količina prenesenih podatkov znotraj podatkovnega centra je tudi tisočkrat višja, kot količina podatkov, ki gre nato v svet k odjemalcem podatkov, torej k uporabnikom). Za tkanino pri Facebooku uporabljajo 10-gigabitno mrežo z bakrenimi žicami, ki uporablja dobro poznan standard Ethernet. Zavedajo se, da bodo slej ko prej morali uporabiti optične povezave s hitrostmi do 100 Gb/s, a menijo, da imajo še nekaj let rezerve. Za upravljanje z mrežo zaenkrat sicer uporabljajo še komercialne mrežne preklopnike (ki jih je seveda mogoče podrobno upravljati), saj je odprta zasnova kot del OCP trenutno v pripravi ter je obenem eden izmed zadnjih manjkajočih koščkov za odprtokodni podatkovni center.

Običajni strežniški sistemi, ki v eni škatli vključujejo procesor, pomnilnik, dodatne kartice (npr. grafična jedra), trde diske oz. SSD pogone, napajalnike in podobno, takšne tkanine seveda ne potrebujejo. Potrebujejo jo različne enote, ki so bile razvite v sklopu OCP. Za začetek so pripravili računski modul, ki se v velikem številu uporablja za vsa procesorsko zahtevna opravila. Matična plošča je bila razvita za potrebe projekta, kar poemni, da je prav tako odprtega standarda. Najnovejša različica za Intelove procesorje uporablja dve ležišči za procesorje skupaj s 16 režami za pomnilnik (po 8 za vsako procesorsko ležišče), dodana pa je še reža PCIe z večjim številom povezav. V režo se z uporabo riserja vtakne par mrežnih kartic, ki omogočata povezavo z 10 Gbps omrežjem. PCIe kartice uporabljajo predvsem zaradi neodvisnosti od dobaviteljev ter krmilnih čipov na njih ter nekoliko verjetno še lažje izmenljivosti, če pride do težav. Obenem določeni računski moduli dobijo še na PCIe reži osnovan pogon SSD, če je potreba po upravljanju z veliko količino podatkov.

16 pomnilniških rež v računskem modulu pomeni relativno malo pomnilnika, ki je obenem težko dostopen drugim računskim modulom, torej je jasno, da je pomnilnik računskega modula namenjen zgolj pomnenju podatkov za opravila, ki jih tisti trenutek izvaja. V sklopu OCP obstaja še poseben modul, namenjen zgolj pomnenju velike količine delovnih podatkov. Poleg velike količine pomnilniških rež je sestavni del modula še en varčnejši procesor, ki upravlja z veliko količino podatkov ter skrbi, da so ti na voljo drugim enotam na omrežju. Za najbolj trd oreh se je izkazal podatkovni strežnik, ki je v primeru Facebooka nujno potreben (pomislite samo na število slik, ki jih imate na svojem profilu). Do nedavnega so se na te področju zanašali na komercialne rešitve, a nič več.

Osnova je en dvoprocesorski računski modul, ki skrbi za upravljanje z zapisanimi podatki. Tokrat mu je dodan par napajalnikov za dodatno varnost pred izgubo podatkov. Za samo hrambo podatkov skrbi t.i. Open Vault, zgolj 2U visoka škatla z dvema predaloma, kjer je v vsakem 15 standardnih 3,5-palčnih mehanskih trdih diskov na vodilu SAS. Potrebe po pogonih SSD ni, saj prej omenjene slike večinoma gledamo zelo redko. Zaenkrat se z računskim modulom Sef s trdimi diski še vedno povezuje prek namenske PCIe kartice ter prek protokola iSCSI, a so jasne želje, da bi tudi ta komunikacija potekala kar prek tkanine, torej po protokolu Ethernet namesto prek namenskih mrežno-podatkovnih protokolov. Tako bi se izognili neposrednim povezavam posameznih enot, saj bi se prav vse enote med seboj pogovarjale prek tkanine. To bi olajšalo delo tehnikom, ki bi tako posamezno enoto zgolj priključili na usmernik (za napajanje je poskrbljeno prek priključka na omaro), medtem ko bi za pravilno povezovanje poskrbela programska oprema.

Jasno je, da na nobenem izmed teh strežnikov ni lepih plastičnih vratc, mrežic, logotipov in podobnega kiča, ki zgolj zmanjšuje pretok zraka in zvišuje ceno. Izgled niti ni pretirano pomemben, saj strežnikov tako ali tako ne vidi praktično nihče (razen tehnikov). Na račun boljše zasnove skupaj z boljšim pretokom zraka so tako dobili še dodatne prihranke pri porabi električne energije, saj lahko uporabijo šibkejše in počasneje vrteče-se ventilatorje.

Podrobneje o projektu in Facebookovih strežnikih tako pišejo na ArsTechnici, zaradi odprte narave pa je jasno ogromno gradiva na voljo tudi na strani Open Compute Project. Omeniti velja, da sta velika podpornika projekta tudi Intel in IBM, iz naveze pa je bil tako npr. projektu že dodan priključek za optične povezave na omrežju.

24 komentarjev

čuhalev ::

Zanimivo, da imajo kar 480 V. To pomeni, da so centri povezani na drugačno (po napetosti) omrežje kot gospodinjstva, ker iz 480 V ni moč dobiti tri faze po 120 V.

PrimozR ::

Ma meni so nasploh te napetosti zanimive, za enofazno govorijo o 208, trofazno 480, zadeva je v ZDA (v Kaliforniji, na obisku so bili v bivši Sunovi stavbi, ki je zdaj del Facebooka), torej ne klapa nič. Ne z Evropskimi (240 in 380), ne z Ameriškimi napetostmi. Očitno imajo nek svoj standard, kar niti ne bi bilo presenetljivo. Itak morajo imeti svoj trafo, potem pa če vanj pripeljejo nekaj kV, od koder pretvarjajo na 480 V.

PrimozR ::

Aha, to so peak vrednosti 208 je peak za 120, 480 je peak za 277 trofazno. Vse klapa torej :D

balocom ::

Tista čudesa z 208V, 120V in 240V dobiš pri tri fazni high delta jajcih, 480V je pa očitno industrijska medfazna napetost pri američanih. http://www.ccontrolsys.com/w/Electrical...
V svetu brez googla bi bil najbolj uporabljen ukaz v bash-u ukaz man

MrStein ::

tkanini

vrnitev novoreka?

Morebiti mesh?
Motiti se je človeško.
Motiti se pogosto je neumno.
Vztrajati pri zmoti je... oh, pozdravljen!

modicr ::

Še en izredno pomemben partner je podjetje RackSpace, katerega glavna storitev je prodaja oblačnih sistemov drugim podjetjem. Jasno je, da tako Facebook kot RackSpace potrebujeta veliko število zmogljivih strežnikov z veliko diskovnega prostora.


BTW, Dell je Facebook-ov ODM:
http://en.community.dell.com/dell-blogs...
Building custom solutions to meet Facebook's evolving needs, from custom-designed servers for their web cache, to memcache systems to systems supporting their database tiers.
(c) nisem patentiran

AndrejO ::

MrStein je izjavil:

tkanini

vrnitev novoreka?

Morebiti mesh?

fabric

Morda še najlepši opis o čemu je govora, je pri Juniper-ju.

Prvi trije odstavki. Potem se začne njihova reklama.

Zgodovina sprememb…

  • spremenil: AndrejO ()

Marat ::

Jasno je, da na nobenem izmed teh strežnikov ni lepih plastičnih vratc, mrežic, logotipov in podobnega kiča, ki zgolj zmanjšuje pretok zraka in zvišuje ceno. Izgled niti ni pretirano pomemben, saj strežnikov tako ali tako ne vidi praktično nihče (razen tehnikov).


Steve Jobs se ne bi strinjal s tem 8-)

googleg1 ::

izmeničnega trifaznega na izmenični enofazni vir napajanja
To pa je huda pretvorba. Vzameš eno fazo, pa si opravil pretvorbo.

MuadDib ::

Jap... pretvorba iz 3-faznega v 1-fazni vir je zelo pomembna pretvorba in tudi zelo vpliva na zanesljivost... NOT!

Saj drzi da je treba pri konceptu z enofaznim napajanjem dobro uravnovesit obremenitev vseh treh faz, vendar pa se to ne steje kot pretvorba... saj gre vendar za uporabo ENE faze in seveda nicelnega vodnika!

Avtorju bi predlagal, da si vsaj malo fiziko za osnovno solo pogleda, ko pise taksne zgodbe (ze v izvirniku), dragi slo-techovci pa bi mogoce bili malo bolj previdni pri dobesednem prevajanju (razumem amere da napihnejo, saj povprecen amer nima pojma kako in kaj z elektriko).

Vsekakor pa mi je zelo vsec tale koncept! A vendar prej kot kaksna pretvorba predstavljajo prenapetostne zascite tisti glavni vir mozne napake pri napajanju (trafo lahko samo prebije, kar je pa dokaj redek pojav).

LP, BB

sirotka ::

Ti so na srečo vseh nas odprtokodni


Na mojo srečo ne, mi je namreč vseeno, na čem laufajo.

francek1 ::

PrimozR je izjavil:

Ma meni so nasploh te napetosti zanimive, za enofazno govorijo o 208, trofazno 480, zadeva je v ZDA (v Kaliforniji, na obisku so bili v bivši Sunovi stavbi, ki je zdaj del Facebooka), torej ne klapa nič. Ne z Evropskimi (240 in 380), ne z Ameriškimi napetostmi. Očitno imajo nek svoj standard, kar niti ne bi bilo presenetljivo. Itak morajo imeti svoj trafo, potem pa če vanj pripeljejo nekaj kV, od koder pretvarjajo na 480 V.


EN popravek; trifazna napetost pri nas je 400 V !
Kdor se je že rodil učen se lahko reži...

Bakunin ::

a ni pri nas 230V ? 240 so imeli v UK.

Mains electricity @ Wikipedia

d4vid ::

230V je EFEKTIVNA napetost med faznim in ničelnim vodnikom, 380 oz. 400V pa je medfazna EFEKTIVNA napetost (napetost med dvema fazama).
Main PC: Asus PN50 | AMD Ryzen 5 4500U | 16 GB RAM | 256 GB SSD
PC2: HP Z400 | Intel Xeon L5630 | 6 GB RAM | 120 GB SSD
Laptop: HP Elitebook 840G1 | Intel i5 | 8 GB RAM | 256 GB SSD

čuhalev ::

Te napetosti itak nihajo, trenutno imamo doma 233,2 voltov. Vprašanje pa je, kako jih prenašajo naprave narejene na 220 voltov.

A je kdo našel shemo tega njihovega napajalnika, ker najdem samo nek pdf s smernicami, željami ... ni pa načrta.

d4vid ::

čuhalev je izjavil:

Te napetosti itak nihajo, trenutno imamo doma 233,2 voltov. Vprašanje pa je, kako jih prenašajo naprave narejene na 220 voltov.

A je kdo našel shemo tega njihovega napajalnika, ker najdem samo nek pdf s smernicami, željami ... ni pa načrta.


Večina naprav je tako ali tako narejena za napetost od 110 V do 240 V, nekatere naprave še celo več.
Main PC: Asus PN50 | AMD Ryzen 5 4500U | 16 GB RAM | 256 GB SSD
PC2: HP Z400 | Intel Xeon L5630 | 6 GB RAM | 120 GB SSD
Laptop: HP Elitebook 840G1 | Intel i5 | 8 GB RAM | 256 GB SSD

čuhalev ::

d4vid je izjavil:

Večina naprav je tako ali tako narejena za napetost od 110 V do 240 V, nekatere naprave še celo več.

No, s tem se ne bi strinjal, ker imam že pri brivniku možnost preklopa med 115 in 230.

MrStein ::

Kar precej jih je za 220/230 in konec.
Motiti se je človeško.
Motiti se pogosto je neumno.
Vztrajati pri zmoti je... oh, pozdravljen!

ender ::

čuhalev je izjavil:

Te napetosti itak nihajo, trenutno imamo doma 233,2 voltov. Vprašanje pa je, kako jih prenašajo naprave narejene na 220 voltov.
Najmanj 10% tolerance naprave morajo imet - čeprav je nominalna napetost 230V, to še ne pomeni, da toliko v resnici dobiš iz vtičnice.
There are only two hard things in Computer Science:
cache invalidation, naming things and off-by-one errors.

čuhalev ::

To, da napetost odstopa mi je povsem jasno. Hočem pa nakazati, da je v tem trenutku odstopanje v škodo tiste naprave, ki deluje na 220 V. Da, tudi ta naprava dopušča nek razpon napetosti.

balocom ::

googleg1 je izjavil:

izmeničnega trifaznega na izmenični enofazni vir napajanja
To pa je huda pretvorba. Vzameš eno fazo, pa si opravil pretvorbo.


Najbrš je varno predvidevati, da se gre za dejansko pretvorbo 3 faznega toka v 1 fazni tok (3 fazi usmernik -> 1 fazni razsmernik, motogenerator itd.. ). Neumno, a verjetno ker je je treba obremenit samo eno fazo in ni potrebe po računanju porabe po posameznih fazah in iskanje ideala. Plus na vhodni strani imaš enakomerno obremenitev, česar je vesel tudi upravljalec omrežja.
V svetu brez googla bi bil najbolj uporabljen ukaz v bash-u ukaz man

techfreak :) ::

Thumbs up za tole obsirno novico.

Sicer pa sem ze veckrat razmisljal zakaj strezniki v podatkovnih centrih dobijo izmenicno 230V, ce pa vse njihove komponente potrebujejo od +12V do -12V DC.

pegasus ::

Sej telekomaši že dolgo furajo svoje racke na 48VDC, tudi marsikak server dobiš v izvedbi s takim napajalnikom.
O čemer se sedaj razmišlja je, da bi zadeve kot so "ohišje", "napajalnik", "switch" nadomestil kar cel rack, v katerega bi tlačil samo še boarde s proci in ramom ter mogoče kakim diskom.

Mainframes anyone? ;)

PrimozR ::

pegasus kako razmišlja, tole je točno to! :D

Jah tako je, serverski svet se pač spreminja.

techfreak AC je bolj učinkovit za prenašanje elektrike na velike razdalje (pač, proizvodnja je relativno centralizirana), bistveno lažje je transformirati izmenično napetost (vsaj včasih je to veljalo), itd. Potem pa prišteješ zraven še standarde in si tam, kjer smo. Če hočeš sam narediti nekaj popolnoma novega, potrebuješ velik projekt. Facebook recimo ga ima.


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Za Googlove podatkovne centre skrbi umetna inteligenca

Oddelek: Novice / Znanost in tehnologija
298679 (5300) antonija
»

Facebook na Irskem gradi nov podatkovni center

Oddelek: Novice / Ostale najave
94564 (2959) Ghost7
»

Nov način gretja morda podatkovne peči

Oddelek: Novice / Znanost in tehnologija
116433 (5069) m0LN4r
»

Facebookova grožnja HP-ju, Supermicru in drugim velikanom

Oddelek: Novice / Procesorji
2411592 (9849) PrimozR
»

Facebook odprl svoj prvi podatkovni center v Evropi, strežniki plod lastne pameti

Oddelek: Novice / Znanost in tehnologija
66072 (4317) Piqui

Več podobnih tem