» »

Google razkril svoje drobovje

Google razkril svoje drobovje

Google

Jeff Dean

Strežniška omara - slednje Google izdeluje sam

CNet - Google je bil vedno nadvse skrivnostem o delovanju svojih strežnikov in ni nikdar razkril, kaj se nahaja v ozadju njihovih strežnikov, da vračajo rezultate, katerim zaupa nešteto uporabnikov.



Izkazalo se je, da za njihovo črno magijo le ne stoji Chuck Norris ali katero drugo od mnogih magičnih bitij, pač pa (vsaj kar se tiče procesorjev, spomina in trdih diskov) povsem vsakdanja strežniška oprema. Precej drugačna slika pa se je razkrila, ko je Jeff Dean začel govoriti o Google-ovi mentaliteti o strežnikih in ravnanju z njimi.



Če konvencionalni proizvajalci strežnikov vlagajo veliko denarja in energije v razvoj strežnikov, ki bi prestali neštete možne okvare, Google raje stavi na programsko opremo, ki lahko samodejno preživi napake in odpovedi strojne opreme, saj bi bilo zanašanje na strojno opremo preveč drago in prezahtevno za normalno operiranje na velikostnem nivoju Google-a.

Če postavimo vse skupaj nekoliko v perspektivo - v prvem letu operiranja povprečne strežniške gruče ("cluster"), bo nastopilo v povprečju 1000 individualnih mehanskih okvar, tisoče odpovedi trdih diskov, odpovedala bo ena razdelilna enota za elektriko (kar bo onesposobilo med 500 in 1000 strežnikov za približno šest ur), odpovedalo po 20 strežniških omar ("rack"-ov), kar bo ob vsaki posamezni okvari povzročilo, da bo iz omrežja izginilo 40 do 80 strežnikov, 5 strežniških omar bo začelo početi nepredvidene in nezaukazane operacije, pri čemer bo polovica mrežnih paketov izginila za vedno, celotna skupna strežnikov pa bo morala biti ponovno ožičena enkrat, kar bo onesposobilo 5 odstotkov strežnikov ob vsakem danem trenutku za vsaj 2 dni.



Kot da vse to ni dovolj, obstaja kar 50 odstotna možnost da se bo strežniška gruča pregrela, kar bo onesposobilo večino strežnikov v manj kot petih minutah in bo potrebno vsaj dan do dva da se ponovno vzpostavi normalno stanje.

Da za vse skupaj ni potrebno zanašanje na temno magijo pa zagotavljajo sicer že poznani Google-ovi programski paketi - Google File System, BigTable in MapReduce.

16 komentarjev

Apple ::

Predlagam, da se na FRIju in FER uvede predmet Google...

tole je več kot zanimivo...
LP, Apple

LordPero ::

Hja, sej smo zmer vedli, da karkoli majo, ni malo.
Sej če se ne motim, tipa sta začela biznis, tako da sta si od usega sorodstva sposodila mio$ in kupla abake za prvi search (kodo napisala sama).
Google je based (kokr tud ime pove/nakaže) on large numbers, large numers everywhere.
LordPero

Tody ::

Matr, kok se hitr zgodovina pozablja :) Onedva od sorodstva nista dobila 0. Google je začel na univerzi, z navadnimi PC-ji. Prvi "data" center je laufal z podarjenimi IBM računalniki, mislim da jih je bilo devet, ko se je zadeva začela tok razvijat da omrežje univerze ni več premoglo tega napora.

Uglavnem, nek tipo je vrjel v njiju in jima dal 100.000 dolarjev in od tam dalje sta šla naprej. Iskalni pogon pa je bil ubistvu dokotorska dizertacija.

jype ::

Predvsem pa Google na raznih linux konferencah že deset let razlaga, kako oni uporabljajo commodity hardware.

MrStein ::

Trikrat je v novici niz "Vir: _nič_" ???
Google File System, BigTable in MapReduce bi bilo fajn v linke spremenit.
Teštiram če delaž - umlaut dela: ä ?

Zgodovina sprememb…

  • spremenil: MrStein ()

CaqKa ::

>>> Trikrat je v novici niz "Vir: _nič_" ???
>>> Google File System, BigTable in MapReduce bi bilo fajn v linke spremenit.

sliši se kot tiste novice ko govorijo o super duper izumu, na koncu pa nič ne povejo...

mislim.. sej razumem osnovo, samo bi me pa res zanimalo kako rešijo problem ko jim elektrike sfali kaj naredijo (softversko).

Daedalus ::

mislim.. sej razumem osnovo, samo bi me pa res zanimalo kako rešijo problem ko jim elektrike sfali kaj naredijo (softversko).


Če ti to povejo, pol se spravijo ob konkurenčno prednost:D Pomoje bojo še naprej po malem tu pa tam povedali kako zanimivost, še najbolj zato, da jezijo konkurenco s tem, kako je njihov softver pa res čisto neuporaben pri taki velikosti delovanja. Zgleda, da je Gugl tud izraz "corporate solution" prestavil malo višje:> So pa dobro naračunali tole - hw je pač nezanesljiv in je precej boljša odločitev skoncentrirat se na dosegljivost storitve. Ena taka rešitev iz (precej bolj vsakdanje) prakse je linux HA. Odleti kišta, pa vskoči druga (ali več njih). Za kako bolj zanimivo premetavanje aplikacij sem in tja pa rabiš lastno rešitev...
Man is condemned to be free; because once thrown into the world,
he is responsible for everything he does.
[J.P.Sartre]

Matthai ::

Kaj narediti? Predvsem rabiš en dober sistem zaznavanja napak, pa hitro in dinamično porazdeljevanje bremen.

Predvsem pa rabiš resen OS na katerem vse skupaj laufa. :-)
All those moments will be lost in time, like tears in rain...
Time to die.

FireSnake ::

Tody: "skalni pogon pa je bil ubistvu dokotorska dizertacija." Ce je temu tako, potem mora biti to prosto dostopno. Dvomim, da tole drzi.

Matthai: bo pa potrebno se MARSIKAJ drugega. Sploh pa; kateri OS je pa za hec (ce to postavimo za nasprotje od "resen")
"In The Sound Of Silence Time Is Standing Still"
Poglej, in se nasmej ----> www.vicmaher.si ;)

Matthai ::

Za doktorate ni nujno, da so prosto dostopni. Celo nekatere diplome niso objavljene zaradi copyrighta. Pleg tega je bil tisto šele začetek - sedaj pa so algoritme že hudo nadgradili.
All those moments will be lost in time, like tears in rain...
Time to die.

jakaspaka ::

Tukaj ste razkrili samo vsem znane probleme, ne pa rešitve. Dejte prosim popravit naslov tega članka.

Yohan del Sud ::

Hja, ravno na to temo sem pred orenk časom spisal zanimiv (kaj pa drugega) članek tu... Tako da sorry fantje, ni baš novica, je pa vsekakor zanimivost, ki jo je vredno spremljati vsake toliko časa...
www.strancar.com

OmegaBlue ::

Tukaj ste razkrili samo vsem znane probleme, ne pa rešitve. Dejte prosim popravit naslov tega članka.


Preberi daljši članek na povezavi?
Never attribute to malice that which can be adequately explained by stupidity.

alum ::

... Celo nekatere diplome niso objavljene zaradi copyrighta. ...


Matthai, veš morda, kje bi se dalo zvedet kaj več o tem?

Loki ::

za vsako diplomo podpises izjavo, ce bo le-ta prosto na voljo (v knjiznici faksa) ali bo za vpogled potrebno privoljenje tebe in mentorja. druga moznost se uporabi, ce si sodeloval s kaksno firmo in/ali in si kaj uporabnega razvil (kaj dejansko novega npr.). ce pa obstaja se kaksna "mocnejsa" zascita kot to, pa ne vem.
I left my wallet in El Segundo

Matthai ::

Točno tako. Ob oddaji diplome lahko izrecno zahtevaš, da ostane "tajna". Poznam par primerov.
All those moments will be lost in time, like tears in rain...
Time to die.


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Pol milijona pohekanih spletnih strežnikov - med njimi tudi slovenski!

Oddelek: Novice / Varnost
394656 (2587) Matthai
»

Google: več kot 300.000 Intelovih serverjev

Oddelek: Novice / Procesorji
273716 (2001) sirotka
»

Google toolbar in Gmail

Oddelek: Novice / Zasebnost
74946 (4946) eee
»

Slo-Tech preseljen

Oddelek: Novice / Obvestila
371667 (1667) Bakunin
»

RACK-i

Oddelek: Strojna oprema
6704 (613) swalow

Več podobnih tem