CNet - Google je bil vedno nadvse skrivnostem o delovanju svojih strežnikov in ni nikdar razkril, kaj se nahaja v ozadju njihovih strežnikov, da vračajo rezultate, katerim zaupa nešteto uporabnikov.
Izkazalo se je, da za njihovo črno magijo le ne stoji Chuck Norris ali katero drugo od mnogih magičnih bitij, pač pa (vsaj kar se tiče procesorjev, spomina in trdih diskov) povsem vsakdanja strežniška oprema. Precej drugačna slika pa se je razkrila, ko je Jeff Dean začel govoriti o Google-ovi mentaliteti o strežnikih in ravnanju z njimi.
Če konvencionalni proizvajalci strežnikov vlagajo veliko denarja in energije v razvoj strežnikov, ki bi prestali neštete možne okvare, Google raje stavi na programsko opremo, ki lahko samodejno preživi napake in odpovedi strojne opreme, saj bi bilo zanašanje na strojno opremo preveč drago in prezahtevno za normalno operiranje na velikostnem nivoju Google-a.
Če postavimo vse skupaj nekoliko v perspektivo - v prvem letu operiranja povprečne strežniške gruče ("cluster"), bo nastopilo v povprečju 1000 individualnih mehanskih okvar, tisoče odpovedi trdih diskov, odpovedala bo ena razdelilna enota za elektriko (kar bo onesposobilo med 500 in 1000 strežnikov za približno šest ur), odpovedalo po 20 strežniških omar ("rack"-ov), kar bo ob vsaki posamezni okvari povzročilo, da bo iz omrežja izginilo 40 do 80 strežnikov, 5 strežniških omar bo začelo početi nepredvidene in nezaukazane operacije, pri čemer bo polovica mrežnih paketov izginila za vedno, celotna skupna strežnikov pa bo morala biti ponovno ožičena enkrat, kar bo onesposobilo 5 odstotkov strežnikov ob vsakem danem trenutku za vsaj 2 dni.
Kot da vse to ni dovolj, obstaja kar 50 odstotna možnost da se bo strežniška gruča pregrela, kar bo onesposobilo večino strežnikov v manj kot petih minutah in bo potrebno vsaj dan do dva da se ponovno vzpostavi normalno stanje.
Da za vse skupaj ni potrebno zanašanje na temno magijo pa zagotavljajo sicer že poznani Google-ovi programski paketi - Google File System, BigTable in MapReduce.
Novice » Znanost in tehnologija » Google razkril svoje drobovje
Apple ::
Predlagam, da se na FRIju in FER uvede predmet Google...
tole je več kot zanimivo...
tole je več kot zanimivo...
LP, Apple
LordPero ::
Hja, sej smo zmer vedli, da karkoli majo, ni malo.
Sej če se ne motim, tipa sta začela biznis, tako da sta si od usega sorodstva sposodila mio$ in kupla abake za prvi search (kodo napisala sama).
Google je based (kokr tud ime pove/nakaže) on large numbers, large numers everywhere.
Sej če se ne motim, tipa sta začela biznis, tako da sta si od usega sorodstva sposodila mio$ in kupla abake za prvi search (kodo napisala sama).
Google je based (kokr tud ime pove/nakaže) on large numbers, large numers everywhere.
LordPero
Tody ::
Matr, kok se hitr zgodovina pozablja :) Onedva od sorodstva nista dobila 0. Google je začel na univerzi, z navadnimi PC-ji. Prvi "data" center je laufal z podarjenimi IBM računalniki, mislim da jih je bilo devet, ko se je zadeva začela tok razvijat da omrežje univerze ni več premoglo tega napora.
Uglavnem, nek tipo je vrjel v njiju in jima dal 100.000 dolarjev in od tam dalje sta šla naprej. Iskalni pogon pa je bil ubistvu dokotorska dizertacija.
Uglavnem, nek tipo je vrjel v njiju in jima dal 100.000 dolarjev in od tam dalje sta šla naprej. Iskalni pogon pa je bil ubistvu dokotorska dizertacija.
jype ::
Predvsem pa Google na raznih linux konferencah že deset let razlaga, kako oni uporabljajo commodity hardware.
MrStein ::
Trikrat je v novici niz "Vir: _nič_" ???
Google File System, BigTable in MapReduce bi bilo fajn v linke spremenit.
Google File System, BigTable in MapReduce bi bilo fajn v linke spremenit.
Motiti se je človeško.
Motiti se pogosto je neumno.
Vztrajati pri zmoti je... oh, pozdravljen!
Motiti se pogosto je neumno.
Vztrajati pri zmoti je... oh, pozdravljen!
Zgodovina sprememb…
- spremenil: MrStein ()
CaqKa ::
>>> Trikrat je v novici niz "Vir: _nič_" ???
>>> Google File System, BigTable in MapReduce bi bilo fajn v linke spremenit.
sliši se kot tiste novice ko govorijo o super duper izumu, na koncu pa nič ne povejo...
mislim.. sej razumem osnovo, samo bi me pa res zanimalo kako rešijo problem ko jim elektrike sfali kaj naredijo (softversko).
>>> Google File System, BigTable in MapReduce bi bilo fajn v linke spremenit.
sliši se kot tiste novice ko govorijo o super duper izumu, na koncu pa nič ne povejo...
mislim.. sej razumem osnovo, samo bi me pa res zanimalo kako rešijo problem ko jim elektrike sfali kaj naredijo (softversko).
Daedalus ::
mislim.. sej razumem osnovo, samo bi me pa res zanimalo kako rešijo problem ko jim elektrike sfali kaj naredijo (softversko).
Če ti to povejo, pol se spravijo ob konkurenčno prednost Pomoje bojo še naprej po malem tu pa tam povedali kako zanimivost, še najbolj zato, da jezijo konkurenco s tem, kako je njihov softver pa res čisto neuporaben pri taki velikosti delovanja. Zgleda, da je Gugl tud izraz "corporate solution" prestavil malo višje:> So pa dobro naračunali tole - hw je pač nezanesljiv in je precej boljša odločitev skoncentrirat se na dosegljivost storitve. Ena taka rešitev iz (precej bolj vsakdanje) prakse je linux HA. Odleti kišta, pa vskoči druga (ali več njih). Za kako bolj zanimivo premetavanje aplikacij sem in tja pa rabiš lastno rešitev...
Man is condemned to be free; because once thrown into the world,
he is responsible for everything he does.
[J.P.Sartre]
he is responsible for everything he does.
[J.P.Sartre]
poweroff ::
Kaj narediti? Predvsem rabiš en dober sistem zaznavanja napak, pa hitro in dinamično porazdeljevanje bremen.
Predvsem pa rabiš resen OS na katerem vse skupaj laufa. :-)
Predvsem pa rabiš resen OS na katerem vse skupaj laufa. :-)
sudo poweroff
FireSnake ::
Tody: "skalni pogon pa je bil ubistvu dokotorska dizertacija." Ce je temu tako, potem mora biti to prosto dostopno. Dvomim, da tole drzi.
Matthai: bo pa potrebno se MARSIKAJ drugega. Sploh pa; kateri OS je pa za hec (ce to postavimo za nasprotje od "resen")
Matthai: bo pa potrebno se MARSIKAJ drugega. Sploh pa; kateri OS je pa za hec (ce to postavimo za nasprotje od "resen")
Poglej in se nasmej: vicmaher.si
poweroff ::
Za doktorate ni nujno, da so prosto dostopni. Celo nekatere diplome niso objavljene zaradi copyrighta. Pleg tega je bil tisto šele začetek - sedaj pa so algoritme že hudo nadgradili.
sudo poweroff
jakaspaka ::
Tukaj ste razkrili samo vsem znane probleme, ne pa rešitve. Dejte prosim popravit naslov tega članka.
Yohan del Sud ::
Hja, ravno na to temo sem pred orenk časom spisal zanimiv (kaj pa drugega) članek tu... Tako da sorry fantje, ni baš novica, je pa vsekakor zanimivost, ki jo je vredno spremljati vsake toliko časa...
www.strancar.com
OmegaBlue ::
Tukaj ste razkrili samo vsem znane probleme, ne pa rešitve. Dejte prosim popravit naslov tega članka.
Preberi daljši članek na povezavi?
Never attribute to malice that which can be adequately explained by stupidity.
alum ::
... Celo nekatere diplome niso objavljene zaradi copyrighta. ...
Matthai, veš morda, kje bi se dalo zvedet kaj več o tem?
Loki ::
za vsako diplomo podpises izjavo, ce bo le-ta prosto na voljo (v knjiznici faksa) ali bo za vpogled potrebno privoljenje tebe in mentorja. druga moznost se uporabi, ce si sodeloval s kaksno firmo in/ali in si kaj uporabnega razvil (kaj dejansko novega npr.). ce pa obstaja se kaksna "mocnejsa" zascita kot to, pa ne vem.
I left my wallet in El Segundo
poweroff ::
Točno tako. Ob oddaji diplome lahko izrecno zahtevaš, da ostane "tajna". Poznam par primerov.
sudo poweroff
Vredno ogleda ...
Tema | Ogledi | Zadnje sporočilo | |
---|---|---|---|
Tema | Ogledi | Zadnje sporočilo | |
» | AMD vstopa v segment strojnega učenjaOddelek: Novice / Grafične kartice | 5249 (3934) | shubell |
» | Oprema FURSaOddelek: Loža | 4961 (4029) | Invictus |
» | Facebookova grožnja HP-ju, Supermicru in drugim velikanomOddelek: Novice / Procesorji | 11556 (9813) | PrimozR |
» | Apple se umika s strežniškega trgaOddelek: Novice / Ostale najave | 3843 (2863) | techfreak :) |
» | Skrbništvo 25 uporabnikov - predlogi in mnenja !Oddelek: Pomoč in nasveti | 3567 (2255) | SasoS |