» »

Google prežveči petabajt v šestih urah

Google prežveči petabajt v šestih urah

Slashdot - Google se v svojem blogu pohvali, da so najhitrejši na svetu pri razvrščanju podatkov. Z uporabo orodja MapReduce, ki skrbi za poganjanje več procesov hkrati, so presortirali terabajt podatkov, shranjenih v lastnem datotečnem sistemu, z 1.000 računalniki v 68 sekundah, kar je za trikrat boljše od preteklega rekorda, ki ga je držal Yahoo. Terabajt včasih ne zadostuje, pravijo, zato so poskusili še s tisoč terabajti (petabajt) in na 4.000 računalnikih zanje porabili malenkost več kot šest ur. Mimogrede, za toliko podatkov potrebujejo 48.000 diskov, pri takih številkah pa pride do izraza statistika. Tako se je med vsakim poskusom vsaj eden tudi pokvaril.

28 komentarjev

fery ::

V kolikor za en petabyte potrebujejo 48.000 diskov, potem to pomeni, da ima en disk 20,8 gb. To je pa dandanes malo čudno, ali ne?

overlord_tm ::

V kolikor za en petabyte potrebujejo 48.000 diskov, potem to pomeni, da ima en disk 20,8 gb. To je pa dandanes malo čudno, ali ne?


Pa ni en podatek sam na enmu disku ... redundanca. Recimo če je podatek na 5 diskih potem pa prideš do številke 100 ;)

MrStein ::

Mogoče pa je del diskov prazen, ima začasne kopije, niso šli do maksimuma ipd...
Motiti se je človeško.
Motiti se pogosto je neumno.
Vztrajati pri zmoti je... oh, pozdravljen!

antonija ::

We were writing it to 48,000 hard drives (we did not use the full capacity of these disks, though), and every time we ran our sort, at least one of our disks managed to break (this is not surprising at all given the duration of the test, the number of disks involved, and the expected lifetime of hard disks).


EDIT: Mogoce...
Statistically 3 out of 4 involved usually enjoy gang-bang experience.

Zgodovina sprememb…

  • spremenilo: antonija ()

Pyr0Beast ::

Drag poizkus tole [:D]
Some nanoparticles are more equal than others

Good work: Any notion of sanity and critical thought is off-topic in this place

1024 ::

Drag poizkus tole :D


Saj pride račun za elektriko večji kot stroški crknenih diskov.
Fish knows everything.

Zgodovina sprememb…

  • spremenilo: 1024 ()

Tr0n ::

Ja, hardware je relativno majhen strosek pri tem. :)

Jst ::

Ima mogoče kdo sliko njihove farme računalnikov ter stavbe, kjer jo imajo?
Islam is not about "I'm right, you're wrong," but "I'm right, you're dead!"
-Wole Soyinka, Literature Nobelist
|-|-|-|-|Proton decay is a tax on existence.|-|-|-|-|

jype ::

Nimajo samo ene.

Pa Linux laufajo.

xtrEeme ::

Saj verjetno rabijo svojo elektrarno da poganjajo vso svojo mašinerijo :D

PaX_MaN ::

Ja, pa precej ton svinca v UPSih.

fery ::

Mimogrede, za toliko podatkov potrebujejo 48.000 diskov, pri takih številkah pa pride do izraza statistika.

Samo komentiram novico. Zakaj nekdo napiše tako, ve on sam. Če naj bo novica uporabna, potem naj pri prepisovanju vsaj napiše neko smiselno celoto, ne pa kar nekaj. Eno je, če zapisujejo na 48.000 diskov, drugo pa je, da jih potrebujejo 48.000.


Ima mogoče kdo sliko njihove farme računalnikov ter stavbe, kjer jo imajo?

Google server


Še en server pač


Server kot server pač, ne vem kaj naj bi bilo na teh slikah tako posebnega, oz. kaj zanimivega bi lahko videl.

Zgodovina sprememb…

  • zavarovalo slike: gzibret ()

Pyr0Beast ::

Gasilni aparat na koncu :>
Some nanoparticles are more equal than others

Good work: Any notion of sanity and critical thought is off-topic in this place

Sparrow ::

Čist tko za info. Eden od glavnih razvijalcev MapReduce-a je Slovenec - Dominik Roblek.

___ ::

Sparrow-

tudi če je glaven razvijalec Slovenec, je dejstvo da si bodo glavne zasluge prisvojili drugi:) tako je na žalost...

je pa pohvalno da tudi mi lahko uspemo!! vsaj ena informacija za motivacijo:)

ko bom bil velik bol bil geek!!!:)

GupeM ::

Lepo da je slovenc. Še lepše bi blo da bi to razvijal za slovensko podjetje. Tko pa vsi najboljši grejo v tujino.

jype ::

GupeM> Tko pa vsi najboljši grejo v tujino.

Ja, kaj pa naj bi? Ostali tu? Saj niso neumni.

LuiIII ::

Mi se pa matramo s 1TB na dan:|. No samo moramo še vse kaj drugega kot sortirati.

BC3 ::

,,z 1.000" in ,,s tisoč"
-:| athlon x2 5000->phenom fx-5000@3G, vapor-x 4890, aeneon xtune |:-

antonija ::

,,z 1.000" in ,,s tisoč"

Pred stevilkami (zapisanimi s ciframi) je vedno "z"?
Statistically 3 out of 4 involved usually enjoy gang-bang experience.

DJ Beat ::

,,z 1.000" in ,,s tisoč"

Pred stevilkami (zapisanimi s ciframi) je vedno "z"?

Niti slucajno...

overlord_tm ::

Lepo da je slovenc. Še lepše bi blo da bi to razvijal za slovensko podjetje. Tko pa vsi najboljši grejo v tujino.


Spodobna slovenska IT podjetja lahko še mizar na svoje prste prešteje ... ali so vsa tako tajna da noben ne ve o njihovem obstoju?

Zgodovina sprememb…

Jst ::

>Server kot server pač, ne vem kaj naj bi bilo na teh slikah tako
>posebnega, oz. kaj zanimivega bi lahko videl.

Prehitro napisal. Mislil sem stavbo/stavbe, kakšen cooling sistem imajo, električno omrežje, blueprinti,... (če je kaj takšnega na voljo, particularly for google)

Omare z racki itak da niso zanimive. :)

Koliko toplote morajo odvajati iz ene farme (ki ima x računalnikov - omenjeni v novici?)? KOliko elektrike za napajanje?

Takšne stvari sem imel v mislih, čeprav sem napisal nekaj drugega.
Islam is not about "I'm right, you're wrong," but "I'm right, you're dead!"
-Wole Soyinka, Literature Nobelist
|-|-|-|-|Proton decay is a tax on existence.|-|-|-|-|

Samek1337Q ::

Pentabyte, ne Petabyte ...

Thomas ::

Zakaj pa penta?
Man muss immer generalisieren - Carl Jacobi

jype ::

Verjetno misli, da gre za pornografski materijal.

Jst ::

Hehehehe!!!! Sorry, vem, da so takšni izpadi nezaželjeni, ampak se nisem mogel zadržati...
Islam is not about "I'm right, you're wrong," but "I'm right, you're dead!"
-Wole Soyinka, Literature Nobelist
|-|-|-|-|Proton decay is a tax on existence.|-|-|-|-|

droblek ::

Sparrow je izjavil:

Čist tko za info. Eden od glavnih razvijalcev MapReduce-a je Slovenec - Dominik Roblek.


Tole sem danes slucajno opazil in povedati moram, da nisem eden izmed razvijalcev MapReduce-a. Sem pa uporabljal MapReduce pri svojem delu in ga opisal v predavanju o Googlovih tehnologijah. Od tod verjetno tale nesporazum.

Dominik Roblek


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Novi Flickr z 1TB prostora

Oddelek: Novice / Omrežja / internet
265700 (3537) trnvpeti
»

MySpace vnovič odpušča, uporabniki ga zapuščajo

Oddelek: Novice / Omrežja / internet
105098 (3941) technolog
»

Prenosni disk kapaciteta ?

Oddelek: Strojna oprema
16966 (719) ender
»

Zunanji disk z enim terabajtom

Oddelek: Novice / Diski
125839 (5146) aljazh
»

Rekord v prenosu podatkov

Oddelek: Novice / Znanost in tehnologija
212613 (2613) bradek

Več podobnih tem