Novice » Google prežveči petabajt v šestih urah

Google prežveči petabajt v šestih urah

Slashdot - Google se v svojem blogu pohvali, da so najhitrejši na svetu pri razvrščanju podatkov. Z uporabo orodja MapReduce, ki skrbi za poganjanje več procesov hkrati, so presortirali terabajt podatkov, shranjenih v lastnem datotečnem sistemu, z 1.000 računalniki v 68 sekundah, kar je za trikrat boljše od preteklega rekorda, ki ga je držal Yahoo. Terabajt včasih ne zadostuje, pravijo, zato so poskusili še s tisoč terabajti (petabajt) in na 4.000 računalnikih zanje porabili malenkost več kot šest ur. Mimogrede, za toliko podatkov potrebujejo 48.000 diskov, pri takih številkah pa pride do izraza statistika. Tako se je med vsakim poskusom vsaj eden tudi pokvaril.

28 komentarjev | povej naprej: Facebook Twitter

Registriraj se

fery ::

V kolikor za en petabyte potrebujejo 48.000 diskov, potem to pomeni, da ima en disk 20,8 gb. To je pa dandanes malo čudno, ali ne?

overlord_tm ::

V kolikor za en petabyte potrebujejo 48.000 diskov, potem to pomeni, da ima en disk 20,8 gb. To je pa dandanes malo čudno, ali ne?


Pa ni en podatek sam na enmu disku ... redundanca. Recimo če je podatek na 5 diskih potem pa prideš do številke 100 ;)

MrStein ::

Mogoče pa je del diskov prazen, ima začasne kopije, niso šli do maksimuma ipd...
Teštiram če delaž

antonija ::

We were writing it to 48,000 hard drives (we did not use the full capacity of these disks, though), and every time we ran our sort, at least one of our disks managed to break (this is not surprising at all given the duration of the test, the number of disks involved, and the expected lifetime of hard disks).


EDIT: Mogoce...
Statistically 3 out of 4 involved usually enjoy gang-bang experience.

Zgodovina sprememb…

  • spremenilo: antonija ()

Pyr0Beast ::

Drag poizkus tole [:D]
Religion causes as many problems as it solves.

1024 ::

Drag poizkus tole :D


Saj pride račun za elektriko večji kot stroški crknenih diskov.
Fish knows everything.

Zgodovina sprememb…

  • spremenilo: 1024 ()

Tr0n ::

Ja, hardware je relativno majhen strosek pri tem. :)
Guild Wars 2 Slovenija @ http://guildwars2.si/

Jst ::

Ima mogoče kdo sliko njihove farme računalnikov ter stavbe, kjer jo imajo?
Careful not to overload people by making them listen and think at the same time
-Vain

jype ::

Nimajo samo ene.

Pa Linux laufajo.

xtrEeme ::

Saj verjetno rabijo svojo elektrarno da poganjajo vso svojo mašinerijo :D
|Gigabyte MA79X0X-DS4|AMD Phenom 9850 BE 3.0 GHZ|
|Sapphire Radeon HD 4870 512 MB|4 GB GEIL 800|LC 550W GP|
|Seagate 500GB,WD 320 GB |Asus Xonar DX|

PaX_MaN ::

Ja, pa precej ton svinca v UPSih.
Kvarim statistiko anket že od 1995

fery ::

Mimogrede, za toliko podatkov potrebujejo 48.000 diskov, pri takih številkah pa pride do izraza statistika.

Samo komentiram novico. Zakaj nekdo napiše tako, ve on sam. Če naj bo novica uporabna, potem naj pri prepisovanju vsaj napiše neko smiselno celoto, ne pa kar nekaj. Eno je, če zapisujejo na 48.000 diskov, drugo pa je, da jih potrebujejo 48.000.


Ima mogoče kdo sliko njihove farme računalnikov ter stavbe, kjer jo imajo?
 Google server

Google server


 Še en server pač

Še en server pač


Server kot server pač, ne vem kaj naj bi bilo na teh slikah tako posebnega, oz. kaj zanimivega bi lahko videl.

Zgodovina sprememb…

  • popravilo slike: gzibret ()

Pyr0Beast ::

Gasilni aparat na koncu :>
Religion causes as many problems as it solves.

Sparrow ::

Čist tko za info. Eden od glavnih razvijalcev MapReduce-a je Slovenec - Dominik Roblek.

Tech_man ::

Sparrow-

tudi če je glaven razvijalec Slovenec, je dejstvo da si bodo glavne zasluge prisvojili drugi:) tako je na žalost...

je pa pohvalno da tudi mi lahko uspemo!! vsaj ena informacija za motivacijo:)

ko bom bil velik bol bil geek!!!:)

GupeM ::

Lepo da je slovenc. Še lepše bi blo da bi to razvijal za slovensko podjetje. Tko pa vsi najboljši grejo v tujino.

jype ::

GupeM> Tko pa vsi najboljši grejo v tujino.

Ja, kaj pa naj bi? Ostali tu? Saj niso neumni.

LuiIII ::

Mi se pa matramo s 1TB na dan:|. No samo moramo še vse kaj drugega kot sortirati.

BC3 ::

,,z 1.000" in ,,s tisoč"
-:| x2 4400+@2˙9GHz, abit ax78, 2gb ocz reaper, hd4850 |:-

antonija ::

,,z 1.000" in ,,s tisoč"

Pred stevilkami (zapisanimi s ciframi) je vedno "z"?
Statistically 3 out of 4 involved usually enjoy gang-bang experience.

DJ Beat ::

,,z 1.000" in ,,s tisoč"

Pred stevilkami (zapisanimi s ciframi) je vedno "z"?

Niti slucajno...

overlord_tm ::

Lepo da je slovenc. Še lepše bi blo da bi to razvijal za slovensko podjetje. Tko pa vsi najboljši grejo v tujino.


Spodobna slovenska IT podjetja lahko še mizar na svoje prste prešteje ... ali so vsa tako tajna da noben ne ve o njihovem obstoju?

Zgodovina sprememb…

Jst ::

>Server kot server pač, ne vem kaj naj bi bilo na teh slikah tako
>posebnega, oz. kaj zanimivega bi lahko videl.

Prehitro napisal. Mislil sem stavbo/stavbe, kakšen cooling sistem imajo, električno omrežje, blueprinti,... (če je kaj takšnega na voljo, particularly for google)

Omare z racki itak da niso zanimive. :)

Koliko toplote morajo odvajati iz ene farme (ki ima x računalnikov - omenjeni v novici?)? KOliko elektrike za napajanje?

Takšne stvari sem imel v mislih, čeprav sem napisal nekaj drugega.
Careful not to overload people by making them listen and think at the same time
-Vain

Samek1337Q ::

Pentabyte, ne Petabyte ...

Thomas ::

Zakaj pa penta?
Tell me your premises!
- Ayn Rand

jype ::

Verjetno misli, da gre za pornografski materijal.

Jst ::

Hehehehe!!!! Sorry, vem, da so takšni izpadi nezaželjeni, ampak se nisem mogel zadržati...
Careful not to overload people by making them listen and think at the same time
-Vain

droblek ::

Sparrow je izjavil:

Čist tko za info. Eden od glavnih razvijalcev MapReduce-a je Slovenec - Dominik Roblek.


Tole sem danes slucajno opazil in povedati moram, da nisem eden izmed razvijalcev MapReduce-a. Sem pa uporabljal MapReduce pri svojem delu in ga opisal v predavanju o Googlovih tehnologijah. Od tod verjetno tale nesporazum.

Dominik Roblek
Registriraj se


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Prenovljen standard CompactFlash

Oddelek: Novice
281255 (221) BaToCarx
»

PDA za ekstremne pogoje

Oddelek: Novice
4764 (764) Ziga Dolhar
»

Kraljeva vrnitev - fotorealizem

Oddelek: Novice
15738 (738) zile
»

OO defrag ne defragmenira do konca

Oddelek: Pomoč in nasveti
0192 (192) KontraCepec
»

css

Oddelek: Programiranje
3224 (142) TylerDurden