Google prežveči petabajt v šestih urah

Matej Huš

24. nov 2008 ob 07:44:24

Google se v svojem blogu pohvali, da so najhitrejši na svetu pri razvrščanju podatkov. Z uporabo orodja MapReduce, ki skrbi za poganjanje več procesov hkrati, so presortirali terabajt podatkov, shranjenih v lastnem datotečnem sistemu, z 1.000 računalniki v 68 sekundah, kar je za trikrat boljše od preteklega rekorda, ki ga je držal Yahoo. Terabajt včasih ne zadostuje, pravijo, zato so poskusili še s tisoč terabajti (petabajt) in na 4.000 računalnikih zanje porabili malenkost več kot šest ur. Mimogrede, za toliko podatkov potrebujejo 48.000 diskov, pri takih številkah pa pride do izraza statistika. Tako se je med vsakim poskusom vsaj eden tudi pokvaril.