» »

IBM za Watsona priskrbel 120 petabajtov diskovja

IBM za Watsona priskrbel 120 petabajtov diskovja

vir: CNet
CNet - IBM-ov superračunalnik Watson je od prve najave pred dobrimi šestimi leti pa do danes zaslužen za že kar nekaj uspehov. Februarja je močno odmevala zmaga proti človeku na popularnem (vsaj v čezlužju) TV kvizu Jeopardy, maja pa so ga za nagrado poslali na krajši študij medicine. Zadnja pridobitev je novo obsežno diskovno polje, sestavljeno iz dvesto tisoč klasičnih trdih diskov s skupno kapaciteto 120 petabajtov. Služilo naj bi poganjanju zahtevnih računalniških simulacij vremena in klimatskih sprememb, ki kot vhod zahtevajo veliko količino ažurnih podatkov.

Na diskovju bo nameščen datotečni sistem GPFS (General Parallel File System), ki omogoča hitrejše branje in pisanje z razparceliranjem datotek čez več fizičnih diskov. IBM ga je začel razvijati v začetku devetdesetih, danes pa teče na kar nekaj superračunalnikih s seznama 500 najhitrejših. Prebavi do 2 milijardi datotek v velikosti do 299 bajtov (se pravi, bi ga brez vsakega problema zapolnili z eno samo datoteko).

Za primerjavo - 120 petabajtov zadošča za hrambo 24 milijard MP3-jev (po 5MB/komad), pri čemer je imel npr. Spotify junija letos v svojem katalogu nekje 15 milijonov različnih komadov. Po drugi strani pa bi ga Facebook z dnevniškimi zapisi zapolnil v 5000 dneh oz. slabih 14 letih (in to pri sedanjem tempu).

17 komentarjev

LuiIII ::

Hm ne vem od kje podatek da je ta 120PB storage narejen samo za Watsona. Ta storage bo uporabljalo verjetno več superračunalnikov. Zanimiv podatek je ta, da ob uporabi 200.000 diskov (consumer grade), potrebujejo 2 človeka, ki jih stalno menjata. Oz. 6 ker morajo delati v treh izmenah. Pri trenutnih cenah in predpostavki, 2TB disk = 100$ zagonijo na dan okoli 10k$ samo za zamenjavo diskov. Ni slabo saj za ta denar komot naredim 80TB storage.

Loocas ::

18% defekta za diske na leto?

hm.. veliko.

LuiIII ::

Da, če računamo povprečno dobo consumer grade diskov 5 let.

nekikr ::

Potem je nekje računica napačna. Če se držimo statistike, da se nekje do 5% diskov pokvari tekom garancijske dobe, potem mora biti letni procent manjši od 5 in definitivno bistveno manjši od 18.

Mipe ::

Tista statistika je najbrž računana za primer, da diski niso v rabi polnih 24/7. Strežniški diski so druga zgodba.

nekikr ::

To že, ampak vseeno dvomim, da se pokvari 20% vseh diskov vsako leto. Ni realno pa tudi če bi bili prižgani 25/7 :)

uio ::

nekikr je izjavil:

To že, ampak vseeno dvomim, da se pokvari 20% vseh diskov vsako leto. Ni realno pa tudi če bi bili prižgani 25/7 :)

dela 5 let..
100% je 5 let
20% 1 leto, torej vsake 5 let se ti pokvari 100% diskov, kar je gledano če so montirani ne vsi na enktat 20 % na leto.

Zheegec ::

Server diski so sigurno za dlje...
"božja zapoved pravi; <Spoštuj očeta in mater>,
ne govori pa o spoštovanju sodstva."
Janez Janša, 29.04.2014

WamPIRe- ::

Če imajo 5 let garancije oz. se računa, da jih bodo imeli 5 let še zdaleč ne pomeni, da v tem času crkenjo vsi diski... IMO jih v 5 letih crkne tistih 18%...
Msi Z77 | Intel i7-3770K | Kingston HyperX DDR3 16GB
CM Silent Pro Gold 700W | Asus RTX 2080 | Samsung 850 EVO 250GB
Samsung 850 EVO 500GB | 2x Asus ROG PG279Q

LuiIII ::

Itak se bodo diski po sklopih menjavali zaradi večjih kapacitet in novih modelov. Če se storage uporablja, potem ga je verjetno pametno organsko nadgrajevati kot to velevajo potrebe. Tako npr. sam počnem. Če pričakujem, da bom v 2 letih napolnil 4TB, potem danes sestavim storage z vsaj 6TB. V obdobju 2 let se pojavijo na trgu diski z 2x kapaciteto po približno enaki ceni in če jih zamenjam takrat me to pride več kot še enkrat ceneje kot pa, če danes razmišljam o 12TB rešitvi.

JesusChrist ::

Sam downloadam ogromne količine filmov, ampak se mi zdi, da nikakor nebi v 2 letih zapolnil 4TB s podatki. Ne da nebi šlo (to bi itak zelo hitro napolnil), ampak bo problem zakon (o piratstvu ki ga hočejo sprejeti). Če ti najdejo na compu 2TB filmov, 1TB nelegalnega softwarea in 1TB nelegalno prenesene glasbe potem se lahko posloviš od računalnikov za nekaj časa... Za posameznike se ravno iz tega razloga meni zdi velika količina prostora zadnje čase nepotrebna.

No drugače pa glede diskov ... če bodo ti diski laufali v watsonu, je jasno, da bodo zaradi analiz delovali s polno močjo in se jih nebo šparalo - sploh ne pri raziskavah vremena in klime (predvidevam). Zaradi tega je čisto možno, da bo procent okvar velik.
remember, the clock is ticking. run like no tomorrow.

driver_x ::

Zanimivo bi bilo videti, kako taka množica diskov izgleda.

Spock83 ::

Zgleda kot en zelo velik JBOD :D

black ice ::

JesusChrist je izjavil:

Če ti najdejo na compu 2TB filmov, 1TB nelegalnega softwarea in 1TB nelegalno prenesene glasbe potem se lahko posloviš od računalnikov za nekaj časa... Za posameznike se ravno iz tega razloga meni zdi velika količina prostora zadnje čase nepotrebna.

Kriptiranje pa je kar tako, brezveze?

LuiIII ::

No jaz imam doma vsaj 6TB podatkov, ki niso filmi, warez, pron,... Glede na to s čim pa se sedaj ukvarjam, pa ne bo nič posebnega 1TB dnevnih podatkov s terena. Seveda ne vsak dan. No ja, če pa že,... ;-)

AtaStrudl ::

Malo o zanesljivosti diskov:

http://storagemojo.com/2007/02/20/every...

nekikr ::

Do tu sem prebral: by Robin Harris on Tuesday, 20 February, 2007


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Kaj naredite z dolgimi imeni (in potmi do datotek)

Oddelek: Pomoč in nasveti
172885 (2105) Tear_DR0P
»

Podatki iz Megauploada se prašijo, stroški pa rastejo

Oddelek: Novice / Omrežja / internet
124920 (2185) CaqKa
»

Prenovljen standard CompactFlash

Oddelek: Novice / --Nerazporejeno--
284218 (3184) BaToCarx
»

IBM superračunalnik simulira mačje možgane (strani: 1 2 3 4 5 )

Oddelek: Novice / Znanost in tehnologija
21714695 (10976) Okapi
»

IBM na vrhu lestvice Green500

Oddelek: Novice / Ostale najave
83704 (2596) jype

Več podobnih tem