Fizicni vs. software Raid

Prvo vprašanje je, kako pomembni so podatki. Eno so filmi, drugo bančne transakcije. Ali pa gre le za nek delovni array za video editing, na katerem ne bo problema, če vse odleti in ga lahko damo kar v stripe/raid0.

Raidz/2/3 kot že omenjeno združuje vse layerje in je hitrost rebuilda oz. resilveringa lahko mnogo hitrejša, saj ve kje so podatki.

gendale2018 je 1. dec 2018 ob 13:43 izjavil:

je pa raid 10 v vsakem primeru hitrejši

problem je tudi pri rebuildih, ker se zna zgodit, da ti med rebuildom gre še en disk in se lahko posloviš od arraya... raid6 ima to sicer delno rešeno, ker lahko odletita dva, ampak pri većjih arrayih problem ostane

A pri mirrorju pa ne more crkniti drugi disk med rebuild-om?

MrStein je 5. dec 2018 ob 21:31 izjavil:

gendale2018 je 1. dec 2018 ob 13:43 izjavil:

je pa raid 10 v vsakem primeru hitrejši

problem je tudi pri rebuildih, ker se zna zgodit, da ti med rebuildom gre še en disk in se lahko posloviš od arraya... raid6 ima to sicer delno rešeno, ker lahko odletita dva, ampak pri većjih arrayih problem ostane

A pri mirrorju pa ne more crkniti drugi disk med rebuild-om?

Seveda lahko, ampak je možnost za to mnogo manjša - prebrati moraš samo en disk namesto vseh. Pri običajnih (NAS, non-enterprise) diskih je deklariran NRE rate <10^-14, kar znese malo več kot 10 TB.

Danes sem malo premetaval številke in prišel do zaključka, da je raid (vsaj zame) zgodovina. Cena flasha je že praktično enaka ceni diskov. Tako da se potrebuje samo še en concat ali stripe čez N flash naprav, decent FS s snapshoti in en kasetar za backupe. Če smo bogati ali si ne smemo privoščiti downtimea ob izpadu ene flash naprave, si privoščimo kak erasure coding in to je to.

pegasus je 5. dec 2018 ob 22:11 izjavil:

Cena flasha je že praktično enaka ceni diskov.

Še link do kakšnega 10TB flasha v rangu 300€ prosim :) Sem popolnoma za flash in se izogibam spining rusta, kjer se le da, ampak na žalost so moje ugotvitve glede cen sploh pri večjih kapacitetah malo drugačne.

Pa tudi erasure coding je zgolj generičen izraz za različne encoding in partition sheme, ki ti omgočajo rekustrukcijo podatkov brez določenega števila posameznih elementov. Torej nekaj, ne čemer sloni tudi RAID 5/6.

darkolord je 5. dec 2018 ob 22:05 izjavil:

MrStein je 5. dec 2018 ob 21:31 izjavil:

gendale2018 je 1. dec 2018 ob 13:43 izjavil:

je pa raid 10 v vsakem primeru hitrejši

problem je tudi pri rebuildih, ker se zna zgodit, da ti med rebuildom gre še en disk in se lahko posloviš od arraya... raid6 ima to sicer delno rešeno, ker lahko odletita dva, ampak pri većjih arrayih problem ostane

A pri mirrorju pa ne more crkniti drugi disk med rebuild-om?

Seveda lahko, ampak je možnost za to mnogo manjša - prebrati moraš samo en disk namesto vseh.

No, na RAID5 iz 7 diskov plus en za redundanco jasno, da je z 1/8 redundance večja verjetnost izgube podatkov. Imaš pa xy% več neto kapacitete!

A so take konfiguracije pogoste v praksi?

Pri običajnih (NAS, non-enterprise) diskih je deklariran NRE rate <10^-14, kar znese malo več kot 10 TB.

Ta mit smo že obdelali. Pripombe prosim v tisto temo. (iskanje teme je ogrevanje možganov za sodelovanje)

pegasus je 5. dec 2018 ob 22:11 izjavil:

Danes sem malo premetaval številke in prišel do zaključka, da je raid (vsaj zame) zgodovina. Cena flasha je že praktično enaka ceni diskov. Tako da se potrebuje samo še en concat ali stripe čez N flash naprav, decent FS s snapshoti in en kasetar za backupe. Če smo bogati ali si ne smemo privoščiti downtimea ob izpadu ene flash naprave, si privoščimo kak erasure coding in to je to.

Tole verjetno ne govoriš za doma?

darkolord je 6. dec 2018 ob 15:12 izjavil:

To ni mit, to je specifikacija proizvajalca diska. Lahko se seveda odločiš, da to ignoriraš.

Saj on rad počne take stvari. Ni prvič.

Lej, saj logi in real lajf vzdržljivost marsičesa sploh ni sporna. Tovarniška specifikacija pa tudi ni.

MrStein je 6. dec 2018 ob 22:06 izjavil:

Ne, jaz preverim stvari.

Ni pa pa prvič, da sogovorniki raje verujejo.

(imate izbiro: ali pogledate v loge svojih RAID-ov če res pride do izpada na vsakih 10 TB ali pa še dalje verujete)

Preveriš? Na kakšen na čin pa? V primeru NRE če nisi gonil nekaj 100 diskov v zelo neugodnih pogojih (hujših, kot jih omenja jype) in prišel ven s 100 % izkupičkom, da NRE stanje presega proizvajalčeve specifikacije, potem to ni preverjanje. Žal.

Proizvajalec ti da specifikacijo, za katero stoji. Običajno s testi, če je dovolj prepričan v svoje statistične metode, pa lahko tudi na osnovi predvidevanj. Ampak tudi to je na podlagi mnogih let izkušenj in testiranih nekaj 1000 diskov. To specifikacijo tvoj disk zlahka preseže, zlahka pa pade tudi pod njo. V slednjem primeru imaš lahko razlog za garancijo (odvisno od tipa odstopanja od specifikacije), ampak načeloma je specifikacija nastavljena tako, da je potencialnih garancijskih zahtevkov zgolj majhen delež.

Za vse ostale stvari, kot so tele naše gostilniške debate, je smiselno, da se držiš varne strani. Razen če 'you like to live dangerously'. Glede na tvoje komentarje to slednje zelo močno drži.

Dokaz so specifikacije proizvajalcev. Ampak jih moraš znat brati. Najbolj osnovna zadeva je npr. tisti znak za manjše poleg številke.

Če združiš jype-tove in svoje podatke, bo številka že mnogo bližje specificirani.

Če se ukvarjaš z resnimi stvarmi, mimo specifikacij pač ne moreš. Lahko dobiš slab batch/serijo (npr Seagate SV35), ki bo daleč od tvojih anekdotičnih opazovanj, pa bo še vedno v okviru specifikacij.

Poznaš koga, ki bi mu odtrgalo jermen na motorju, ker ga ni menjal na 120k/240k km ali 10 let? Ali koga, ki bi mu zaribal motor, ker ni menjal olja na 1 leto ali 15k km? Jaz že dolgo ne. Pa ko kupiš avto, kljub temu računaš, da boš servise delal na te intervale. Razlog je enostaven, ker je morebiten zajeb precej drag.

Enako je pri diskih in ostalo redundanco.

Kje si pa 10k dobil?

MrStein je 7. dec 2018 ob 10:54 izjavil:

Torej praviš, da omenjena navedba proizvajalca nima veze z realnostjo?

Ne. Pravim, da gre očitno za precej natančno povprečno vrednost.

MrStein je 7. dec 2018 ob 17:24 izjavil:

Precej natančna je ker zelo odstopa?

Sem pa mislil, da pri nas že v osnovnih šolah učijo povprečno vrednost.

MrStein je 7. dec 2018 ob 17:29 izjavil:

Če pa si ti dobil drugačen rezultat, pa prikaži korake.

Saj sem jih:

jype je 7. dec 2018 ob 01:38 izjavil:

Seveda ima okolje na to bistven vpliv: Od kozmičnih žarkov prek stabilnosti temperature okolja, pa bržkone vse do tega, ali je bil zaposleni v tovarni diskov na dan ko se je enega od mojih sestavljalo nahoden.

MrStein s čim se ukvarjaš v življenju? Tako, day job pa to. Resno me zanima, ker me res zanima, kako lahko tako mirno ignoriraš specifikacije.

Al sem samo jaz tako 'poškodovan', ker se ukvarjam s testiranjem in validacijo komponent v avtomobilski industriji in posledično nekako vem, od kje pridejo ti intervali, kako se določajo vrednosti, v specifikacijah, koliko dela in opreme to pomeni, koliko izkušenj potrebuje proizvajalec, da vse to naredi dovolj dobro, da z izdelki ni težav, itd. itd.

Če se povežem na jermen, marsikomu ga res ne utrga. Pa včasih tudi ni bilo panike, če ga je, ker so bili motorji non-interference (torej se bat in ventili niso mogli srečati). Danes, zaradi izkoristkov, temu ni več tako. Kot je rekel darko, zajeb je drag (novi bati, ventili, glava, če imaš srečo še ojnica, lahko ti pa potegne še kam). Če ne delaš intervalov, ni nujno,d a ti bo utrgalo jermen oz. da ti bo 'razneslo motor'. Lahko imaš samo en kup kovinskih delcev v olju, ki jih bo porinilo v (drsne) ležaje ojnic in ročične gredi. Avto bo verjetno delal, ne bo pa vse skupaj optimalno. Če ga boš vozil šparovno, se ti bodo začeli nabirati ostanki saj v sesalnih portih, na ventilih ter tudi v kolektorju še precej hitreje, če voziš entuzijastično. Enako z DPF-om na dizlih. Pa podobni nanosi (oljna gošča) se na določenih motorjih lahko nabere na batnih obročkih, ki potem ne opravljajo več svoje funkcije (prilagajanje izvrtini cilindra), zaradi česar motor pač 'pije' olje. Kar zelo blagodejno vpliva na katalizator.

Torej ker nisi menjal olja, si potencialno zjebal izpuh. Zabavno, kajne?

V IT vodah žal nisem tako domač, kot v avtomobilski sferi, ampak bi verjetno lahko komentiral kaj glede ležajev, temperature, ko obratujejo, njihove obrabe, itd. Vseeno pa upam, da je iz zgornjega zapisa jasno, da stvari niso tako enostavne, da pogledaš eno cifro, se naprdneš, da ne velja (zaradi enega blog posta na internetu) in potem to trobiš na forumu, ko ti par ljudi (tudi po lastnih izkušnjah) govori nasprotno. Govorimo namreč o sistemih, kjer cel kup komponent vpliva ena na drugo, poleg jasno okolice, v kateri komponente obratujejo. Spremenljivk je pa toliko, da tudi če še tako dobro nadzoruješ okolje, v katerem sistem deluje, popolnoma vsega ne boš kontroliral, še manj boš pa kontroliral okolico med proizvodnjo in transportom komponent. Torej se zaneseš na statistiko, ki ej tam z razlogom in je tudi takšna z razlogom. In se pač ne zajebavaš, če ti podatki nekaj pomenijo.

Več kot jasno je, da je tebi za podatke vseeno.

S katerim delom? (BTW, kul, da si ignoriral celoten preostanek posta, sploh tisti del, kjer sem ti dal direktno vprašanje)

MrStein je 27. apr 2019 ob 13:58 izjavil:

Kateri RAID sistem(i) omogočajo menjavo diskov brez izgube redundance?

Noben. Verjetno misliš, da vsaj en nivo redundance vedno ostane? Katerikoli od RAID-6 naprej (ki lahko izgubi dva diska, preden začne izgubljat gruče), ali pa RAID-1 oz. RAID-10 z več kot dvema diskoma v (vsakem) mirrorju.

Nivoji nad RAID-6 (recimo ZFSjev raidz3) ti dovolijo, da izgubiš tri ali več diskov na polje in so se začeli uporabljat, ker so (običajni) diski vedno večji, njihova hitrost pa ne dohaja njihove rasti, zato ni nemogoče, da se podatki na zamenjan disk kopirajo tudi več dni (in v toliko časa ob dodatni obremenitvi, ki jo terja sinhronizacija, ni nemogoče, da odpove še več diskov).

ZFS omogoča, da se podatki najprej kopirajo na hot spare, šele potem se stari disk izloči. Moraš pa to predhodno ustrezno konfigurirat.

Čakaj, prej pa si rekel, da noben tega ne zna. Kaj zdaj?
Lahko daš konkreten primer?

Ja, saj. Prosim konkreten primer.
Za linux raid recimo piše, da tega ne zna (ali pa pisec ne zna): It is also important to note that while the array undergoes the resync process, it is vulnerable to irrecoverable failure if another drive were to fail.
Vir: https://raid.wiki.kernel.org/index.php/...