Fizicni vs. software Raid

V temi o NASih, se plamti debata o raidih. Kaksne so tocne vase izkusnje in mnenja o enem ali drugem? Pro in kontra?

darkolord je 29. nov 2018 ob 11:10 izjavil:

Synology/QNAP/... imajo tudi software raid.

MD raid na primer ima sicer svoje glupe fore, ki jih moraš poznati, drugače te poj...., ko to najmanj rabiš. Npr. to, da ne gre v degraded mode, če disk vrača corrupted podatke (kar HW array naredi TAKOJ). Dokler se vrti in piše in bere nekaj, je za njega A-OK.

Če unraid uporablja kaj drugega, potem je za recoverat to isti pain kot HW raid.

Pa vidim, da unraid nima iSCSI. Ha?

Kje in kako imate software RAID narejen?
Kaksne specifikacije imajo fizicne masine, ki to furajo?
Kaj se naredi, ko disk odleti v tem primeru?

Mislim da bo to za zacetek dovolj...
LP
Smeska

Če je le možno, ZFS.

problem HW raid je, da zna ne-delati, če ob menjavi HW raid ctrl ni TOČNO enak firmware ali serijska....
SW dela vedno - jaz sem nekoc postavil raid 5 na polje 5,25 FDD. :) lepo je ružlo, a delalo je vseeno.

imagodei je 29. nov 2018 ob 15:10 izjavil:

Če je le možno, ne ZFS. To je kot bi šel z macolo nad komarja.

ZFS je top zadeva, ampak uporabljaš tam, kjer rabiš. Ne pa kar povsod.

Ne vidim problemov, le prednosti. Lahko pa daš od 600€ za dober HW kontroler z BBU (x2 ker rabiš še enega identičnega za backup), za slabše delovanje.

Ampak to več ni hobby domača uporaba, čeprav ga izdatno tudi doma uporabljam.

imagodei je 29. nov 2018 ob 15:10 izjavil:

Če je le možno, ne ZFS. To je kot bi šel z macolo nad komarja.

ZFS je top zadeva, ampak uporabljaš tam, kjer rabiš. Ne pa kar povsod.

Še en glas za ZFS. Malček več dela pri postavljanju, vendar imaš potem mir.

c3p0 je 29. nov 2018 ob 20:53 izjavil:

imagodei je 29. nov 2018 ob 15:10 izjavil:

Če je le možno, ne ZFS. To je kot bi šel z macolo nad komarja.

ZFS je top zadeva, ampak uporabljaš tam, kjer rabiš. Ne pa kar povsod.

Ne vidim problemov, le prednosti. Lahko pa daš od 600€ za dober HW kontroler z BBU (x2 ker rabiš še enega identičnega za backup), za slabše delovanje.

Ampak to več ni hobby domača uporaba, čeprav ga izdatno tudi doma uporabljam.

Zakaj bi sploh HW Raid postavljal?

imagodei je 30. nov 2018 ob 09:11 izjavil:

Ampak ZFS danes v SOHO okolju nima nobenih norih prednosti pred drugimi ustrezno postavljenimi "diskovnimi shrambami".

Razen zastonj snapshotov, ki dejansko dobro delujejo, ter dejanske zaščite podatkov pred praktično vsemi oblikami napak?

imagodei je 30. nov 2018 ob 09:11 izjavil:

ampak v SOHO okolju vam ne bo dal nobene merljive prednosti pred npr. RAID 10 (+ LVM, če že rabite).

Seveda nam bo dal merljivo prednost:

- Poskrbel bo, da napake ne ostanejo skrite,
- redni dnevni snapshoti nas ne bodo stali ničesar, bodo pa zagotovili dostop do podatkov tudi v primeru ransomware virusov,
- omogočajo trivialno inkrementalno kopiranje na oddaljeno shrambo.

Vse to si lahko v SOHO okolju privoščiš izključno z uporabo ZFS, vse ostalo je dražje.

Če imaš količkaj rad svoje podatke, potem jim zagotovo privoščiš vsaj ecc ram.

imagodei je 30. nov 2018 ob 09:11 izjavil:

gendale2018 je 30. nov 2018 ob 01:02 izjavil:

imagodei, zakaj ti ni všeč zfs?

Ne da mi ni všeč. Saj sem napisal, da je ZFS top. Ampak ZFS danes v SOHO okolju nima nobenih norih prednosti pred drugimi ustrezno postavljenimi "diskovnimi shrambami". ZFS ni samo filesystem, je hkrati tudi RAID in logical volume manager. In vse to lahko postaviš tudi ločeno. In včasih celo želiš, da je ločeno.

Seveda, ZFS združuje vse layerje, zato ponuja nekaj prej nedostopnih opcij. Npr. daj rebuildat SW/HW RAID na velikih diskih, recimo da je particija na 50% polna. potem pa naredi resilvering še na ZFS.

Kompresija, need I say more?

Saj sploh ni meje HW ali SW. Tudi pri "HW raid" to opravlja nek zaklenjen SW.

Slabost HW raida, da si priklenjen na določen kontroler. Upaš, da po petih letih ko kaj crkne, proizvajalec še obstaja in proizvaja nadomestne dele oz. kompatibilne kontrolerje. Skratka to je za PRO namene, kjer zraven nujno podpišeš vzdrževalno pogodbo.
Prednost HW raida je seveda hitrost.

Za vse ostalo je ZFS in sestavljen HW :) Jaz recimo uporabljam 4+2 sistem na nas4free, celo dva diska lahko gresta po gobe. Vmes sem zamenjal SAS kontroler in PC matično, pa še vedno vse deluje.

Aja, še vedno je dobro imet tape, za občasen off-site backup core podatkov.

darkolord je 30. nov 2018 ob 11:51 izjavil:

Predvsem, ker:
- so glede napak precej bolj pedantni (pri kakršnem koli errorju označi disk kot failed)
- konfiguracija je neodvisna/ločena od OS-ja
- težko kaj pokvariš
- ne rabiš posebne podpore v OS-ju (večinoma uporabljam ESXi, ki nima podpore za SW raid)

Z veseljem ti prodam hw raid kontrolerje, ki te bodo (neprijetno) presenetili glede prvih treh točk. Prva točka je sploh napačna; linuxov md raid je bil dolgo znan kot daleč preveč pedanten, ker je res takoj ob najmanjši težavi izvrgel disk. Šele pred nekaj leti je dobil logiko, da gre npr. v mirrorju najprej probat prebrat problematičen sektor z drugega diska, nato pa podatke nazaj zapisat na prvi disk in šele če to ne uspe, začeti jamrati o slabem disku.

HPjev 410 nas je prav fino presenetil, ko se je pregrel in malce naključno pisal po diskih.

pegasus je 30. nov 2018 ob 12:01 izjavil:

Šele pred nekaj leti je dobil logiko, da gre npr. v mirrorju najprej probat prebrat problematičen sektor z drugega diska, nato pa podatke nazaj zapisat na prvi disk in šele če to ne uspe, začeti jamrati o slabem disku.

Možno, ampak preferiram pedantnost. Ta situacija me je namreč zelo drago stala, tako v evrih (recovery) kot v živcih. En disk je imel ogromno takih "transient" bad sectorjev, potem je pa drugi disk korektno crknil. Naprej verjetno ni treba razlagati.

Glede drugih dveh točk pa ne vem, kaj si imel v mislih. HW arraye lahko vedno skonfiguriraš offline in konfiguracija ostane tam, (skoraj) ne glede na to, kaj potem šariš z OS-i ipd.

jype je 29. nov 2018 ob 20:01 izjavil:

Če je le možno, ne HW.

Koliko se SW RAID pozna pri hitrosti pisanja/branja po diskovnem polju v primerjavi z običnim HW RAIDom, ki ga "dobiš zraven" v osnovnem HPjevem G6-G10 2U serverju?

a) Zdi se super, ampak: kaj ni to neke sorte poor man's HW raid?

Kaj pa če PCIe kartica crkne? SSD na njem umre? Se da narediti kakšno redundanco z dvema karticama/SSDjema? Je monitoring njihovega delovanja zanesljiv? Kaj če začne počasi umirati SSD?

b) Kaj pa če se mi ne da je6ati s tem hardverom in uporabim "obični" SW RAID? Btw., je kaj razlike v hitrosti SW RAIDa med povprečnimi SATA/SAS/SSD diski v običnem 2U HP serverju? Kje je pravzaprav ozko grlo v hitrosti pri SW RAIDu?

tony1 je 30. nov 2018 ob 14:51 izjavil:

Kaj pa če PCIe kartica crkne? SSD na njem umre?

Zato imaš vedno dve :)

tony1 je 30. nov 2018 ob 14:51 izjavil:

Se da narediti kakšno redundanco z dvema karticama/SSDjema? Je monitoring njihovega delovanja zanesljiv? Kaj če začne počasi umirati SSD?

Ker vsi bloki podatkov s seboj nosijo kompleksne kontrolne vsote, je verjetnost za nediagnosticirano napako izrazito majhna (0 je kar dober približek), seveda pa (zgoraj je Baja prilepil članek) ni popolnoma nemogoče (je pa verjetnost tudi približno 0), da se hardver zaroti proti tebi z zlobnim bit flipom.

tony1 je 30. nov 2018 ob 14:51 izjavil:

b) Kaj pa če se mi ne da je6ati s tem hardverom in uporabim "obični" SW RAID? Btw., je kaj razlike v hitrosti SW RAIDa med povprečnimi SATA/SAS/SSD diski v običnem 2U HP serverju? Kje je pravzaprav ozko grlo v hitrosti pri SW RAIDu?

ZFS je (za potrebne gostilniške debate uporabnikov) že "obični SW raid". Zdaj sem že z dveh "pokvarjenih" ZFS polj reševal podatke in sem vesel, da že obstajajo orodja, ki omogočajo plezanje po drevesih, ki jih ZFS shranjuje na medije.

https://www.joyent.com/blog/zfs-forensi... je eden od člankov, ki ti (če te ne začne boleti glava ob branju) približa ideje v ZFS in razjasni, koliko nivojev abstrakcij je nanizanih v ZFS stacku.

Poznam HPjev p400 in ti lahko povem, da je na 12ih diskih približno tako hiter kot en sam disk. Nekoč sem zapravil cel teden s fine tuningom parametrov polja na p400 v kombinaciji parametrov aplikacije na njem, da sem dosegel približno smiselne številke.

tony1 je 30. nov 2018 ob 15:04 izjavil:

Če to razliko poznam, jo lahko upoštevam in npr. SW RAID uporabim v serverjih, kjer ni zahtevane posebne hitrosti ali pa npr. na serverju za backupe.

HW RAID kartice niso hitrejše, dokler ne prideš do SAN tehnologij, kjer je centralna komponenta stikalo, ki stane vsaj 30 jurjev (in kjer te že več stanejo licence za softver, ki laufa na teh napravah, kot za hardver, ki ga moraš kupiti, da vse skupaj sploh lahko deluje).

Pa še v tem primeru se dolgoročno bolj splača same aplikacije napisati tako, da znajo delati z distribuirano shrambo, zgrajeno na poceni hardveru, povezanemu v sodobno ethernet omrežje.

zfs raid 5 je na navadnih diskih neuporaben. Vse skupaj konkretno pade na IOju. ZIL ne pomaga, ker se ZIL uporabi samo pr network trasnferu, če rabiš pa ganjaš en kup virtualcev, ti pa pomaga ama poplnoma nič. Takšne so moje izkušnje.

uporaba ZIL je bila 1%, pa se je preko networka besno dostopalo do cca 10 od 30 virtualcev.
Z novim strežnikom, gresta stran zfs compression in raid 5 bo šel v raid 1.
Ah pa swap datoteko je bilo treba umaknit iz ZFSje, ker drugače se je hudič obesil, tako, da je pomagal samo hard reset.

Koliko pa sploh je utilizacija ZILa? A si potem ves software nastavil, da ti dela sinhroni fsync?
ARCa nisem postavljal, sem pa naredil 8G ZILa na SSDju.
Novi server bo tako imel samo SSDje.. Bom pa za foro na starem potem probal postaviti ARC

Ne rabiš 8G zila, par 100M je dovolj. Vse kar počne ubistvu je da pretvarja random writes v en seq write. Podobno dosežeš z ext4 data=journal + external journal device.

E5 ni za v SOHO. V Soho lahko postavim Tamalega Xeona E3 oz. novo E-2000 serijo, katera je v začetku novembra doživela drugi paper launch.. E3 serija je pa tako ali tako omejena na 32G rama, Mislim, da tadnji 2? generaciji pa na 64.
Tako, da nimam kaj šopat RAMa, ker ga tako ali tako več kot 75% rabim za poganjanje virtualcev.
Pa RAM niti ni poceni, Je cena na GB ene 3x previsoka glede na stanje kot bi moralo biti.

Vsi diski v RAID5 polju so iz iste serije in enaki.

gendale2018 je 1. dec 2018 ob 11:22 izjavil:

krho je 30. nov 2018 ob 18:03 izjavil:

zfs raid 5 je na navadnih diskih neuporaben. Vse skupaj konkretno pade na IOju.

to je znan problem paritenih raidov.

To je znan problem ljudi, ki ne znajo natjunati skupaj aplikacije in diskovnega polja.

Primer (pozor, terminologija je za vaše okolje morda drugačna):

Imamo 10 diskov v raid6 (8*data + 2*parity). Hočemo se izogniti read-modify-write ciklu za vsak write, zato moramo razumeti, kako velik write dela naš app. En write mora ustrezati velikosti vsaj enega stripea, torej mora biti chunk size velik eno osmino stripea, ker imamo 8 data diskov. Če naš app pljuva 1MB writes, mora torej chunk size biti 128K, da se ta 1MB lepo v enem šusu zapiše na vse diske. Če je to vse nastavljeno v sožitju, gre io gor nekje 3x v primerjavi z razštelanim okoljem.

Boste rekli, da aplikacije pišejo z različno velikimi IOji? Ta problem prepuščam vam, ukrotite jih, kot veste in znate. Jaz npr. na 120 diskih, zloženih v 12 raid6 polj, dosegam write prek 10GB/s, na 5 let starem hardveru. Ozko grlo mi je SAS 6Gb/s in ne diski.

pegasus je 1. dec 2018 ob 12:08 izjavil:

To je znan problem ljudi, ki ne znajo natjunati skupaj aplikacije in diskovnega polja.

Ne, to je problem, da je paritetni raid primeren za specifične aplikacije.

Kar pomeni, da ga za večino primerov niti ne moreš kaj dosti natunati.