» »

NAS za domačo uporabo

NAS za domačo uporabo

Temo vidijo: vsi
««
70 / 118
»»

PrimozR ::

Zakaj točno ti je HDMI tako zanimiv?

1 disk je 1 disk. JBOD je 'Just a Bunch Of Disks', kar pomeni, da se več diskov obnaša kot eden. Filaš jih pa od dna do vrha. RAID-i pa med diske enakomerno delijo podatke.

RAID0 se uporablja samo v primerih, ko potrebuješ hitre prenose na podatkih, ki jih ni škoda. Torej _NE_ v NAS-u. RAID1 je boljši scenarij, precej boljši od enega samega diska (če crkne en disk, drugi ostane, s tem pa tudi podatki).

RAID5 je nekako happy medium, ampak je, ne glede na komentarje po internetu in v tej temi, vseeno nekako tendenca, da se gre v smeri RAID6 oz. ekvivalentnih rešitev (kjer sta paritetna diska dva). Ne vem kaj omogoča Qnap, ZFS-ova slabost (ko je npr. A-242 tako hvalil Freenas) je, da postavljenih arrayev ni mogoče širiti (iz RAID 5 se ne da nareidit RAID 6 oz. dodati enega diska, dobiti več prostora in imeti še vedno redundanco - če odleti dodan disk, izginejo vsi podatki, kar je 'posebnost' ZFS-a in funkcioniranja poolov). Linuxov mdam omogoča, da iz RAID1 z dodajanjem enega diska zgradiš RAID5, če dodaš še enega, lahko array ali povečaš (iz 2+1 setupa na 3+1) oz. ga spremeniš v RAID6 (dodaš še eno pariteto), torej je s tega vidika bolj fleksibilen. Catch je pa, kot rečeno, da ne vem kaj zadaj uporablja Qnap. Ampak prvi zadetek na Googlu je: https://www.qnap.com/en/how-to/tutorial...

Vseh detajlov tukaj verjetno ne bomo poznali za vse rešitve, razen če ima kdo podoben scenarij, kot ga imaš ti. Predvidevam, da nas kar precej tukaj na lastno pest, vsak za svoj scenarij, preizkuša, brska po spletu, popravlja, itd. Verjetno bi bilo smiselno pogledati vsaj osnovne vsebine, ki jih Qnap nedvomno ponuja za potencialne stranke?

Boobiz ::

A-242 je izjavil:

igorpec je izjavil:

Uporabna native podpora za FreeBSD/NAS gotovo tudi (še) ne obstaja.


??? Kaj je to "uporabna native podpora"? Govoris o ZFS?



FreeNAS sem predlagal za ljudi, ki nimajo blage veze / se jim ne da z operacijskim sistemom ukvarjat. Imam jaz tudi raje "clean" freebsd (linuxa pac ne maram, ker prevec kuharjev svinja vsepovsod, izgleda kot bi kopico prasicev spustil v tovarno s cokolado - ga po sili razmer zal uporabljam kot desktop ampak kar se mene tice je enako sranje kot windows).


Meni se Freenas ne zdi primerna stvar za nek home use, kjer se ti potrebe po kapaciteti spreminjajo. Telovaditi z novimi VDevi vsakič, ko bi rad expansion naredil je pa tud meh, sploh ker porti na platah ne rastejo kot gobe po dežju na običnih enthusiast platah. Poleg tega pa Freenas ne deluje najbolje na kakem starem hardwaru, ki bi sicer za NAS uporabo in Plex transcoding bil popolnoma super.

Za home use, če je že treba delat homebrew stvar (oz. ponucat nek star komp, ki se valja okrog) bi rajši priporočal Unraid. Lavfa na toasterju, če je treba. Prosto po prešernu dodajaš diske, imaš redundancy, če potrebuješ hitrost pri prenosu dodaš SSD za cache, enako število oz. še več dockerjev kot Syn/Qnap... Community support na res dobrem nivoju.
I'm drunk, what's your excuse?

PrimozR ::

Mogoče samo kot FYI za tiste, ki zbirajo podatke za primerjavo, Unraid ima plačljivo licenco, 60 USD za do 6 diskov, 90 USD za do 12 diskov in 130 USD za neomejeno št. diskov.

To, da se pri FreeNAS-u (ZFS-u v bistvu, ni to slabost FreeNASa samega) ne da delati mahinacij z diskovji, je pa res nekoliko tečno. Rast arraya celo dela v primeru, da enega po enega zamenjaš vse diske za večje, to je pa to. Spreminjanje velikosti z dodajanjem posameznih diskov, čeprav 'funkcionira', je velik no-no (kot sem že omenil).

A-242 ::

PrimozR je izjavil:

Mogoče samo kot FYI za tiste, ki zbirajo podatke za primerjavo, Unraid ima plačljivo licenco, 60 USD za do 6 diskov, 90 USD za do 12 diskov in 130 USD za neomejeno št. diskov.

To, da se pri FreeNAS-u (ZFS-u v bistvu, ni to slabost FreeNASa samega) ne da delati mahinacij z diskovji, je pa res nekoliko tečno. Rast arraya celo dela v primeru, da enega po enega zamenjaš vse diske za večje, to je pa to. Spreminjanje velikosti z dodajanjem posameznih diskov, čeprav 'funkcionira', je velik no-no (kot sem že omenil).


Nije zvaka za seljaka. Povecujes lahko, pomanjsevati ne mores (lahko pa syncas podatke drugam), ampak ze samo snapshotiranje in /.zfs sta dovolj velik razlog, da o drugih file sistemih sploh nimas kaj razmisljat - razen, ce uporabljas kaksno igracko a-la rpi.

Unraid je placljiv, closed source, precej manj podprt s strani raznih uporabnikov, tutorialov, forumov,... Spet ni kaj za razmisljat.

Zgodovina sprememb…

  • spremenilo: A-242 ()

LuiIII ::

Kot dolgoletni uporabnik ZFS ne vem, če je nefleksibilnost pri HDD ravno slabost. Pri hrambi pomembnih podakov je to, da je osnovna infrastruktura in kapaciteta bolj zabetonirana, prej prednost kot slabost.
Za ljudi, ki se jim ne da ukvarjati z izdelavo svojega NAS-a in ga vzdrževat, je kakšen Synology ali QNAP najboljša izbira. Pri tem, da če imate kakšne pomembne podatke, ne gledati preveč na kapaciteto ampak na to, da bo imelo diskovno polje čim bolj redundantno topologijo. Sam vedno uporabljam tako imenovani RAID 10. In pa seveda imejte backup. NAS sam po sebi ni backup! Meni se je že zgodilo da so na kao ta boljšem QNAP-u (10x12 TB HDD, 10GB ethernet, SSD cache) na terenu odleteli trije diski in podatki bi bili dejansko izgubljeni, če ne bi imel enakega redundančnega QNAP-a s sinhronizacijo.

Zgodovina sprememb…

  • spremenil: LuiIII ()

damirj79 ::

To so vse ekstremni primeri. Enako kot da imaš dva NASa na isti lokaciji, pa ti požar požge oba NASa. Kaj potem? Ni potrebe po dveh NASih, škoda si delat stroške, pač pa po dislocirani enoti, če že, tam kjer je za to potreba, za domačo uporabo najverjetneje ni. Če pa že, potem kak cloud storage servis, itak jih je zraslo en kup že.

Wazzock ::

Boobiz je izjavil:


Za home use, če je že treba delat homebrew stvar (oz. ponucat nek star komp, ki se valja okrog) bi rajši priporočal Unraid. Lavfa na toasterju, če je treba. Prosto po prešernu dodajaš diske, imaš redundancy, če potrebuješ hitrost pri prenosu dodaš SSD za cache, enako število oz. še več dockerjev kot Syn/Qnap... Community support na res dobrem nivoju.


Meni pri Unraidu grejo v nos tri zadeve. 1. Košta, 2. Ni Snapshotov, 3. Ne popravi t.i. Silent Errors

Za budget homebrew zadevo bi jaz inštaliral OMV + SnapRAID. Edina večja pomanjkljivost SnapRAIDa je, da nima instanten parity.

Boobiz ::

Kaj so silent errors?

Snapshotov sicer uradno res ni, ampak topicov o (uspešnem) tinkeringu s tem ni malo.

Za plačat je pa res, tle nimaš kaj. Dajo ti sicer skoraj 2 mesca (i think, ne spomnim se več) free triala, da temeljito poizkusiš in se odločiš. Meni je bilo instantno vredno keša, ker je za moj use vselej bolj vsestranski produkt kot kupovat Windows Licenco npr in, ker uporabljam še VM engine in vse moje računalniške potrebe tečejo na virtualkah. Razen laptopa nimam niti ene same native Windows/Linux mašine.
I'm drunk, what's your excuse?

darkolord ::

LuiIII je izjavil:

Meni se je že zgodilo da so na kao ta boljšem QNAP-u (10x12 TB HDD, 10GB ethernet, SSD cache) na terenu odleteli trije diski in podatki bi bili dejansko izgubljeni, če ne bi imel enakega redundančnega QNAP-a s sinhronizacijo.
Mimogrede, QNAP ima retardirano narejene arraye, tako da ni čudno, da se take stvari zgodijo. Zato ga tudi odsvetujem.

Če imaš v arrayu diske s corruptanimi podatki, je to za njega čisto OK in ne bo pokazal nobenega warninga. Bo samo potiho popravljal podatke, dokler en disk ne bo crknil zares.

OldSkul ::

Wazzock je izjavil:

Boobiz je izjavil:


Za home use, če je že treba delat homebrew stvar (oz. ponucat nek star komp, ki se valja okrog) bi rajši priporočal Unraid. Lavfa na toasterju, če je treba. Prosto po prešernu dodajaš diske, imaš redundancy, če potrebuješ hitrost pri prenosu dodaš SSD za cache, enako število oz. še več dockerjev kot Syn/Qnap... Community support na res dobrem nivoju.


Meni pri Unraidu grejo v nos tri zadeve. 1. Košta, 2. Ni Snapshotov, 3. Ne popravi t.i. Silent Errors

Za budget homebrew zadevo bi jaz inštaliral OMV + SnapRAID. Edina večja pomanjkljivost SnapRAIDa je, da nima instanten parity.


Točno to uporabljam tudi jaz. OMV + SnapRAID. Na srečo še nisem imel priložnosti testiranja delovanja SnapRAID sistema. Po forumih so odzivi pozitivni, ni pa ravno "noob friendly" zadeva.

Wazzock ::

Boobiz je izjavil:

Kaj so silent errors?


Nekje v Bytu se 1 prebere kot 0, zaradi različnih faktorjev. Naprimer: nihanje napetosti, kozmično sevanje, dotrajano kablovje itd. Googlaj Silent data corruption.

Unraid sploh ne uporablja bilo katerega checksum pristopa. ZFS je najbolj dodelan v temu. Višja stopnja je potem še ECC ram.

Zato mi gre v nos plačevat za nekaj, ko je zastojnska varijanta na koncu boljša. Za domačo uporabo, SnapRAID pobere taboljše lastnosti od ZFSa in UnRAIDa.

Zgodovina sprememb…

  • spremenil: Wazzock ()

A-242 ::

Ves point ZFSja je (oz. vsaj tako je bil zastavljen, to da ima danes najvec featurjev od kateregakoli file sistema je samo bonus - tukaj linuxovih btrfs aka "let me throw away my data" niti omenjal ne bi), da ne zaupa hardwaru. Vsi podatki na disku so hashirani (algoritem lahko zberes ali izklopis). Ce pride v memoriji do flipa bita, potem se hash ne ujema s tistim na disku. Zato je "zahtevan" ECC, je pa vse skupaj malo urbana legenda, kot sem rekel, uporabljam ga odkar je na freebsdju (2007) s poceni memorijo in na ta problem se nisem naletel.

A-242 ::

ZFS je "battle tested" file sistem z dolgo brado, za vse tezave, sem nasel nekoga z odgovorom. Razen tega sem ze resilveral diske (zaradi crknjenega diska) in v tem momentu je edini filesistem, ki ga uporabljam, kjerkoli, tudi na linuxu (zfs send | ssh zfs recv), razen seveda za domace igracke kot je rpi, kjer nima smisla, ker na njih ni relevatnih podatkov (so mountani na "NAS"u). Za raid kontrolerje sem ze prisel do situacije, ko se ni znal raid-5 sestavit nazaj in mi na kraj pameti ne pade vec, da bi jih uporabljal, sploh ne kaksne fake raide na windowsih. Snapraida se nisem uporabljal, ampak po pravici povedano niti ne vem zakaj bi ga.

Zgodovina sprememb…

  • spremenilo: A-242 ()

AgiZ ::

Se strinjam z A-242.
Poanta ZFSja je v tem da sam sebe preverja, snapshotting out of the box je tudi zelo dobrodošel pri backupih (in snapshot shipping na drugo backup kišto), ostalih featureov pa ne uporabljam.
Vzemimo primer "flipa bita", kot ga je A-242 navedel. Tu se efektivno zapiše napačen podatek na disk. Ampak tudi checksum se napiše, ki ga obdeluje drugi del RAMa in je pravilen. Ko sistem to datoteko naslednjič prebere jo spotoma popravi, ker se zapisano ne ujema s checksumom.
Za osnovno postavitev (recimo dva diska v mirrorju) ne vidim potrebe po ECC ramu.

Sam se igram ravno s tem bogokletstvom:
RPi4 4GB (samo heatsink, brez ventilatorja), mali sistemski SSD (ubuntu na EXT4, ZFS pride kasneje) na USB2 in dva 14TB diska (v ZFS mirrorju, brez deduplikacije, z osnovno kompresijo) na USB3 portih.
Ža pa sistem še ni stabilen, da bi lahko rekel da je to to. Občasno izgleda kot da en disk za kratek čas neha sodelovati, po čemer ZFS ne zna nadaljevati (obvisi pri čakanju na odziv diska na IO zahtevo). Pač USB diski niso ravno najbolj zanesljiva stvar, mogoče pa je kriva tudi temperatura. Reboot reši težavo. Še experimentiram, da bi sistem pripeljal do stabilnosti (trenutno se igram s TLERom, ki si ga po rebootu USB disk ne zapomni, če bo kaj pomagal).
Kljub vsem možnim testiranjem in zaštekom pa zaenrkat še nisem izgubil ene datoteke. Ta del mi je najbolj všeč pri ZFSju. Tudi self-check vsake toliko poženem (ZFS scrub), ki po nekajdnevnem testiranju (14TB je veliko prostora za preverit) javi da je sistem brez težav. V glavnem zelo obetavno, ampak ni še to to.
Ko bo stabilno, pa postane glavni NAS v hiši. Backup bo itak na dve lokaciji, tako da izguba podatkov ni zelo verjetna.

Wazzock ::

Sam tudi uporabljam izključno ZFS. Moj namen je bil predstavit boljšo in hkrati cenejšo rešitev napram Unraidu.

hojnikb ::

AgiZ je izjavil:

Se strinjam z A-242.
Poanta ZFSja je v tem da sam sebe preverja, snapshotting out of the box je tudi zelo dobrodošel pri backupih (in snapshot shipping na drugo backup kišto), ostalih featureov pa ne uporabljam.
Vzemimo primer "flipa bita", kot ga je A-242 navedel. Tu se efektivno zapiše napačen podatek na disk. Ampak tudi checksum se napiše, ki ga obdeluje drugi del RAMa in je pravilen. Ko sistem to datoteko naslednjič prebere jo spotoma popravi, ker se zapisano ne ujema s checksumom.
Za osnovno postavitev (recimo dva diska v mirrorju) ne vidim potrebe po ECC ramu.

Sam se igram ravno s tem bogokletstvom:
RPi4 4GB (samo heatsink, brez ventilatorja), mali sistemski SSD (ubuntu na EXT4, ZFS pride kasneje) na USB2 in dva 14TB diska (v ZFS mirrorju, brez deduplikacije, z osnovno kompresijo) na USB3 portih.
Ža pa sistem še ni stabilen, da bi lahko rekel da je to to. Občasno izgleda kot da en disk za kratek čas neha sodelovati, po čemer ZFS ne zna nadaljevati (obvisi pri čakanju na odziv diska na IO zahtevo). Pač USB diski niso ravno najbolj zanesljiva stvar, mogoče pa je kriva tudi temperatura. Reboot reši težavo. Še experimentiram, da bi sistem pripeljal do stabilnosti (trenutno se igram s TLERom, ki si ga po rebootu USB disk ne zapomni, če bo kaj pomagal).
Kljub vsem možnim testiranjem in zaštekom pa zaenrkat še nisem izgubil ene datoteke. Ta del mi je najbolj všeč pri ZFSju. Tudi self-check vsake toliko poženem (ZFS scrub), ki po nekajdnevnem testiranju (14TB je veliko prostora za preverit) javi da je sistem brez težav. V glavnem zelo obetavno, ampak ni še to to.
Ko bo stabilno, pa postane glavni NAS v hiši. Backup bo itak na dve lokaciji, tako da izguba podatkov ni zelo verjetna.

katere usb pretvornike mas? Js z temi ze leta nima nobenih tezav ceprav bi mogl ze zdavnaj crknat.

je pa tole dost smotana konfiguracija, ker mas dokaj malo rama glede na kolicino diskov (28TB raw proti 4GB rama).
#brezpodpisa

Zgodovina sprememb…

  • spremenil: hojnikb ()

A-242 ::

AgiZ je izjavil:

Se strinjam z A-242.
Poanta ZFSja je v tem da sam sebe preverja, snapshotting out of the box je tudi zelo dobrodošel pri backupih (in snapshot shipping na drugo backup kišto), ostalih featureov pa ne uporabljam.


`cd /.zfs/snapshot` (ls ga ne bo videl)

Notri imas pod imeni snapshotov, ki so predstavljeni kot direktoriji, vsebino roota kot je bil ob trenutku kreiranja snapshota. Zna prav priti ;)

Na RPI4 me se caka PXE, dovolj imam kartic...

Zgodovina sprememb…

  • spremenilo: A-242 ()

Zimonem ::

A-242 je izjavil:

ZFS je "battle tested" file sistem z dolgo brado, za vse tezave, sem nasel nekoga z odgovorom. Razen tega sem ze resilveral diske (zaradi crknjenega diska) in v tem momentu je edini filesistem, ki ga uporabljam, kjerkoli, tudi na linuxu (zfs send | ssh zfs recv), razen seveda za domace igracke kot je rpi, kjer nima smisla, ker na njih ni relevatnih podatkov (so mountani na "NAS"u). Za raid kontrolerje sem ze prisel do situacije, ko se ni znal raid-5 sestavit nazaj in mi na kraj pameti ne pade vec, da bi jih uporabljal, sploh ne kaksne fake raide na windowsih. Snapraida se nisem uporabljal, ampak po pravici povedano niti ne vem zakaj bi ga.
Čakaj v katerih komercialnih sistemih se to res uporablja. Razen v tvojem domačem skrpucalu. Pa ne kaj je take raid. Raid je povsem lepo definirano diskovni polje. Če si pa v fs integriral še volume management in skrajno nerodno verzioniranje, pa potem dajmo onaninrat do konca.

PrimozR ::

A-242 je izjavil:

PrimozR je izjavil:

Mogoče samo kot FYI za tiste, ki zbirajo podatke za primerjavo, Unraid ima plačljivo licenco, 60 USD za do 6 diskov, 90 USD za do 12 diskov in 130 USD za neomejeno št. diskov.

To, da se pri FreeNAS-u (ZFS-u v bistvu, ni to slabost FreeNASa samega) ne da delati mahinacij z diskovji, je pa res nekoliko tečno. Rast arraya celo dela v primeru, da enega po enega zamenjaš vse diske za večje, to je pa to. Spreminjanje velikosti z dodajanjem posameznih diskov, čeprav 'funkcionira', je velik no-no (kot sem že omenil).


Nije zvaka za seljaka. Povecujes lahko, pomanjsevati ne mores (lahko pa syncas podatke drugam), ampak ze samo snapshotiranje in /.zfs sta dovolj velik razlog, da o drugih file sistemih sploh nimas kaj razmisljat - razen, ce uporabljas kaksno igracko a-la rpi.

Unraid je placljiv, closed source, precej manj podprt s strani raznih uporabnikov, tutorialov, forumov,... Spet ni kaj za razmisljat.

Ravno zaradi teh fičrjev sem na FreeNAS-u in tudi ne razmišljam o ničemer drugem. Okej, mogoče v 8-jedrnem serverju, ESXi-ju in FreeNAS-u v virtualki, namesto da poganjam virtualko v FreeNAS-u, ampak se je po nakupu 4-jedrnega Xeona pokazalo, da po tem v bistvu verjetno nimam potrebe.

Povečevanje gre, ja, če menjaš disk po disk za večjega. Ampak si še vedno na enakem arrayu, iz Z1 ne moreš iti v Z2 tako, da bi samo dodal disk. Oz. iz mirrorja v Z1 in podobno. Pri mdadm to gre. Okej, lahko dodaš dodaten disk kot ločen vdev v pool, ki že ima Z1/2/3 vdev, ampak če ti odleti tisti solo disk, odletijo podatki tudi na arrayu, ker odleti cel pool. Kar je kar tečna lastnost ZFS-a, če je ne poznaš in se ji ne ogneš. Therefore moj rant, zakaj FreNAS priporočaš vsem domačim uporabnikom, ki se jim ne da niti pogooglati svoje težave, kaj šele da bi se predhodno pozanimali o stvari in na vse skupaj pripravili (vsaj večinoma).

LuiIII je izjavil:

Kot dolgoletni uporabnik ZFS ne vem, če je nefleksibilnost pri HDD ravno slabost. Pri hrambi pomembnih podakov je to, da je osnovna infrastruktura in kapaciteta bolj zabetonirana, prej prednost kot slabost.
Za ljudi, ki se jim ne da ukvarjati z izdelavo svojega NAS-a in ga vzdrževat, je kakšen Synology ali QNAP najboljša izbira. Pri tem, da če imate kakšne pomembne podatke, ne gledati preveč na kapaciteto ampak na to, da bo imelo diskovno polje čim bolj redundantno topologijo. Sam vedno uporabljam tako imenovani RAID 10. In pa seveda imejte backup. NAS sam po sebi ni backup! Meni se je že zgodilo da so na kao ta boljšem QNAP-u (10x12 TB HDD, 10GB ethernet, SSD cache) na terenu odleteli trije diski in podatki bi bili dejansko izgubljeni, če ne bi imel enakega redundančnega QNAP-a s sinhronizacijo.

Zakaj RAID 10 namesto RAID6, če govorimo o 4 diskih (se mi zdi da je overlap teh dveh najbolj pogost ravno pri 4 diskih)? Rebuild je pri 10 neprimerno hitrejši in računsko manj zahteven, ampak pravilna kombinacija hkratne odpovedi dveh diskov ti ubije array, pri RAID6 pa ne. Torej je zanesljivost RAID6 načeloma boljša (pustimo potencialne težave pri rebuildu).

damirj79 je izjavil:

To so vse ekstremni primeri. Enako kot da imaš dva NASa na isti lokaciji, pa ti požar požge oba NASa. Kaj potem? Ni potrebe po dveh NASih, škoda si delat stroške, pač pa po dislocirani enoti, če že, tam kjer je za to potreba, za domačo uporabo najverjetneje ni. Če pa že, potem kak cloud storage servis, itak jih je zraslo en kup že.

Jah... Ekstremen primer je že hkratna odpoved dveh diskov v NAS-u. Jaz moram res trkati, da mi v 15+ letih v osebnem PC-ju ni odletel disk, da bi s seboj vzel tudi podatke. Tako da z mojih anekdotičnih dokazov v bistvu sploh ne potrebuješ redundančnih arrayev, backupov in podobno, saj diski itak ne crkujejo.

Sam se moraš odločiti, koliko ti podatki pomenijo in koliko si pripravljen investirati, tako denarja kot časa oz. živcev. Lahko imaš kot omenjeno vse na posameznih diskih v osebnem računalniku in je to to. Lahko imaš pa server z arrayajem, ki ima poleg celotnega dataseta z redundanco še celotno kopijo z enako redundanco (RAID 1+6, torej npr. 2 x 5 diskov, kjer je RAID 6 narejen čez peterico, potem pa je celoten setup zrcaljen na drugih 5 diskov), ki se med seboj kopirata, tretjo kopijo na oddaljeni lokaciji in potem npr. še nekaj v oblaku. Tako ti tudi v primeru odpovedi 3 diskov v enem arrayu ostane lokalna kopija podatkov (imaš nemoteno delo še naprej), v primeru požara imaš oddaljeno kopijo, v primeru ne vem, vojne v celi državi, imaš pa kopijo podatkov pol sveta stran.

Pač ekstremi v eno in drugo stran in sam se moraš odločiti, kaj hočeš. Ponavadi je najbolj smiselen happy medium. Pa RES fino je, da imaš snapshote, da ti ostanejo relativno sveži podatki v primeru kriptovirusa. Synology mislim da snapshote podpira, kar je bonus za povprečnega uporabnika.

A-242 je izjavil:

ZFS je "battle tested" file sistem z dolgo brado, za vse tezave, sem nasel nekoga z odgovorom. Razen tega sem ze resilveral diske (zaradi crknjenega diska) in v tem momentu je edini filesistem, ki ga uporabljam, kjerkoli, tudi na linuxu (zfs send | ssh zfs recv), razen seveda za domace igracke kot je rpi, kjer nima smisla, ker na njih ni relevatnih podatkov (so mountani na "NAS"u). Za raid kontrolerje sem ze prisel do situacije, ko se ni znal raid-5 sestavit nazaj in mi na kraj pameti ne pade vec, da bi jih uporabljal, sploh ne kaksne fake raide na windowsih. Snapraida se nisem uporabljal, ampak po pravici povedano niti ne vem zakaj bi ga.

Pa saj to se že dolgo govori, da samo stran od HW RAID-a, da se je treba držati softwerskega, ker je hardware agnostic.

AgiZ je izjavil:

Sam se igram ravno s tem bogokletstvom:
RPi4 4GB (samo heatsink, brez ventilatorja), mali sistemski SSD (ubuntu na EXT4, ZFS pride kasneje) na USB2 in dva 14TB diska (v ZFS mirrorju, brez deduplikacije, z osnovno kompresijo) na USB3 portih.
Ža pa sistem še ni stabilen, da bi lahko rekel da je to to. Občasno izgleda kot da en disk za kratek čas neha sodelovati, po čemer ZFS ne zna nadaljevati (obvisi pri čakanju na odziv diska na IO zahtevo). Pač USB diski niso ravno najbolj zanesljiva stvar, mogoče pa je kriva tudi temperatura. Reboot reši težavo. Še experimentiram, da bi sistem pripeljal do stabilnosti (trenutno se igram s TLERom, ki si ga po rebootu USB disk ne zapomni, če bo kaj pomagal).
Kljub vsem možnim testiranjem in zaštekom pa zaenrkat še nisem izgubil ene datoteke. Ta del mi je najbolj všeč pri ZFSju. Tudi self-check vsake toliko poženem (ZFS scrub), ki po nekajdnevnem testiranju (14TB je veliko prostora za preverit) javi da je sistem brez težav. V glavnem zelo obetavno, ampak ni še to to.
Ko bo stabilno, pa postane glavni NAS v hiši. Backup bo itak na dve lokaciji, tako da izguba podatkov ni zelo verjetna.

Saj se vsi derejo, da USB diski na FreeNAS-u bognedaj da so prisotni, ker jih ZFS vrže ven, ko se nehajo odzivati. Pač nestabilnost.

Sicer pa čak, kaj, Scrub traja nekaj dni na 14 TB podatkov?? Meni na 3x6TB scrub ~7 TB podatkov traja ~9 ur.

A-242 je izjavil:

Na RPI4 me se caka PXE, dovolj imam kartic...

Fak, sam res, sploh nisem pomislil na to...

A lahko dva RPi-ja bootaš z iste inštalacije, pa se potem vseeno obnašata nekoliko različno? Torej a bi lahko postavil samo en image s PiHole in z njega zbootal dva OrangePi-ja, ki bi potem imela vsak svoj IP? Nastavitve PiHole bi itak pri obeh želel enake (oz. bi si želel, da končno implementirajo centralizirano menedžiranje več PiHoleov).

Zimonem je izjavil:

Čakaj v katerih komercialnih sistemih se to res uporablja. Razen v tvojem domačem skrpucalu. Pa ne kaj je take raid. Raid je povsem lepo definirano diskovni polje. Če si pa v fs integriral še volume management in skrajno nerodno verzioniranje, pa potem dajmo onaninrat do konca.

HW RAID kontrolerji imajo lahko propietary zapis, kjer če ne veš res točnega položaja diskov v polju, tudi identičen kontroler ne vzpostavi več nazaj arraya. Therefore 'fake', ker kontroler dela mahinacije, da zadosti delovanju. Pri softwerskih rešitvah je, kakor sem informiran, teh mahinacij manj, arrayi pa delajo 'povsod', ne glede na HW. To naj bi bila tudi lepota ZFS-a, če imaš ti svoje diske in svojo konfiguracijo, lahko postaviš nov server, namestiš novo inštalacijo, priklopiš svoje diske, uvoziš svojo konfiguracijo in gasa, kot da se ni nič zgodilo guraš naprej z istim setupom. Baje, testiral še nisem.

Zimonem ::

Isti hw zna prebrat polje. Pri sw je večja mučka.zato se gremo tudi RAID 1x zadeve. Je eš pariteto. So diski prepocen.

A-242 ::

Zimonem je izjavil:

A-242 je izjavil:

ZFS je "battle tested" file sistem z dolgo brado, za vse tezave, sem nasel nekoga z odgovorom. Razen tega sem ze resilveral diske (zaradi crknjenega diska) in v tem momentu je edini filesistem, ki ga uporabljam, kjerkoli, tudi na linuxu (zfs send | ssh zfs recv), razen seveda za domace igracke kot je rpi, kjer nima smisla, ker na njih ni relevatnih podatkov (so mountani na "NAS"u). Za raid kontrolerje sem ze prisel do situacije, ko se ni znal raid-5 sestavit nazaj in mi na kraj pameti ne pade vec, da bi jih uporabljal, sploh ne kaksne fake raide na windowsih. Snapraida se nisem uporabljal, ampak po pravici povedano niti ne vem zakaj bi ga.

Čakaj v katerih komercialnih sistemih se to res uporablja. Razen v tvojem domačem skrpucalu. Pa ne kaj je take raid. Raid je povsem lepo definirano diskovni polje. Če si pa v fs integriral še volume management in skrajno nerodno verzioniranje, pa potem dajmo onaninrat do konca.


Lol... ti si skrpucalo :)) ZFS se uporablja predvsem v enterprise sistemih (recimo za NetApp si kdaj slisal, saj ves tiste skatle polne diskov, pa kaksnega googla imam tudi konkretno na sumu :))), kdor pa se ni slisal zanj je pa kar najbolje, da je tiho in se ne dela pametnega. Ker je salabajzer. Sicer pa wiki odpri ali pa ce raje grafke gledas: https://enlyft.com/tech/products/sun-zfs

Zgodovina sprememb…

  • spremenilo: A-242 ()

A-242 ::

PrimozR je izjavil:

Synology, synology, synology,...


V dobi fake reviewev, affiliate linkov, zatiranje masovnega narocila stolov na slotechu s strani zastopnika in zavajanja po celem forumu, se ti opravicujem, v kolikor ti delam krivico, ampak, ko mi nekdo enkrat omeni Synology - ajde, naj mu bo. Ko ga dvakrat dvigujem obrvi, ko pa ves cas nabija, kako je Synology "the thing", pade pa v kategorijo zastopnka znamke, ki bi si rad povecal profit. Se se enkrat opravicujem, slabe izkusnje pac.

PrimozR je izjavil:

ki se jim ne da niti pogooglati svoje težave, kaj šele da bi se predhodno pozanimali o stvari in na vse skupaj pripravili (vsaj večinoma).


Njihov problem. Vec kot da dodajo 3 diske v zraid se mi ne da s takimi ukvarjati.

LuiIII je izjavil:

Torej je zanesljivost RAID6 načeloma boljša (pustimo potencialne težave pri rebuildu).


Seveda je, ampak tule se pogovarjamo o ljudeh, ki "nocejo googlat" in jim bos ti razlozil, zakaj je bolje imeti dve pariteti kot eno za ceno se dodatnega diska? In ne 2x mirror? Meni se ne da.

damirj79 je izjavil:

Jaz moram res trkati, da mi v 15+ letih v osebnem PC-ju ni odletel disk, da bi s seboj vzel tudi podatke. Tako da z mojih anekdotičnih dokazov v bistvu sploh ne potrebuješ redundančnih arrayev, backupov in podobno, saj diski itak ne crkujejo.


Trije diski v pol leta odleteli, komaj sem imel cas nabavljat nove in resilverat. Sem pa naredil napako in sem kupil vse tri od istega prodajalca, tako da sem fasal isto serijo. Sem se naucil, never again.

damirj79 je izjavil:

Ponavadi je najbolj smiselen happy medium.

LTO :)) Pa ne bom diskutiral, ker nima smisla, ti me z cold diski (ki crknejo tudi, ce jih imas izklopljene) in cloudi (ce ni v moji lasti ne uporabljam, ce mi lahko ceno spreminjajo pa sploh ne - dropbox(tm)) ne bos preprical, jaz pa tebe ne, tako da nima smisla. Lets agree to disagree.

damirj79 je izjavil:

Sicer pa čak, kaj, Scrub traja nekaj dni na 14 TB podatkov?? Meni na 3x6TB scrub ~7 TB podatkov traja ~9 ur.

raid-z1(3x3TB) 2h44m, single 10TB (na pocasnejsem vodilu, disk za sprotno sranje) 20h42m

RPi res ni vredu za diske, nabavi si normalno plato.

damirj79 je izjavil:

A lahko dva RPi-ja bootaš z iste inštalacije, pa se potem vseeno obnašata nekoliko različno? Torej a bi lahko postavil samo en image s PiHole in z njega zbootal dva OrangePi-ja, ki bi potem imela vsak svoj IP? Nastavitve PiHole bi itak pri obeh želel enake (oz. bi si želel, da končno implementirajo centralizirano menedžiranje več PiHoleov).


V teoriji se da, ti pa tule v tem momentu ne morem nic pametnega povedat, imam zadevo ze dolgo "v paci" samo zaradi nekih specifik v tem momentu drugega RPIja se ne rabim, se bom pa v naslednje pol leta sigurno zabaval s tem - ti javim (ne pa nujno iz tega nicka, da se ne bos cudil).

Zimonem je izjavil:

Baje, testiral še nisem.


Sem pa jaz ze in to veckrat. Dela.

Zgodovina sprememb…

  • spremenilo: A-242 ()

Zimonem ::

A-242 je izjavil:

Zimonem je izjavil:

A-242 je izjavil:

ZFS je "battle tested" file sistem z dolgo brado, za vse tezave, sem nasel nekoga z odgovorom. Razen tega sem ze resilveral diske (zaradi crknjenega diska) in v tem momentu je edini filesistem, ki ga uporabljam, kjerkoli, tudi na linuxu (zfs send | ssh zfs recv), razen seveda za domace igracke kot je rpi, kjer nima smisla, ker na njih ni relevatnih podatkov (so mountani na "NAS"u). Za raid kontrolerje sem ze prisel do situacije, ko se ni znal raid-5 sestavit nazaj in mi na kraj pameti ne pade vec, da bi jih uporabljal, sploh ne kaksne fake raide na windowsih. Snapraida se nisem uporabljal, ampak po pravici povedano niti ne vem zakaj bi ga.

Čakaj v katerih komercialnih sistemih se to res uporablja. Razen v tvojem domačem skrpucalu. Pa ne kaj je take raid. Raid je povsem lepo definirano diskovni polje. Če si pa v fs integriral še volume management in skrajno nerodno verzioniranje, pa potem dajmo onaninrat do konca.


Lol... ti si skrpucalo :)) ZFS se uporablja predvsem v enterprise sistemih (recimo za NetApp si kdaj slisal, saj ves tiste skatle polne diskov, pa kaksnega googla imam tudi konkretno na sumu :))), kdor pa se ni slisal zanj je pa kar najbolje, da je tiho in se ne dela pametnega. Ker je salabajzer. Sicer pa wiki odpri ali pa ce raje grafke gledas: https://enlyft.com/tech/products/sun-zfs

Malo manj domišljije in malo več dejstev bi bilo fajn. Netapp je gar na fasu. Zda je pa slaba kopija fasa. Še tožarili so se okrog tega.

https://openzfs.org/wiki/Companies

Res sama zveneča imena uporabljajo zfs.

Zgodovina sprememb…

  • spremenilo: Zimonem ()

igorpec ::

AgiZ je izjavil:

na USB2 in dva 14TB diska (v ZFS mirrorju, brez deduplikacije, z osnovno kompresijo) na USB3 portih.

:))

AgiZ je izjavil:

Kljub vsem možnim testiranjem in zaštekom pa zaenrkat še nisem izgubil ene datoteke.
Še ni bilo scrub of death-a? Mislim da po defaultu to dela 1x mesec. Samo vprašanje časa je, kdaj bo šlo kaj narobe s spominom (na Rpi je to precej večja verjetnost kot na PCu. Pustimo zdaj ECC/nonECC izven te enačbe). ZFS spominu 100% zaupa, diske pa meče ven, ko se kažejo znaki težav. Nestabilnost sistema je vgrajena in bo forever after.

Video predvajalnik je dober za predvajat video, ni pa primeren za NAS. (razen če ti je vseeno za podatke, torej da imaš zadevo izključno za filme, TV serije in podobno).

Moj 2c. Ti pa boš pa itak naredu po svoje.

Mrakw ::

pozdrav,

ali za takšno ploščo potrebujes driverje pri rpi 4?
Zanima me grejo podatki pri takem boardu čez USB... ker potem je ta board dokaj nesmiselen.

igorpec ::

Mrakw je izjavil:

pozdrav,

ali za takšno ploščo potrebujes driverje pri rpi 4?
Zanima me grejo podatki pri takem boardu čez USB... ker potem je ta board dokaj nesmiselen.


Seveda grejo preko USB, drugače ne morejo.

A-242 ::

Samo za mimogrede, namesto pi-hola imam unbound (+pihole blockliste) + squid (mitm + modificiranje strani). Zakaj bi za to tratil rpi ne vem.


Zimonem je izjavil:

Res sama zveneča imena uporabljajo zfs.


Daj iskat "kdo uporablja kruh" pa bos tudi dobil tudi same relevantne rezultate. Tisto kar si pljunil ven so firme, ki ga uporabljajo v internih produktih, zapakiranega. Pa se nekaj jih manjka.

Zgodovina sprememb…

  • spremenilo: A-242 ()

damirj79 ::

A-242 je izjavil:

PrimozR je izjavil:

Synology, synology, synology,...


V dobi fake reviewev, affiliate linkov, zatiranje masovnega narocila stolov na slotechu s strani zastopnika in zavajanja po celem forumu, se ti opravicujem, v kolikor ti delam krivico, ampak, ko mi nekdo enkrat omeni Synology - ajde, naj mu bo. Ko ga dvakrat dvigujem obrvi, ko pa ves cas nabija, kako je Synology "the thing", pade pa v kategorijo zastopnka znamke, ki bi si rad povecal profit. Se se enkrat opravicujem, slabe izkusnje pac.

PrimozR je izjavil:

ki se jim ne da niti pogooglati svoje težave, kaj šele da bi se predhodno pozanimali o stvari in na vse skupaj pripravili (vsaj večinoma).


Njihov problem. Vec kot da dodajo 3 diske v zraid se mi ne da s takimi ukvarjati.

LuiIII je izjavil:

Torej je zanesljivost RAID6 načeloma boljša (pustimo potencialne težave pri rebuildu).


Seveda je, ampak tule se pogovarjamo o ljudeh, ki "nocejo googlat" in jim bos ti razlozil, zakaj je bolje imeti dve pariteti kot eno za ceno se dodatnega diska? In ne 2x mirror? Meni se ne da.

damirj79 je izjavil:

Jaz moram res trkati, da mi v 15+ letih v osebnem PC-ju ni odletel disk, da bi s seboj vzel tudi podatke. Tako da z mojih anekdotičnih dokazov v bistvu sploh ne potrebuješ redundančnih arrayev, backupov in podobno, saj diski itak ne crkujejo.


Trije diski v pol leta odleteli, komaj sem imel cas nabavljat nove in resilverat. Sem pa naredil napako in sem kupil vse tri od istega prodajalca, tako da sem fasal isto serijo. Sem se naucil, never again.

damirj79 je izjavil:

Ponavadi je najbolj smiselen happy medium.

LTO :)) Pa ne bom diskutiral, ker nima smisla, ti me z cold diski (ki crknejo tudi, ce jih imas izklopljene) in cloudi (ce ni v moji lasti ne uporabljam, ce mi lahko ceno spreminjajo pa sploh ne - dropbox(tm)) ne bos preprical, jaz pa tebe ne, tako da nima smisla. Lets agree to disagree.

damirj79 je izjavil:

Sicer pa čak, kaj, Scrub traja nekaj dni na 14 TB podatkov?? Meni na 3x6TB scrub ~7 TB podatkov traja ~9 ur.

raid-z1(3x3TB) 2h44m, single 10TB (na pocasnejsem vodilu, disk za sprotno sranje) 20h42m

RPi res ni vredu za diske, nabavi si normalno plato.

damirj79 je izjavil:

A lahko dva RPi-ja bootaš z iste inštalacije, pa se potem vseeno obnašata nekoliko različno? Torej a bi lahko postavil samo en image s PiHole in z njega zbootal dva OrangePi-ja, ki bi potem imela vsak svoj IP? Nastavitve PiHole bi itak pri obeh želel enake (oz. bi si želel, da končno implementirajo centralizirano menedžiranje več PiHoleov).


V teoriji se da, ti pa tule v tem momentu ne morem nic pametnega povedat, imam zadevo ze dolgo "v paci" samo zaradi nekih specifik v tem momentu drugega RPIja se ne rabim, se bom pa v naslednje pol leta sigurno zabaval s tem - ti javim (ne pa nujno iz tega nicka, da se ne bos cudil).

Zimonem je izjavil:

Baje, testiral še nisem.


Sem pa jaz ze in to veckrat. Dela.


Jaz ti znanja o NASih in file sistemih ne bom očital, ampak citiranja na forumih ti pa defitivno povzročajo težave.

A-242 ::

damirj79 je izjavil:

Jaz ti znanja o NASih in file sistemih ne bom očital, ampak citiranja na forumih ti pa defitivno povzročajo težave.


Ja, slotech je precej debilna zival, prvic je ekstra storast za citate na roke notri metat in moras ves cas trackat kaj delas, potem ti pa zadevo zaklene prehitro, da bi popravil. Bojo naslovniki ze vedeli na koga gre.

Zgodovina sprememb…

  • spremenilo: A-242 ()

damirj79 ::

Tako, drugače pa je naslov teme NAS za domačo uporabo in ne profesionalne rešitve. To verjetno pomeni nekaj majhnega, da ga spraviš v neko TV omarico, da je tih, da ne kuri preveč elektrike, da ni predrag in da se ni treba najprej posvetit forumom in prebrat 3/4 interneta, ter da zadeva kolikortoliko zanesljivo deluje. Vse kar se bere zadnjih nekaj strani, pa vsaj na polovici teh pogojev pogrne.

Mrakw ::

igorpec je izjavil:

Mrakw je izjavil:

pozdrav,

ali za takšno ploščo potrebujes driverje pri rpi 4?
Zanima me grejo podatki pri takem boardu čez USB... ker potem je ta board dokaj nesmiselen.


Seveda grejo preko USB, drugače ne morejo.


V čem je pa potem poanta?
Še zmeraj lahko priključiš direkt na USB. a je kaj bols stabilno ce je sata potem pa USB. res ne stekam.

GupeM ::

Mrakw je izjavil:

V čem je pa potem poanta?
Še zmeraj lahko priključiš direkt na USB. a je kaj bols stabilno ce je sata potem pa USB. res ne stekam.

Če imaš doma odvečen SATA disk, recimo? Ali pa če hočeš enterprise grade disk priklučit gor. Teh ne dobiš v obliki prenosnih USB diskov. Pa še vse skupaj je lepo zapakirano na plati in privito na RPi. Da ti ne ležita dva kosa ločeno, ki sta povezana samo s kablom.

Zgodovina sprememb…

  • spremenil: GupeM ()

igorpec ::

Mrakw je izjavil:

igorpec je izjavil:

Mrakw je izjavil:

pozdrav,

ali za takšno ploščo potrebujes driverje pri rpi 4?
Zanima me grejo podatki pri takem boardu čez USB... ker potem je ta board dokaj nesmiselen.


Seveda grejo preko USB, drugače ne morejo.


V čem je pa potem poanta?
Še zmeraj lahko priključiš direkt na USB. a je kaj bols stabilno ce je sata potem pa USB. res ne stekam.

Poanta? Ker si to želimo, nam bodo pač to prodali. Itak je za nestabilnost kriv software in uporabnikovo neznanje ... Protokol in pot potovanja podatkov se ni spremenila, samo kakšen kabel manj, ker je integriran na hat PCB.

AgiZ ::

hojnikb je izjavil:

katere usb pretvornike mas? Js z temi ze leta nima nobenih tezav ceprav bi mogl ze zdavnaj crknat.

je pa tole dost smotana konfiguracija, ker mas dokaj malo rama glede na kolicino diskov (28TB raw proti 4GB rama).

Trenutno uporabljam kar default ohišje, ki sem ga dobil - WD MyBook, ga še nisem razdru.
Tvoj pretvornik omogoča čim bolj transparentno exposanje diska hostu? Recimo SMART, TLER,...? Če ja, poskusim tudi to.

Količina RAMa ni problematična če ne uporabljaš deduplikacije ali kake naprednejše funkcije, kjer je potreba po RAMu večja. Zelo pogosto se izpostavlja količina RAMa, ki pa v bistvu ni potrebna za enostavne postavitve.

A-242 je izjavil:

`cd /.zfs/snapshot` (ls ga ne bo videl)

Notri imas pod imeni snapshotov, ki so predstavljeni kot direktoriji, vsebino roota kot je bil ob trenutku kreiranja snapshota. Zna prav priti ;)

Na RPI4 me se caka PXE, dovolj imam kartic...

Ja, to je lep feature, ki ga sam še malo nadgradim tako da ga prikažem skozi sambo mapiranim diskom. Zraven pa nastaviš še da vidiš v windowsih pod "Previous versions" tabom snapshote, torej lahko to rešitev uporablja tudi nevešč uporabnik :)
PXE imam tudi sam na to-do listi. Bootanje z USBja recimo deluje super. Najprej pa uredim stabilnost ZFSja.

PrimozR je izjavil:

Saj se vsi derejo, da USB diski na FreeNAS-u bognedaj da so prisotni, ker jih ZFS vrže ven, ko se nehajo odzivati. Pač nestabilnost.

Sicer pa čak, kaj, Scrub traja nekaj dni na 14 TB podatkov?? Meni na 3x6TB scrub ~7 TB podatkov traja ~9 ur.

Ah, ni vrag da tudi ta del uredim. Sem bral kar nekaj debate na temo recoveryja pri za trenutek neodzivnem disku (največkrat je to ravno priklop čez USB, ja) pri ZFSju, ampak vse pri tem razvoju pač gre vse zelo počasi... Bo, ko bo.
Ups, pa sem res narobe reku za scrub diskov:
scan: scrub repaired 0B in 0 days 15:02:58 with 0 errors on Sun Sep 13 15:26:59 2020

PrimozR je izjavil:

A-242 je izjavil:

Na RPI4 me se caka PXE, dovolj imam kartic...

Fak, sam res, sploh nisem pomislil na to...

A lahko dva RPi-ja bootaš z iste inštalacije, pa se potem vseeno obnašata nekoliko različno? Torej a bi lahko postavil samo en image s PiHole in z njega zbootal dva OrangePi-ja, ki bi potem imela vsak svoj IP? Nastavitve PiHole bi itak pri obeh želel enake (oz. bi si želel, da končno implementirajo centralizirano menedžiranje več PiHoleov).

Verjetno ja. Jih ločiš po MACu, pa ima vsaka instalacija svoj oddaljen disk. Če kdo sproba, naj javi recepturo, da mi ni treba raziskovat ;)

igorpec je izjavil:

Še ni bilo scrub of death-a? Mislim da po defaultu to dela 1x mesec. Samo vprašanje časa je, kdaj bo šlo kaj narobe s spominom (na Rpi je to precej večja verjetnost kot na PCu. Pustimo zdaj ECC/nonECC izven te enačbe). ZFS spominu 100% zaupa, diske pa meče ven, ko se kažejo znaki težav. Nestabilnost sistema je vgrajena in bo forever after.

Me veseli da si ga omenil, ker so že "vsi" slišali zanj, je lepo zveneč, redko kdo pa se je spustil v razlago kaj to je in kdaj se zgodi. Na kratko, zgodi se če je en bit zaštekan v eni poziciji. Tu ne govorim o nihanju napetosti ampak je konstantno zaštekan v 0 ali 1. Na ta način pa vsaj kar jaz berem ram ne zašteka. In takih celic mora biti ogromno.
Ne bom dolgovezil, samo na kratko: zaštekana celica je kriva za napačen zapis, checksum je ok, naslednjič ko se polje prebere se popravi. Stalno pa dela tist en bit errorje. Ampak ga zaradi checksuma stalno polje tudi popravlja. Torej vidiš ogromno errorjev, ki pa jih polje spotoma popravlja. Ni idealna situacija, vsekakor pa so podatki "zdravi".

Ko/če bo sistem stabilen ga uporabim "povsod", zaenkrat pa je še igrača z ogromno potenciala. Vsekakor potrebuješ backup, kot je že večkrat bilo rečeno, pa si miren ne glede na to kaj se zgodi. Sam imam vedno vsaj dva backupa.

A-242 je izjavil:

damirj79 je izjavil:

Jaz ti znanja o NASih in file sistemih ne bom očital, ampak citiranja na forumih ti pa defitivno povzročajo težave.


Ja, slotech je precej debilna zival, prvic je ekstra storast za citate na roke notri metat in moras ves cas trackat kaj delas, potem ti pa zadevo zaklene prehitro, da bi popravil. Bojo naslovniki ze vedeli na koga gre.

Se podpišem tu spodaj... prav pazit moram kaj kako citiram...

igorpec ::

GupeM je izjavil:

Ali pa če hočeš enterprise grade disk priklučit gor.
Tega običajno ne priključuješ na video predvajalnik (Rpi), ampak na enterprise grade hardware. Ali vsaj na SATA priključek svojega PCa ali podobne naprave (NAS, NAS grade single board computer).

To je enterprise grade: Serial Attached SCSI @ Wikipedia

Verjetno si imel v mislih običajen consumer grade 2.5" disk, ki so recimo v prenosnikih?

igorpec ::

AgiZ je izjavil:

zaenkrat pa je še igrača z ogromno potenciala.

Odvisno zakaj boš igračo uporabljal. General purpose device ima na vseh področjih povprečnen potencial. Konkurenca ima v tem razredu recimo že PCI (tudi Rpi ga ima interno ampak to žal ne pomaga), tukaj pa se hecaš z priklopi diskov preko cenenega USB huba in USB2SATA.

AgiZ je izjavil:

Vsekakor potrebuješ backup, kot je že večkrat bilo rečeno, pa si miren ne glede na to kaj se zgodi. Sam imam vedno vsaj dva backupa.

Ali ti - scrub of death - uniči podatke delno, tiho, glasno, v celoti? (ne, nisem se spuščal v detajle, ker ne uporabljam fishy hw za ZFS). Pač zanima me, po kolikem času to ugotoviš - worst case scenario je namreč, da imaš že oba backupa z istimi napakami.

A-242 ::

damirj79 je izjavil:

Tako, drugače pa je naslov teme NAS za domačo uporabo in ne profesionalne rešitve. To verjetno pomeni nekaj majhnega, da ga spraviš v neko TV omarico, da je tih, da ne kuri preveč elektrike, da ni predrag in da se ni treba najprej posvetit forumom in prebrat 3/4 interneta, ter da zadeva kolikortoliko zanesljivo deluje. Vse kar se bere zadnjih nekaj strani, pa vsaj na polovici teh pogojev pogrne.


Ne pogrne. To kar se tukaj govori je NAS (7W na disk, 8W onboard atom plata). O cemer bi ti rad govoril je usb kljucek s podaljsanim usb kablom (skupaj z varnostjo podatkov na njih). Nikoli mi ne bo jasno zakaj kupujete neke pop resitve, ko lahko za malenost truda dobite precej vec. Pa v slo-TECH je tech misljen kot tehnologija ne forum potrosniskih kupcev, ki ne vejo kaj bi radi, zakaj bi radi, hocejo pa lepo skatlico da sedijo pred njo in gledaj blinkenlichten. Pac taki naj grejo na mimovrste in berejo reviewe.


Achtung Alles Lookenskeepers!

Das computermachine ist nicht fuer gefingerpoken und
mittengrabben. Ist easy schnappen der springenwerk,
blowenfusen und poppencorken mit spitzensparken. Ist nicht
fuer gewerken bei das dumpkopfen. Das rubbernecken
sichtseeren keepen das cotten-pickenen hans in das pockets
muss; relaxen und watchen das blinkenlichten.

Zgodovina sprememb…

  • spremenilo: A-242 ()

AgiZ ::

igorpec je izjavil:

Ali ti - scrub of death - uniči podatke delno, tiho, glasno, v celoti? (ne, nisem se spuščal v detajle, ker ne uporabljam fishy hw za ZFS). Pač zanima me, po kolikem času to ugotoviš - worst case scenario je namreč, da imaš že oba backupa z istimi napakami.

Ah, ne bereš. Ugotoviš takoj (no, takoj ko pogledaš stanje polja, ali če imaš nastavljeno kako obveščanje, kar ponavadi nimaš), ker ti zfs sam javi da so bili errorji, ki jih je popravljal. Ne, podatki na backupu niso pokvarjeni, ker jih v trenutku, ko zfs prebere pokvarjene podatke tudi popravi, nakar jih pošlje backupu.

A-242 ::

igorpec je malo surfal in naletel na primer, ko gres scrubat disk in imas fucked up ram, mu bom kar pastal, ker ce mu dam link ne bo sel brati (halo, kdo bo bral celo internetno stran, to je "so 80s"). Se tega spodaj je veliko prevec. Zal nimam slikice.

The problem is, the scenario as written doesn't actually make sense. For one thing, even if you have a particular address in RAM with a stuck bit, you aren't going to have your entire filesystem run through that address. That's not how memory management works, and if it were how memory management works, you wouldn't even have managed to boot the system: it would have crashed and burned horribly when it failed to load the operating system in the first place. So no, you might corrupt a block here and there, but you're not going to wring the entire filesystem through a shredder block by precious block.

But we're being cheap here. Say you only corrupt one block in 5,000 this way. That would still be hellacious. So let's examine the more reasonable idea of corrupting some data due to bad RAM during a scrub. And let's assume that we have RAM that not only isn't working 100% properly, but is actively goddamn evil and trying its naive but enthusiastic best to specifically kill your data during a scrub:

First, you read a block. This block is good. It is perfectly good data written to a perfectly good disk with a perfectly matching checksum. But that block is read into evil RAM, and the evil RAM flips some bits. Perhaps those bits are in the data itself, or perhaps those bits are in the checksum. Either way, your perfectly good block now does not appear to match its checksum, and since we're scrubbing, ZFS will attempt to actually repair the "bad" block on disk. Uh-oh! What now?

Next, you read a copy of the same block - this copy might be a redundant copy, or it might be reconstructed from parity, depending on your topology. The redundant copy is easy to visualize - you literally stored another copy of the block on another disk. Now, if your evil RAM leaves this block alone, ZFS will see that the second copy matches its checksum, and so it will overwrite the first block with the same data it had originally - no data was lost here, just a few wasted disk cycles. OK. But what if your evil RAM flips a bit in the second copy? Since it doesn't match the checksum either, ZFS doesn't overwrite anything. It logs an unrecoverable data error for that block, and leaves both copies untouched on disk. No data has been corrupted. A later scrub will attempt to read all copies of that block and validate them just as though the error had never happened, and if this time either copy passes, the error will be cleared and the block will be marked valid again (with any copies that don't pass validation being overwritten from the one that did).

Well, huh. That doesn't sound so bad. So what does your evil RAM need to do in order to actually overwrite your good data with corrupt data during a scrub? Well, first it needs to flip some bits during the initial read of every block that it wants to corrupt. Then, on the second read of a copy of the block from parity or redundancy, it needs to not only flip bits, it needs to flip them in such a way that you get a hash collision. In other words, random bit-flipping won't do - you need some bit flipping in the data (with or without some more bit-flipping in the checksum) that adds up to the corrupt data correctly hashing to the value in the checksum. By default, ZFS uses 256-bit SHA validation hashes, which means that a single bit-flip has a 1 in 2^256 chance of giving you a corrupt block which now matches its checksum. To be fair, we're using evil RAM here, so it's probably going to do lots of experimenting, and it will try flipping bits in both the data and the checksum itself, and it will do so multiple times for any single block. However, that's multiple 1 in 2^256 (aka roughly 1 in 10^77) chances, which still makes it vanishingly unlikely to actually happen... and if your RAM is that damn evil, it's going to kill your data whether you're using ZFS or not.


Se link za vse ostale, ki jih skrbi ECC.
https://jrs-s.net/2015/02/03/will-zfs-a...

Zgodovina sprememb…

  • spremenilo: A-242 ()

A-242 ::

Pa se slikice, vam bo uspelo?

igorpec ::

AgiZ je izjavil:

Ugotoviš takoj (no, takoj ko pogledaš stanje polja, ali če imaš nastavljeno kako obveščanje, kar ponavadi nimaš), ker ti zfs sam javi da so bili errorji, ki jih je popravljal.

Kolikor jaz (priznam da se ravno pretiroma nisem poglabljal) razumem "scrub of death" - če je napaka v RAMu ob skrubanju, bo lahko na tiho "popravil" pravilno zapisane podatke na disku. No, bom raziskal globlje, ko najdem čas, ker ne verjamem, da bi bil "scrub of death" le mit oz. fake podpora za ECC spomin.

igorpec ::

A-242 je izjavil:

igorpec je malo surfal in naletel na primer, ko gres scrubat disk in imas fucked up ram


Ja, torej bav-bav oz. teoretičen koncept, ki potrebuje AI supported RAM evil, da se zgodi :)

WhiteAngel ::

A-242 je izjavil:

Ves point ZFSja je (oz. vsaj tako je bil zastavljen, to da ima danes najvec featurjev od kateregakoli file sistema je samo bonus - tukaj linuxovih btrfs aka "let me throw away my data" niti omenjal ne bi), da ne zaupa hardwaru. Vsi podatki na disku so hashirani (algoritem lahko zberes ali izklopis). Ce pride v memoriji do flipa bita, potem se hash ne ujema s tistim na disku. Zato je "zahtevan" ECC, je pa vse skupaj malo urbana legenda, kot sem rekel, uporabljam ga odkar je na freebsdju (2007) s poceni memorijo in na ta problem se nisem naletel.


BTRFS za raid 1 ali 0 je čisto ok. Laufamo raid 1 v produkciji že 6 let namenoma za to, da vidimo, če bo kaj odletelo in ni bilo še nič. En disk smo menjali, to je pa to.

edit: Lažem. En specifičen kernel panic smo imeli eno leto nazaj v kombinaciji z btrfs-jem, nfs-shared mapo in velikim navalom. Nikoli nismo prišli do dna, ampak ko smo skopirali podatke na ext4, se problem ni več ponovil.

Zgodovina sprememb…

damirj79 ::

A-242 je izjavil:

damirj79 je izjavil:

Tako, drugače pa je naslov teme NAS za domačo uporabo in ne profesionalne rešitve. To verjetno pomeni nekaj majhnega, da ga spraviš v neko TV omarico, da je tih, da ne kuri preveč elektrike, da ni predrag in da se ni treba najprej posvetit forumom in prebrat 3/4 interneta, ter da zadeva kolikortoliko zanesljivo deluje. Vse kar se bere zadnjih nekaj strani, pa vsaj na polovici teh pogojev pogrne.


Ne pogrne. To kar se tukaj govori je NAS (7W na disk, 8W onboard atom plata). O cemer bi ti rad govoril je usb kljucek s podaljsanim usb kablom (skupaj z varnostjo podatkov na njih). Nikoli mi ne bo jasno zakaj kupujete neke pop resitve, ko lahko za malenost truda dobite precej vec. Pa v slo-TECH je tech misljen kot tehnologija ne forum potrosniskih kupcev, ki ne vejo kaj bi radi, zakaj bi radi, hocejo pa lepo skatlico da sedijo pred njo in gledaj blinkenlichten. Pac taki naj grejo na mimovrste in berejo reviewe.


In kam bi ti potem vtaknil USB kabel na drugi strani takšnega diska? NAS (kratice mislim da ni potrebno razširjat) je z razlogom in ima svoj namen uporabe, USB pa ima svoj, drugačen namen uporabe. Zdaj če ti tega ne ločiš ali pa ne razumeš... Ampak verjamem, da temu ni tako. Glede drugega odstavka pa nimam kaj dodajat; se strinjam, ampak naslov te teme je drugačen in nakazuje na drugačno zahtevnost uporabe, kot jo želiš ti; home usage =/= enterprise usage, se pa lahko za hobi seveda tudi tako obnašaš. Kot vsaka stvar, ima tudi Synology, Qnap, WD, Thecus, Asustore ipd vsi svoj namen uporabe in očitno več kot dovolj dobro to obvladajo, saj bi sicer vse to že zdavnaj propadlo.

A-242 ::

WhiteAngel je izjavil:

A-242 je izjavil:

Ves point ZFSja je (oz. vsaj tako je bil zastavljen, to da ima danes najvec featurjev od kateregakoli file sistema je samo bonus - tukaj linuxovih btrfs aka "let me throw away my data" niti omenjal ne bi), da ne zaupa hardwaru. Vsi podatki na disku so hashirani (algoritem lahko zberes ali izklopis). Ce pride v memoriji do flipa bita, potem se hash ne ujema s tistim na disku. Zato je "zahtevan" ECC, je pa vse skupaj malo urbana legenda, kot sem rekel, uporabljam ga odkar je na freebsdju (2007) s poceni memorijo in na ta problem se nisem naletel.


BTRFS za raid 1 ali 0 je čisto ok. Laufamo raid 1 v produkciji že 6 let namenoma za to, da vidimo, če bo kaj odletelo in ni bilo še nič. En disk smo menjali, to je pa to.

edit: Lažem. En specifičen kernel panic smo imeli eno leto nazaj v kombinaciji z btrfs-jem, nfs-shared mapo in velikim navalom. Nikoli nismo prišli do dna, ampak ko smo skopirali podatke na ext4, se problem ni več ponovil.


Btrfs je v tem momentu najslabsi FS (ideja file sistema je, da podatke hrani, ne unicuje), ki se ga da najti, se vedno jim ga ni ratalo stabilizirati in RedHat ga je z majgerijem brcnil DVAKRAT kot root fs, drugic so rekli dovolj in zaceli razvijati svoj file system. Tako da... ne bi o btrfsju, meni se je na laptopu usul 2x, od takrat naprej se ga ne dotaknem vec (ze drugic sem ga instaliral samo zato, ker je bil ZoL se prevec v povojih. Reisser-fsju bi se zupal, ker je ubijalski (pun intended) in delo genija, zal pa so ga zaprli (in verjetno dali na pomirjevala).

Zgodovina sprememb…

  • spremenilo: A-242 ()

AgiZ ::

BTRFS je tudi ok, ja. Žal pa ga distribucije ukinjajo. Bežno se spomim da zato, ker se razvoj počasi premika (a lahko sem si narobe zapomnil).

ZFS pa je vedno bolj popularen in glede na vse napisano edino pravilno da je temu tako. Kar se mene tiče bi lahko vse ostale FSje kar ukinili in tega spimpali do konca (v bistvu tu govorimo o OpenZFSju, ko govorimo o ZFSju, saj je ZFS Oraclov, ki je dosti neprimeren za splošno uporabo zaradi licenciranja).

Tako da tudi vaši pomisleki glede SBC ploščic (tudi RPi, ki ga par ljudi v tej temi ne marajo za potrebe NASa) v kombinaciji z ZFSjem in robustnejšim reševanjem težav na nivoju ZFSja (kjer razvijalci razvijajo dodatne varnostne mehanizme) bo naredilo vsak SBC popolnoma spodoben NAS. Se že veselim tega obdobja. Do takrat pa poskusim stabilizirati svoje mini okolje in čakam, da tudi uradni OpenZFS uvede ta "hardening".

A-242 ::

AgiZ je izjavil:

BTRFS je tudi ok, ja. Žal pa ga distribucije ukinjajo. Bežno se spomim da zato, ker se razvoj počasi premika (a lahko sem si narobe zapomnil).


Ne ker se razvoj pocasi premika, ampak ker je nestabilen.

A-242 ::

igorpec je izjavil:

A-242 je izjavil:

igorpec je malo surfal in naletel na primer, ko gres scrubat disk in imas fucked up ram


Ja, torej bav-bav oz. teoretičen koncept, ki potrebuje AI supported RAM evil, da se zgodi :)


AI je precej neuporabna statisticna metoda, v bistvu bo bolj pomagalo veliko srece, ce se prav spomnim je 2^300 ~ stevilo delcev v vesolju...

Zgodovina sprememb…

  • spremenilo: A-242 ()

igorpec ::

AgiZ je izjavil:

Tako da tudi vaši pomisleki glede SBC ploščic (tudi RPi, ki ga par ljudi v tej temi ne marajo za potrebe NASa) v kombinaciji z ZFSjem in robustnejšim reševanjem težav na nivoju ZFSja (kjer razvijalci razvijajo dodatne varnostne mehanizme) bo naredilo vsak SBC popolnoma spodoben NAS. Se že veselim tega obdobja. Do takrat pa poskusim stabilizirati svoje mini okolje in čakam, da tudi uradni OpenZFS uvede ta "hardening".


SBC ploščice so že odlična zabava, le tvoja izbira (za ta namen) in iskanje opravičil za to slabo izbiro ne. Če jemlješ to za zabavo, je seveda O.K. ...

A-242 ::

damirj79 je izjavil:

In kam bi ti potem vtaknil USB kabel na drugi strani takšnega diska?


V USB port. Zakaj bi kompliciral z nekimi naprednimi tehnologijami kot je mreza, cisto brez veze, poglejva usb kljucek:

[x] ima lucke
[x] je majhen (usecase, vrzes za knjige, problem rese... hm... knjig nihce nima vec... ok, vrzes za omaro)
[x] je lahko lep
[x] je poceni
[x] lahko iz njega visi kabel ki ga nekam vtaknes
[x] za uporabo si lahko popoln idiot
[x] ni ga treba konfigurirat
[x] podatki na njem so v stalni nevarnosti
[x] redundanca fantasicna, kupis dva + dva kabla

Vse pokljukano, Synology, usb kljucek, potetjto potato, pac napises gor s flumastrom NAS in problem resen. Pa se 250+ eurov ti ne bo treba dati zanj. Oz. verjetno dobis kje tudi zlate, ker se mi zdi, da je bolj potreba poziranje kot pa dejanski storage.

Zgodovina sprememb…

  • spremenilo: A-242 ()
««
70 / 118
»»