Backup podatkov ni trivialna stvar (fotografije,media,dokumenti,..)

Iz teme Pa je šlo vse rakom žvižgat (udar strele) že povedano, mi je udar strele skuril star NAS - podatki so preživeli. Ta NAS sem načeloma uporabljal za šeranje podatkov v lokalnem omrežju, bi pa sedaj ko sem nabavil novo zadevo (qnap), se bolj posvetil backup-u podatkov predvsem fotografij, videjev in dokumentov. Trenutno zadevo mam po backupih, je pa vse povsod (NAS diski, zunanji diski, USB-ji, cloud), in predvsem neorganizirano.

Tisti ki ste resno vzeli organizacijo in predvsem varnost podatkov (pred izgubo), kako ste se zadeve lotili in kako vam služi? Kakšno konfiguracijo v NAS-u uporabljate (JBOD, RAID 0,1,..). Ali delate tudi backupe NAS-a na zunanje diske,..?

Skratka, kako se zadeve lotit da bo urejena in predvsem sigurna z vidika varnosti podatkov?

Hvala

Kaj pa recimo ko napolniš HDD v NASu in ga moraš zamenjati z drugim. Res da imaš še kopijo še drugje ampak tudi tisti disk s kopijami se bo napolnil in ga bo treba zamenjat. Napolnjen disk vključno s kopijo spraviš na varno mesto, ampak tudi diski ki dost časa ne laufajo se lahko pokvarijo.

Skratka scenarij, greš pogledat podatke za 10 let nazaj ko veš da jih imaš na disku (in kopiji), in potem noben od teh ne zalaufa.

Tle mi zadeva ne štima - kako ravnat s podatki iz starih diskov. Ajd ena rešitev bi bila cloud, kjer so vsi podatki shranjeni gor, ampak to nekako ubije namen domačega NASa, pa tudi privatnost je vprašljiva (čeprav naj bi nekje lahko šifriral podatke in ključ si lastiš samo ti - iDrive npr).

Sistem si postaviš tako, da imaš RAID (1/5/6) oz FS ki ti to omogoča (zfs). Če crkne en disk ga zamenjaš, če zmanjka prostora pa lahko v RAID5, RAID6 ali v FSju enostavno odaš disk in povečaš prostor. To je dobro da delaš na obeh straneh. Večina teh orodij dela tudi crc blokov, tako da potem to vržeš v cron in se ti periodično izvaja, da ugotoviš če so slučajno bloki okvarjeni - le te se avtomatsko postavi nazaj.

To je to. Torej poglej si enega od zfs, mdadm, btrfs.

Baja je 16. jul 2024 ob 18:22 izjavil:

v FSju enostavno odaš disk in povečaš prostor.

a to se je kaj spremenilo zadnje čase? ker kolko sem jaz nazadnje gledal ni blo tako trivialno (če sploh možno) v zfs dodati še en disk in kar povečati prostor.

Hudič je v detajlih . V ZFS tega ne moreš narediti - lahko pa dodaš dodatne diske v zpool. Je pa trivialno v mdadm.

Na koncu je pač najbolj pomembno, da veš kaj te lahko doleti in že na začetku izbereš rešitev, ki ti bo povzročala najmanj težav

Baja je 16. jul 2024 ob 18:46 izjavil:

ja, detajli :) tnx za info, bo treba malo pogledat v kratkem kaj je novega. sam sem bolj "konzervativen". mam 4 poole, ko je na najvecjem še plac za podatke z najmanjsega, leti le ta ven, pa notri novi, ki naceloma postane najvecji. tako podatki vedno lepo krožijo po poolih odvisno od potrebe.

Jp . No mdadm je precej stara zadeve, btrfs tudi ni nov, kar je bolj frišno je bcachefs. Potrebno se je zavedati, da je vsak ta sistem narejen za neko okolje. Recimo ZFS je narejen za "podatkovne centre" in če imaš +10 diskov se ti ga splača imet. Pri 2 diskih se ti pa bolj splača vzeti btrfs ali mdadm.

Imaš 4 poole ali 4 vdev?

Osebno bi raje qnap sistem menjal z Unraidom. Zdaj imaš tudi zfs podporo v poolih, prihaja pa nova verzija, ki bo to podprla tudi v glavnem arrayu. Sicer raje uporabljam v arrayu xfs, 1x parity in 1x disk za podatke, opcija, da diske dodajam, ko mi zmanjka prostora. Prednost je v tem, da gredo diski v spanje ob neuporabi.

Nato imam 2x nvme v zfs mirrorju za vse kar imam inštalirano dodatnega in rabi hitrejše dostope.

Za oddaljeno kopijo uporabljam storadero, 6€ na mesec na TB podatkov, računajo glede na porabo, se pravi, če uporabljaš 1,5TB, ti kasirajo 6€+3€ za pol TB.

Koliko pa dejansko se ti nabere teh podatkov,

Zaenkrat nisem še menjal diskov, iščem pa sistem za naprej da ne bom že v štartu kaj grozno zafrknil. Drugače pa večina backupa je namenjena fotografijam / videjem, mene in partnerke. Samo jaz imam v cloudu okol 30 jurjev slik in videjev (od leta 2015 naprej, od prej mam po diskih), partnerka nekaj manj. Ta roba ne more bit skoz na cloudu.

Trenutno zaradi prostora snemava na 720p (razen pomembne dogodke na 4k), bi pa vseeno rad šel na 1080p za redno uporabo (vsaka nepomembna zadeva itak nima smisla da se snema na 4k).

Drugo in zadnje so poslovne zadeve ampak tistega ni toliko da bi predstavljalo tak problem kot slike.

Poglej realno koliko je tega po volumnu in potem dimenziraj diske po temu. Jaz imam digitaliziran celoten foto/video arhiv zadnjih 50 let, plus kar nekaj 4k video materiala zaradi službe, pa se še vedno pogovarjamo o manj kot 10 TB podatkov, ki jih je vredno dolgoročno hranit. Zaenkrat ne kaže, da bi podatki hitreje rasli od kapacitete nosilcev.

Ampak vsak ima drugačne potrebe, tako da moraš pri sebi ugotovit kaj in kako rabiš. Kakorkoli pa obračaš je hranjene na starih diskih, brez sekundarnih kopij in na eni lokaciji precej riskatna zadeva.

načeloma se lahko tudi s kočijo okoli voziš.

proti enemu disku v omari ti prinese redudanco in integriteto podatkov.

pač, če ti je vseeno ali bo disk v omari crknil ali pa ti bodo bad sektorji pojedli podatke, be my guest. če pa želiš arhiv namesto "arhiva" pa je treba v to vložiti nekaj dnarja in cajta.

ker je kow že v prejšnji temi težil z diskom in njegovo kopijo.

to da rabiš ECC za zfs je mit. https://jrs-s.net/2015/02/03/will-zfs-a...

Baja je 17. jul 2024 ob 13:45 izjavil:

ker je kow že v prejšnji temi težil z diskom in njegovo kopijo.

to da rabiš ECC za zfs je mit. https://jrs-s.net/2015/02/03/will-zfs-a...

Ne trdim, da rabiš ECC za ZFS, je pa souporaba kot berem zadeve smiselna. Samo mi primarno govorimo o domačem okolju, zato te sprašujem kaj so prednosti diskovnega polja kot je ZFC pred alternativnimi rešitvami, če se pogovarjamo o domači rabi? IMO je bolj pomembno kako enostavno je upravljat polje (še posebej na primer menjava obstoječih diskov za večje), koliko je dela s tem ko odleti disk in kako težko je priti do podatkov, če crkne NAS. ZFS ne poznam dovolj dobro, zato me zanima kaj naj bi bila tista ključna dodana vrednost.

OutOfTheBox - Ni mi jasno kaj počnete s podatki, da jih naberete za nekaj HDD-jev. Ne delate nič selekcije med fotografijami, spravljate čisto vse posnetke in ne premislite, da nekaj TB slik, niti slučajno ne boste imeli časa vsaj pogledat, kaj šele sortirat in urejat. Zračunajte koliko ste stari, minimalno 10 sekund na sliko in pomnožite s številom slik, koliko let boste arhiv pregledovali?

Moja taktika je bila vedno iz vsakega dogodka maksimalno 5 slik in to tistih najboljših, vse ostalo gre po nekaj mesecih v koš, tako se mi je pri 70.-ih letih nabralo za nekaj GB slik, kar imam shranjeno na treh koncih in z premeščanjem na novejše medije, tako ni nobene stvari več na VHS, CD in DVD, če prav imam za enkrat še naprave, ki to lahko berejo.

solatko je 17. jul 2024 ob 22:31 izjavil:

OutOfTheBox - Ni mi jasno kaj počnete s podatki, da jih naberete za nekaj HDD-jev. Ne delate nič selekcije med fotografijami, spravljate čisto vse posnetke in ne premislite, da nekaj TB slik, niti slučajno ne boste imeli časa vsaj pogledat, kaj šele sortirat in urejat. Zračunajte koliko ste stari, minimalno 10 sekund na sliko in pomnožite s številom slik, koliko let boste arhiv pregledovali?

Moja taktika je bila vedno iz vsakega dogodka maksimalno 5 slik in to tistih najboljših, vse ostalo gre po nekaj mesecih v koš, tako se mi je pri 70.-ih letih nabralo za nekaj GB slik, kar imam shranjeno na treh koncih in z premeščanjem na novejše medije, tako ni nobene stvari več na VHS, CD in DVD, če prav imam za enkrat še naprave, ki to lahko berejo.

Kdo drug kot solatko, da pride moralizirat brez dodane vrednosti. Ja, če se tvoje življenje vrti okg VHS potem res težko nabereš kaj več kot par giga podatkov. Meni že dopust z dronom pride lahko tudi 1 TB, pa še dodatni 1 TB naklofa sin. Potem pa mine par mesecev, da zadevo prepucam in naredim en video in ustrezno kompresiram. Pa vsakič se nabere par posnetkov, ki jih hočem ohranit raw... Tako, da ja odvisno od posameznika se podatki lahko naberejo.

Kot že rečeno vsak zase ve kakšne ima potrebe in temu ustrezno dimenzionira diske. Zdaj gremo pa lahko nazaj na ustrezno temo in pustimo moraliziranje pri strani.

sirotka, arhiviranje v kontekstu backupa pomeni nekaj drugega.

Mater večkrat sem že pomislil ... kdaj bi bilo dobro tudi kaj natisniti, ker enkrat bodo vsi biti izpuhteli ne nujno iz tehničnih razlogov - nihče se ne bo zajebaval z "administriranjem" teh vaših diskov in kopiranjem ko boste šli v Krtovo deželo medtem ko še dandanes kdaj naključno najdeš desetletja stare "trde kopije", sicer s svojo... patino, nepopolne ampak imajo nek čar.

To je una standardna "koliko bo sploh ostalo za nami, če bi šli vsi biti v koorac (ne samo slike)". Izginili bi kot duhovi. :(

Mene zivljenje mojih prednikov pretirano ne zanima. Bolj me zanima zivljenje nasih prednikov v splosnem.

Povsem mozno je, da bo kdo "pripravil" gore digitalnega gradiva, ki ga potem nihce nikoli ne bo gledal.

Miki N je 18. jul 2024 ob 09:31 izjavil:

Mater večkrat sem že pomislil ... kdaj bi bilo dobro tudi kaj natisniti, ker enkrat bodo vsi biti izpuhteli ne nujno iz tehničnih razlogov - nihče se ne bo zajebaval z "administriranjem" teh vaših diskov in kopiranjem ko boste šli v Krtovo deželo medtem ko še dandanes kdaj naključno najdeš desetletja stare "trde kopije", sicer s svojo... patino, nepopolne ampak imajo nek čar.

To je una standardna "koliko bo sploh ostalo za nami, če bi šli vsi biti v koorac (ne samo slike)". Izginili bi kot duhovi. :(

To je prava pot kar se tiče fotk.
Prvotno skopiram vs dol s fotiča/telefona.
Potem pregled in brisanje. Tako da ostanejo res tisto kar je ok.
Potem se pa rabil nekaj let da sem si vezel čas in iz si skopiral tiste naj fotke in jih natisnil in dal v album!

Miki N je 18. jul 2024 ob 09:31 izjavil:

Mater večkrat sem že pomislil ... kdaj bi bilo dobro tudi kaj natisniti, ker enkrat bodo vsi biti izpuhteli ne nujno iz tehničnih razlogov - nihče se ne bo zajebaval z "administriranjem" teh vaših diskov in kopiranjem ko boste šli v Krtovo deželo medtem ko še dandanes kdaj naključno najdeš desetletja stare "trde kopije", sicer s svojo... patino, nepopolne ampak imajo nek čar.

To je una standardna "koliko bo sploh ostalo za nami, če bi šli vsi biti v koorac (ne samo slike)". Izginili bi kot duhovi. :(

Nič ne bo izginilo, če imaš 2 backupa. Moji otroci bodo zihr znali ohranjati oz. pretvoriti posnetke v morebitne nove formate.

Legon je 18. jul 2024 ob 09:34 izjavil:

ja, to je definitovno povsem druga debata, ki zahteva svoj čas. Kako svojo "digitalno dediščino" pripravit za potomce. Vse od arhivov podatkov, do raznih spletnih računov, dostopov do 100 različnih servisev, sredstev v kripto/mikro posojilih/online stavnicah...

Vse poverilnice in seed phrase imam zapisane v hard copy in vgravirane v inox ploščice. Žena in otroci vedo, kje je vse, in z nekaj truda bodo prišli do vsega.

Fizični albumi so meni brezveze, že od kar lahko na TV priklopiš fotkiča ali USB.
Gledanje fotk s celo družino na 4K TV s kavča je precej boljše kot pa album.

Je večja verjetnost, da ti zgori bajta s fizičnim albumom, ali da ti hkrati zagorita 2 bajti z identičnimi digitalnimi kopijami? Jaz imam fotke še v 3. kopiji na drugi fizični lokaciji pri mami, in to na DVD-jih. Odporno še proti EMP.

Miki N - Imam album s klasičnimi slikami.

Legon - Zakaj moraliziranje? Če imaš nekaj 10k ali 100k slik, posnetkov,... je to nemogoče v nekaj letih pregledat, če se spraviš pa sortirat pa .... Razmišljat moraš, ko slikaš in to prineseš domov, en izlet ni problem uredit, 20+ let življenja na slikah pa nemogoče, ker enostavno ne živiš dovolj dolgo.