katero kompresijo uporabljate za backupe

včasih sem uporabljal xz -e9 -T 5 --verbose ampak je obupno počasen

sedaj uporabljam zstd --rm -v -10 --long ki je veliko hitrejši in stisne skoraj enako

poskusil sem še gzip, pigz, bzip2, lbzip2, lz4 ampak so bodisi počasnejši ali stisnejo slabše ali pa oboje

uporabljam 7zip, ker zna izkoriščat več jeder cpu-ja.

Ker imam dovolj prostora, uporabljam -mx=1 - najvišja hitrost pa -mmt="število jeder - 1"

Uporabljam kompresijo LZMA.

Zstd na nastavitvah iz op in -ultra stisne praktično enako kot xz -e9 ali pixz na najvec. Minus je da zre ram in je edina rec, kjer bi mi blo 32gb premalo za vec kot eno insatanco.

Verjetno je tudj mocno odvisno od tega kaj stiskas. V root imam mesanico binarijev, sourca, config filov, filmo/slik in gre okoli 70%. Kaj bolj naklonjenega stiskanju bi verjetno slo vec.

Pri stiskanju so baje zadnje verzije xz enako vredne pixz ce je t prav nastavljen (st jeder/niti +1 je dober zacetek).

btrfs ima sedaj tudi zstd (lz4 pa se mi zdi da ne.... zlib, lzo in zstd kolikor vem, s tem da je baje v planu, da se za zstd doda še nastavitev nivoja kompresije, ker trenutno je na 1, kar je sice najhitreje, samo če imaš milijon jeder, ki gledajo v zrak.... naj raje uredijo persubvolume kompresijo in ostale reči + ven vržejo raid56, ker tudi če/ko bo delal 100% pravilno bo trajalo še leta preden bo temu kdo verjel, do takrat bo pa že raid6 enako zastarel kot je danes raid5 in bo možnost, da ti odletita še dva diska med rebuildom previsoka, da bi ga bilo smiselno uporabljati... pišeta pa itak oba nekako tolko hitro kot polž.... raid10 ftw, nič od teh težav, dela kot je treba, blazno hiter (s 4 ali 5 3tb wd redi, poceni matično (najcenejša za ta procesor s 4 luknjami za ram in 6 sata porti (če koga blazno zanima lahko preverim) in gor napisanim procesorjem prit čez 500 MB/s branja in pisanja je čisto enostavno, sploh se ne rabiš trudit, pač povežeš, nastaviš in imaš... kaj šele če bi imel zelo dober hw in ogromno diskov) :))

aja, pa btrfs mi je ubil mačko pa pojedel podatke... aja ne, ni naredil ne enega ne drugega, mi jih je pa parkrat rešil (ne rečem da kak drug fs jih ne bi, samo niso to taka jajca kot nekateri pravijo)... z mačko pa nima opravka, si pa lastno ročno kupim letalske karte (ali si sposodim bel kombij poln zanimivega orodja, ki je lahko gradbeno ali mučilno) do devov in jih obiščem na domu, če se kaj zgodi z mačkozavrom zaradi njega

btw, na katerem osu pa uporabljaš zfs? dedupe uporabljaš? še kaka zanimivost? (sprašujem iz čiste radovednosti, če se ti na da odgovarjat ni treba, če se ti da pa toliko bolj, ti pa mene lahko vprašaš kaj o btrfsju če te zanima)

(ampak na min nastavivah, da se ne pozna na hitrosti pri ljudeh, ki nimamo milijon jedernih procesorjev... sva se ravno kak teden dva nazaj menila z nekom, ki isto uporablja btrfs, ampak ima kompresijo na silo prižgano za vse file (drugače proba btrfs stisnit prvih 128kB in če se jih ne stisne dovolj pusti file nestisnjen, lahko pa uporabiš compress-force in gre stiskat vse.. lahko da so številke malo drugačne ker se mi ne ljubi gledat referenc, ampak princip je tak) in pravi, da ima tako boljši io perf, jst mu pa rečem, da sej vse ok in kul, samo on ima 24c/48t (afaik 2x12c/24t xeon, ampak to niti ni bistveno), jaz pa 4c/4t i5 4460 in se seveda pozna da je počasnejši procesor, ko bom imel pa 2990wx (3990wx? sanjam lahko :) še posebej zdaj ko obstaja hack za ugasnit vgrajeni backdoor) bom pa lahko še jaz razmišljal v smeri compress-force)

gendale2018 je 21. mar 2019 ob 07:40 izjavil:

btrfs ima sedaj tudi zstd (lz4 pa se mi zdi da ne.... zlib, lzo in zstd kolikor vem, s tem da je baje v planu, da se za zstd doda še nastavitev nivoja kompresije, ker trenutno je na 1, kar je sice najhitreje, samo če imaš milijon jeder, ki gledajo v zrak.... naj raje uredijo persubvolume kompresijo in ostale reči + ven vržejo raid56, ker tudi če/ko bo delal 100% pravilno bo trajalo še leta preden bo temu kdo verjel, do takrat bo pa že raid6 enako zastarel kot je danes raid5 in bo možnost, da ti odletita še dva diska med rebuildom previsoka, da bi ga bilo smiselno uporabljati... pišeta pa itak oba nekako tolko hitro kot polž.... raid10 ftw, nič od teh težav,

Zakaj bi disk (ali dva) crknil(a) pri rebuildu RAID5/6, pri rebuildu RAID10 pa ne?


Glede kompresije: uporabniki "eksotičnih" programov upam da redno preverjate pravilnost...

Mimogrede, ogromne datoteke najbolje stisne lrzip

Malo traja sicer, ampak ni tak hudo.

PS: 32 bitna verzija v cygwin je bugasta, ne uporabljat.