» »

katero kompresijo uporabljate za backupe

katero kompresijo uporabljate za backupe

gendale2018 ::

včasih sem uporabljal xz -e9 -T 5 --verbose ampak je obupno počasen

sedaj uporabljam zstd --rm -v -10 --long ki je veliko hitrejši in stisne skoraj enako

poskusil sem še gzip, pigz, bzip2, lbzip2, lz4 ampak so bodisi počasnejši ali stisnejo slabše ali pa oboje
ja sam mali poštar, kurac mi je oštar
čuvajte se žene, bit ćete jebene

pegasus ::

Strojno, vgrajeno v kasetarje.

krneki0001 ::

uporabljam 7zip, ker zna izkoriščat več jeder cpu-ja.
Asrock X99 Extreme 4 | Intel E5-2683V4 ES | 64GB DDR4 2400MHz ECC |
Samsung 250GB M.2 | Asus 1070 TI | 850W Antec | LC Tank Buster

Zgodovina sprememb…

  • predlagalo izbris: Truga ()

gendale2018 ::

krneki0001 je izjavil:

uporabljam 7zip, ker zna izkoriščat več jeder cpu-ja.

sej to znajo danes že praktično vsi razen kakega gzipa (maš pa pigz) in bzip2ja (ampak spet lbzip2)

katere zastavitve pa uporbiš za p7zip? ker če nimaš na voljo ravno ogromno jeder je počasen
ja sam mali poštar, kurac mi je oštar
čuvajte se žene, bit ćete jebene

Zgodovina sprememb…

krneki0001 ::

Ker imam dovolj prostora, uporabljam -mx=1 - najvišja hitrost pa -mmt="število jeder - 1"
Asrock X99 Extreme 4 | Intel E5-2683V4 ES | 64GB DDR4 2400MHz ECC |
Samsung 250GB M.2 | Asus 1070 TI | 850W Antec | LC Tank Buster

Zgodovina sprememb…

  • predlagal izbris: madviper ()

gendale2018 ::

evo k mojim prejšnjim dodaj še --ultra, pride še bližje xz -e9 in je veliko hitrejši, požrešen je kar se rama tiče, samo tega imam rečativno gledano največ v primerjavi s prostorom in jedri
ja sam mali poštar, kurac mi je oštar
čuvajte se žene, bit ćete jebene

Ribič ::

Uporabljam kompresijo LZMA.
Vse ribe so mi pobegnile!

eVro ::

pixz - "parallel, indexed xz"

Je pa zstd tudi zanimiv, ma še kdo kako izkušnjo?

Zgodovina sprememb…

  • spremenil: eVro ()

gendale2018 ::

Zstd na nastavitvah iz op in -ultra stisne praktično enako kot xz -e9 ali pixz na najvec. Minus je da zre ram in je edina rec, kjer bi mi blo 32gb premalo za vec kot eno insatanco.

Verjetno je tudj mocno odvisno od tega kaj stiskas. V root imam mesanico binarijev, sourca, config filov, filmo/slik in gre okoli 70%. Kaj bolj naklonjenega stiskanju bi verjetno slo vec.

Pri stiskanju so baje zadnje verzije xz enako vredne pixz ce je t prav nastavljen (st jeder/niti +1 je dober zacetek).
ja sam mali poštar, kurac mi je oštar
čuvajte se žene, bit ćete jebene

Miha 333 ::

lz4, kot del ZFS-a.

gendale2018 ::

btrfs ima sedaj tudi zstd (lz4 pa se mi zdi da ne.... zlib, lzo in zstd kolikor vem, s tem da je baje v planu, da se za zstd doda še nastavitev nivoja kompresije, ker trenutno je na 1, kar je sice najhitreje, samo če imaš milijon jeder, ki gledajo v zrak.... naj raje uredijo persubvolume kompresijo in ostale reči + ven vržejo raid56, ker tudi če/ko bo delal 100% pravilno bo trajalo še leta preden bo temu kdo verjel, do takrat bo pa že raid6 enako zastarel kot je danes raid5 in bo možnost, da ti odletita še dva diska med rebuildom previsoka, da bi ga bilo smiselno uporabljati... pišeta pa itak oba nekako tolko hitro kot polž.... raid10 ftw, nič od teh težav, dela kot je treba, blazno hiter (s 4 ali 5 3tb wd redi, poceni matično (najcenejša za ta procesor s 4 luknjami za ram in 6 sata porti (če koga blazno zanima lahko preverim) in gor napisanim procesorjem prit čez 500 MB/s branja in pisanja je čisto enostavno, sploh se ne rabiš trudit, pač povežeš, nastaviš in imaš... kaj šele če bi imel zelo dober hw in ogromno diskov) :))

aja, pa btrfs mi je ubil mačko pa pojedel podatke... aja ne, ni naredil ne enega ne drugega, mi jih je pa parkrat rešil (ne rečem da kak drug fs jih ne bi, samo niso to taka jajca kot nekateri pravijo)... z mačko pa nima opravka, si pa lastno ročno kupim letalske karte (ali si sposodim bel kombij poln zanimivega orodja, ki je lahko gradbeno ali mučilno) do devov in jih obiščem na domu, če se kaj zgodi z mačkozavrom zaradi njega

btw, na katerem osu pa uporabljaš zfs? dedupe uporabljaš? še kaka zanimivost? (sprašujem iz čiste radovednosti, če se ti na da odgovarjat ni treba, če se ti da pa toliko bolj, ti pa mene lahko vprašaš kaj o btrfsju če te zanima)

(ampak na min nastavivah, da se ne pozna na hitrosti pri ljudeh, ki nimamo milijon jedernih procesorjev... sva se ravno kak teden dva nazaj menila z nekom, ki isto uporablja btrfs, ampak ima kompresijo na silo prižgano za vse file (drugače proba btrfs stisnit prvih 128kB in če se jih ne stisne dovolj pusti file nestisnjen, lahko pa uporabiš compress-force in gre stiskat vse.. lahko da so številke malo drugačne ker se mi ne ljubi gledat referenc, ampak princip je tak) in pravi, da ima tako boljši io perf, jst mu pa rečem, da sej vse ok in kul, samo on ima 24c/48t (afaik 2x12c/24t xeon, ampak to niti ni bistveno), jaz pa 4c/4t i5 4460 in se seveda pozna da je počasnejši procesor, ko bom imel pa 2990wx (3990wx? sanjam lahko :) še posebej zdaj ko obstaja hack za ugasnit vgrajeni backdoor) bom pa lahko še jaz razmišljal v smeri compress-force)
ja sam mali poštar, kurac mi je oštar
čuvajte se žene, bit ćete jebene

c3p0 ::

ZFS "naspol produkcijsko" uporabljamo že par let na linux strežnikih, en ima npr. 384GB ECC RAM, 20x core (40 threads). Do zdaj bp. Send particije za failover/arhiv, ali pa preko DRBD za live failover, odvisno od zahtev.

Dedup sploh kdo uporablja? Verjetno je kaka nišna zadeva, kjer je koristen, za veliko večino pa ga je boljše pustit off.

MrStein ::

gendale2018 je izjavil:

btrfs ima sedaj tudi zstd (lz4 pa se mi zdi da ne.... zlib, lzo in zstd kolikor vem, s tem da je baje v planu, da se za zstd doda še nastavitev nivoja kompresije, ker trenutno je na 1, kar je sice najhitreje, samo če imaš milijon jeder, ki gledajo v zrak.... naj raje uredijo persubvolume kompresijo in ostale reči + ven vržejo raid56, ker tudi če/ko bo delal 100% pravilno bo trajalo še leta preden bo temu kdo verjel, do takrat bo pa že raid6 enako zastarel kot je danes raid5 in bo možnost, da ti odletita še dva diska med rebuildom previsoka, da bi ga bilo smiselno uporabljati... pišeta pa itak oba nekako tolko hitro kot polž.... raid10 ftw, nič od teh težav,

Zakaj bi disk (ali dva) crknil(a) pri rebuildu RAID5/6, pri rebuildu RAID10 pa ne?


Glede kompresije: uporabniki "eksotičnih" programov upam da redno preverjate pravilnost...
Motiti se je človeško.
Motiti se pogosto je neumno.
Vztrajati pri zmoti je... oh, pozdravljen!

WhiteAngel ::

c3p0 je izjavil:


Dedup sploh kdo uporablja? Verjetno je kaka nišna zadeva, kjer je koristen, za veliko večino pa ga je boljše pustit off.


Mislim, da se deduplikacija največ uporablja za delanje snapshotov kontejnerjev/virtualk in potem copy-on-write. Da bi pa redno kdo poganjal dedup in počez iskal bloke, ki se slučajno kje ponovijo, pa ne poznam nikogar.

MrStein ::

Mimogrede, ogromne datoteke najbolje stisne lrzip

Malo traja sicer, ampak ni tak hudo.

PS: 32 bitna verzija v cygwin je bugasta, ne uporabljat.
Motiti se je človeško.
Motiti se pogosto je neumno.
Vztrajati pri zmoti je... oh, pozdravljen!

Zgodovina sprememb…

  • spremenil: MrStein ()


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Kompresija velikih fajlov

Oddelek: Programska oprema
434045 (2036) MrStein
»

Kako do hitrega interneta

Oddelek: Omrežja in internet
425244 (3369) jb_j
»

Fizicni vs. software Raid (strani: 1 2 )

Oddelek: Strojna oprema
898897 (6071) MrStein
»

linux + dm-crypt luks težave z odklepom particije ob bootu

Oddelek: Operacijski sistemi
14741 (500) gendale2018
»

HDD - neizbežne napake pri branju (URE)

Oddelek: Strojna oprema
283915 (3270) MrStein

Več podobnih tem