Prijavi se z GoogleID

» »

Kompresija velikih fajlov

Kompresija velikih fajlov

MrStein ::

TLDR: lrzip

Long:

Za večje fajle (več gigabajtov) lrzip povozi "klasične" algoritme.

kaj                velikost          čas kompresije

original fajl       119 GB   
LZ4                  75 GB           zelo hitro
gzip                 65 GB           pol ure?
bzip2                64 GB           ura-dve
lrzip                50 GB           tri ure
lrzip -U             30 GB !!!       30 ur (!)

Detajli kompresije:

lrzip                
  Compression Ratio: 2.426. Average Compression Speed: 10.934MB/s.
  Total time: 03:06:07.02
lrzip -U         
  Compression Ratio: 4.060. Average Compression Speed:  0.849MB/s.
  Total time: 39:57:50.90


Testni fajl je image od sistemskega SSD, vsebuje Windows, nekaj programov, nekaj dokumentov, in nekaj virtualk. Zasedenih je okoli 100GB.

Vsi programi zagnani z default parametri (torej z nobenimi), razen zadnjega, kjer je bil podan parameter -U

lrzip je standarden program v večini linux distribucij.
Za Windows na voljo v cygwin (32 bitna verzija je bugasta! uporabite 64bitno).

Sorodne aplikacije: Rzip @ Wikipedia

Če kdo najde kaj s še večjo kompresijo, pa sem all ears


PS: lrzip zahteva (za kompresijo) ogromno RAM-a. Idealno toliko, kot je velik vhodni fajl. Se pa poznajo učinki tudi z manj RAM-a.
Teštiram če delaž - umlaut dela: ä ?
  • spremenil: MrStein ()

hojnikb ::

PAQ8
#teamred
BigBox: Asus P8Z77-V, i5 3570K, 16GB DDR3, 1TB HDD & 480GB SSD, GTX 970, W10
MediaBox: AMD 2200G, 8GB DDR4 3000MT, 128GB SSD, Vega 8, B450M-DS3H, W10

Miha 333 ::

Mislim, da če bi ostale programe zagnal z ukazom za večjo kompresijo, bi bil rezultat podoben (velikost in čas). Pač imajo za privzeto manjšo oz. hitrejšo kompresijo. Tu gre vedno za tradeoff med časom in stopnjo stiskanja.

SasoS ::

Primerjava z LZMA2 (7zip)?

terryww ::

Odvisno kaj iščeš, ampak načeloma je pri tem pomembnih več stvari, ne samo kompresija:

    čas dekompresije: če je tudi e.g. 30h, potem je uporabnost kvečjemu za arhiviranje
    zmožnost dekompresije on the fly - zip arhiv recimo ne rabiš celga razpakirat, da bi prišel do enega fajla. Lahko procesiraš celo zip-an arhiv ne da bi del arhiva (recimo nek PDF) potreboval odpakirat.
    primernost za dolgoročno shranjevanje: niso vsa kompresijska orodja primerna za dolgoročno arhiviranje - https://www.nongnu.org/lzip/xz_inadequa...
    uporaba resourceov: koliko RAM-a porabi in ali zna uporabit več jeder
It is the night. My body's weak.
I'm on the run. No time to sleep.

Zgodovina sprememb…

  • spremenil: terryww ()

MrStein ::

Miha 333 je izjavil:

Mislim, da če bi ostale programe zagnal z ukazom za večjo kompresijo, bi bil rezultat podoben (velikost in čas). Pač imajo za privzeto manjšo oz. hitrejšo kompresijo. Tu gre vedno za tradeoff med časom in stopnjo stiskanja.

Misliš ali veš? ;)

default kompresija za gzip je -6 in sprememba na -9 doprinese ... skoraj nič:
gzip (-6)       69.876.916.408 bytes
gzip -9         69.406.146.403 bytes


Tule je ena primerjava med Gzip, Bzip2, LZMA, XZ, LZ4 in LZO, kjer se vidi, da sprememba opcij malo spremeni, a ne more algoritma premakniti iz svojega razreda:

https://catchchallenger.first-world.inf...
Teštiram če delaž - umlaut dela: ä ?

hojnikb ::

na konc dneva dost zavisi od tega, kaj sploh stiskas. Ce je tvoja knjizica vecinoma slik, mp3jov in filmov, tut z paq kompresorji ne profitiras kej dost.
Profitiras pa ce pretvoris v kaksen drug, bol efficient format (filmovje v h265/VP9/AV1, muska v aac....)
#teamred
BigBox: Asus P8Z77-V, i5 3570K, 16GB DDR3, 1TB HDD & 480GB SSD, GTX 970, W10
MediaBox: AMD 2200G, 8GB DDR4 3000MT, 128GB SSD, Vega 8, B450M-DS3H, W10

pegasus ::

... arraye in matrike float vrednosti z ZFP ali SZ ...

MrStein ::

Še en test (za VMDK fajl velikosti 48.707.076.096 bytes - ena virtualka z Windows, nekaj programi, nekaj dokumenti)

lrzip v0.631 (cygwin)
zpaq64 v7.15
program      stisnjena velikost        čas stiskanja
-------------------------------------------------------
zpaq        14.678.374.745 bytes       11 minut
zpaq -m2    13.746.023.258 bytes       42 minut
zpaq -m5    10.610.201.221 bytes        7 ur
lrzip        9.397.430.931 bytes       42 minut
lrzip -l    13.978.839.455 bytes       29 minut


Če kdo ne pozna programov:

Za zpaq so "-m2" opcije za "stopnjo stiskanja", torej algoritem in parametri. Default je -m1 , višje številke pa bolj stisnejo (in dlje trajajo).

Za lrzip je -l "hitrejše stiskanje".
Teštiram če delaž - umlaut dela: ä ?

Zgodovina sprememb…

  • spremenil: MrStein ()

igorpec ::

SasoS je izjavil:

Primerjava z LZMA2 (7zip)?


@stein

Če se ravno igraš, probaj še 7z pod istimi pogoji ... BTW. Mi uporabljamo tar.lz4 za stiskanje rootfs, kar se je izkazalo za best compress speed/size/un-compress speed ratio. Vsaj za faile reda nekaj giga. Me tudi zanima, če obstaja kaj boljšega za takšen use case, kjer šteje vse.

MrStein ::

MrStein je izjavil:

TLDR


Dodajam v tabelo ZPAQ in 7zip (po prazni vrstici)
kaj                velikost          čas kompresije

original fajl       119 GB   
LZ4                  75 GB           zelo hitro
gzip                 65 GB           pol ure?
bzip2                64 GB           ura-dve
lrzip                50 GB           tri ure
lrzip -U             30 GB !!!       30 ur (!)

zpaq                 40 GB           pol ure
zpaq -m2             40 GB           pol ure
zpaq -m6             32 GB           65 ur
7zip -ultimate       55 GB           3-5 ur


zpaq je zpaq64.exe verzija 7.15
7-zip je verzija 19.00 (64 bit)
Teštiram če delaž - umlaut dela: ä ?

WhiteAngel ::

MrStein je izjavil:

MrStein je izjavil:

TLDR


Dodajam v tabelo ZPAQ in 7zip (po prazni vrstici)

kaj velikost čas kompresije

original fajl 119 GB
LZ4 75 GB zelo hitro
gzip 65 GB pol ure?
bzip2 64 GB ura-dve
lrzip 50 GB tri ure
lrzip -U 30 GB !!! 30 ur (!)

zpaq 40 GB pol ure
zpaq -m2 40 GB pol ure
zpaq -m6 32 GB 65 ur
7zip -ultimate 55 GB 3-5 ur


zpaq je zpaq64.exe verzija 7.15
7-zip je verzija 19.00 (64 bit)


Tele številke bi bile zanimive, če bi imel 128GiB rama in bi šlo vse noter.

bf4ed ::

Zgleda je zpaq najboljši pri hitrost/kompresija...na 40GB v pol ure je super proti drugim.

krho ::

kje si pa zstd zgubil?
si.Mail odprto-kodni odjemalec elektronske pošte. - http://www.simail.si
Uredite si svojo zbirko filmov, serij in iger - http://xcollect.sf.net

MrStein ::

Kaj, a samo jaz imam računalnik? Nihče vam ne brani, da svoje meritve izvedete.
Teštiram če delaž - umlaut dela: ä ?

krho ::

Jah, če že testiraš ne moreš mimo najnovejšega compressorja. Pa če drugi testiramo nima smisla.. k nimamo tvojega fajla.
si.Mail odprto-kodni odjemalec elektronske pošte. - http://www.simail.si
Uredite si svojo zbirko filmov, serij in iger - http://xcollect.sf.net

MrStein ::

Testiraš pač na svojem fajlu. Ta moj nima nobenih posebnih lastnosti.

Lahko pa kdo linka zstd build za win64, pa testiram, če že drugi ne morete...
Teštiram če delaž - umlaut dela: ä ?

Zgodovina sprememb…

  • spremenil: MrStein ()

WizzardOfOZ ::

Test: na 32 threadih zapakirati en vhdx (virtualka: windows 10 + sql server + visual studio + celoten projek) v velikosti 49.5GB
(53.255.077.888)
Nastavitve 7Z:
Compression level: Ultra
compression method: LZMA2
dictionary size: 64Mb
word size: 64
solid block size: 4GB
cpu threads: 32
memory usage for compressing: 19GB
********************************************

Čas pakiranja: 00:16:49 (skoraj 17 minut)
compression ratio: 26%
7z file: 13GB (14.043.591.809)


xeon E5-2683 V4, 128GB rama NVME ssd disk Samsung 970 Evo 250GB


Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

katero kompresijo uporabljate za backupe

Oddelek: Programska oprema
141180 (195) MrStein
»

Znano novo največje praštevilo

Oddelek: Novice / Znanost in tehnologija
263698 (834) win64
»

Stiskanje datotek (strani: 1 2 )

Oddelek: Pomoč in nasveti
548824 (3034) Oberyn
»

HP Envy - zmrzuje in se pregeva

Oddelek: Pomoč in nasveti
11843 (650) Mesar
»

je že kdo poizkusil xz archiver ?

Oddelek: Programska oprema
5471 (399) Brane2

Več podobnih tem