☰

» »

Kateri program za hitrejše kopiranje datotek?

Kateri program za hitrejše kopiranje datotek?

«
1
2

k4vz0024 ::

Kot že naslov pove iščem program, ki pospeši kopiranje in verifikacijo.

Okolje Windows 10.

feryz ::

Gugl ne ve?
Piše Fast copy. Če je kaj na tem.

Zimonem ::

Med kom in čim? In zakaj.

komunist1918 ::

robocopy?

kixs ::

FastCopy. Sicer ne bo kopiral nic hitreje kot sam Windows (z leti se je MS naucil pravilno uporabljati cache). FastCopy pa ima tudi funkcijo verifikacije po kopiranju.

Ce ze uporabljas, ima verifikacijo tudi TotalCommander.

k4vz0024 ::

Zimonem je izjavil:

Med kom in čim? In zakaj.


Majhnih datotek na drugi disk.

k4vz0024 ::

Pri tem mora ohraniti original data and time stamp.

sbawe64 ::

TotalCommander zmote tudi to, samo moraš v nastavitvah programa obkljukati 'preserve date&time'.



https://www.ghisler.ch/board/viewtopic....

Go to Configuration => Copy/Delete => General Copy + delete options and tick the option [x] Copy date/time of directories.
2020 is new 1984
Corona World order

WizzardOfOZ ::

total commander vedno kopira date time tak kot je. Če kreiraš nove datoteke, bo datum nov, pri kopiranju ostane datum tak kot je. Ta opcija je default že ob inštalaciji.

Je pa zanimivo kopirat z F5 + F2, da naredi listo tega, kar bo kopiral. in lahko jo dopolnjuješ, ter vključiš več podmap za input in output.
Pa tudi če prekineš, zna od tam naprej kopirat, kjer je nehal (listo moraš shranit).
Milčinski je napisal butalce kot prispodobo in ne kot priročnik!!!
Svuda u svijetu ima budala ali je izgleda kod nas centrala!!!

c3p0 ::

Važno je, da se ne ustavi ob prvi prepreki, in lahko na koncu potrdiš razne izjeme (podvojene datoteke ipd.).

To je včasih blo "najboljše", si dal kopirat 1T disk, zjutraj pa videl, da se je na 1% že ustavil in bedasto čakal.

kixs ::

Veliko podatkov je najboljse kopirati s FastCopy ali TerraCopy. Sicer, ne vem od katere verzije naprej, ima tudi Total Commander ze po defaultu, da vprasa za kaksne konflikte na koncu. Torej, ce ze nekaj obstaja, te bo vprasal kaj narediti, ko bo ze vse ostalo skopiral. Tako se taki situaciji izognes.

Uporabljam FastCopy ze kaksnih 15 let. Imam ga integriranega v Total Commander. Izberem mape in kliknem na ikono od FastCopy v TotalCommanderju in dela.

Recimo en link kako to naredit:
https://wpctips.neocities.org/fastcopytc

Zgodovina sprememb…

  • spremenil: kixs ()

k4vz0024 ::

Imam občutek, da je Fast Copy počasnejši od TeraCopy. S TeraCopy imam težave, ker se integriran v sistem in se ne izvede oz. enkrat se drugič pa spet ne. Mogoče je treba v FastCopy dodeliti več pomnilnika, da je hitrejši?

k4vz0024 ::

Kakšne parametre nastaviti v primeru, da imamo 16 GB pomnilnika v Copy method (Expert only) v TotalCommander, da deluje najhitreje?

HolyFuck1 ::

Mogoče je treba v FastCopy dodeliti več pomnilnika, da je hitrejši?

Kakšne parametre nastaviti v primeru, da imamo 16 GB pomnilnika v Copy method (Expert only) v TotalCommander, da deluje najhitreje?


Niso ti jasne osnove. Hitrosti kopiranja ne določa količina pomnilnika, temveč samo hitrost/nitnost procesorja ter hitrost vodila medijev.

WizzardOfOZ ::

Če imaš same majhne datoteke do 32k, je potem najbolje imeti buffer v večkratniku te velikosti.
Milčinski je napisal butalce kot prispodobo in ne kot priročnik!!!
Svuda u svijetu ima budala ali je izgleda kod nas centrala!!!

k4vz0024 ::

HolyFuck1 je izjavil:

Mogoče je treba v FastCopy dodeliti več pomnilnika, da je hitrejši?

Kakšne parametre nastaviti v primeru, da imamo 16 GB pomnilnika v Copy method (Expert only) v TotalCommander, da deluje najhitreje?


Niso ti jasne osnove. Hitrosti kopiranja ne določa količina pomnilnika, temveč samo hitrost/nitnost procesorja ter hitrost vodila medijev.


Seveda, ampak če imaš dovolj rama se lahko uporablja več za buffer, mar ne?

HolyFuck1 ::

če imaš dovolj rama se lahko uporablja več za buffer, mar ne?

Ne. Razen če si si naredil RAMdisk/ RAM drive in imaš podatke tam. Drugače kopiranje šiba od izvora do ponora preko procesorja, s hitrostjo in sočasnostjo, ki ga ta premore.

k4vz0024 ::

Zakaj pa ima TC potem možnost za nastavljanje velikosti medpomnilnika?

HolyFuck1 ::

Zakaj pa ima TC potem možnost za nastavljanje velikosti medpomnilnika?

Zato, da imaš ti kaj vprašat 8-)

k4vz0024 ::

A bejž no:))

JeBelaCesta ::

poglej si še robocopy ukaz...
https://learn.microsoft.com/en-us/windo...
lep pozdrav iz višav ;-)

Netrunner ::

k4vz0024 je izjavil:

Kot že naslov pove iščem program, ki pospeši kopiranje in verifikacijo. Okolje Windows 10.

Najhitreje je kopiranje v konzoli
Doing nothing is very hard to do... you never know when you're finished.

k4vz0024 ::

Se da nastaviti v konzoli, da se ohrani originalni date in time stamp? Kako?

kixs ::

k4vz0024 je izjavil:

Imam občutek, da je Fast Copy počasnejši od TeraCopy. S TeraCopy imam težave, ker se integriran v sistem in se ne izvede oz. enkrat se drugič pa spet ne. Mogoče je treba v FastCopy dodeliti več pomnilnika, da je hitrejši?


O kaksnem obcutku govoris? Stoparico v roke in merit!

Za koliko podatkov gre in (povprecna) velikost datotek? Iz katerega na kateri nosilec kopiras in katero vodilo?

S pomnilnikom se igras, ko ves kaj delas...

fm13 ::

k4vz0024 je izjavil:

Se da nastaviti v konzoli, da se ohrani originalni date in time stamp? Kako?

Kot so ti že predlagali, uporabi robocopy, to je top zadeva.

Če kopiraš ogromno malih datotek, uporabi parameter /MT, npr. /MT:16
/MT[:n] :: Do multi-threaded copies with n threads (default 8).

Za kopiranje atributov imaš /COPY:
/COPY:copyflag[s] :: what to COPY for files (default is /COPY:DAT).
(copyflags : D=Data, A=Attributes, T=Timestamps, X=Skip alt data streams).
(S=Security=NTFS ACLs, O=Owner info, U=aUditing info).

Ostale parametre poglej z robocopy /?

kixs ::

Multi-thread opcij bi se izogibal, ker lahko hitro overloads ali source ali target in bo kopiranje se pocasnejse. Kar je precej odvisno od nosilcev in velikosti datotek.

pegasus ::

Pri kopiranju znotraj iste piksne je trivialno enostavno izmeriti kje je bottleneck in se mu ustrezno prilagoditi. Če imate v igri HDD, je ključ do uspeha random io pretvoriti v sequential io. Kako pa naj bo vaja za lastnika piksne.

Kopiranje postane bolj zanimiv problem, ko je v igri mreža. Enako kot pri HDD moramo latenco maskirati z več threadi. Obstajajo poor's man rešitve ala msrsync in malo bolj resne rešitve ala globus ali aspera, čakam pa, da se zgradi kaka rešitev na multi stream quic funkcionalnosti. Syncthing naj bi že nekaj ponujal, si moram vzet čas in preštudirat.

Barbarpapa2 ::

Pozdrav.

Malo berem tole, pa se mi je kar nekaj vprašanj pojavilo. Vprašuje pa stari prdec, ki ni programer in malo bolj slabo računalništvo spremlja. Omenja se, da je v skrajnem primeru hitrost kopiranja podatkov odvisna od procesorja. Pa si nismo kakšna tri desetletja nazaj omislili DMA naprave? Glavni smisel le-teh je bil ravno to, da se procesor razbremeni golega premetavanja podatkov. Ali pa DMA pri kopiranju na isti medij (podatki iz ene mape na trdem disku v drugo mapo na istem trdem disku) odpade? In kako lahko večjedernost/večnitnost procesorja pomaga pri premetavanju podatkov? Vsa jedra morajo koneckoncev dostopati do istega vodila, ali?

Hvala tistemu, ki mi bo zadevo malo bolj nazorno objasnil :)

Lep (deževen) dan še naprej...

Jože

pegasus ::

Barbarpapa2 je izjavil:

Omenja se, da je v skrajnem primeru hitrost kopiranja podatkov odvisna od procesorja.
Danes je to res zelo zelo skrajen primer. Procesor se pri kopiranju večino časa dolgočasi.

WizzardOfOZ ::

Testiral na svoji mašini (NUC 12 EXTREME - I7-12700, 64GB ram DDR4 3200mhz, 3x 1TB samsung 990 PRO, 2 v strippingu za delo (13.4GB branje, 11.6GB pisanje)) in en za podatke. Sistem: Windows 11 Pro for Workstations. Datoteka je bila 100 GB velika.
Kopiral iz sistemskega na podatkovni disk.

CMD (comamnd prompt): 4.86 GB/s
File explorer: 4.68 GB/s
Total commander: 4.81 GB/s
Milčinski je napisal butalce kot prispodobo in ne kot priročnik!!!
Svuda u svijetu ima budala ali je izgleda kod nas centrala!!!

Zgodovina sprememb…

kloko ::

WizzardOfOZ je izjavil:

...Datoteka je bila 100 GB velika...

Naredi stotisoč datotek velikih 1k, pa s tistim testiraj...

jernejp ::

+1

tudi mene to zanima

WizzardOfOZ ::

Bom naredil samo kasneje. Je pa za take zadeve XCOPY najhitrejši. Vsaj včasih je bilo to najbolj uporabno.

Še bolje pa zipanje teh 100k datotek na original nosilcu in potem prenos na drug nosilec in tam razpakiranje.
Milčinski je napisal butalce kot prispodobo in ne kot priročnik!!!
Svuda u svijetu ima budala ali je izgleda kod nas centrala!!!

darkolord ::

Poskusi še robocopy z /mt parametrom

kixs ::

Pa naredi 3X isti test z istim programom, da dobis povprecje.

WizzardOfOZ ::

Milijon datotek velikih 1kb vse skupaj v velikosti 975Mb:

cmd copy: 11 minut 39 sekund - 1.39Mb/s
cmd xcopy: 5 minut 21 sekund - 3.03Mb/s
file explorer: 8 minut 30 sekund 1.9Mb/s
total commander: 6 minut 12 sekund - 2.6Mb/s

Xcopy moraš uporabiti /Q, da ne izpisuje imen datotek, pa prideš na ta čas. Drugače IO za izpisovanje v command prompt peveč pokuri.
Milčinski je napisal butalce kot prispodobo in ne kot priročnik!!!
Svuda u svijetu ima budala ali je izgleda kod nas centrala!!!

Zgodovina sprememb…

twom ::

S Total Commanderjem zazipaš. Bo najhitreje, ker naredi samo en zapis v file system, ostalo pa samo zapisuje podatke.
Če pa kopiraš veliko majhnih datotek, mora pa program za vsako datoteko naredi zapis v file system, kar pa traja.

k4vz0024 ::

WizzardOfOZ je izjavil:

Milijon datotek velikih 1kb vse skupaj v velikosti 975Mb:

cmd copy: 11 minut 39 sekund - 1.39Mb/s
cmd xcopy: 5 minut 21 sekund - 3.03Mb/s
file explorer: 8 minut 30 sekund 1.9Mb/s
total commander: 6 minut 12 sekund - 2.6Mb/s

Xcopy moraš uporabiti /Q, da ne izpisuje imen datotek, pa prideš na ta čas. Drugače IO za izpisovanje v command prompt peveč pokuri.


Glede na to, da si vešč. Ali lahko testiraš še TerraCopy?

WizzardOfOZ ::

Terracopy 12 minut in 9 sekund - 1.33mb/s

Terracopy kar sam napiše, koliko časa bo rabil za to delo in ni treba niti pustit, da do konca naredi.
Milčinski je napisal butalce kot prispodobo in ne kot priročnik!!!
Svuda u svijetu ima budala ali je izgleda kod nas centrala!!!

Zgodovina sprememb…

darkolord ::

Lahko še robocopy z /mt parametrom ? Je že vgrajen v win ...

Zgodovina sprememb…

  • spremenilo: darkolord ()

WizzardOfOZ ::

samo /mt pri robocopy nič ne dela. za /mt moraš napisat dodatni parameter, ki pove koliko threadov bi rad imel za kopiranje.

Bom probal z 8 in 16 threadi
Milčinski je napisal butalce kot prispodobo in ne kot priročnik!!!
Svuda u svijetu ima budala ali je izgleda kod nas centrala!!!

k4vz0024 ::

WizzardOfOZ je izjavil:

samo /mt pri robocopy nič ne dela. za /mt moraš napisat dodatni parameter, ki pove koliko threadov bi rad imel za kopiranje.

Bom probal z 8 in 16 threadi


Prosim, da napišeš primer kako kopirati 1000 datotek, da se ohrani data in time stamp. S tem delom v konzoli nisem najbolj vešč.

Morda ve, kako V Win 10 nastaviti, da pri kopiranju ohrani originalni data in time stamp? Namreč exe in com file dobijo data in time stamp na datum kopiranja.

kixs ::

k4vz0024 je izjavil:

WizzardOfOZ je izjavil:

samo /mt pri robocopy nič ne dela. za /mt moraš napisat dodatni parameter, ki pove koliko threadov bi rad imel za kopiranje.

Bom probal z 8 in 16 threadi


Prosim, da napišeš primer kako kopirati 1000 datotek, da se ohrani data in time stamp. S tem delom v konzoli nisem najbolj vešč.

Morda ve, kako V Win 10 nastaviti, da pri kopiranju ohrani originalni data in time stamp? Namreč exe in com file dobijo data in time stamp na datum kopiranja.


Tole sigurno ne drzi. Vsi datumi datotek ostanejo originalni.

Preveri, ce ti kaksen antivirusni program tole spreminja.

k4vz0024 ::

Pri meni v Win 10 pri kopiranju z windows copy preimenuje datum stamp na dan ko kopiram in ne izvorni datum nastanka datotek. Obdrži pa za dokumente, pdf in jpg po datumu nastanka.

k4vz0024 je izjavil:

Pri meni v Win 10 pri kopiranju z windows copy preimenuje datum stamp na dan, ko kopiram in ne izvorni datum nastanka datotek. Obdrži pa za dokumente, pdf in jpg po datumu nastanka.


Isto z mapcami!

Tudi prijatelj ima enako težavo.

Zgodovina sprememb…

  • spremenil: k4vz0024 ()

k4vz0024 ::

S TerraCopy 2.6 sem kopiral mapo Thundrbird. Po primerjavi datotek manjkajo datoteke!

WizzardOfOZ ::

k4vz0024 je izjavil:

Prosim, da napišeš primer kako kopirati 1000 datotek, da se ohrani data in time stamp. S tem delom v konzoli nisem najbolj vešč.

Morda ve, kako V Win 10 nastaviti, da pri kopiranju ohrani originalni data in time stamp? Namreč exe in com file dobijo data in time stamp na datum kopiranja.



Kopiranje 1m datotek iz enega diska na drugega z robocopy (8 niti)

sam ukaz je tak:
robocopy D:\TEMP1\ C:\Temp\1\ *.* /MT[8] /NFL

/MT[8] - 8 niti
/NFL - ni izpisovanja datotek, katere kopira

c:\Temp>robocopy D:\TEMP1\ C:\Temp\1\ *.* /MT[8] /NFL

-------------------------------------------------------------------------------
   ROBOCOPY     ::     Robust File Copy for Windows
-------------------------------------------------------------------------------

 Started : nedelja, 17. december 2023 16:41:59
   Speed :           5.892.508 Bytes/sec.
   Ended : nedelja, 17. december 2023 16:45:15


c:\Temp>


128 niti (ne tega de4lat, če nimaš vsaj 32GB rama):

c:\Temp>robocopy D:\TEMP1\ C:\Temp\1\ *.* /MT[128] /NFL

-------------------------------------------------------------------------------
   ROBOCOPY     ::     Robust File Copy for Windows
-------------------------------------------------------------------------------

 Started : nedelja, 17. december 2023 16:52:58
   Speed :           6.640.426 Bytes/sec.
   Ended : nedelja, 17. december 2023 16:55:52


c:\Temp>


Vmes sem naredil trim diska, da ni nič ostalo v kešu in na disku.
Milčinski je napisal butalce kot prispodobo in ne kot priročnik!!!
Svuda u svijetu ima budala ali je izgleda kod nas centrala!!!

Zgodovina sprememb…

darkolord ::

Ne, tole z MT si narobe naredil, oglati oklepaji samo označujejo, da je tisti del opcijski. V takšni obliki, kot si napisal, je parameter ostal default (8 niti).

Samo "/MT" ali "/MT[sirniburek]" je 8 niti
Za 128 bi bilo npr. "/MT:128"

Zgodovina sprememb…

  • spremenilo: darkolord ()

WizzardOfOZ ::

Ja, moja napaka, 8 threadov je upotrabljalo obakrat. Samo drugič je kurilo veliko vel rama
Milčinski je napisal butalce kot prispodobo in ne kot priročnik!!!
Svuda u svijetu ima budala ali je izgleda kod nas centrala!!!

Zgodovina sprememb…

k4vz0024 ::

Pa robocopy verificira prenesene datoteke in ohrani originalni data and time stamp?

WizzardOfOZ ::

Meni vsako kopiranje ohrani originalni timestamp.
Milčinski je napisal butalce kot prispodobo in ne kot priročnik!!!
Svuda u svijetu ima budala ali je izgleda kod nas centrala!!!
«
1
2

Vredno ogleda ...

TemaSporočilaOglediZadnje sporočilo
TemaSporočilaOglediZadnje sporočilo
»

Neuspelo kopiranje s HDD na SSD

Oddelek: Pomoč in nasveti		61067 (638) boros
»

Backup na zunanji disk

Oddelek: Pomoč in nasveti		162033 (1453) Pero_SLO
»

Kako duplicirati podatke iz manjšega na večji disk, čim hitreje

Oddelek: Programska oprema		262474 (1922) k4vz0024
»

CHKDSK in Deleting index entry

Oddelek: Operacijski sistemi		221930 (1518) Hayabusa
»

Program za kopiranje map

Oddelek: Programska oprema		51688 (1629) jan01

Več podobnih tem