un blog de Radu Dumitru

asus s5507

►► canalele mele de YouTube: youtube.com/RaduDumitru (personal) și youtube.com/NwraduBlog (tech) ◄◄

asus s5507

Cum am transferat foarte rapid 500.000 de fișiere foarte mici

3 Jul 2024  ·

TEHNOLOGIE  ·

12 comentarii

Făceam un backup la un folder foarte mare: cam 20 GB în 10 foldere separate, în total aproximativ 500.000 de fișiere. Îl transferam din PC într-un stick extern făcut de mine, practic un SSD NVMe M.2 rapid pus într-un rack extern tip stick.

Iese o medie de aproximativ 40 kB per fișier. Dacă mai țineți minte din testele mele de SSD-uri, aceasta este situația cea mai defavorabilă pentru un SSD. Sunt atât de multe fișiere încât controllerul unității nu face față să gestioneze un număr atât de mare, cache-ul se umple rapid, paralelismul de transfer este sufocat și viteza este foarte mică.

Dacă aș fi transferat un singur fișier de 20 GB, aș fi făcut-o probabil cu 300-500 MB/s. Cele 500.000 de fișiere erau însă transferate atât de lent încât estimarea din Windows varia între 30 și 60 de minute. Ain’t nobody got time for that.

Trucul simplu pentru un transfer în 2 minute a fost următorul:

  1. am arhivat fiecare folder din cele 10 pe compresie Store, adică fără compresie, ca să nu dureze mult, ci pur și simplu mută toate fișierele dinăuntru într-o arhivă .zip
  2. am copiat arhiva zip pe stick.

Arhivarea se face imediat, vreo 10-15 secunde pentru fiecare folder. Și am făcut-o în paralel pe mai multe. Am WinRAR instalat, click dreapta pe folder, add to archive…, aleg Store și formatul zip pentru compatibilitate deplină. În timp ce un folder se arhivează, deja repet operațiunea pe următorul. Făceam cam 3-4 în paralel.

Copierea este, de asemenea, imediată. După ce am avut toate arhivele, le-am dat copy la grămadă și în câteva secunde s-au transferat prin USB, comparat cu minim 30 de minute.

Un backup în format zip este la fel de bun pentru mine. Dacă am nevoie de vreun fișier din arhivă, o voi dezarhiva atunci cu totul. Cel mai probabil, de fapt, voi intra direct în ea și voi dezarhiva doar fișierul de care am nevoie.

Am testat însă dezarhivarea unui folder și a durat cam un minut. Așa că, inclusiv dacă ar fi fost nevoie să dezarhivez chiar pe stickul USB respectivele arhive, tot ar fi fost o economie 2x sau 3x de timp.

 

Nu-i prima oară când folosesc un astfel de truc. În anumite situații, este mult mai rapid să arhivezi fără compresie, să transferi și să dezarhivezi apoi la destinație.

Este un truc bun de reținut pentru tot felul de situații cu foarte multe fișiere mici. De exemplu, poate faci un backup total sau un upgrade unității sistemului de operare și întâi o “clonezi” manual pe noua stocare.

Rack-uri pentru M.2 NVMe:

  • eu am două astfel de unități, cumpărate cu vreo 80 de lei fiecare acum un an, și funcționează foarte bine, chiar sunt de sute de MB/s. Problema este că nu le-am mai văzut de mult în stoc, sunt no-name, și chiar dacă găsiți în piață unele cu exact aceeași carcasă, nu este o garanției a calității lor.
  • o alternativă bună sunt cele Orico, care este un brand cunoscut în toată lumea. Dacă cele cumpărate de mine n-ar fi confirmat în teste, le returnam și luam astfel de unități Orico. Poate chiar cumpăr unul pentru un review într-un articol scurt.

Am montat în ele niște SSD-uri M.2 mai vechi. Folosesc cablul USB livrat cu ele.

asus s5507

    12 comentarii

  1. Am lucrat ceva ani in domeniu și nu am dat peste Orico în vreo capacitate profesională, nu erau pe piața din România. I-am vazut pe Amazon.de, pe langa multi altii, evident.

    Daca ai de schimbat un SSD PCI-E intr-un laptop, e complicat de clonat sistemul de operare, dar un rack extern care-ti suporta vechiul SSD iti face viata mai usoara.

      (Citează)

  2. Macar de ar implementa winrar ceva de genul, “put each files into separate archive”, sa nu mai dai atatea clickuri.

    edit, de 3 ori am incercat sa postez in root, nu reply + inchis tab, refresh, tot reply a dat. asta e.

      (Citează)

    • WinRAR are această opțiune de foarte mult timp. În tab-ul Files, secțiunea de jos există bifa “Put each file to separate archive”.

        (Citează)

    • Salut, în WinRar e de destul de multă opțiunea asta:
      https://imgur.com/a/Se5DdDm

      Sunt două opțiuni mari:
      a. Selectezi mai multe foldere și bifezi prima opțiunea din imagine (#1), dacă vrei fiecare folder într-o singură arhivă;
      b. Dacă ai un folder cu subfoldere, poate să îți facă arhive și la subfoldere, cu opțiunea #2.

        (Citează)

    • Salut, în WinRar e de destul de multă opțiunea asta.

      Când adaugi vezi că ai un tab “Files”.

      Sunt două opțiuni mari:
      a. Selectezi mai multe foldere și bifezi prima opțiune (Put each file to separate archive), dacă vrei fiecare folder într-o singură arhivă;
      b. Dacă ai un folder cu subfoldere, poate să îți facă arhive și la subfoldere, cu opțiunea “Create separate archives in subfolders”.

      Am pus un link cu o imagine, dar comentariul e în pending, așa că îl mai trimit o dată.

        (Citează)

    • “de ar implementa winrar ceva”
      La cat de multi oameni cumpara winrar, ma mir ca mai exista

        (Citează)

    • Eram sarcastic, are optiunea aia probabil de la lansare. Si eu sunt unul din dobitocii care au licenta de winrar. Si total commander.

        (Citează)

    • Al 2-lea. Pentru ambele.

        (Citează)

  3. E bună ideea dacă ai spațiu pentru fișiere. Încă am un stick foarte bun cu doar 64 GB și am ajuns destul de des în situația de a nu avea spațiu pe el (mai am pe stick fișiere care stau acolo permanent).

    De ce ai vrea să arhivezi fiecare fișier în director separat? Practic trucul e folosit când vrei să transferi multe fișiere mici. Pentru asta există scripturi (să muți fiecare fișier într-un director propriu).

      (Citează)

  4. Eu vreau un NAS cu SSD-uri SATA si RAID la un pret bun.
    HDD-urile clasice din nas ma sperie mai mult ca SSD-urile dpdv fiabiliate.

      (Citează)

  5. Serj K:
    Eu vreau un NAS cu SSD-uri SATA si RAID la un pret bun.
    HDD-urile clasice din nas ma sperie mai mult ca SSD-urile dpdv fiabiliate.

    Nu te opreste nimic sa iei un Synology si sa bagi SSD-uri. Problema nu e NAS-ul cat e capacitatea SSD-urilor care e inca mica. Ca sa faci un sistem cu cateva SSD-uri de 8tb iti vinzi un rinichi. Asa ca iei un NAS cu cache pe NVME, bagi 1-2tb la cache si pui HHD-urile clasice de NAS (WD Red).

      (Citează)

    Alătură-te discuției, lasă un mesaj

    E-mail-ul nu va fi publicat. Fără înjurături și cuvinte grele, că vorbim prietenește aici. Gândiți-vă de două ori înainte de a publica. Nu o luați pe arătură doar pentru că aveți un monitor în față și nu o persoană reală.

    Apăsați pe Citează pentru a cita întreg comentariul cuiva sau selectați întâi anumite cuvinte și apăsați apoi pe Citează pentru a le prelua doar pe acelea. Link-urile către alte site-uri, dar care au legătură cu subiectul discuției, sunt ok.


    Prin trimiterea comentariului acceptați politica de confidențialitate a site-ului.



    Vreți un avatar în comentarii? Mergeți pe gravatar.com (un serviciu Wordpress) și asociați o imagine cu adresa de email cu care comentați.

    Dacă ați bifat să fiți anunțați prin email de noi comentarii sau posturi, veți primi inițial un email de confirmare. Dacă nu validați acolo alegerea, nu se va activa sistemul și după un timp nu veți mai primi nici alte emailuri

    Comentariile nu se pot edita ulterior, așa că verificați ce ați scris. Dacă vreți să mai adăugați ceva, lăsați un nou comentariu.

sus