Chute de vitesse lors de transferts entre disques durs?

[yambu]

alors je transfert des données d'un disque dur à un autre au début la vitesse et de environ 900/Mo par seconde
mais au fil du transfert cette vitesse tombe jusqu'à 100/Mo voir moins, je sais pas pourquoi ?

-----

[jiherve]

Bonjour
il y a plein de raisons possible pour çà : l'outil de transfert n'est peut être pas optimal, d'autres taches peuvent interferer ,les caches se remplissent, la gestion des allocations n'est pas gratuite et les disques doivent aussi chauffer donc il y a peut être des mesures d’économie d’énergie qui sont prises.
Ce type de probleme, sauf bug criant, ne peut s'investiguer qu'à l'analyseur logique.
JR

[yambu]

L'outil de transfert ? quel outil ?
disques doivent aussi chauffer > non
économie d’énergie > j'ai paramétré pour l'utilisation "meilleurs performances" j'ai un ssd > vers un Disque dur 7200tr/m

caches se remplissent > c'est ce que j'ai penser, mais comment verifier cela ?

[jiherve]

re
l'outil de transfert c'est "explorer" sur un PC .
Ensuite cela dépend aussi de la disponibilité de secteurs libres contigus car si la cible est déjà bien fragmentée cela ralentira forcement le processus, car plus de déplacement de tête plus d'entrées dans la FAT.
Pour les caches c'est très difficile!
JR

[A voir en vidéo sur Futura]

[alderick]

Bonjour,

j'ai un ssd > vers un Disque dur 7200tr/m

Tout est dit, un HDD est lent par nature, et 100Mo/s c'est déjà très bien.

[umfred]

Quand il y a plein de petits fichiers aussi ça ralentit, il faut créer les entrées des fichiers à chaque fois

[Flyingbike]

Quand il y a plein de petits fichiers aussi ça ralentit, il faut créer les entrées des fichiers à chaque fois

+1

selon l'ordre de copie, si les petits fichiers sont copiés à la fin, la vitesse se casse la gueule.

Il peut même être parfois plus rentable de créer un zip avant de transférer.

[yambu]

@jiherve
"cela dépend aussi de la disponibilité de secteurs libres contigus car si la cible est déjà bien fragmentée cela ralentira forcement le processus"

je Transfer vers un disque dur formater GPT donc pas de fragments, après reste le disque qui envois la c'est possible qu'il y ai des fragments ? défragmentation à voir ?


au fil du Transfer au début il y a toujours un bon débit puis la vitesse se casse la gueule. essayer avec plusieurs disques c'est pareil...
il dois bien y avoir des site ou ils on fait les test de débits des différents model de disque dur , faut que je recherche ça !

merci pour les autres commentaires

[micapivi]

Bonjour

Le débit dépend de beaucoup de choses : d'abord les données lues sont transférées dans des tampons DMA, ensuite, ces tampons sont "vidés" dans la cible en fonction de ses disponibilités.

D'un côté, il y a le débit que le périphérique sur lequel sont lues les données source peut fournir, et d'un autre côté, il y a le débit que la cible permettra en écriture.

Le débit en écriture peut aussi être limité par le type de système de fichiers utilisé et par le nombre de fichier à créer sur la cible :
Un seul gros fichier d'une taille de 4Gio sera plus vite copié qu'un groupe de 1024 fichiers de 4Mio

Que ce soit sur Linux ou windows, le débit affiché ne correspond pas à la réalité : le plus souvent, c'est la quantité de données envoyée dans les tampons DMA qui est affichée.

======
Sous Linux, pour avoir une information vraiment fiable, je fais s'afficher "en live" la quantité d'octets effectivement écrite sur le périphérique cible (par exemple : /dev/sdb)
en lançant la ligne de commandes suivante :

 watch -tn.2 "awk -v mavar=\"sdb \" '\$0 ~ mavar {print \"Écrits sur /dev/\"mavar\" : \"  (\$10 / 2048)\" MiB\"}' /proc/diskstats"

Mais sous windows, je ne sais pas du tout où trouver une information aussi fiable.

[Garion]

Tout est dit, un HDD est lent par nature, et 100Mo/s c'est déjà très bien.

C'est exactement ça.
100 Mo/s, c'est normal pour un disque dur.
Les 900 Mo au début est du au cache en écriture : les données lues sont stockés en mémoire vive pour pouvoir être écrites en différé. Dés que ce cache est plein, on retombe dans le débit maximal du HDD.

[yambu]

Daccord c'est plus clair, "tampons DMA qui est affichée."

"débit que le périphérique" je ne pense pas que cela vienne de la car les deux disques ont des vitesses de Transfer de 6Gb/S c'est indiquer dessus.

donc comme disais umfred "Quand il y a plein de petits fichiers aussi ça ralentit, il faut créer les entrées des fichiers à chaque fois"
cela doit être cela car j'ai de très nombreux fichiers presque 10.000

[JPL]

je Transfer vers un disque dur formater GPT donc pas de fragments

GPT gère uniquement la table des partitions. Le formatage proprement dit du disque est fait pas l’OS (Windows, je suppose) et c’est la nature de ce formatage (Fat 32, exFAT, NTFS) qui gère plus ou moins bien la fragmentation.

[Garion]

"débit que le périphérique" je ne pense pas que cela vienne de la car les deux disques ont des vitesses de Transfer de 6Gb/S c'est indiquer dessus.

Les 6Gb/S, c'est la vitesse du bus (tuyau) entre le disque et le processeur/RAM, en réalité, sur un HDD, on est limité par le disque, pas par le bus.

[yambu]

Ok, donc rien avoir, je me demandais bien c'était quoi cette vitesse ! sur les disque dur.

mais avec seulement 100 Mo/s je vais mettre des plombes pour transférer mon disque de 4 To ! 11H
utilitaire CALCULEZ LE TEMPS DE TRANSFERT DE VOS DONNÉES.

[alderick]

En même temps ça fait 4 jours que vous savez qu'un HDD peut pas aller au delà de 100mo/s, donc au lieu de perdre votre temps et le le notre, si vous aviez lancé le transfert, ça serait fini depuis longtemps.

[micapivi]

Je n'en ai pas parlé parce que ça me semblait évident,
mais comparée à ce que l'on pourrait obtenir si un ou les deux disques sont connectés par un port USB,
la vitesse de transfert sera bien sûr très nettement meilleure si les deux disques sont connectés directement sur des ports SATA de la même machine.

[yambu]

@alderick
en general je ne répond pas a votre genre !
Déjà, ça fait peut être 4 jours, mais je n'ai pas qu'un disque dur a transférer j'en ai au moins 5 et de grosse capacités 10T° / 8T° / 4 T°
Mais, après si je vous fait perdre votre temps, allez a la pêche a la mouche.

[micapivi]

Comme je l'écrivais dans mon précédent message, ce qui peut aussi bien réduire le temps de transfert, c'est le type de système de fichiers
mais ça dépend aussi, en plus de ce qui a déjà été dit, de l'état de fragmentation dans lequel sont les fichiers qu'il contiendrait.

Pour régler ce problème, je ne transfère pas des fichiers, mais carrément la partition qui contient le système de fichiers,
de cette façon, quelque soit le type de système de fichiers contenu (et son état de fragmentation) dans la partition, il n'y aura de fait qu'un seul fichier à créer sur le disque cible : la partition
et du coup, j'économise tout le temps que perdrait le système à ouvrir chacun des fichiers sur le système de fichiers source et à créer chacun des fichiers sur le système de fichiers cible.

Bien sûr, avant de transmettre la partition, avec Gparted, (si le système de fichiers est utilisé pour le système Windows, je désactive le démarrage rapide de Windows, sinon, je ne pourrais pas en réduire la taille)
ensuite, si nécessaire, je réduis la taille de la partition source à sa taille minimum possible (mais je laisse quand même quelques Gio de libres en plus),
bien sûr, je m'arrange aussi pour que le système de fichiers contenu dans la partition source ne soit pas en cours d'utilisation.

Une fois la copie de la partition terminée, avant d'utiliser (monter) le système de fichiers contenu dans la copie,
j'agrandis toujours un peu (de quelques giga octets) la partition copiée et son système de fichiers.

J'obtiens en général, un débit soutenu d'environ 200MB entre deux SSD même avec un des deux disques connecté par USB.

=======
Sur mon ThinkPad T450 équipé d'un Intel(R) Core(TM) i5-5300U et avec de 8GB de RAM
le disque source (interne) est un Samsung Samsung SSD 870 QVO 1TB
et le disque cible connecté par USB est un Samsung SSD 870 EVO de 1TB

Voici le rapport de la commande GParted que je viens d'utiliser
pour faire en 9 minutes et 23 secondes une copie d'une partition de 124,40 Gio
contenant un système de fichiers de type NTFS dans lequel 122,36 Gio étaient utilisées => 2.03 Gio de libres

GParted 1.2.0

configuration --enable-libparted-dmraid --enable-online-resize

libparted 3.4

========================================
Périphérique :        /dev/sda
Modèle :              ATA Samsung SSD 870
Numéro de série :
Taille de secteur :   512
Secteurs totaux :     1953525168

Têtes :               255
Secteurs/pistes :     2
Cylindres :           3830441
 
Table de partitions : msdos
 
Partition   Type          Début         Fin  Drapeaux  Nom de la partition  Système de fichiers  Étiquette      Point de montage
/dev/sda1   Primaire       2048      206847                                 inconnu
/dev/sda2   Primaire     206848   261089279  boot                           ntfs
/dev/sda3   Primaire  261089280   262303743  msftres                        ntfs
/dev/sda4   Étendue   262303744  1953505279                                 extended
/dev/sda5   Logique   262305792   300050431                                 ext4                  deb
/dev/sda6   Logique   300052480   350392319                                 ext4                  deb1156       /  
/dev/sda7   Logique   350394368   397199359                                 ext4                  dataLinux  
/dev/sda8   Logique   397201408   494497791                                 ext4                  DataMic
/dev/sda9   Logique   494499840   544839679                                 ext4                  deb115
/dev/sda10  Logique   607385600   620285951                                 linux-swap
/dev/sda11  Logique   620285954  1953505279  lvm                            lvm2 pv               mongroupelvm  

========================================
Périphérique :         /dev/sdb
Modèle :               Samsung SSD 870 EVO
Numéro de série :
Taille de secteur :    512
Secteurs totaux :      1953525164
 
Têtes :                255
Secteurs/pistes :      2
Cylindres :            3830441
 
Table de partitions :  msdos
 
Partition  Type           Début         Fin  Drapeaux  Nom de la partition  Système de fichiers  Étiquette  Point de montage
/dev/sdb3  Primaire        2048    20926463                                 ntfs                 maNTFS  
/dev/sdb1  Primaire   147359744   171984895                                 ext4                 deb114xyzA  
/dev/sdb2  Primaire   171984896   196610047                                 ext4                 deb114xyz  
/dev/sdb4  Étendue    196610048  1953523711  boot                           extended    
/dev/sdb5  Logique    196612096   228790271                                 linux-swap    
/dev/sdb6  Logique    228792320   253417471                                 ext4                 deb114xy  
/dev/sdb7  Logique    253419520   292833279                                 ext4                 copieSauv_19G  
/dev/sdb8  Logique    292835328   343175167                                 ext4                 deb114x  
/dev/sdb9  Logique    724664320  1953523711  lvm                            lvm2 pv    

========================================
Copier /dev/sda2 vers /dev/sdb (début à 163.64 Gio)  00:09:29    ( SUCCÈS )
       
calibrer /dev/sda2  00:00:01    ( SUCCÈS )
       
chemin :    /dev/sda2 (partition)
début :        206848
fin :       261089279
taille :    260882432 (124.40 Gio)
vérifier le système de fichiers sur /dev/sda2 et corriger les problèmes (si possible)  00:00:04    ( SUCCÈS )
       
ntfsresize -i -f -v '/dev/sda2'  00:00:04    ( SUCCÈS )
       
ntfsresize v2017.3.23AR.3 (libntfs-3g)
Device name :          /dev/sda2
NTFS volume version:   3.1
Cluster size :         4096 bytes
Current volume size:   133571801600 bytes (133572 MB)
Current device size:   133571805184 bytes (133572 MB)
Checking for bad sectors ...
Checking filesystem consistency ...
100.00 percent completed
Accounting clusters ...
Space in use : 131387 MB (98,4%)
Collecting resizing constraints ...
Estimating smallest shrunken size supported ...
File feature Last used at By inode
Multi-Record : 133572 MB 175
$MFTMirr :          1 MB 1
Compressed :    39595 MB 301739
Sparse :        38821 MB 38322
Ordinary :     129353 MB 172
You might resize at 131386773504 bytes or 131387 MB (freeing 2185 MB).
Please make a test run using both the -n and -s options before real resizing!
créer une partition vide  00:00:00    ( SUCCÈS )
       
chemin : /dev/sdb10 (partition)
début :  343177216
fin :    604059647
taille : 260882432 (124.40 Gio)
définir le type de partition sur /dev/sdb10  00:00:01    ( SUCCÈS )
       
nouveau type de partition : ntfs
copier le système de fichiers de /dev/sda2 vers /dev/sdb10  00:09:23    ( SUCCÈS )
       
ntfsclone -f --overwrite '/dev/sdb10' '/dev/sda2'  00:09:23    ( SUCCÈS )
       
NTFS volume version:   3.1
Cluster size :         4096 bytes
Current volume size:   133571801088 bytes (133572 MB)
Current device size:   133571805184 bytes (133572 MB)
Scanning volume ...
100.00 percent completed
Accounting clusters ...
Space in use : 131387 MB (98,4%)
Cloning NTFS ...
100.00 percent completed
Syncing ...
ntfsclone v2017.3.23AR.3 (libntfs-3g)
mise à jour du secteur de démarrage du système de fichiers ntfs sur /dev/sdb10  00:00:00    ( SUCCÈS )

=======
Je n'ai malheureusement pas de machine sous la main sur laquelle je pourrais faire le même test en ayant connecté chacun de ces deux disques par un port SATA,
mais je suis sûr que cette copie serait encore plus rapidement faite.

Sur pratiquement toutes les machines, on peux démarrer en mode Live un système Linux (par exemple une clef USB préparée pour installer un système Ubuntu)
de façon à pouvoir utiliser GParted comme je viens de le faire, sans rien modifier sur le système Windows (ou autre) qui serait déjà installé sur la machine <=> et il n'y aurait rien à installer sur la machine.

[micapivi]

Désolé pour l'erreur de frappe :
ce n'est pas en 9 minutes et 23 secondes
mais en 9 minutes et 29 secondes

[patrick78140]

Désolé pour l'erreur de frappe :
ce n'est pas en 9 minutes et 23 secondes
mais en 9 minutes et 29 secondes

Je me disais aussi ...!

[yambu]

c'est intéressant cette solution, Gparted + installer un système Ubuntu
mais, c'est trop compliquer pour moi.
pourquoi ne pas faire une vidéo tutto sur youtube cela serait plus démonstratif.
cela pourrais aider d'autres personnes comme moi.

[djaro]

Bonjour
La première chose importante dans le cas d’un transfert de gros volume c’est de se déconnecter d’internet
Desactiver Wifi
Desactiver l’antivirus
Desactiver toutes les protections Windows defender qui évitera l’analyse en temps réel des fichiers copiés
Désactiver dans MS config tous les programmes inutiles qui fonctionnent en tache de fond

Et pour finir comme tout le monde le sait y compris vous usb3 étant a privilégier
Et pourquoi pas en association avec Ultracopier https://www.malekal.com/ultracopier-...s-sur-windows/

N’allez pas sortir la calculette pour mesurer tel ou tel chose sur un pc entretenu de toute façon
Ce qui doit etre fait il faut le faire
Et commencer le transfert pendant une pause café en plus c’est le mondial
ça c’est ma méthode maintenant si d’autres ont des solutions a sortir d’un chapeau en compagnie des pigeons c’est toujours bienvenu

[micapivi]

… c'est intéressant cette solution, Gparted + installer un système Ubuntu …>

Non : il n'est PAS du tout question d'installer Ubuntu ni quoi que ce soit sur la machine,
mais seulement d'utiliser le disque d'installation d'ubuntu qui permet d'utiliser Ubuntu en mode Live

=======
Après avoir démarré sur la clef USB d'installation Ubuntu, il faut choisir le langage Français (un premier click de souris) et cliquer sur le bouton Essayer Ubuntu au lieu de cliquer sur le bouton Installer (c'est le deuxième click de souris).
Un système Ubuntu va alors se charger en RAM et démarrer <=> sans rien installer sur les disques de la machine ni qu'aucun système qui serait installé sur les disques de la machine ne soit modifié ou utilisé.

Le système Windows ne sera pas utilisé => pas besoin de désactiver le Wifi, ni l'Antivirus, ni les protections windows defender ni quoi que ce soit d'autre sur le système Windows puisqu'il ne sera pas démarré.

Jusque là, il n'aura suffit que de démarrer la machine avec une clef USB préparée pour installer Ubuntu (<=> qui permet aussi de démarrer le système Live Ubuntu en mode Live)
et de faire 2 clics de souris, ce qui ne me semble quand même pas très compliqué à faire.

Comme le WiFi sera utilisable et que Firefox sera utilisable, tu pourras même revenir contacter ce forum ou autres pour avoir des conseils

=======
Ensuite, depuis le système Ubuntu qui sera démarré en mode Live (<=> sans être installé sur la machine)
il suffira de démarrer GParted et de lancer la copie, C'est tout.

Une fois la copie terminée, on pourra simplement redémarrer la machine : absolument rien n'aura été modifié sur le système Windows ou autres systèmes qui étaient installés sur la machine.

[micapivi]

Comme, depuis le système Ubuntu lancé en mode Live, le WiFi sera utilisable et que Firefox sera utilisable,
tu pourras même revenir contacter ce forum ou autres pour avoir des conseils (en Live) concernant l'utilisation de GParted.

[micapivi]

Correction :

… mais seulement d'utiliser le disque d'installation d'ubuntu qui permet d'utiliser Ubuntu en mode Live …

à remplacer par :

… mais seulement d'utiliser la clef USB d'installation d'ubuntu qui permet de lancer et utiliser un système Ubuntu en mode Live …

[micapivi]

Trouve quelqu'un qui utilise Linux (je ne sais pas où tu es, mais il y a un peu partout des GUL que tu pourras contacter)
demande lui de te préparer une clef USB pour démarrer ta machine en mode live Ubuntu
et de te montrer comment démarrer ta machine avec cette clef et comment utiliser GParted pour ce que tu veux faire.

Si tu as un pc portable + une clef USB de 8GB et que tu apportes tout ça au RDV,
ça ne devrait même pas prendre plus d'une heure, préparation de la clef Ubuntu comprise.

[Laboum]

Bonsoir micapivi,
Je me permet de m’incruster, car j’ai encore beaucoup a apprendre.

Bien sûr, avant de transmettre la partition, avec Gparted, (si le système de fichiers est utilisé pour le système Windows, je désactive le démarrage rapide de Windows, sinon, je ne pourrais pas en réduire la taille)

Là je ne comprend pas ! car l’OS résident n’est pas en activité, lorsque l’on démarre par un live CD ou Clé USB live !

je réduis la taille de la partition source à sa taille minimum possible (mais je laisse quand même quelques Gio de libres en plus)

Ok avec Gparted, pour éventuellement cloner sur un SSD ( cible ) plus petit que la source.

je m'arrange aussi pour que le système de fichiers contenu dans la partition source ne soit pas en cours d'utilisation

Même remarque !

Une fois la copie de la partition terminée, avant d'utiliser (monter) le système de fichiers contenu dans la copie,
j'agrandis toujours un peu (de quelques giga octets) la partition copiée et son système de fichiers

Donc avant d’utiliser le contenu de la partition, tu agrandis celle-ci avec Gparted n’est-ce pas ?
Tu es un virtuose de la ligne de commande sous Linux
Grace a toi je viens de découvrir, que l’on pouvait cloner une partition avec Gparted, alors que j’utilise Clonezilla

Merci d'avoir la gentillesse de me confirmer ou d’infirmer mes doutes.

[micapivi]

Bonjour

Sur un système windows qui utilise le mode démarrage rapide, quand on clique sur le bouton Arrêter pour pouvoir éteindre sa machine,
les systèmes de fichiers qui étaient utilisés par ce système windows ne sont pas laissés dans un état "stable".

Et si ensuite on essaye de monter un de ces systèmes de fichiers depuis un système d'exploitation autre que windows,
on se retrouve avec un système de fichiers sur lequel il sera impossible de créer de nouveau fichier ou de modifier les fichiers existants
car le système de fichiers aura été monté en mode lecture seule => ro (Read Only) au lieu de rw (Read/Write)

On s'en rend compte, par exemple, quand on essaye ensuite d'utiliser un disque externe ou une clef USB
qui n'aurait pas été éjecté logiciellement depuis le système Windows avant l'arrêt du système windows.

Donc, quand un système de fichiers est dans un tel état, il vaut mieux ne pas prendre le risque de le modifier depuis un autre système que windows.

Par contre, si on clique sur le bouton Redémarrer (au lieu de Arrêter),
les systèmes de fichiers que windows était en train d'utiliser seront dans un état stable.

On peut aussi désactiver le mode Démarrage Rapide de Windows

=======
Il arrive parfois, sur certains système Linux, que l'environnement de Bureau ait été configuré pour monter automatiquement
les systèmes de fichiers qui sont sur les périphériques amovibles (par exemple : une clef USB ou un disque dur qui serait dans boîtier USB)
et ce, dès que la clef USB ou le disque externe USB sera connecté à la machine.
Mais avant de lancer une copie d'une partition ou d'un disque, il vaux mieux démonter tous les systèmes de fichiers concernés.

[micapivi]

Pas eu le temps de reformuler la ligne suivante :
… Il arrive parfois, sur certains système Linux, que l'environnement de Bureau ait été configuré pour monter automatiquement…

que j'aurais aimé remplacer par :
… Il arrive parfois, sur certains système Linux, que depuis l'environnement de Bureau (ou autre) ce système Linux ait été configuré pour monter automatiquement…

[JPL]

Sur un système windows qui utilise le mode démarrage rapide, quand on clique sur le bouton Arrêter pour pouvoir éteindre sa machine,
les systèmes de fichiers qui étaient utilisés par ce système windows ne sont pas laissés dans un état "stable".

Il y a une ambiguïté dans ta phrase. Ce qu’il faut pas faire c’est*arrêter de façon sauvage en faisant un arrêt électrique avec le bouton du clavier ou de la tour pour un ordinateur fixe ; mais il n’y a aucun problème si l’on passe par l’option Arrêter du menu de Windows parce qu’il referme tout de façon propre avant d’arrêter électriquement l’ordinateur.