Effacement de fichiers sous Windows

[invité576543]

Bonjour,

En utilisant httrack, je me suis retrouvé avec un répertoire contenant des dizaines de milliers de fichiers au moins.

Quand je demande d'effacer ce répertoire, le processus prend des dizaines de minutes! Et cela consomme quelque chose comme 50% de charge de CPU.

Cela paraît aberrant qu'une fonction aussi simple prenne tant de temps et de CPU.

Y-a-t-il une explication à cela? Est-ce "normal" (i.e., normal pour la manière dont Microsoft code ses logiciels )? Y-a-t-il une fonction à désactiver pour améliorer les choses? Ou autre chose encore?

Cordialement,
-----

[Philou67]

Une idée au hasard : c'est l'anti-virus qui examine les milliers de fichiers avant la suppression ?

[invité576543]

Je viens de lancer un autre "batch" de suppression, antivirus inactivé, c'est pareil! Du moins, la différence n'est pas sensible.

Cordialement,

[Kilhian]

c'est normal
ce sont des tout petit fichiers et donc requiert plus d'acces disque et memoire
comparaison:
vous avez une maison de ministre (Albanel au choix pour la culture) de 800m² et d'autre part 40 apparts de 20m².
C'est plus rapide de contacter le proprio de la maison pour y recencer ses habitants que de faire du porte à porte pour les 40 apparts et recenser leurs habitants.
Sur le disque c'est pareil

[A voir en vidéo sur Futura]

[invité576543]

Normal? La machine fait des centaines de millions d'instructions par seconde et traite quelques dizaines de fichiers dans le même temps? Pour faire quoi? Juste introduire les secteurs libérés dans la liste des secteurs libres et virer l'entrée dans le répertoire?

(Sous Win98 ça allait autrement plus vite pour faire la même chose, avec un CPU bien moins puissant...)

Grand.

Cordialement,

[JPL]

Non : l'effacement classique sous Windows est un déplacement dans la corbeille, sauf si tu fais un del C:\....\*.* ou autre chose de ce genre.
Des dizaines de milliers de fichiers ? Tu as aspiré tout le site de Futura-Sciences ?

[Kilhian]

je vous propose un test:
copiez 100Mo de ces fichiers sur un clé usb, puis copiez un fichier de 100Mo sur cette meme clé, comparez le temps de copie a volume equivalent.
generer l'index prends du temps, de plus qu'en général, ces fichiers sont plus petit qu'un cluster de disque.

Un cluster pour faire court serait l'equivalent d'un pixel sur un ecran. c'est le plus petit espace disponible adressable.
un cluster=4Koctet
- si vos fichier font 2Ko, le 1er va occuper la moitié d'un cluster,le 2eme fichier sera sur le 2eme cluster,... vous perdez a chaque fois de la place.. ici 2ko
- si vos fichier font 5Ko le 1er va occuper le 1er cluster, et un quart du 2eme ...
vous perdez 3ko sur 8...
un index reference la position des fichiers sur le disque:
grololo.jpg est sur les clusters 0x48f1, 0x... car ca ne se suis pas toujours (fragmentation)
De plus, depuis nt4 et win2000, l'OS n'accede plus directement aux composants pour nous protéger des virus bios entre autre.. et sur vista vous verrez c'est encore plus long.
un processeur 3Giga Hertz effectue 3 milliards d'opération à la seconde... c'est enorme, mais pour faire la meme requete que win98, on bouffe plus de ressources aujourd'hui

[Kilhian]

donc requeter tout ces clusters et en fonction du fractionnement, ca prends du temps.

PS c'est vraimment casse c**ille de pas pouvoir éditer ses messages plus de 5 min apres le post

[invité576543]

Non : l'effacement classique sous Windows est un déplacement dans la corbeille, sauf si tu fais un del C:\....\*.* ou autre chose de ce genre.

Je demande la suppression (ctrl-suppr), ça ne passe pas par la corbeille.

Des dizaines de milliers de fichiers ? Tu as aspiré tout le site de Futura-Sciences ?

C'était un des batch! Pas le site, juste les forums. Je voudrais tous mes messages...

Cela n'a pas été au bout, trop lourd, et je ne trouve pas de méthode pour avoir un message exactement comme il a été édité.

Je cherche une autre approche.

Cordialement,

[invité576543]

copiez 100Mo de ces fichiers sur un clé usb, puis copiez un fichier de 100Mo sur cette meme clé, comparez le temps de copie a volume equivalent.

Je ne parle pas de copie, juste d'effacement pour libérer de la place sur le disque!

L'effacement n'a pas l'air significativement plus court qu'une copie, faut le faire...

Cordialement,

[invite765732342432]

Je demande la suppression (ctrl-suppr), ça ne passe pas par la corbeille.

Juste au cas où: c'est shift-suppr pour supprimer directement, il me semble

[invité576543]

Juste au cas où: c'est shift-suppr pour supprimer directement, il me semble

Ah oui, sous l'explorateur Windows...

Cordialement,

[Philou67]

Michel, tu disposes de quelle version de Windows ?
J'ai fabriqué de toute pièce une arborescence de 20x20x200 fichiers (80000 fichiers), contenant chacun 2048 octets (espace disque réel 4096 octets).
De même, j'ai construit un fichier de la taille équivalente de l'ensemble des fichiers (163*840*000 octets, même espace disque réel).
En supprimant avec l'explorateur (suppression physique), ça me prends :
- arborescence : 26 s
- fichier unique : < 1s
Le CPU est resté bas.

[invite770d9cfe]

Je me suis fait une routine qui écrit 300.000 fichiers (.ico donc petits) dans les dossiers suivants :
a) c:\test1 en vue d'une destruction directe du répertoire sous XP
b) c:\test2 en vue d'une destruction directe sous DOS (del *.*)
c) c:\test3 = c:\test1 mais antivirus neutralisé
c) c:\test4 = c:\test2 mais antivirus neutralisé

Les résultats sont les suivants :
a) 2' 20"
b) 4'10"
c) ~ identique à a)
d) ~ identique à b)

La seule conclusion que j'ai tirée, c'est qu'avec Antivir (Premium suite) actif, le temps d'effacement est sensiblement le même. Je me demande si le statut de ces fichiers ne serait pas à l'origine de cette lenteur.

[Philou67]

J'ai refait le même essai que précédemment, mais sur deux disques différents, l'un plein à 1%, l'autre à 50%.
On note une différence :
- disque à 3% : 2s pour préparer et 35s pour supprimer
- disque à 50% : 15s pour préparer et 45s pour supprimer

Je ne sais pas trop à quoi sert cette préparation : un écran qui s'affiche juste avant la popup qui demande confirmation de la suppression définitive.

Je vais tenter une autre expérience liée au remplissage du disque.

[JPL]

Intéressants, ces tests.

[invite770d9cfe]

Très intéressant !

[Philou67]

Je suis en train de remplir mon disque de 100Go... patience

[invite770d9cfe]

C'est bien, parce que c'est une manière efficace de ne plus permettre à un disque dur de "parler"
Amnésie assurée au niveau des FAT.

C'est bon, je sors !

[Philou67]

Je suis en NTFS.
Je constate lors du remplissage de mon disque dur avec des fichiers de 100Mo, que tous les nouveaux fichiers sont fragmentés (d'après le défragmenteur Windows).

[JPL]

Juste un détail pour Michel : es-tu en FAT32 ou en NTFS (je pense qu'il n'y a plus grand monde en FAT mais il vaut mieux poser une question idiote que de passer à côté d'un détail important).

[invité576543]

Les deux machines que je "nettoie" sont sous XP, disques en NTFS.

Cordialement,

[Philou67]

Avec quel taux d'occupation des disques ? Quel taux d'occupation de la RAM ?

Edit : c'est long de remplir 100Go ...

[Philou67]

Bon, j'ai rempli mon DD avec 100Go sur 105Go au total.
J'ai supprimé les 80000 fichiers et j'obtiens des résultats similaires à ceux obtenus lorsque le disque dur était presque vide.
Edit : en revanche, il est extrêmement fragmenté

[Philou67]

Autre piste : as-tu autorisé l'indexation du disque dur ?
J'avais constaté avec mon ancien PC que l'activation de cette fonction pouvait grever certains performances.
On remarquera que dans mon cas, cette option est activée... ce qui semble ne pas avoir d'impact majeur vu que mes temps sont acceptables.

[Philou67]

Humm... comment dire, je n'arrive plus à supprimer les fichiers de 100Mo que j'ai créés

[invité576543]

Avec quel taux d'occupation des disques ?

Presque saturé, c'est pour cela que je faisais de la place.

Quel taux d'occupation de la RAM ?

Ca c'est un point intéressant. Il était assez élevé, parce que je fais plusieurs choses (trop) à la fois. Mais pas assez pour swapper. (Actuellement sur l'une des deux machines, et c'est représentatif, j'ai 1.3 Go de charge dédiée, sur 2.6 Go physique, et 1.2 de libre. Le pic est indiqué à 2.5 Go, plus petit que la mémoire physique.)

Cordialement,

[invite770d9cfe]

Ca se précise !

[Philou67]

Dans mes derniers essais, j'étais à 4% d'espace libre pour le disque... sans noter de dégradation majeure du temps de suppression.

Ce qui m'intrigue, c'est ton CPU à 50%... tu as un double core ? Si oui, cela signifie probablement qu'un des core travaillait à 100%... des attentes bloquantes sur le DD ???
Etrange.

[invité576543]

Ce qui m'intrigue, c'est ton CPU à 50%... tu as un double core ?

Ce qui m'ennuie, c'est que je constate la même chose sur mes deux PC, le fixe et le portable. Or ils ont des configs assez différentes, ce qui est pourquoi je cherche autre chose qu'une particularité physique.

Le fixe est un Pentium 4, 3GHz. Le portable un Athlon double core.

Cordialement,