Numérisation, archivage et conservation...

[ecolami]

Bonjour,
Il s'agit de discuter de l'archivage, de la numérisation qui est pratiqué massivement pour toutes les données autrefois stockées sur papier ou microfilm.
Un travail considérable de numérisation de livres a été entrepris depuis plusieurs années.
A la différence de livres, des supports papier ou microfilm toutes les techniques numériques emploient des supports qui ne sont exploitables qu'avec le lecteur adapté.
Donc AVANT il était possible a un lecteur humain de lire des documents anciens (avec plus ou moins de facilité). AUJOURD'HUI toute l'information numérisée n'est accessible qu'avec des lecteurs électroniques spécifiques.
Nous savons bien que les techniques numériques changent en permanence et le gros problème pour les Conservateurs (de Musée, de bibliothèque) sera de conserver sur des trés longues durées des équipements de lecture. Il s'agit de conserver pour des siècles, en effet il parait peu probable que TOUTE l'information numérisée soit transférée vers de nouveaux supports lors de grands changement technique.
L'autre problème est la permanence de l'information sur les supports. Nous avons employé parfois des techniques de stockage n'assurant pas une bonne conservation, certains supports peuvent être altérés sans qu'on y touche en ayant reçu par exemple, certaines ondes électromagnétique, bref il existe des causes d'altération pour pratiquement chaque support.

En termes de conservation très longue durée il apparait nécessaire de conserver avec le même soin les supports et les lecteurs.
Je ne sais pas si c'est déjà une préoccupation?
Prenons l'exemple du CD Audio ou donnée: ce support est employé depuis longtemps et nous avons ce qu'il faut pour les lire. Maintenant imaginons avoir cet objet entre les mains et aucune information sur son usage et sur ce qu'il contient. Il faudra découvrir le système de codage sur le disque PUIS établir la nature des informations stockées (musique, données informatique) et pour finir le langage employé. Cet exemple pour montrer l'incroyable complexité juste parce qu'on aurait pas le lecteur adapté. comparé a un disque microsillon c'est bien plus compliqué.
Un peu de fiction...
Imaginons une guerre dans le futur ou les destructions seraient massives (plus le temps passe et plus nous avons les moyens de réussir des destructions massives) on pourrait arriver a une situation ou tout le savoir numérisé serait perdu et ou il ne resterait que les supports traditionnels qui soient encore exploitables. Ce qui se traduirait par une régression...
-----

[invite82078308]

Il faut cependant noter que toute information, sur n’importe quel support numérique, peut être recopiée à l'identique sur n'importe quel autre support numérique.
Il suffit de recopier avant que l'information soit dégradée. Pour plus de sécurité, stocker des copies sur différents sites.
La difficulté peut venir des formats de données qui peuvent être oubliés. Cela existait avant le numérique: l'ancienne langue crétoise notée dans l'écriture linéaire A, n'a pas pu être déchiffrée, bien que des inscriptions ont été retrouvées.
Il faut toutefois que ces opérations de recopie régulière soient assurées au fil du temps et qu'il reste une technologie de stockage à grande échelle des données numériques.
La question des droits d'auteurs ( copyright en anglais) peut entraver la préservation des informations par les institutions chargées de les conserver.
Le temps qu'elles tombent dans le domaine public pour qu'on puisse les recopier , elles risquent d'être inexploitables.
Enfin une difficulté est dans l'augmentation exponentielle des données. A l'époque du CD-ROM, on avait édité sur un simple CD tous les textes subsistant de la Grèce antique. Je vous laisse comparer avec les volumes de données produits aujourd'hui quotidiennement.
La capacité des unités de stockage croit également exponentiellement, mais il ne sert à rien d'avoir des données si on ne sait pas les exploiter.
Il faut les indexer, faire une sélection ...
Qui va s'en charger ? Des hommes, des algorithmes ?

[abracadabra75]

Il suffit de recopier avant que l'information soit dégradée.
...
Qui va s'en charger ? Des hommes, des algorithmes ?

Bonjour.

Le Grand Yaka.
Si ce sont des archives publiques, yaka prendre plus de fonctionnaires, plus de lieux de stockage, et surtout plus de zorros.
Quand on constate le retard pris par les divers acteurs de ce domaine, ce n'est pas demain la veille que la situation sera, comment dire?, bonne.
Si ce sont des archives privées, cela suppose là aussi une organisation et surtout un coût que les entreprises ne peuvent (cela peut prendre des sommes au détriment de l'investissement, sans parler des petites entreprises vivant au jour le jour) ni ne veulent payer au nom de la rentabilité.
Et aussi: quid des droits d'accès? L'ancien support papier voyait son utilisation régulée par le fait qu'il fallait le plus souvent acheter le document dont on avait besoin. On voit maintenant une autre forme de distribution: acheter un abonnement pour obtenir un ensemble dont l'abonné n'utilisera qu'une infime partie.
La technologie est un grand point d'interrogation. Tu ne peux faire fonctionner directement un matériel américain en Europe (L'inverse? ils s'en f....ent). Tension, fréquence différente. Et le changement condamne à la mort des archives numériques datant d'une trentaine d'années: on n'utilise plus aujourd'hui les bandes magnétiques et rares doivent encore exister les lecteurs adaptés: si tu as des enregistrements sur cassettes, as-tu encore le lecteur ad-hoc?
Envoyer de "l'information" vers l'univers pour "communiquer" avec des extra-terrestre est ???? ,disons pour ne pas être méchant, de l'utopie. Il faudrait qu'une évolution ait créé des humanoïdes ayant développé une civilisation identique à la notre avec des outils correspondant exactement.
Nous aujourd'hui savons lire les écrits du XVIIIème siècle; l'inverse est majoritairement faux: ils n'avaient pas l'électricité.
Vois avec la télévision: une évolution (pour améliorer disent-ils.... surtout pour extorquer des thunes) qui chez moi s'est traduite par l'impossibilité de recevoir certaines chaînes (des non taxées...).
L'archivage pour être pérenne n'a pas encore trouvé une technologie aussi durable que le bon vieux papier. Attention: je ne dis pas que les techniques actuelles sont mauvaises, loin de là. Elles permettent une autre utilisation.
Le débat (et la technique) sont loin d'être clos.

A+

[inviteede7e2b6]

hello,

j'ai travaillé un bon moment dans la télévision , cotés équipements.

je peux témoigner du même probléme !

les normes d'enregistrement magnétiques ( surtout analogique) on considérablement évolué
à partir des années 70's : arrivée du magnétoscope.

probléme actuel : on dispose de milliers d'heures de programmes ,
souvent intéressantes et témoins de leur époque, dans une flopée de formats différents, tous incompatibles.


MAIS PLUS DE MACHINES POUR LES LIRE !

au point d'aller tirer des technos survivants de leur retraite pour tenter d'en restaurer,
le savoir-faire s'étant perdu

[A voir en vidéo sur Futura]

[invite82078308]

C'était l'époque de la vidéo analogique.
Il faut s'efforcer de numériser les anciennes vidéos, en essayant d'en tirer le maximum d'information.
Il est vrai qu'à une époque, les méthodes de numérisations n'étaient pas toujours très performantes, fallait-il les numériser maintenant avec une moindre qualité ou plus tard au risque que le support analogique se dégrade ?
Et les coder dans un format performant mais répandu pour éviter qu'il ne soit oublié.

Les textes anciens nous sont le plus souvent parvenus par des copies successives au cours des siècles, changeant éventuellement de support.
Pour les informations d'aujourd'hui, cela restera valide, même si il y a des changements d'ordre de grandeur pour la quantité d'information ou pour le rythme auquel il faut faire des copies.
Et finalement, nos descendants s'intéresseront-ils assez à ce que nous avons produit pour faire l'effort de le conserver ?

[abracadabra75]

La télé, et autres vidéos, ne sont qu'une touuuuute petite partie .
Tous les documents des grosses sociétés sont 'dématérialisés'. Une des boîtes où j'ai bricolé avait toutes ses archives sur bandes magnétiques IBM. Où voit-on maintenant un lecteurde ces bandes. Je me souviens également, au moment de la disparition de la RDA, une grosse partie des données de la Stasi étaient sur des bandes aux lecteurs venant d'URSS. Quand on a cherché à les exploiter le personnel avait bien sûr disparu, la documentation aussi. (Peut-être aussi n'a-t-on pas trop cherché pour ne pas faire de vagues?).
Où se trouvent les docs des premières Arianes?

De plus l'archivage des données industrielles n'est pas le souci des entreprises qui se projettent ans l'avenir et n'ont que faire du passé, surtout s'il faut dépenser un chou.
Peut-être verra-t-on un jour des sociétés-cloud qui se chargeront de cette mémoire. Mais qui paiera?

Et pour " s'efforcer de numériser les anciennes vidéos, en essayant d'en tirer le maximum d'information", qui va définir ce qui est 'intéressant'?
L'intérêt varie selon l'interlocuteur. Un chimiste,un physicien, un médecin un historien ne voudront pas conserver les mêmes données; sans parler des "communicants" cantonnés dans l'instantanéité, le sensationnel et/ou le blingbling...

[JPL]

Les textes anciens nous sont le plus souvent parvenus par des copies successives au cours des siècles, changeant éventuellement de support.?

Et avec des erreurs, des oublis de passages, des interpolations, des rajouts de copistes. Il n'y a qu'a voir les différences entre les diverses copies de certains textes anciens. Et d'ailleurs combien de parchemins contenant des textes précieux à nos yeux ont été grattés, effacés pour écrire d'autres textes plus récents (palimpsestes).

[ecolami]

Bonjour,
Aujourd'hui les masses de donnée numérisée s'accroissent de façon exponentielle pour une bonne part parce que ça ne coute rien a la personne qui envoie ces données. Dans cette masse il y a une part croissant très vite qui concerne des données de peu d'interet qui sont beaucoup sur les réseaux sociaux ou sur les grands serveurs de vidéo (youtube). En termes d'archivage ces service assurent encore gratuitement l'archivage, mais pour combien de temps encore? Il me semble nécessaire de hiérarchiser la qualité des informations afin que lors d'un archivage automatique pour TRES longue durée on ne s'encombre pas de trucs sans aucun intérêt.
Il existe aux Etats Unis une Fondation qui archive automatiquement la TOTALITE du WEB de façon statistique et qui permet EN PLUS de connaitre évolution des pages sur les sites. https://archive.org/web ce service a archivé 487milliards de pages! Ce n'est qu'une partie de leur activité parce qu'ils rassemblent aussi le maximum d'archives numériques disseminées dans les média, dans les bibilothèque, les nombreuses fondations etc...
C'est absolument inimaginable ce qui est archivé. Prenez n'importe quel site et demandez a la Machine a remonter le temps ce qu'elle a vous aurez le résultat mois par mois année par année. Je n'ai pas regardé pour le forum futura. Pour les réseaux sociaux FB ce n'est pas fait, mais en entrant une adresse de profil le serveur vous demande s'il doit archiver le contenu a cette adresse.
vous vous souvenez quand Snowden a dénoncé les pratiques de la NSA il y a eu sur le site archive.org une discussion sur un forum ou les responsables du site expliquaient que finalement tout ça n'était pas aussi compliqué et couteux puisque leur site archive fait presque pareil mais SANS avoir les même objectifs: ils se contentent d'archiver et laissent leurs archives accessibles au public.

Il y a une chose que je ne comprends pas avec les moteurs de recherche c'est qu'ils doivent archiver la totalité du web pour l'indexer ce qui représente un très grand volume d'information mais ensuite comment faire pour que la simple localisation d'un mot n'occupe pas avec son adresse (ou lien) une place inadmissible?

[JPL]

Il y a une chose que je ne comprends pas avec les moteurs de recherche c'est qu'ils doivent archiver la totalité du web pour l'indexer ce qui représente un très grand volume d'information mais ensuite comment faire pour que la simple localisation d'un mot n'occupe pas avec son adresse (ou lien) une place inadmissible?

Non ils ont des robots qui explorent systématiquement et en continu les pages web et qui en extraient les contenus significatifs. Mais il est exact que cela fait énormément de données. Le même moteur de recherche peut avoir plusieurs robots d'exploration simultanément sur un site important. À une époque FS les listait et il y avait couramment une bonne dizaine de robots connectés.

[invite82078308]

Un moteur de recherche n'utilise, pour simplifier, que les mots de la requête présents dans une page internet.
Il peut donc se contenter de représenter une page par la liste des mots qui y sont présent, ce qui prend moins de place.
Toutefois, tout cela demande quand même pas mal de mémoire et de puissance de calcul.

[ecolami]

Un moteur de recherche n'utilise, pour simplifier, que les mots de la requête présents dans une page internet.
Il peut donc se contenter de représenter une page par la liste des mots qui y sont présent, ce qui prend moins de place.
Toutefois, tout cela demande quand même pas mal de mémoire et de puissance de calcul.

Si je comprend bien pour une page donnée le logiciel dressera une liste d'occurences du mot qui sera reliée a une adresse internet type http >>serveur>repertoire1>repertoi re 2> (....)> page du mot. Cela permet d'économiser le nombre de liens d'indexations sur une page, mais ça reste tributaire du nombre mots différents sur le texte. A la fin il a ya toujours une volume d'information d'indexations qui reste trés largement supérieur au contenu de la page.

Pour revenir a la Machine à remonter le temps elle archive de façon statistique les sites et il peut arriver que certaines mises à jours d'une page n'aient pas été archivées.

[invite82078308]

Les moteurs de recherche sont devenus de plus en plus complexes.
Dans un langue naturelle certains mots sont très fréquents. Dans le cas, simplifié je l'ai dit, que j'ai décrit cela permettra de réduire substantiellement l'encombrement.
Il est vrai que quand on vous propose de trouver des photos ressemblant à une photo que vous avez proposée, je ne sais pas trop comment ils font.
Note: Cela ne concerne que la pertinence d'une page et non son "pagerank", ce qui est une autre histoire.

Bien entendu, les compagnies qui proposent ce genre de service doivent arbitrer entre efficacité et cout de fonctionnement.

[ecolami]

Bonjour,
Je pense que les moteurs de recherche comportent une base de donnée PAR MOT qui rassemble toutes les pages contenant ce mot éventuellement indexées du nombre d'occurence par page. C'est basée sur le fait que le nombre de mots est largement inférieur au nombre de pages internet.
Toutefois ce système ne permettrait pas de rechercher une chaine de caractères c'est quand on met entre guillemet un "prenom nom" ou un bout de phrase.

[ecolami]

Bonjour,
en ce qui concerne la durée de conservation des supports mémoires on peut estimer que les disques maitres employé pour graver les autres et qui sont en métal (Nickel) sont une solution. Bien sur il faudrait employer cette technique pour créer des versions positive (puisque le disque maitre est un négatif).
sinon des chercheurs ont proposé de graver sur du verre (ou quartz??) des disques avec un laser. la capacité de stockage sera sans doute limitée par la taille des défauts que peut graver le laser.