Bonjour,....

une clé essentielle pour la compréhension du concept d'information au sens large est la relation définie entre les notions d'information et d'entropie.

Le lien avec la notion d'information (l'entropie d'information défini par Shannon) apparaît plutôt avec la formulation de l'entropie statistique défini par Ludwig Boltzmann qu'avec la notion d'entropie thermodynamique défini par Rudolf Clausius.

La formule d'entropie de Boltzmann peut être dérivée de la formule d'entropie de Shannon lorsque tous les états sont également probables.

Nous pouvons affirmer que l'entropie thermodynamique et l'entropie de Shannon sont conceptuellement équivalentes.

En effet, le nombre d'arrangements comptés par l'entropie de Boltzmann reflète la quantité d'informations de Shannon qui serait nécessaire pour mettre en œuvre un arrangement particulier ...... de matière et d'énergie

La seule différence fondamentale entre l'entropie thermodynamique de la physique et l'entropie de Shannon réside dans les unités de mesure; le premier est exprimé en unités d'énergie divisées par la température, le second en "bits" d'informations essentiellement sans dimension.


Shannon emploie le terme entropie pour qualifier la quantité d’information, mais sans préciser sur le fond la signification de l’analogie.

La formule à laquelle aboutit Shannon pour calculer la quantité d’information apparaît comme la réplique inversée du théorème de Boltzmann qui donne, en thermodynamique, la mesure de l’entropie d’un système physique

Boltzmann, en se fondant sur l’hypothèse atomique, fournit une explication statistique, au niveau microscopique, du phénomène macroscopique de croissance de l’entropie, on peut associer la croissance de l’entropie à la croissance de la probabilité de l’état macroscopique du gaz; les propriétés macroscopiques sont dérivées de quantités microscopiques en faisant la moyenne

Entropie physique et quantité d’information s’expriment donc chacune comme un logarithme de probabilité

Cependant, sur la ligne de faille entre probabilité épistémique et probabilité fréquentiste, nous pouvons dire que l'entropie mesure le nombre de possibilités microscopiques et compte la quantité d'informations nécessaire pour décrire tous les états microscopiques


La théorie de l'information de Shannon permet d'interpréter l'entropie d'un système thermodynamique comme l’information objectivement manquante...

L'entropie mesure le nombre de possibilités microscopiques et compte la quantité d'informations nécessaire pour décrire tous les états microscopiques.

L'entropie est alors associée à la quantité d'informations que ""je suis en train d'oublier lorsque je passe du langage microscopique au langage macroscopique.



Pour élargir le contexte, et dans le cadre de la question initialement posée a savoir ""Le principe d'équivalence masse-énergie-information""

...Énergie et matière

Comme Einstein nous l'a montré, E = MC², il y a équivalence entre masse et énergie

L'information c'est de l'énergie

L'information est une forme d'énergie. en effet pour stocker ou transmettre des informations, il faut de l'énergie

et pour sa réciproque

l'énergie est une information

En effet, les photons émis par toute source, sous forme de rayonnement tel que par exemple les étoiles, portent des informations sur la source elle-même, sa localisation dans l'espace et le temps, ses couleurs et ses températures, sa composition atomique et moléculaire, sa vitesse de rotation et son direction du mouvement, ..


Le principe d'équivalence masse-énergie-information peut se présente en ces termes....