Qu'est ce qui se cache derrrier le concept d'information et comment la mesurer

[invite4637e4c7]

Bonjour ,...

Comment peut-on approfondir la problématique de la "" nature "" réelle de l'information et de sa mesure?

en effet,

Selon le Wikipedia, "" L'information d'une entité est celle qui résout l'incertitude de ses propriétés ""

source: Wikipedia, informations physiques


L' Informations contenues dans un système physique = nombre de questions oui / non auxquelles vous devez obtenir une réponse pour spécifier complètement le système.

L'entropie de Shannon est une mesure d'entropie d'informations, le taux moyen auquel une information est produite par une source stochastique de données,

source: Wikipedia, entropie (théorie de l'information)

L'entropie de Shannon a aussi une interprétation très concrète: elle mesure le nombre minimum de bits nécessaires pour coder un message.

l'entropie thermodynamique et l'entropie de Shannon sont conceptuellement équivalentes.

source: poste https://physics.stackexchange.com/qu...hannon-entropy

mais pour revenir à l'entropie de Shannon et sa mesure:

l'entropie de Shannon du flux bien crypté est égal à l'entropie Shannon du bruit aléatoire.

Ainsi, les informations ne peuvent pas être définies uniquement à partir de données, en effet des connaissances sur les données et sur le récepteur sont nécessaires, sans quoi les données sont un bruit sans signification, quelle que soit leur entropie. De plus, il semble que le changement d'état du récepteur soit le seul moyen de mesurer la quantité d’information contenue dans le message..si subjective



Le concept d'Entropie est le fil conducteur qui relie le monde physique (masse, énergie) au monde d'incertitude des événements ou existant (Information).

Le concept d'information semble être assez complexe, en effet, une question peut déjà se poser sur la vraie "nature" de l'information, ... et sur le lien établi par Entropie entre énergie, masse et information.

Pour élargir le contexte,

...Energie et matière

Comme Einstein nous l'a montré, E = MC ^ 2, il y a équivalence entre masse et énergie

L'information c'est de l'énergie

L'information est une forme d'énergie. en effet pour stocker ou transmettre des informations, il faut de l'énergie

et pour sa réciprocité

l'énergie est une information

en effet, les photons émis par toute source, sous forme de rayonnement tel que par exemple les étoiles, portent des informations sur la source elle-même, sa localisation dans l'espace et le temps, ses couleurs et ses températures, sa composition atomique et moléculaire, sa vitesse de rotation et son direction du mouvement, ..


Comment peut-on approfondir la problématique de la "" nature "" réelle de l'information et de sa mesure?
-----

[invite4637e4c7]

concernant la phrase ""l'entropie thermodynamique et l'entropie de Shannon sont conceptuellement équivalentes.""

voici quelques explications si nécessaire,...

l'entropie thermodynamique et l'entropie de Shannon sont conceptuellement équivalentes.En effet, le nombre d'arrangements comptés par l'entropie de Boltzmann reflète la quantité d'informations de Shannon qui serait nécessaire pour mettre en œuvre un arrangement particulier ...... de matière et d'énergie

La seule différence fondamentale entre l'entropie thermodynamique de la physique et l'entropie de Shannon réside dans les unités de mesure; le premier est exprimé en unités d'énergie divisées par la température, le second en "bits" d'informations essentiellement sans dimension.

....

[yvon l]

La seule différence fondamentale entre l'entropie thermodynamique de la physique et l'entropie de Shannon réside dans les unités de mesure; le premier est exprimé en unités d'énergie divisées par la température, le second en "bits" d'informations essentiellement sans dimension.

....

Bonjour,
Pour moi, pas de différence, l'énergie sur la température peut être ramené à un nombre sans dimension.
Voir définition de la température thermodynamique: https://fr.wikipedia.org/wiki/Temp%C3%A9rature

[Pio2001]

Bonjour,
J'ai toujours eu des difficultés à comprendre la définition de l'entropie basée sur le comptage des configurations microscopiques correspondant à un état macroscopique.
En effet, la frontière entre le microscopique et le macroscopique est arbitraire.

Prenons l'exemple d'un verre d'eau avec une goutte d'encre. Etat : la goutte est localisée au centre de la surface.

Comment faut-il compter les configurations microscopiques ? Doit-on considérer que les particules d'encre sont discernables ? Certaines auront des noyaux de carbone 13 et d'autres des noyaux de carbone 12, par exemple. Cela augmente de beaucoup le nombre de configurations possibles, et change donc complètement le nombre obtenu.

Wikipedia nous dit qu'il faut compter les "façons de placer les molécules dans le volume et de leur distribuer l'énergie interne".
Ah ! On néglige donc tout ce qui est nucléaire, mais aussi tout ce qui est spin et orientation spatiale des molécules (dipôle vertical ou horizontal, pour une molécule d'eau, par exemple). Par contre, il faut distinguer les molécules avec beaucoup d'énergie et les molécules avec peu d'énergie.

Cela peut se comprendre : l'entropie est une notion thermodynamique. Il est logique de ne considérer que les propriétés qui participent à la température du corps, et de négliger les autres.

Par contre, on ne nous dit pas de distinguer les molécules d'eau des molécules d'encre ! Selon cette définition, le verre d'eau avec la goutte d'encre aura exactement la même entropie que le verre d'eau avec de l'encre diluée !

Il est donc clair qu'il faut distinguer les molécules de nature différente. On a le droit de compter une seule fois une configuration où deux molécules d'eau ont été échangées, mais pas deux configurations où une molécule d'eau a été échangée avec une molécule d'encre...
Ou bien faut-il considérer que toutes les molécules sont discernables ?

Si toutes les molécules sont discernables, alors, question suivante, une molécule d'eau comporte un atome d'oxygène et deux atomes d'hydrogène. Les deux atomes d'hydrogène sont-ils discernables ? Cela change tout : une molécule d'eau avec l'atome d'hydrogène 1 à gauche et l'atome d'hydrogène 2 à droite, et la même molécule, mais avec les deux atomes d'hydrogène inversés, ça compte comme une ou deux configurations microscopiques différentes ? Une seule ? Et l'un des deux atomes d'hydrogène est un atome de deutérium, ça compte pour un ou pour deux ?

Pire : on dit de compter la "façon de placer les molécules dans le volume". Mais la position d'une molécule est une grandeur continue ! Il y en a donc une infinité !

J'arrête là. Je suis complètement largué. Je n'arrive pas à saisir le moindre début de sens à cette définition de l'entropie. Help !

D'autant que je sais très bien que l'entropie est une grandeur parfaitement définie. C'est un nombre de joules par Kelvin. Ca se mesure.

[A voir en vidéo sur Futura]

[Paradigm]

J'arrête là. Je suis complètement largué. Je n'arrive pas à saisir le moindre début de sens à cette définition de l'entropie. Help !

Dans le cadre de la théorie de l'information et d'un poinrt de vue mathématique, l'entropie c'est une moyenne, une espérance mathématique de la notion d'information propre sur l'occurence d'un évènement a_k.

Information propre : I(a_k) = −log₂ P(a_k).

Entropie : ∑_{k=1à n} −P(a_k) log₂ P(a_k).

Dans le cadre de la théorie mathématique appelée théorie de l'information développée dans les années 40, par C. E. Shannon et qui décrit les aspects les plus fondamentaux des systèmes de communication. Il existe un lien entre l'information fournie par une source et la distribution de probabilité de la sortie de cette source. Plus l'événement donné par la source est probable, moins la quantité d'information correspondante est grande.

L'entropie d'une source est le nombre moyen minimal de symboles binaires par lettre nécessaires pour représenter la source.

Qualitativement, fournir une information consiste à lever une partie de l'incertitude sur l'issue d'une expérience aléatoire. Par exemple, l'observation d'un '0' à la sortie d'un canal binaire bruité augmente la probabilité qu'un '0' ait été émis et diminue la probabilité qu'un '1' ait été émis.

"Introduction à la théorie de l'information"

Le lien avec la thérmodynamique me semble t-il pose toujours débat. Il est corrélé avec la formule de Rolf Landauer qui défini le minimum d'énergie nécessaire pour effacer un bit !!!

Cordialement,

[Pio2001]

Merci,
La notion de bit est parfaitement claire.

Mon incompréhension en matière de thermodynamique, c'est que dans la réalité, il y aura toujours quelque chose de plus petit qu'un bit !

[invite4637e4c7]

Bonjour à vous,

Le lien avec la thérmodynamique me semble t-il pose toujours débat. Il est corrélé avec la formule de Rolf Landauer qui défini le minimum d'énergie nécessaire pour effacer un bit !!!

un autre lien entre énergie et information

la limite de Bekenstein affirme qu'il existe une quantité maximale d'informations pouvant potentiellement être stockée dans une région donnée de l'espace qui possède une quantité d'énergie finie.

[Paradigm]

La notion de bit est parfaitement claire.

A noter toutefois que la notion de Shannon de bit d'information, n'est pas la même chose que la notion de bit (de l’anglais binary digit) qui est l’unité fondamentale de l’informatique classique. Un bit peut prendre deux valeurs que l’on note habituellement 0 et 1. Évidemment, ce choix de notation, complètement arbitraire, n’est que la représentation symbolique du stockage du "bit physique" dans un système à deux états. Autrement dit, l’information, que l’on représente par les bits 0 et 1, est généralement codée dans des systèmes physiques bistables.

Par contre la notion de bit d'information défini par Shanon est tout autre chose (c'est de cela dont je parlais), c'est une mesure de quantité d'information :

From Classical to Quantum Shannon Theory

Shannon’s notion of a bit is quite different from these physical notions, and we motivate his notion with the example of a fair coin. Without flipping the coin, we have no idea what the result of a coin flip will be—our best guess at the result is to guess randomly. If someone else learns the result of a random coin flip, we can ask this person the question: What was the result ? We then learn one bit of information.

Though it may seem obvious, it is important to stress that we do not learn any (or not as much) information if we do not ask the right question. This point becomes even more important in the quantum case. Suppose that the coin is not fair—without loss of generality, suppose the probability of “heads” is greater than the probability of “tails.” In this case, we would not be as surprised to learn that the result of a coin flip is “heads.” We may say in this case that we would learn less than one bit of information if we were to ask someone the result of the coin flip.

The Shannon binary entropy is a measure of information.

Cordialement

[invite4637e4c7]

@Paradigm


lien entre l'information et thermodynamique


La prédiction de Landauer a savoir que théoriquement, la mémoire d'un ordinateur à température ambiante fonctionnant à la limite de Landauer pourrait être modifiée à la vitesse d'un milliard de bits par seconde, avec seulement 2,85 trillionièmes de watt de puissance se dégageant dans le module de mémoire.

Cette importante prédiction physique qui fait le lien entre la théorie de l'information et la thermodynamique a été pour la première fois vérifiée expérimentalement en 2012 par des chercheurs du Laboratoire de physique de l'Ecole normale supérieure de Lyon (CNRS/ENS de Lyon/Université Claude Bernard Lyon 1), en collaboration avec un groupe allemand de l'Université de Augsburg. Leurs travaux sont publiés dans la revue Nature du 8 mars 2012

Experimental verification of Landauer’s principle linking information and thermodynamics, Nature. 2012 Mar 7;483(7388):187-9. doi: 10.1038/nature10872.

[Paradigm]

lien entre l'information et thermodynamique [/U][/I][/B]
Experimental verification of Landauer’s principle linking information and thermodynamics, Nature. 2012 Mar 7;483(7388):187-9. doi: 10.1038/nature10872.

Oui la référence est bien connu. ils ont aussi publié sur arXiv . Le lien repose essentiellement sur la notion de bit informatique qui s'appui sur un support physique pour le représenter. Le lien avec le bit d'information tel que défini par Shannon porte à interprétation sur la notion de probabilité (objective/subjective).

Information et entropie. Un double jeu avec les probabilités

Cordialement,

[invite4637e4c7]

La clé de l’extension du concept d’information repose sur analogie entre l’information et l’entropie.

Des divergences existent sur la manière d’interpréter cette analogie basées sur l'interprétation de la notion même des probabilités mobilisées dans la formulation mathématique performante de la définition de l'information concernant la quantité de mouvement.

En effet, Shannon emploie le terme entropie pour qualifier la quantité d’information, mais sans préciser sur le fond la signification de l’analogie.

La formule à laquelle aboutit Shannon pour calculer la quantité d’information apparaît comme la réplique inversée du théorème de Boltzmann qui donne, en thermodynamique, la mesure de l’entropie d’un système physique

Boltzmann, en se fondant sur l’hypothèse atomique, fournit une explication statistique, au niveau microscopique, du phénomène macroscopique de croissance de l’entropie, on peut associer la croissance de l’entropie à la croissance de la probabilité de l’état macroscopique du gaz; les propriétés macroscopiques sont dérivées de quantités microscopiques en faisant la moyenne

Entropie physique et quantité d’information s’expriment donc chacune comme un logarithme de probabilité

Cependant, sur la ligne de faille entre probabilité épistémique et probabilité fréquentiste, nous pouvons dire que l'entropie mesure le nombre de possibilités microscopiques et compte la quantité d'informations nécessaire pour décrire tous les états microscopiques

[invite4637e4c7]

L'information est ""pensée"" en termes de bits, qubits,..


De la même manière que la catastrophe ultraviolette a en son temps remis en question la physique classique, le paradoxe de l'information
considéré comme fondamental et pouvant remettre en question les théories physiques actuelles n'a pu etre correctement résolu que dans le cadre d'une théorie de la gravité quantique comme la théorie des cordes.
par le modèle de principe holographique, concrétisé par la correspondance AdS/CFT de Juan Maldacena, une solution à ce paradoxe qui montre que les lois de la mécanique quantique restent valables, et que l'information ne disparait donc pas suite à l'évaporation d'un trou noir.
Dans le cadre du principe holographique, l'entropie, si elle est considérée comme une mesure de l'information, peut être finalement mesurée en bits ou nats. Un bit vaut (ln 2) nats, et 1 nat correspond à 4 aires de Planck
La quantité totale de bits est reliée à la somme des degrés de liberté de la matière et de l'énergie.
Les bits eux-mêmes ""encoderaient ainsi"" l'information à propos des états de la matière et de l'énergie qui occupent l'espace donné.

Dans le cadre de l'information quantique, l'informatique quantique, Cryptographie quantique
développement de la théorie de l'information de Claude Shannon exploitant les propriétés de la mécanique quantique, notamment le principe de superposition ou encore l'intrication
L'unité qui est utilisée pour quantifier l'information quantique est le qbit, par analogie avec le bit d'information classique.

[Sethy]

Bonjour,
J'ai toujours eu des difficultés à comprendre la définition de l'entropie basée sur le comptage des configurations microscopiques correspondant à un état macroscopique.
En effet, la frontière entre le microscopique et le macroscopique est arbitraire.

Prenons l'exemple d'un verre d'eau avec une goutte d'encre. Etat : la goutte est localisée au centre de la surface.

Comment faut-il compter les configurations microscopiques ? Doit-on considérer que les particules d'encre sont discernables ?

Je réponds à cette question uniquement car pour le reste ... ça a déjà été maintes fois évoqués et ça tourne toujours en rond.

Par contre, pour la question d'indiscernabilité, cela concerne bien les espèces de même nature. Lorsqu'il y a un choc entre deux électrons par exemple, on ne peut pas savoir si on est dans le cas (a) ou le cas (b) sur le premier schéma de cette page wiki : https://fr.wikipedia.org/wiki/Particules_indiscernables

Donc si on considère 8 "molécules" d'encre (E) et 8 d'eau (O), cette configuration :

EEOO
EEOO
EEOO
EEOO

correspond à une seule situation même si deux O ou deux E peuvent permuter entre eux. Comme ils sont indiscernables, c'est la même configuration.

Il existe en tout près de 13000 combinaisons (16!/(8! 8!)) différentes indiscernables par exemple :
EOOE
EOEO
OOOE
EOEE

Et effectivement, si les molécules étaient discernables, il y aurait 2.10^13 configurations possibles, toujours avec 16 "molécules".

[Paradigm]

La clé de l’extension du concept d’information repose sur analogie entre l’information et l’entropie.

Dans le cadre de la théorie de l'information la relation est clairement défini et ce n'est pas une analogie. L'entropie est défini comme l'espérance mathématique de l'information propre.

Il en est de même pour l'entropie de Boltzmann. Voir le fichier joint.

Cordialement

[Pio2001]

Un bit vaut (ln 2) nats, et 1 nat correspond à 4 aires de Planck

Merci. Intéressant de voir que l'aire de Planck peut être utilisée comme limite microscopique pour compter une quantité d'information.

Je réponds à cette question uniquement car pour le reste ... ça a déjà été maintes fois évoqués et ça tourne toujours en rond.

Désolé, je ne viens pas souvent, mais j'avoue ne pas avoir fait de recherche dans le forum avant de poser ma question (juste sur Wikipedia).

Et effectivement, si les molécules étaient discernables, il y aurait 2.10^13 configurations possibles, toujours avec 16 "molécules".

Ok, merci.

Dans le cadre de la théorie de l'information la relation est clairement défini et ce n'est pas une analogie. L'entropie est défini comme l'espérance mathématique de l'information propre.

Il en est de même pour l'entropie de Boltzmann. Voir le fichier joint.

Merci pour le lien.
Dans ce fichier, deux exemples sont donnés. Celui de la boite à deux compartiment, l'un est rempli de gaz et on retire la cloison.
Et celui d'un système de N particules pouvant occuper différents états d'énergie.

A chaque fois, on choisit l'information que l'on souhaite mesurer. Par exemple dans le cas de la boîte, on ne mesure pas l'énergie des particules, mais seulement le compartiment dans lequel elles se trouvent.
Dans l'autre cas, on regarde dans quel niveau d'énergie se trouvent les particules, mais on ne regarde pas leur position.

A chaque fois, en gardant la même vue (niveau d'énergie, compartiment, etc) on compare deux états A et B, et on peut dire pour lequel des deux l'entropie est la plus élevée.

Ce que je ne saisis pas encore, c'est si l'entropie est une grandeur absolue.
Par exemple, si je considère un compartiment cubique de 1 cm d'arête rempli de diazote pur, à la temprérature de 20°C et à la pression atmosphérique. Est-ce que, sans autre informations, je peux demander quelle est la valeur de son entropie ?

[Paradigm]

Ce que je ne saisis pas encore, c'est si l'entropie est une grandeur absolue.

L'entropie définie par Shannon dépend des distributions de probabilité que l'on choisi. L'entropie est maximale quand toutes les possibilités sont a priori équiprobables. s'il y a n possibilités, l'entropie est alors log n. L'entropie est ici une notion globale définie pour une mesure de probabilité.

Concernant la thermodynamique il est mentionné ici que Boltzmann a construit sa formulation en supposant qu'on a un système composé de N particules indiscernables, et ou l'on sait que la proportion de particules se trouvant dans l'état i est pi. Si le nombre de possibilités de répartir les N particules en respectant les proportions est noté Ω et si toutes les probabilités sont égales à 1/Ω alors on obtient la célèbre formule S = log |Ω|.

Cordialement,

[Sethy]

Ce que je ne saisis pas encore, c'est si l'entropie est une grandeur absolue.
Par exemple, si je considère un compartiment cubique de 1 cm d'arête rempli de diazote pur, à la temprérature de 20°C et à la pression atmosphérique. Est-ce que, sans autre informations, je peux demander quelle est la valeur de son entropie ?

L'entropie peut se calculer à l'aide de la 3ème équation de cette section : https://fr.wikipedia.org/wiki/Entrop...sion_constante

[Pio2001]

Merci. La réponse à ma question est donc oui. Et de lien en lien, j'ai fini sur la page https://fr.wikipedia.org/wiki/Entropie_molaire_standard , qui donne des valeurs d'entropie par mole pour différents corps purs dans les conditions standard de température et de pression.

Mais donc, si on considère que l'entropie mesure la quantité d'information qui nous manque pour un système, comment l'interprète-t-on ?

La valeur de l'entropie étant finie, cela voudrait dire que la quantité d'information contenue dans un morceau de matière est également finie. Cela paraît osé !
Il serait possible de décrire en totalité tout ce qui concerne un système physique réel ? Et il n'y aurait rien d'autre à dire dessus ? Une fois que notre petit démon de Maxwell a terminé son énumération sous forme binaire, notre connaissance de ce corps serait parfaite et totale... Cela rappelle quand même furieusement Laplace.

Ou alors faut-il interpréter cela comme le fait que l'entropie thermodynamique reflète la quantité d'information thermodynamique contenue dans un corps, mais que ce corps contient en outre une infinité d'information autre que thermodynamique (nucléaire, par exemple) ?

[Paradigm]

Ou alors faut-il interpréter cela comme le fait que l'entropie thermodynamique reflète la quantité d'information thermodynamique contenue dans un corps, mais que ce corps contient en outre une infinité d'information autre que thermodynamique (nucléaire, par exemple) ?

Le lien avec la notion d'information (l'entropie d'information défini par Shannon) apparaît plutôt avec la formulation de l'entropie statistique défini par Ludwig Boltzmann qu'avec la notion d'entropie thermodynamique défini par Rudolf Clausius.

Cordialement,

[Sethy]

Merci. La réponse à ma question est donc oui. Et de lien en lien, j'ai fini sur la page https://fr.wikipedia.org/wiki/Entropie_molaire_standard , qui donne des valeurs d'entropie par mole pour différents corps purs dans les conditions standard de température et de pression.

Mais donc, si on considère que l'entropie mesure la quantité d'information qui nous manque pour un système, comment l'interprète-t-on ?

La valeur de l'entropie étant finie, cela voudrait dire que la quantité d'information contenue dans un morceau de matière est également finie. Cela paraît osé !
Il serait possible de décrire en totalité tout ce qui concerne un système physique réel ? Et il n'y aurait rien d'autre à dire dessus ? Une fois que notre petit démon de Maxwell a terminé son énumération sous forme binaire, notre connaissance de ce corps serait parfaite et totale... Cela rappelle quand même furieusement Laplace.

Ou alors faut-il interpréter cela comme le fait que l'entropie thermodynamique reflète la quantité d'information thermodynamique contenue dans un corps, mais que ce corps contient en outre une infinité d'information autre que thermodynamique (nucléaire, par exemple) ?

J'ai appris qu'entropie thermodynamique et statistique étaient deux faces de la même médaille. Cela représente donc exactement la même chose mais pris sous deux angles différents.

Il est possible de calculer les variations d'entropie au cours d'une transformation physique (détente, changement d'état, ...) à l'aide des deux approches et obtenir exactement le même résultat.

Pour ce qui est de l'entropie de Shannon que je ne connais pas, je m'en tiens à ceci qui vient d'une page wiki en anglais :

"At an everyday practical level, the links between information entropy and thermodynamic entropy are not evident. Physicists and chemists are apt to be more interested in changes in entropy as a system spontaneously evolves away from its initial conditions, in accordance with the second law of thermodynamics, rather than an unchanging probability distribution. As the minuteness of Boltzmann's constant kB indicates, the changes in S / kB for even tiny amounts of substances in chemical and physical processes represent amounts of entropy that are extremely large compared to anything in data compression or signal processing. (...).".

Source : https://en.wikipedia.org/wiki/Entrop...mation_theory)

Donc je vois l'entropie de l'information comme quelque chose de totalement différent de l'entropie physique. Il y a probablement des connexions mais rien d'évident et tenter d'appliquer les résultats de l'un à l'autre me parait illusoire à moins d'être un spécialiste dans les deux domaines.

C'est un peu comme appliquer les résultats valable pour la lumière visible aux ondes radios. Dans les deux cas, ce sont des rayonnements électromagnétiques mais tellement différents dans leurs comportements qu'il n'est pas possible de les appréhender de la même manière.

[yvon l]

Ou alors faut-il interpréter cela comme le fait que l'entropie thermodynamique reflète la quantité d'information thermodynamique contenue dans un corps, mais que ce corps contient en outre une infinité d'information autre que thermodynamique (nucléaire, par exemple) ?

Bonjour,
Pour moi, pour définir l’entropie (une entropie) d’un système et pour éviter l’aspect par trop subjectif de cette grandeur, il faut définir les éléments sur lesquelles on porte les calculs
Prenons l’exemple d’une mémoire RAM d’ordinateur. Considérons le bit contenu dans une cellule de la mémoire comme élément microscopique sur laquelle porte la définition macroscopique de l’entropie de la mémoire à un moment donné.
On retrouve la formule à la fois de Shannon et de Bolzmann quand la mémoire est mise sous tension. (Le contenue est aléatoire).
Par contre, si à un moment donné, la mémoire contient la représentation d’une image. le couple formé par les bits de l’image et l’algorithme qui permet de décrypter celle-ci reflète une entropie minimale de la mémoire.
Dans cette formulation, l’algorithme (ou le démon) constitue la méthode adoptée par l’observateur qui lui permet de connaître l’entropie (basse) de la mémoire .

[Paradigm]

J'ai appris qu'entropie thermodynamique et statistique étaient deux faces de la même médaille. Cela représente donc exactement la même chose mais pris sous deux angles différents.

Il est possible de calculer les variations d'entropie au cours d'une transformation physique (détente, changement d'état, ...) à l'aide des deux approches et obtenir exactement le même résultat.

Ce n'est pas mon domaine. On peut lire sur le sujet

The fundamental laws of thermodynamics can be derived in two ways: One by considering bulk properties like temperature, pressure, heat flows and density and one by considering the statistical behavior of a large ensemble of atoms which individually possess mass and kinetic energy.

Ce qui peut interpeller c'est que l'entropie thermodynamique est défini de manière absolu comme le mentionne Pio2001 alors que l'entropie statistique repose sur des calculs probabilistes et on arrive à trouver les mêmes résultats !!!

Cordialement

[Sethy]

Ce qui peut interpeller c'est que l'entropie thermodynamique est défini de manière absolu comme le mentionne Pio2001 alors que l'entropie statistique repose sur des calculs probabilistes et on arrive à trouver les mêmes résultats !!!

Cordialement

C'est en raison de la loi des grands nombres.

Si on imagine un mélange de 32 molécules d'encre et de 32 molécules d'eau, il y a déjà plus de combinaisons possibles (10^18) que de secondes écoulées depuis le big bang (10^17) !

Avec 256 molécules de chaque, il y a plus de 10^100 combinaisons alors comment imaginer ce qu'il se passe avec 2.10^16 molécules (le nombre de molécules contenues dans 1mm3 d'air).

[Paradigm]

C'est en raison de la loi des grands nombres.

Si on imagine un mélange de 32 molécules d'encre et de 32 molécules d'eau, il y a déjà plus de combinaisons possibles (10^18) que de secondes écoulées depuis le big bang (10^17) !

Avec 256 molécules de chaque, il y a plus de 10^100 combinaisons alors comment imaginer ce qu'il se passe avec 2.10^16 molécules (le nombre de molécules contenues dans 1mm3 d'air).

Cela se comprend d'un point de vue combinatoire en considérenant les probabilités equiprobables pour les différentes configurations. Il n'y a pas de cas ou toutes les possibilités ne sont pas équiprobables ? auquel cas il est difficille de trouver les lois de distribution de probabilité.

Cordialement,

[Pio2001]

Le lien avec la notion d'information (l'entropie d'information défini par Shannon) apparaît plutôt avec la formulation de l'entropie statistique défini par Ludwig Boltzmann qu'avec la notion d'entropie thermodynamique défini par Rudolf Clausius.

Merci pour les liens,
On retrouve dans le premier la formulation sur laquelle je m'interrogeais au début :

Cependant les particules peuvent être disposées dans le volume d'un très grand nombre de façons différentes. De même l'énergie interne peut être répartie sur les particules d'un très grand nombre de façons différentes.

Ces façons sont dénombrables parce que dans un volume fini, l'énergie et la position sont quantifiées, c'est cela ?
Le nombre de positions que peut occuper une particule, c'est le nombre de maxima de la fonction d'onde de cette particule en tant que fonction de (x, y, z) ? Ou ça n'a carrément rien à voir ?

Boltzmann est mort avant la découverte de la notion de fonction d'onde. Il n'a clairement pas pu imaginer ce dénombrement particulier. D'un autre côté, ce sont des lois physiques fondamentales...

[Paradigm]

Ces façons sont dénombrables parce que dans un volume fini, l'énergie et la position sont quantifiées, c'est cela ?

En mathématiques, un ensemble est dit dénombrable, ou infini dénombrable, lorsque ses éléments peuvent être listés sans omission ni répétition dans une suite indexée par les entiers (Wiki).

Concernant l'entropie statistique j'ai comme définition

Plus précisement, l’entropie (statistique) mesure le nombre d’états microscopiques auxquels peut avoir accés le système consideré, compte tenu des contraintes macroscopiques telles que l’énergie totale et le volume (un etat microscopique est par exemple caracterisé par les vitesses et positions a un instant donné de chacun des atomes dont est constitué le systeme).

mais extrait d'une présentation sur la théorie de l'information pour laquelle la notion d'entropie d'information est bien plus claire.

Cordialement,

[Sethy]

Cela se comprend d'un point de vue combinatoire en considérenant les probabilités equiprobables pour les différentes configurations. Il n'y a pas de cas ou toutes les possibilités ne sont pas équiprobables ? auquel cas il est difficille de trouver les lois de distribution de probabilité.

Cordialement,

On arrive aux limites de mes connaissances, mais cela m'évoque l'hypothèse ergodique : https://fr.wikipedia.org/wiki/Hypothèse_ergodique

[invite69d38f86]

A l'époque ou la notion d'entropie est apparue avec l'idée de comptage des des configurations on ne connaissait pas la mécanique quantique et les unités de planck. et cependant l'idée s'est imposée malgré le manque d'une base solide
cela vient du fait que dans la définition de l'entropie il y a un log. les valeurs du dénombrement sont extraordinairement grandes
et le manque de connaissance sur ce qu'il y a a compter se retrouve de facon multiplicative dans le log
ca veut dire que si ce nombre est multiplié par mille milliards en base 10 ca va faire ajouter le nombre 12 a l'entropie qui a un chiffre énorme. effectivement on pourrait se dire que la correction est de l'ordre de grandeur de S mais ca voudrait dire qu'on est parfaitement ignorant de toute la physique qui est en jeu
heureusement les physiciens ne le croient pas.

[yvon l]

Bonjour,
Pour moi, pour définir l’entropie (une entropie) d’un système et pour éviter l’aspect par trop subjectif de cette grandeur, il faut définir les éléments sur lesquelles on porte les calculs
Prenons l’exemple d’une mémoire RAM d’ordinateur. Considérons le bit contenu dans une cellule de la mémoire comme élément microscopique sur laquelle porte la définition macroscopique de l’entropie de la mémoire à un moment donné.
On retrouve la formule à la fois de Shannon et de Bolzmann quand la mémoire est mise sous tension. (Le contenue est aléatoire).

Bonjour,
Explications …
Si la mémoire est constituée de 2exp(N) bits et si chaque bit est dans une position équiprobable (0 ou 1) à la mise sous tension, son entropie est maximale et peut-être représentée par le nombre N (si on décide de prendre le logarithme en base 2). En conséquence, cette entropie grandit de 1 chaque fois que la mémoire est doublée.

Cette entropie est liée à une quantité potentielle d’informations . Quand cette information se structure à l’aide de contraintes et ou de règles extérieures reconnues par l’observateur (ici un algorithme), l’entropie pour ce dernier diminue.

[invite4637e4c7]

Bonjour,

"the links between information entropy and thermodynamic entropy are not evident."".

A l'époque ou la notion d'entropie est apparue avec l'idée de comptage des des configurations on ne connaissait pas la mécanique quantique et les unités de planck.

La quantité d'informations stockées par un trou noir, est donnée par la surface d'une sphère, mesurée en unités de planck.

Cette quantité d'informations stockée est l'entropie ou l'information portée par le trou noir

La quantité d'informations est déterminée par la surface de l'horizon du trou noir