Question sur l'entropie

[QuantumLama]

Bonjour à tous !

Je lisais la page wikipédia sur l'entropie afin d'élargir ma compréhension de cette grandeur que j'avais uniquement vu sous l'aspect thermodynamique lors d'un cours de physique en première année de bachelor.
L'entropie au niveau statistique est donc définie par S= k_b*ln(Omega) où Omega est le nombre de configurations microscopiques.

C'est sur cette phrase que j'ai coincé :

"L'entropie d'un tableau parfaitement lisse et blanc est maximale et ne contient aucune information visible. Si on y ajoute un point coloré, l'entropie diminue, et une information a été ajoutée."

Si l'on considère un "tableau" de 3 cases, si les trois sont blanches il y a alors une seule configuration qui le permet (blanc, blanc, blanc) et donc Omega = 1 d'où S=0. Mais si l'on désire colorer une de ces cases en noir, on a 3 possibilités ! Donc Omega = 3 et S>0, et donc l'entropie a augmenté et pas diminué...

J'ai visiblement mal compris quelque chose, pourriez-vous m'éclairer ?

Merci pour vos réponses !
-----

[Deedee81]

Salut,

Bienvenue sur Futura.

J'ai visiblement mal compris quelque chose, pourriez-vous m'éclairer ?

Non, au contraire, tu as raison ! La phrase de wikipedia est fautive ou à tout le moins mal formulée et incompréhensible.
J'ai été voir dans la page en question, quelque fois que cela soit dû au contexte.... mais non. Ca mériterait d'être réécrit.

Un détail, attention, tu as peut-être compris mais pour être sûr :
Tu dis "où Omega est le nombre de configurations microscopiques", plus précisément
"Omega est le nombre de configurations microscopiques possibles pour un état macroscopique donné".
(donc au niveau macroscopique, les grandeurs mesurées : typiquement température, pression,.... ne permettent pas de distinguer les différents microétats possibles).

On appelle souvent Omega la "probabilité thermodynamique" (le nom est impropre mais conventionnel).

[Amanuensis]

On appelle souvent Omega la "probabilité thermodynamique" (le nom est impropre mais conventionnel).

1/Omega ...

[sunyata]

Bonjour,

Une définition qui me semble éclairante de l'entropie est la suivante, inspirée de l'entropie de Shannon (Identique à un coefficient près) :

L'entropie mesure la quantité d'information manquante pour la description d'un phénomène. Si on utilise le byte d'information, l'entropie correspond au nombre moyen de questions auxquelles il faut répondre pour
connaître la configuration du système :

Si l'on considère un "tableau" de 3 cases, si les trois sont blanches il y a alors une seule configuration qui le permet (blanc, blanc, blanc) et donc Omega = 1 d'où S=0. Mais si l'on désire colorer une de ces cases en noir, on a 3 possibilités ! Donc Omega = 3 et S>0, et donc l'entropie a augmenté et pas diminué...

Supposons que la case noire est colorée :

En me posant la question : Est-ce que la 1 er case est colorée, j'aurait réduit l'incertitude à 0 : Soit une question
Si la case 2 est colorée, la première question, ne suffira pas, je devrais alors me poser la question de savoir si la case 2 est colorée ou la 3: Soit 2 questions
Si la case 3 est colorée, la première question, ne suffira par, je devrais alors me poser la question de savoir si la case 2 est colorée ou la 3 : Soit 2 questions

Soit 5 questions maximum pour 3 configurations possibles, ce qui correspond à un nombre moyen de questions de 5/3= 1.67 qui correspond à l'entropie Shannonienne du tableau dont on ignore la case qui est colorée.

La connaissance de la case noire colorée, me fournit donc 1.67 bytes d'information ou : l'entropie de la case noire est de 1.67

Cordialement

[A voir en vidéo sur Futura]

[sunyata]

Du point de vue physique l'entropie caractérise l'état du système par rapport à l'équilibre thermodynamique et donc la capacité du système à se transformer.
Pour un système isolé, lorsque l'entropie maximum est atteinte, il n'y a plus de transformation possible au sein du système, et donc les grandeurs macroscopiques (pression, température, volume ) suffisent à le caractériser.
Il se trouve dans son état le plus probable.

[Amanuensis]

Du point de vue physique l'entropie caractérise l'état du système par rapport à l'équilibre thermodynamique et donc la capacité du système à se transformer.

Il serait intéressant que soit montrée proprement la relation entre cette définition là, et celle donnée (par la même personne) dans le message un cran plus tôt!

[Amanuensis]

En me posant la question : Est-ce que la 1 er case est colorée, j'aurait réduit l'incertitude à 0 : Soit une question
Si la case 2 est colorée, la première question, ne suffira pas, je devrais alors me poser la question de savoir si la case 2 est colorée ou la 3: Soit 2 questions
Si la case 3 est colorée, la première question, ne suffira par, je devrais alors me poser la question de savoir si la case 2 est colorée ou la 3 : Soit 2 questions

Soit 5 questions maximum pour 3 configurations possibles, ce qui correspond à un nombre moyen de questions de 5/3= 1.67 qui correspond à l'entropie Shannonienne du tableau dont on ignore la case qui est colorée.

La connaissance de la case noire colorée, me fournit donc 1.67 bytes d'information ou : l'entropie de la case noire est de 1.67

Côté maths, maintenant! Le calcul est faux. la valeur correcte est ln(3)/ln(2) bits, soit 1,585 bits.

Cf. n'importe quel bouquin sérieux sur la théorie du codage en traitement de l'information.

(Il est assez clair que la «méthode» indiquée permet de donner un majorant ; mais elle n'implique pas que ce soit la bonne valeur.)

[sunyata]

Côté maths, maintenant! Le calcul est faux. la valeur correcte est ln(3)/ln(2) bits, soit 1,585 bits.
Cf. n'importe quel bouquin sérieux sur la théorie du codage en traitement de l'information.
(Il est assez clair que la «méthode» indiquée permet de donner un majorant ; mais elle n'implique pas que ce soit la bonne valeur.)

Il n'en demeure pas moins que la moyenne du nombre de questions à poser pour trouver la case noire est 1.67 pas 1.585...

[stefjm]

Il n'en demeure pas moins que l'entropie de Shannon a une définition précise utilisant le logarithme à base 2.
https://fr.wikipedia.org/wiki/Entropie_de_Shannon

[Amanuensis]

Un exemple comme quoi le nombre de questions moyen n'est qu'un majorant.

1,6 est entre 1,585 et 1,667. Puisqu'on parle de moyenne, on parle d'une série de cas identiques. Groupons les par 5, puisque 5x1,6 = 8, un nombre entier. Peut-on en huit questions à réponse binaire déterminer les 5 cases colorées, une par groupe de trois cases? Oui, car 3^5 = 243 < 256.

Je laisse trouver comment faire, c'est un exercice de codage élémentaire pour apprenti ingénieur du domaine.

En moyenne on a alors 1,6 questions par cas, mieux que 5/3.

[Amanuensis]

Bien sûr, on pourrait définir un machin basé sur le nombre moyen de questions à réponse binaire. Mais ce machin n'est pas l'entropie. Au moins deux raisons pour que ce ne soit pas adapté comme définition:

1) Le choix de questions binaires est arbitraire. Pourquoi pas des questions admettant trois réponses? Ou quatre? Ou n'importe quel nombre. Ici, il est clair qu'une seule question tri-valuée suffit. L'analyse montre que le nombre minimal moyen de questions binaires est insuffisant pour prédire le nombre moyen minimal de questions k-valuées.

2) Ce n'est pas additif, comme démontré dans le message précédent. Or on cherche une fonction additive au sens où l'information minimale de l'ensemble de deux cas indépendants soit la somme des informations minimales pour chacun des cas. (En physique, de même, on cherche une fonction extensive.)

[Une autre raison plus subtile est que trouver la liste de questions donnant une moyenne minimale est compliqué. Faut pas se faire avoir par le cas trivial d'un cas parmi trois avec proba uniformes, avec des questions binaires. La réponse est ce qu'on appelle un codage de Huffman, et ce n'est pas immédiat. Les 5/3 correspondent à la performance du codage de Huffman en binaire en prenant les cas un par un. Un codage de Huffman en les groupant par 5 donne 1,6, plus efficace.]

[Évidemment l'entropie de Shannon bien définie a les propriétés attendues!]

[Amanuensis]

Ceci dit, on est dans le forum Physique, et le sujet a pris un chemin de traverse (merci à qui de droit).

L'entropie de Shannon est quelque chose de clair et opérationnel pour les spécialistes, chercheurs et ingénieurs en théorie du signal, mais pas en physique.

Je reste très dubitatif sur les tentatives d'éclairage de l'entropie physique (en fait des entropies physiques, il y en a plusieurs) via la théorie de l'encodage de l'information pour la transporter ou la mémoriser.

Par expérience cela ne fait qu'amener des questions et de la confusion, comme le montre le message #1, qui concerne une tentative d'éclairage de ce genre dans le Wiki en français.

Perso, je préconiserais d'éviter le parallèle dans la vulgarisation ou l'enseignement initial, et de parler seulement de l'entropie physique de base (Clausius), et de ne commencer à s'intéresser à la relation avec l'entropie de Shannon que dans le cadre d'un cours en profondeur sur la physique statistique.

Malheureusement, le plus gros de la vulgarisation ne fait pas comme cela, comme le montre d'entrée la page du Wiki en français. (Comme souvent la comparaison des chapeaux des articles correspondant en français et en anglais montre l'effarant simplisme des vulgarisateurs en français. Si le chapeau en anglais est si long et si précautionneux, il y a une raison!)

[stefjm]

On peut voir la physique comme un codage (description) de la réalité, tout comme une base mathématique de comptage (ou de logarithme) permet d'encoder les nombres.

[Amanuensis]

La question n'est pas si on peut, mais si c'est utile, éclairant, aidant, etc. quand il est question de compréhension de concepts de physique considérés comme importants.

[stefjm]

Pour moi, c'est utile, mais je suis bizarre et que moi...

[yvon l]

Si on considère un système traversé par un flux d’énergie thermique, (pour cela il se trouve entre une source chaude et une source froide). Chaque joule qui traverse le système subit une augmentation d’entropie de 1/T. Dans le système proprement dit, le flux d’énergie thermique (chaleur) porte déjà en soi de l’information extraite de l’agitation thermique (direction, grandeur, sens du flux), il est donc porteur d’’une entropie faible (si diminution d’entropie égale augmentation/apparition d’information macroscopique).
Si maintenant cette diminution d’entropie de l’énergie dans le système est porté par un gaz, l’information macroscopique dans le système est constitué en plus par des variations de volume et/ou de pression (PV/T).
Dans ce cas on peut soustraire du flux thermique (chaleur) une énergie d’entropie nulle (travail).
Par contre le bilan total ne peut pas diminuer d’entropie.
Que pensez-vous d’une telle formulation ?

[Amanuensis]

Chaque joule qui traverse le système subit une augmentation d’entropie de 1/T.

Pas plutôt 1/T1-1/T2, avec T1 la température de la source froide et T2 la température de la source chaude?

(En bête application de Clausius, ΔS = δQ1/T1 - δQ2/T2, avec δQ1= δQ2(hypothèse de stationnarité (1)).)

(1) Cette hypothèse implique que l'entropie du système est constante.

[yvon l]

Oui, bien vu : augmentation d'entropie de 1/T1-1/T2 pour chaque joule traversant le système
Et pour le reste, dans le système proprement dit ?