L'entropie tend-elle toujours à son maximum ?

[Gorthol Adanedhel]

I. Avant-propos : quelques notions.

L’entropie de Boltzmann définit l'entropie micro-canonique d'un système physique à l'équilibre macroscopique, mais laissée libre d'évoluer à l'échelle microscopique entre Oméga micro-états différents (appelé aussi nombre de complexions, ou encore nombre de configuration du système). L’unité est en Joule par Kelvin (J/K).

L'entropie de Shannon, due à Claude Shannon, est une fonction mathématique qui correspond à la quantité d'information contenue ou délivrée par une source d'information. Plus la source est redondante, moins elle contient d'information. L'entropie est ainsi maximale pour une source dont tous les symboles sont équiprobables. L'entropie de Shannon peut être vue comme mesurant la quantité d'incertitude liée à un événement aléatoire, ou plus précisément à sa distribution. Généralement, le logarithme sera en base 2 (base binaire). Un cas particulier est l'entropie de Von Neumann, utilisé en cryptographie quantique (voir les cours de Serge Laroche).

Maintenant que nous connaissons l’entropie de Boltzmann et l’entropie de Shannon, on peut fusionner les deux ce qui donne l’entropie de Boltzmann-Shannon. On peut considérer ainsi un système thermodynamique qui peut se trouver dans plusieurs états microscopiques "i", de probabilités respectives "p_i".

On sait que l’entropie est maximale lorsque les nombres de molécules dans chaque compartiment sont égaux. L’entropie est minimale si toutes les molécules sont dans un seul compartiment. Elle vaut alors 0 puisque le nombre d’états microscopiques vaut 1.

Du point de vue de la théorie de l’information, le système thermodynamique se comporte comme une source qui n’envoie aucun message. Ainsi, l’entropie mesure « l’information qui manque » au récepteur (ou l’incertitude de la totalité de l’information).

Si l’entropie est maximale (les nombres de molécules dans chaque compartiment sont égaux) l’information manquante est maximale. Si l’entropie est minimale (les nombres de molécules sont dans un même compartiment), alors l’information qui manque est nul.

II). La problématique.

La question est : Est-ce que l'entropie tend-elle toujours à son maximum, et cela, selon l'entropie de Shannon, ou selon l'entropie de Boltzmann, ou encore l'entropie de Boltzmann-Shannon ?

Remarque : La théorie holographique se base sur le principe d'entropie maximale : Le principe holographique dit qu'il y a au plus un degré de liberté (ou une constante de Boltzmann k, unité d'entropie maximale) pour chaque ensemble de quatre aires de Planck, ce qui peut être écrit comme une limite de Bekenstein (en) : S ≤ A/4, où S est l'entropie et A l'aire considérée.

Erik Verlinde l'explique aussi à propos de force entropique lié aux polymères : "Peut-être que l'exemple le plus connu est celui d'un polymère. Une seule molécule polymère peut être modélisée en joignant ensemble de nombreux monomères de longueur fixe, où chaque monomère peut librement tourner autour de points d'attache et s'orienter dans n'importe quelle direction. Chacune de ces configurations a la même énergie. Quand la molécule polymère est immergée dans un réservoir thermique, elle tend à se mettre dans un état enroulé de manière aléatoire car ces configurations sont favorisées d'un point de vue entropique. Il y a bien plus de configurations quand le système est court que lorsque le système est étiré. La tendance statistique à retourner vers un état d'entropie maximale se traduit alors en une force macroscopique, en l'occurrence la force élastique.". Une explication plus détaillé est présente sur
https://sciencetonnante.wordpress.co...ne-entropique/

Voilà maintenant à vous d'y apporter votre lumière sur ce débat
-----

[piranas]

huhuhu.... pardon.....

[iharmed]

bonjour

???? entropie

il y en a plusieurs

en thermodynamique elle mesure le désordre, elle est toujours croissante. CA prouve que le monde (l'univers) tend vers le désordre.

[sunyata]

La question est : Est-ce que l'entropie tend-elle toujours à son maximum, et cela, selon l'entropie de Shannon, ou selon l'entropie de Boltzmann, ou encore l'entropie de Boltzmann-Shannon ?

J'aurais même tendance à dire que l'entropie croit aussi vite que le système de contraintes lié à l'environnement le permet. Je crois qu'on parle du MEP (Maximum Entropie Principle), qui est le corollaire en thermodynamique
du principe de moindre action.

Cordialement

[A voir en vidéo sur Futura]

[EauPure]

Certain disent même qu'elle tend paraisseusement vers son maximum

[Asgarel]

Bonjour,
parmi tous les concepts d'entropie que tu cites, il manque celle de Clausius qui est la véritable entropie thermodynamique, celle sur laquelle est basée le 2ème principe. L'entropie de Bolztmann n'est que statistique et ne doit AMHA être prise que comme une modélisation de l'entropie thermodynamique.
La variation d'entropie est toujours strictement positive si l'on oublie le cas idéal d'une évolution réversible qui supprimerait la flèche du temps. Donc oui, l'entropie tend toujours vers son maximum sans jamais l'atteindre (car sinon, ΔS deviendrait nulle).

Pour l'entropie de Boltzmann, elle modélise l'entropie Sp produite par le système. La variation d'entropie est la somme de l'entropie reçue de l'environnement (Sr=Q/T) et de Sp: ΔS = Sr + Sp > 0. Pour un système isolé, Q=0 et donc ΔS=Sp > 0. Si on fait le lien avec Bolztmann, on a donc: ΔS=kb.Δ(ln Ω) > 0 => ΔΩ > 0. Or, Ω est un nombre de complexions, c'est à dire un nombre entier de combinaisons C(N1,N), avec N1 et N entiers. Pour avoir Δ(C(N1,N))> 0, il faut donc que ΔN1>0 mais avec N1<N/2 (car pour N1>N/2, si ΔN1>0 alors ΔΩ < 0). Donc, même avec N très grand, Ω ne peut pas croitre indéfiniment et l'entropie de Bolztmann atteint un maximum contrairement à l'entropie de Clausius. Ce qui ne fait que montrer les limites du modèle à mon avis.

[mach3]

un peu de lecture (pour ceux que l'anglais n’effraie pas) :

http://www.av8n.com/physics/thermo/entropy.html
http://www.av8n.com/physics/thermo/entropy-more.html

Entre autre chose, il n'y a qu'une seule entropie. Il n'y a pas d'un coté l'entropie de Boltzmann, de l'autre celle de Shannon sans oublier celle de Clausius. C'est un concept unique.

m@ch3

[Amanuensis]

Entre autre chose, il n'y a qu'une seule entropie. Il n'y a pas d'un coté l'entropie de Boltzmann, de l'autre celle de Shannon sans oublier celle de Clausius. C'est un concept unique.

Pas trop d'accord. Il y a le concept d'entropie en physique, et le concept d'entropie en sciences de l'information. La relation entre les deux reste, à mon avis et malgré de nombreux textes dessus, très discutable, simplement parce que le statut de l'information en physique est lui-même très discutable, à la frontière entre physique et épistémologie.

Le concept d'entropie en physique expérimentale (par opposition à "physique spéculative") est bien unique, d'accord. Mais j'aurais tendance à être du même humble avis qu'Asgarel sur la relation entre entropie de Boltzmann et entropie de Clausius.

[HenriParisien1]

...

Pour ma part, j'ai toujours considéré que l'entropie de Shannon était grosso modo le plus petit programme permettant de coder une chaîne.


Si je comprend bien ton propos, tu semble considérer que la répartition égale dans N boites de nombres dont la totalité forme M est la plus complexe.
Il me semble au contraire que c'est l'une des plus simple. Le programme :
For i = 1 to N
t[i] = M/N
la code quelque soit N et M.

Alors que si M est suffisamment grand par rapport à N, la plupart des chaines aléatoires de N nombres dont la somme totale est égale à M a une complexité de l'ordre de N Log(M).

Bon, c'est juste l'avis d'un informaticien qui ne comprend pas trop le problème posé

[EauPure]

Et quelle est l'entropie d'un QBIT ?

En mécanique quantique, on appelle intricat un état physique où sont intriqués un système S1 et un système S2 sans que l'espace de Hilbert soit la somme tensorielle de l'espace de S1 et de l'espace S2. Il y a même au contraire corrélation complète de S1 et de S2 de sorte que l'entropie de (S1 union S2) dans un intricat est simplement celle de S2 ou de S1. Il y a sous-additivité complète.
https://fr.wikipedia.org/wiki/Informatique_quantique

réaliser un QBit diminue l'entropie et c'est pour ça que c'est si difficile de contrer la décohérence

[Asgarel]

Entre autre chose, il n'y a qu'une seule entropie.

Il est clair que d'un point de vue scientifique, tous les concepts d'entropie ne peuvent être que différents. Leurs définitions sont différentes, leurs domaines d'application sont différents.
Maintenant, d'un point de vue épistémologique, c'est également sûr qu'il y a une notion unique d'entropie derrière ces concepts. Notion qu'il faut comprendre en les manipulant dans leurs domaines respectifs et en identifiant des analogies.
- en thermo, l'entropie est associée à une perte d’énergie libre, càd d’énergie utile, dont on peut faire quelque chose de concret (comme une mesure par exemple). Sp > 0 => ΔF=ΔU-TΔS < 0 (à volume et température constants)
- en thermo statistique, elle est associée à une perte d'ordre interne, c'est à dire de structure propre du système.
- chez Shannon en théorie de l'information (qui est en fait une théorie des transmissions de message), c'est une perte de contenu dans les opérations de transmission.
- vue comme complexité de Kolmogorov, ce serait une perte ou gain d'espace mémoire (ou de temps d'exécution pour la complexité de Benett).

Chaque fois on a donc une perte de quelque chose qui nous est utile à nous humains: énergie libre, structure, symétrie, information, espace, temps, etc... L'entropie est bien une notion épistémologique, pas la peine d'y chercher de l'ontologique ou du métaphysique. D'ailleurs il n'y a besoin de cette notion de perte/évolution que parce qu'on postule au départ la conservation de quelque chose: l’énergie totale, l'état macroscopique, le "programme informatique", etc...

Et l'introduction de cette duellité évolution/conservation ne vient que de la séparation arbitraire système/environnement.

Pour faire court:
- Besoin de connaitre => besoin d'identifier, séparer un système de son environnement (principe 0 de l'épistémologie)
- Si le système à connaitre nous semble perdurer, c'est que quelque chose doit se conserver. Or, on constate que rien de mesurable ne se conserve (on a essayé avec la masse ou la chaleur par exemple mais ça ne marche pas). Donc on postule un concept qui se conservera (principe 1). L'énergie totale par exemple.
- Constatant que l'environnement à quand même une influence sur le système, que la conservation n'est pas complète, on postule enfin un principe d'évolution/adaptation (principe 2). Voici l'entropie.
- constatant finalement que si l'environnement influe sur le système, le système influe aussi sur environnement, on postule que l'équilibre parfait est inaccessible (principe 3). Pas d'isolation absolue entre le système et l'environnement.

C'est semble t-il notre seule façon de connaitre le monde et nous même (séparation sujet/monde, principe 0 à nouveau). La thermo est un magnifique prototype pour une épistémologie théorique. Toutes nos belles théories devraient normalement entrer dans le moule. Pensez par exemple au Darwinisme (conservation du concept espèce, évolution des individus dans leur environnement, modification de l'environnement par les individus jusqu'à un certain point).

Bon, c'était une digression épistémologique, excusez moi. Ça rentre peut-être pas vraiment dans le sujet...

[LKimix]

Entre autre chose, il n'y a qu'une seule entropie. Il n'y a pas d'un coté l'entropie de Boltzmann, de l'autre celle de Shannon sans oublier celle de Clausius. C'est un concept unique.

Il est clair que d'un point de vue scientifique, tous les concepts d'entropie ne peuvent être que différents.

A mon avis, Asgarel a raison sur le plan purement lexical et leur application. L'entropie de shannon (que je connais beaucoup moins que les autres) quantifie le manque d'information alors qu'en thermodynamique, l'entropie est une grandeur thermodynamique représente la mesure du degré de désordre d'un système au niveau microscopique.

Cependant, à mon sens, mach3 a raison d'un point de vue démonstratif et sur le support initial de calcul. Dans un cas comme dans l'autre, on fait des probabilités à grande échelle sur des systèmes complexes. La formule de boltzmann étant une formule statistique qui implique un paramètres physique (la constante de Boltzmann, qui peut s'interpréter comme un facteur de proportionnalité reliant la température d'un système à son énergie thermique). Les raisonnements me paraissent similaires et menant à des conclusions semblables avec une spécificité à l'objet d'étude.

Les entropies de clausius et de Boltzmann sont liées via la signification statistique de la température. Par contre, je ne vois pas trop comment comparer l'entropie de Shannon à une entropie "de clausius" qui est une notion physique et une grandeur thermodynamique.

On sait que l’entropie est maximale lorsque les nombres de molécules dans chaque compartiment sont égaux. L’entropie est minimale si toutes les molécules sont dans un seul compartiment. Elle vaut alors 0 puisque le nombre d’états microscopiques vaut 1.

Je suis d'accord avec la première phrase. La deuxième est, par contre, fausse. Tes molécules suivent des répartitions cinétique/énergétiques de Boltzmann impliquant un grand nombre de micro-états différents (principe de Nernst: en gros, les entropies de tous les cristaux parfait tendent vers 0 quand la température tend vers 0K ... ce qui n'est pas ton cas!).

La question est : Est-ce que l'entropie tend-elle toujours à son maximum, et cela, selon l'entropie de Shannon, ou selon l'entropie de Boltzmann, ou encore l'entropie de Boltzmann-Shannon ?

Du coup, d'après ce que je comprend de ta question, tu ne peux pas faire ce raisonnement. Car tu t'appuie sur le second principe de la thermodynamique qui n'est bien sur pas valable en théorie de l'information. Donc oui, elle tendra vers son maximum en thermodynamique mais pas en théorie de l'information ... Enfin, je n'ai peut-être pas bien compris ton raisonnement !

[sunyata]

http://bupdoc.udppc.asso.fr/consulta...?ID_fiche=7540

[sunyata]

En considérant un système thermodynamique comme un système dont l'information est manquante du fait de l'absence de communication et en appliquant le principe de moindre action (ou principe de maximum Entropie Mep) à l'entropie de Shannon on obtient l'Entropie de Boltzmann.

Cordialement

[mach3]

J'allais dire un truc dans le genre. En thermodynamique l'entropie caractérise un manque d'information sur le système. Il y a 6n variables pour n particules et on en connait souvent que 3 ou 4 : P, T, V, n...
Plus il y a de particules et plus on manque d'information
Plus il y a de volume, plus il y a de positions possibles et plus on manque d'information
Plus la température est haute, plus il y a d'impulsions possibles et plus on manque d'information.

Autre chose, l'entropie n'est pas le désordre, mais si ça semble coincider dans certains cas.

m@ch3

[Amanuensis]

Sauf que si on prend l'idée de 6n degrés de liberté continus (ce qui est proposé), l'information nécessaire est infinie, et parler d'information manquante consiste à parler d'un infini, avec tous les écueils mathématiques que cela implique.

Cela ne peut pas être aussi simple que cela. (Il y a moyen d'aller un poil plus loin avec l'espace de phase, ses hyper-volumes, le théorème de Liouville, etc. Cf. Sackur-Tetrode, ou des réflexions sur le sujet par Jaynes.)

Perso, je pense que le concept d'information comme grandeur physique est au mieux à l'état d'embryon dans les théories actuelles, et qu'on risque fort de tomber dans le verbiage si on veut faire de la vulgarisation d'un truc aussi flou.

Mais bon, comme je l'ai écrit maintes fois, il y a des amateurs de ce genre de verbiage (cela ne vise pas Mach3), et je comprends bien qu'il y ait pas mal de discussion dans ce style dans ce forum. Pas ma tasse de thé.

[Asgarel]

http://bupdoc.udppc.asso.fr/consulta...?ID_fiche=7540

J'ai dejà lu ce genre de raisonnement plein de fois et franchement je trouve ça toujours aussi léger sur le plan de la déduction. En gros, ça se résume à utiliser le concept de probabilité comme pivot sémantique et à dire que ma fois, une probabilité en valant une autre et comme il y a des log dans les les deux formules, on doit pouvoir écrire une relation S=K.H entre l'entropie de Boltzmann S et celle de Shannon H. Suffit de résoudre le système d'équations, c'est facile. Sans vraiment se poser de questions sur ce que représentent ces probabilités dans les deux cas.

Pourtant, les auteurs commencent par dire:

Lorsque le message est totalement prévisible (P>>0), l'information est nulle. Lorsqu'il est original (P<<1), l'information est très grande. En bref, selon Shannon, être informé, c'est être surpris.

Et donc ils quantifient ce taux de surprise, d'originalité par une probabilité P. Sans bien sûr perdre de temps à considérer comment on peut bien modéliser une telle notion. C'est quand même le nœud du problème. Il faut trouver un moyen de quantifier ce taux d'informations contenu dans le message x. Et ce ne sont pas les tentatives qui manquent en théorie de l'information. Mais ça se résume toujours à l'évaluation d'une certaine complexité du message, dont le prototype serait la complexité de Kolmogorov K(x). On pourrait par exemple poser quelque chose comme P(x)=(L(x)-K(x))/K(x), avec L(x) la longueur de x. Mais pas de chance, K(x) et toutes les fonctions du genre sont non récursives. La notion échappe au modèle encore une fois. Et au passage on voit bien qu'on pourrait définir autant de "théorie de l'information" qu'on peut inventer de moyen de calculer P(x). Il y a autant de concept d'entropie de l'information que l'on veut, qui ne se réduisent pas les unes aux autres et qui ne se réduisent pas à l'entropie de Boltzmann. Mais poursuivons. Voici comment ils définissent l'information manquante:

|...| aussi l'entropie de la source mesure t-elle l'information qui manque au récepteur, du fait de l'absence de message"
[...] l'information manquante est maximale puisqu'un puisqu'un grand nombre d'états microscopiques réalisent l'état macroscopique le plus probable.

Mais la deuxième phrase, c'est justement la définition du nombre de complexions. Trop facile! Où est passée la notion d'originalité, de surprise initiale ? Elle s'est perdue dans le pivot sémantique de P. On voit pourtant bien qu'une information manquante sur l'état microscopique du système n'a pas besoin d'être surprenante ou en aucun sens complexe pour être probable. Dans un cas on évalue la complexité d'un message (une suite de 0 et de 1), dans l'autre on calcule un nombre de combinaisons/complexions Ω et on en déduit une probabilité de l'état macroscopique qui elle est bien récursive dans le modèle de Boltzmann. Mais le grand écart ne les gêne pas puisque pour les auteurs l'important c'est la ressemblance entre deux équations et le mot entropie.

Pour résumé leur idée
- L'entropie de Shannon c'est la quantité d'information utile contenue dans une série de message.
- La quantité d'information utile d'un message c'est sa probabilité P (le pivot).
- Cette probabilité P devient la mesure de l'information manquante (discret changement de concept).
- La mesure de l'information manquante devient nombre de complexions.
- Le nombre de complexions permet de calculer l'entropie de Boltzmann, donc eurêka! Shannon, Boltzmann, tout ça c'est la même chose. D'ailleurs il suffit de résoudre l'équation en P pour le prouver!

L'origine de leur erreur c'est qu'ils partent d'une hypothèse métaphysique. Ils posent dès le départ l'existence en soi (ontologique) d'un concept unique d'Entropie qu'il ne resterait plus qu'a découvrir par le calcul, c'est à dire à l'aide d'un modèle unique et unificateur. Mais c'est quand même pas comme si aujourd'hui on ne savait pas que la cohérence d'un modèle n'est pas à chercher dans le modèle, que le vrai n'est pas à chercher dans le prouvable, qu'une notion un peu difficile (cad non récursive) n'est pas à chercher dans son modèle. Les modèles ne savent que manipuler des concepts bien définis, pas le non calculable (par définition). Les notions de complexités, d'originalité, de surprise, d'entropie produite sont des notions complexes qui échapperont toujours à leurs modèles. Et c'est une bonne nouvelle car les concepts faciles et calculables sont peu intéressants et ne génèrent pas de nouvelles idées.

Pour terminer et corriger le tir, on pourrait dire que le pivot unificateur des modèles d'entropie n'étant plus à chercher dans un concept de probabilité calculable, on ne peut que le trouver dans le point aveugle des modèles, càd dans le non calculable, c'est à dire dans la notion en épistémologie. Ce qui unifie tous les concepts d'entropie, c'est la notion d'entropie. Non mesurable, non calculable, mais génératrice d'idées, de concepts scientifiques et de modèles utiles comme celui de Boltzmann. La notion d'entropie est la source, ce n'est pas ce qu'on cherche. Mais c'est de l’épistémologie, pas de la science. La science n'a que faire du non calculable, de l'indécidable. La science a juste besoins de bonnes théories, de bons modèles qui nous permettent de postuler/prédire ou expliquer/prévoir. Et surtout elle n'a pas besoin de prises de positions métaphysiques (qui ne débouchent que sur du verbiage, effectivement).

[sunyata]

Remarque : La théorie holographique se base sur le principe d'entropie maximale : Le principe holographique dit qu'il y a au plus un degré de liberté (ou une constante de Boltzmann k, unité d'entropie maximale) pour chaque ensemble de quatre aires de Planck, ce qui peut être écrit comme une limite de Bekenstein (en) : S ≤ A/4, où S est l'entropie et A l'aire considérée.

Erik Verlinde l'explique aussi à propos de force entropique lié aux polymères : "Peut-être que l'exemple le plus connu est celui d'un polymère. Une seule molécule polymère peut être modélisée en joignant ensemble de nombreux monomères de longueur fixe, où chaque monomère peut librement tourner autour de points d'attache et s'orienter dans n'importe quelle direction. Chacune de ces configurations a la même énergie. Quand la molécule polymère est immergée dans un réservoir thermique, elle tend à se mettre dans un état enroulé de manière aléatoire car ces configurations sont favorisées d'un point de vue entropique. Il y a bien plus de configurations quand le système est court que lorsque le système est étiré. La tendance statistique à retourner vers un état d'entropie maximale se traduit alors en une force macroscopique, en l'occurrence la force élastique.". Une explication plus détaillé est présente sur
https://sciencetonnante.wordpress.co...ne-entropique/

Voilà maintenant à vous d'y apporter votre lumière sur ce débat

Verlinde dit que la gravitation est une force entropique.

Ce qui signifie que l'espace-temps a une structure discrète et que son comportement observable à notre échelle, est une propriété macroscopique ( comme la pression ou la température) d'un grand nombre de composants en inter-action.
Ce qui est une autre manière de dire, que la gravitation est une propriété qui émerge du monde quantique, c'est une propriété inhérente à l'agitation moyenne du vide quantique.
A une échelle classique, l'incertitude sur les états quantique est maximum, on ne sait rien des états quantiques inhérents au vide quantique, donc l'entropie est maximum.
Cependant à l'échelle classique nous observons une interaction que nous désignons par gravitation.

[sunyata]

Si la gravité est une propriété émergente (force entropique), cela signifie qu'à très petite échelle, il n'y a pas de gravité.
( Tout comme à l'échelle de l'atome, la notion de température ne veut rien dire)
Mais alors comment un trou noir, peut-il préserver sa structure ?