De la notion d'Entropie

[Amanuensis]

"Pourquoi l'information est-elle mesuré en termes de hasard? Simplement parcequ'en choisissant un message dans toute une classe de messages possibles, on se débarasse de l'incertitude ou du hasard présent dans cette classe"

Pour moi (et je précise bien, pour moi), dans l'état c'est du bla-bla. Des mots comme "hasard" et "incertitude" demandent chacun un texte assez long pour se formaliser correctement tout en se rattachant à du concret testable.

Il y a toujours dans l'arrière-plan de telles discussions l'opposition bayésien-fréquentiste. Je me suis converti à l'école bayésienne, et cela a des conséquences. La notion de hasard n'est pas présente en bayésien, qui voit les probabilités comme une formalisation de l'inférence inductive : sachant ce que je sais, et connaissant les gains, quel est le meilleur pari (le meilleur choix, la meilleure décision, ...). Une probabilité est juste un coefficient qui intervient dans le calcul du gain.

L'incertitude (au sens JE ne suis pas certain que...) est quantifiée(1), mais porte explicitement sur un manque de connaissance (dont l'importance critique du "sachant que...") et est explicitement subjective.

(1) Au sens "mise en nombre", et c'est un réel.
-----

[invite490b7332]

Je relance sur cette approche Bayesiène car elle est vraiment sous-jecente dans la théorie de l'information.
Puisque, l'entropie de Shannon est finalement moins interessante que l'entropie différentielle de Shannon,à savoir

Cette entropie différentielle traduit l'incertitude sur le (N+1)ème message sachant les N précédents.

Et c'est à partir de cette entropie différentielle, que l'on définit la taux maximum de compression permis par la formule où m est lié au type de codage (2 pour du binaire, 26 pour de l'anglais)

Il y a donc un lien entre le nombre de messages et l'entropie de Shannon.
Si le nombre de messages d'une classe est N alors l'entropie est N fois plus petite.

[invite490b7332]

Sur un cas concret, cela reviendrait à dire que :
Si je code des mots de 9 lettres d'un côté (quantique, mécanique,physiques, forumeurs) et des mots de 3 lettres d'un autre (oui, non, pas, nul), alors l'entropie sur les mots de 3 lettres est 3 fois supérieure que sur les mots de 9 lettres.

Est ce que vous comprenez la même chose que moi?

[Amanuensis]

Est ce que vous comprenez la même chose que moi?

Non. Il y a plus de mots de possibilités de mots 9 lettres que de possibilités de mots de 3 lettres par simple combinatoire. C'est tout.

Même pas évident qu'il y ait en anglais plus de mots de 9 lettres que de mots de 5 lettres !

[invite490b7332]

Non. Il y a plus de mots de possibilités de mots 9 lettres que de possibilités de mots de 3 lettres par simple combinatoire.

Ce n'est pas tout à fait dans ce sens que je le comprenais...

Si un canal (disons audio) transmet des paquets de données (codé en bits mais peu importe) de 100 points d'un coté et de 10 points de l'autre.
L'entropie (l'incertitude) sera alors 10 fois plus importante dans le second cas que dans le premier non?

[Amanuensis]

Ce n'est pas tout à fait dans ce sens que je le comprenais...

Si un canal (disons audio) transmet des paquets de données (codé en bits mais peu importe) de 100 points d'un coté et de 10 points de l'autre.
L'entropie (l'incertitude) sera alors 10 fois plus importante dans le second cas que dans le premier non?

Non. Le débit d'une transmission sérielle se mesure par rapport au temps (par exemple). Grouper les caractères ne change rien si le débit en caractères est inchangé. En langage technique, diminuer le nombre de bauds par 3 tout en multipliant par 8 la taille de l'alphabet ne change rien.

Et mon point reste, l'utilisation du mot "entropie" n'apporte rien dans ce genre de comparaison. (Ce serait différent si un modèle d'erreur était introduit.)

[invite490b7332]

, H en bits, avec . Ce qui signifie donc que la quantité d'information apportée par un message ne dépend finalement pas du message reçu.


Similairement, l'entropie en thermodynamique est, d'après la célèbre formule de Boltzmann, proportionnelle au logarithme du nombre de microétats dans lequel le système peut se trouver. Mais comment définit-on un microétat ? Est-ce la donnée de tous les couples (position, quantité de mouvement) ? Dans ce cas, si l'espace est continu, ne devrait-on pas avoir une infinité (et même, une infinité indénombrable !) de microétats possibles ? Et d'ailleurs, d'après l'inégalité de Heisenberg, cette donnée n'est même pas accessible… donc je sèche un peu


J'ai essayé de comprendre comment se définissait l'entropie en physique statistique ; en dehors du de la question précédente, l'autre terme fondamental est la constante de Boltzmann, qu'on nous dit valoir .

Sinon en passant, la formule de Boltzmann n'est que l'écriture de l'entropie dans un cas bien particulier, celui où il y a équiprobabilité.
Je reprends ton équation de départ qui définit l'entropie
,
Puis je reprends ta deuxième équation
auquel j'ajoute la condition d'équiprobabilité
. n est le nombre de micro-états .

Maintenant en injectant la deuxième équation dans la première...


Tu retombes sur la formule de Boltzmann

[invite6754323456711]

L'entropie (l'incertitude)

Il existe plusieurs formalismes logiques permettant de prendre en compte l’incertitude, dans un processus d’aide à la décision : http://www.lamsade.dauphine.fr/~tsou.../chat01v02.pdf

Dixit : Par exemple l’introduction de la théorie des possibilités a permis l’utilisation des formalismes de représentation de l’incertitude autres que celui de la probabilité et sa nature de mesure additive.


Patrick

[invite9ac7aecb]

Sinon en passant, la formule de Boltzmann n'est que l'écriture de l'entropie dans un cas bien particulier, celui où il y a équiprobabilité.

Sauf erreur de ma part, cela n'arrive qu'en cas d'équilibre.

Le reste du temps, comment fait-on ? La formule de Sackur-Tetrode peut-elle encore s'appliquer ?

[invite490b7332]

Sauf erreur de ma part, cela n'arrive qu'en cas d'équilibre.

Bonjour Clemgon,
Oui vous avez tout à fait raison!
Je ne connais pas la formule de Sackur-Tetrode ...

[invite490b7332]

Il existe plusieurs formalismes logiques permettant de prendre en compte l’incertitude, dans un processus d’aide à la décision : http://www.lamsade.dauphine.fr/~tsou.../chat01v02.pdf

Dixit : Par exemple l’introduction de la théorie des possibilités a permis l’utilisation des formalismes de représentation de l’incertitude autres que celui de la probabilité et sa nature de mesure additive.

Bonjour Patrick,
L'entropie est quand même un bon indicateur pour quantifier le hasard!
J'ai fait une simulation sous matlab où j'ai comparé la formule de Boltzmann (qui caractérise le hasard maximal) et la fonction random "aléatoire" de matlab.

L'indicateur "entropie" permet de dire que la fonction "hasard" de matlab n'est pas si mal que ça mais pas parfaitement aléatoire (car en dessous de la formule de Boltzmann).

[Amanuensis]

Pourriez-vous être beaucoup plus précis sur la méthode de calcul des deux courbes présentées ?

[invite93279690]

Sauf erreur de ma part, cela n'arrive qu'en cas d'équilibre.

Le raisonnement est inverse en fait. Dans l'utilisation de l'inférence statistique pour justifier les estimations a priori de Gibbs (correspondant à l'ensemble microcanonique dans ce cas), on part de l'entropie de Shannon et on se demande : "sachant que la somme des probabilités doit faire 1 et que N, V et E sont fixés, quelle est la probabilité qui maximise l'entropie de Shannon ?" ce qui revient à chercher la probabilité la moins biaisée étant donner ce que l'on sait sur le système.

Si on fait le calcul, on trouve que la loi est uniforme dans la portion de l'espace des phases correspondant à une coquille d'energie E à dE près et avec N et V fixés et zéro ailleurs.

Compte tenu de ces contraintes pour un système isolé, c'est le minimum d'information que l'on peut avoir sur ce dernier et cela correspond donc à ce qu'on appelle l'équilibre.

Si on se place dans une situation qualifiée d'hors équilibre, cela veut dire que l'on a plus à dire sur le système que les simples contraintes précitées (par exemple on sait que la distribution des vitesses n'est pas Maxwellienne ou bien que la densité moyenne à une particule n'est pas uniforme etc...).

Dans ce cas, il faut repartir de l'entropie de Shannon et trouver quelle est la distribution de probabilité associée à ces informations supplémentaires sur le système. Très probablement, la distribution trouvée ne sera pas invariante sous la dynamique du système et il faut faire du coup des choses compliquées pour en déduire l'évolution de cette distribution hors équilibre vers une distribution uniforme.

Le reste du temps, comment fait-on ? La formule de Sackur-Tetrode peut-elle encore s'appliquer ?

La formule de Sackur-Tetrode est une formule valable à l'équilibre.

[Amanuensis]

Je ne comprends pas l'utilisation du terme "entropie de Shannon" (qui parle de canaux de transmission, jamais vu dans les écrits de Shannon qu'il parle d'autre chose) à la place de "entropie" (la variable d'état physique, comme par exemple l'entropie de von Neumann en PhyQ).

Exemple, article "Entropy" dans le wiki anglais :

In information theory, entropy is the measure of the amount of information that is missing before reception and is sometimes referred to as Shannon entropy.

La référence à un canal de transmission est explicite avec le mot "reception". (Perso, je n'aime pas cette définition, mais elle supporte le point général.)

Le terme "Shannon entropy" n'apparaît nulle part ailleurs dans l'article (qui parle aussi de l'entropie au sens physique) ; et Shannon n'est mentionné qu'en relation avec la notion de transmission.

[invite93279690]

Je ne comprends pas l'utilisation du terme "entropie de Shannon" (qui parle de canaux de transmission, jamais vu dans les écrits de Shannon qu'il parle d'autre chose) à la place de "entropie" (la variable d'état physique, comme par exemple l'entropie de von Neumann en PhyQ).

Exemple, article "Entropy" dans le wiki anglais :



La référence à un canal de transmission est explicite avec le mot "reception". (Perso, je n'aime pas cette définition, mais elle supporte le point général.)

Le terme "Shannon entropy" n'apparaît nulle part ailleurs dans l'article (qui parle aussi de l'entropie au sens physique) ; et Shannon n'est mentionné qu'en relation avec la notion de transmission.

Probablement que Shannon lui même ne l'aurait pas appelée comme ça ou ne l'aurait pas utilisée comme ça mais je pense que cette appellation apparemment non consensuelle a été introduite par E.T. Jaynes dans les années 50.

Les ouvrages de référence français comme "éléments de physique statistique" de Bernard Diu ou "du microscopique au macroscopique" de Roger Balian entre autres, utilisent tous deux cette terminologie il me semble.

L'entropie de von Neumann est la version quantique mais vu qu'il a fallu donner un nom à la version classique on l'a appelée entropie de Shannon.

...après réflexion, je ne sais pas exactement ce que tu veux dire non plus mais si tu entends par ton dernier message qu'il ne faut pas confondre la fonctionnelle d'information à maximiser pour obtenir la distribution la moins biaisée avec la valeur ou la forme que prend cette fonctionnelle une fois la distribution la moins biaisée réeintroduite dans la fonctionnelle, je suis d'accord. En fait je préfère parler de mesure d'information de Shannon, c'est juste que là j'ai pas fait attention.

[Amanuensis]

La seule chose claire que je pense sur le sujet est que la notion d'entropie est suffisant compliquée, polysémique, floue, etc., qu'il n'est pas nécessaire d'en rajouter.

Perso, il y a

- la capacité de canal ;

- l'entropie physique (une variable d'état) ;

- l'entropie d'une distribution discrète de probabilités, utilisée par exemple comme critère à maximiser pour un prior, comme expliqué par Jaynes.

Mélanger tout cela, cela fait peut-être très pro, mais le résultat est totalement flou.

Puisque Jaynes a été cité, voilà quelques phrases extraites de son dernier bouquin, publié post-mortem, chapitre 11 :

In particular, the association of the word 'information' with entropy expressions seems in retrospect quite unfortunate, because it persists in carrying the wrong impression to so many people.

ou encore

The function H is called the entropy, or better, the information entropy of the distribution. This is an unfortunate terminology, which now seems impossible to correct. We must warn at the outset that the major occupationnal disease of this field is the persistent failure to distinguish between the information entropy, which is a property of any probability distribution, and the experimental entropy of thermodynamics, which is instead a property of a thermodynamic state as defined, for instance by such observed quantities as pressure, ...

Certes, il continue un peu plus loin en montrant qu'il y a un raisonnement unique fédérant les différents usages de la formule. Et cela a un rapport avec le choix de prior en probabilités conditionnelles. Le chapitre 11, près de 30 pages, est consacré à la question, et je ne vois pas comment on peut la résumer de manière simple. Et je ne vois pas comment on peut dissiper le flou dont je parle plus haut sans entrer dans une complication bien au-delà des applications "simples", comme la capacité de canal ou certaines approches de l'entropie physique.

Pour continuer avec Jaynes, il utilise "mesure d'incertitude" avec une belle circonspection. Il dit en gros, "si on voulait mesurer l'incertitude d'une manière qui colle avec les propriétés qui semblent nécessaire d'après le sens commun, alors la formule est un bon candidat, car elle a les bonnes propriétés". Il ne parle que de la "mesure de l'incertitude d'une distribution de probabilité", d'ailleurs.

----

Notons le mot "discret". Le passage de probabilités discrètes (permettant la formule simple somme des plog(p)) au continu n'est pas trivial (et piégeux). Or parler de distribution de Maxwell est parler d'une distribution continu. La notion d'état en mécanique classique n'est pas une notion discrète. C'est un exemple de "flou", ce mélange entre une formule adaptée uniquement aux probabilités discrètes à une distribution continue devrait faire tiquer !

[invite490b7332]

Pourriez-vous être beaucoup plus précis sur la méthode de calcul des deux courbes présentées ?

Beaucoup, je ne sais pas, mais je peux essayer de l'être au moins un petit peu...

J'ai simulé récursivement de 1 à 1000 micro-états.
La courbe verte est la fonction log(n) et la courbe bleu est l'entropie de Shannon dont les probabilités sont données aléatoirement par matlab.

A mon sens, on voit que l'entropie maximale est une limite relativement dificille à atteindre pour ce nombre de micro-états( <1000).

Cependant l'évolution de l'entropie montre une régularité surprenante! Peut-être est ce un effet des grands nombres? Je ne sais pas bien le justifier.

[Amanuensis]

J'ai simulé récursivement de 1 à 1000 micro-états.

Qu'est-ce que cela signifie ?

[invite93279690]

Notons le mot "discret". Le passage de probabilités discrètes (permettant la formule simple somme des plog(p)) au continu n'est pas trivial (et piégeux). Or parler de distribution de Maxwell est parler d'une distribution continu. La notion d'état en mécanique classique n'est pas une notion discrète. C'est un exemple de "flou", ce mélange entre une formule adaptée uniquement aux probabilités discrètes à une distribution continue devrait faire tiquer !

Tu as raison mais il n'y pas mort d'homme pour autant. Comme indiqué dans le wiki associé http://en.wikipedia.org/wiki/Maximum...hannon_entropy , on ne peut pas utiliser "bêtement" la formule originale de Shannon pour des variables aléatoires continues. Cela étant on peut le faire de façon relative. Il se trouve -à tord peut être- qu'on choisit toujours un prior trivial pour la comparaison qui correspond alors à une distribution uniforme.

Les distributions les moins biaisées trouvées par ce moyen peuvent être évidemment differentes en fonction de la densité m(x) à laquelle on compare la densité d'intéret...je me demande si l'information de Fisher a ce problème...je ne crois pas.

[invite490b7332]

J'ai pris 9 systèmes avec des micro-états variants de 2 à 10000.
Pour chacun je distribue aléatoirement des probabilités pour chacun des états. Cette opération, je la répète 1000 fois pour chaque système. On voit alors que l'entropie varie de moins en moins lorsqu'on augmente le nombre d'états.
Pour de grand système, l'entropie est quasi-invariante par permutation des probabilités sur les états...
entropie.jpg

[invite6754323456711]

Perso, il y a

- la capacité de canal ;

- l'entropie physique (une variable d'état) ;

- l'entropie d'une distribution discrète de probabilités, utilisée par exemple comme critère à maximiser pour un prior, comme expliqué par Jaynes.

Que penses tu de l'approche de néguentropie de Brillouin qui est venue rajouter son référentiel pour décrire de manière équivalente la statistique des mots dans un message et celle des états atomiques d’un gaz, visant la fusion/unification des concepts ?

Patrick

[invite6754323456711]

visant la fusion/unification des concepts ?

N'est ce pas comme les structures de groupes qui peuvent s'appliquer à des ensembles d'entités de nature différente ? Ici la structure abstraire c'est le cadre probabiliste. D’où une confusion entre le cadre abstrait et l'ensemble des objets sur lequel on le fait agir ?

Patrick

[invite490b7332]

N'est ce pas comme les structures de groupes qui peuvent s'appliquer à des ensembles d'entités de nature différente ? Ici la structure abstraire c'est le cadre probabiliste. D’où une confusion entre le cadre abstrait et l'ensemble des objets sur lequel on le fait agir ?

Bonjour,
Par groupe, tu fais allusion à la théorie des groupes?
Si c'est le cas effectivement, je m'étais fait la même remarque...
Il y a une transformation infinitésimale (la permutation des probabilités entre états) qui laisse une quantité invariante: l'entropie....

[invite6754323456711]

Bonjour,
Par groupe, tu fais allusion à la théorie des groupes?

Oui et leur représentation.

Patrick

[invite6754323456711]

Bonjour,
Par groupe, tu fais allusion à la théorie des groupes?

Oui et leur représentation.

Patrick

[invite490b7332]

Oui et leur représentation.

Patrick

N' aurais tu pas en tête le théorème deNoether?

[invite6754323456711]

N' aurais tu pas en tête le théorème deNoether?

La théorie des groupes n’était qu'une métaphore.

http://www.jehps.net/Decembre2007/Triclot.pdf

La définition de la quantité d’information proposée par Shannon présente en effet une analogie frappante avec la définition d’une quantité physique particulière, l’entropie. Cette similitude entre les fonctions conduit Shannon, sur le conseil de Von Neumann, à nommer « entropie » sa définition de la quantité d’information.

[Denbigh, 1981] rapporte que Von Neumann aurait suggéré à Shannon l’emploi du terme entropie, non seulement en raison de la similitude entre les fonctions, mais aussi parce que « personne ne comprenant vraiment ce qu’est l’entropie, cela donnerait [à Shannon] avantage dans les débats. »

Patrick