Entropie maximale avec inégalité de Jensen
Bonjour,
Le maximum de l'entropie est atteint pour des événements équiprobables, ce qui est démontré par l'inégalité de Jensen ici, page 3 mais je ne comprends pas très bien le résultat.
Au final, on a, mais je ne comprends pas comment on peut déduire de ça que l'entropie est maximale?
???
Bonjour,
en effet, il n'y a aucune preuve explicite, la réponse se trouve dans l'Information mutuelle I(A,B) de variable aléatoire A et B.
En vérité c'est assez complexe, ça peut se construit par récurrence...
- Tu prends un ensemble X à 2 éléments, alors la loi de distributivité sur X qu'on nomme A ici, doit être uniforme pour une entropie maximale. (trivial, simple calcul sur le maximum).
- Soit un ensemble Xn à n élément avec une loi de distributivité uniforme p(i) = 1/n , cette loi atteint le maximum d'entropie par hypothèse de réccurence. Soit un autre ensemble X1 à un seul élément avec pour loi trivial (loi trivial car il n'y a qu'un seul élément).
Maintenant mélangeons Xn et X1 ! Formons l'ensemble X(n+1) avec la loi de distributivité suivante :
- on pioches dans Xn avec la probabilité q
- on pioches dans X1 avec la probabilité (1-q)
Si tu as bien suivi pour piocher un élément appartenant à Xn est maintenant donc q x 1/n .
Le calcul de H(X(n+1)) se transforme en :
H(X(n+1)) = q H(Xn) + (1-q) H(X1) + H(q)
où H(X1)=1 et H(q) = - q ln q - (1-q) ln (1-q)
Là, tu dérives pour trouver une condition sur le maximum qui est : q = n/(n+1)
L'entropie est maximum, et ta loi est devenue uniforme.
CQFD
Re-Bonjour,
des coquilles se sont glissés dans le premier message que je n'arrive pas à modifié. Donc je le remets ici.
- Tu prends un ensemble X à 2 éléments, alors la loi de distributivité sur X, doit être uniforme pour une entropie maximale. (trivial, simple calcul sur le maximum).
- Soit un ensemble Xn à n élément avec une loi de distributivité uniforme p(i) = 1/n , cette loi atteint le maximum d'entropie par hypothèse de récurrence. Soit un autre ensemble X1 à un seul élément avec une loi trivial (car il n'y a qu'un seul élément).
Maintenant mélangeons Xn et X1 ! Formons l'ensemble X(n+1) avec la loi de distributivité suivante :
- on pioches dans Xn avec la probabilité q
- on pioches dans X1 avec la probabilité (1-q)
Si tu as bien suivi, la probabilité de piocher un élément appartenant initialement à Xn est maintenant de q x 1/n .
Et (1-q) pour l'élément appartenant à X.
Le calcul de H(X(n+1)) se transforme sous cette forme (je te laisse le calcul) :
H(X(n+1)) = q H(Xn) + (1-q) H(X1) + H(q)
où H(X1) = 0 et H(q) = - q ln q - (1-q) ln (1-q)
Là, tu dérives pour trouver une condition sur le maximum qui est : q = n/(n+1)
L'entropie est maximum,...et ta loi est devenue uniforme !
CQFD
Merci pour la réponse, je crois que j'ai compris.
