Répondre à la discussion
Affichage des résultats 1 à 4 sur 4

Entropie maximale avec inégalité de Jensen




  1. #1
    hurluberlu

    Question Entropie maximale avec inégalité de Jensen

    Bonjour,

    Le maximum de l'entropie est atteint pour des événements équiprobables, ce qui est démontré par l'inégalité de Jensen ici, page 3 mais je ne comprends pas très bien le résultat.

    Au final, on a , mais je ne comprends pas comment on peut déduire de ça que l'entropie est maximale?

    ???

    -----


  2. Publicité
  3. #2
    Kon

    Re : Entropie maximale avec inégalité de Jensen

    Bonjour,

    en effet, il n'y a aucune preuve explicite, la réponse se trouve dans l'Information mutuelle I(A,B) de variable aléatoire A et B.

    En vérité c'est assez complexe, ça peut se construit par récurrence...

    - Tu prends un ensemble X à 2 éléments, alors la loi de distributivité sur X qu'on nomme A ici, doit être uniforme pour une entropie maximale. (trivial, simple calcul sur le maximum).

    - Soit un ensemble Xn à n élément avec une loi de distributivité uniforme p(i) = 1/n , cette loi atteint le maximum d'entropie par hypothèse de réccurence. Soit un autre ensemble X1 à un seul élément avec pour loi trivial (loi trivial car il n'y a qu'un seul élément).

    Maintenant mélangeons Xn et X1 ! Formons l'ensemble X(n+1) avec la loi de distributivité suivante :
    - on pioches dans Xn avec la probabilité q
    - on pioches dans X1 avec la probabilité (1-q)
    Si tu as bien suivi pour piocher un élément appartenant à Xn est maintenant donc q x 1/n .

    Le calcul de H(X(n+1)) se transforme en :

    H(X(n+1)) = q H(Xn) + (1-q) H(X1) + H(q)

    où H(X1)=1 et H(q) = - q ln q - (1-q) ln (1-q)

    Là, tu dérives pour trouver une condition sur le maximum qui est : q = n/(n+1)

    L'entropie est maximum, et ta loi est devenue uniforme.

    CQFD

  4. #3
    Kon

    Re : Entropie maximale avec inégalité de Jensen

    Re-Bonjour,

    des coquilles se sont glissés dans le premier message que je n'arrive pas à modifié. Donc je le remets ici.


    - Tu prends un ensemble X à 2 éléments, alors la loi de distributivité sur X, doit être uniforme pour une entropie maximale. (trivial, simple calcul sur le maximum).

    - Soit un ensemble Xn à n élément avec une loi de distributivité uniforme p(i) = 1/n , cette loi atteint le maximum d'entropie par hypothèse de récurrence. Soit un autre ensemble X1 à un seul élément avec une loi trivial (car il n'y a qu'un seul élément).

    Maintenant mélangeons Xn et X1 ! Formons l'ensemble X(n+1) avec la loi de distributivité suivante :
    - on pioches dans Xn avec la probabilité q
    - on pioches dans X1 avec la probabilité (1-q)
    Si tu as bien suivi, la probabilité de piocher un élément appartenant initialement à Xn est maintenant de q x 1/n .
    Et (1-q) pour l'élément appartenant à X.

    Le calcul de H(X(n+1)) se transforme sous cette forme (je te laisse le calcul) :

    H(X(n+1)) = q H(Xn) + (1-q) H(X1) + H(q)

    où H(X1) = 0 et H(q) = - q ln q - (1-q) ln (1-q)

    Là, tu dérives pour trouver une condition sur le maximum qui est : q = n/(n+1)

    L'entropie est maximum,...et ta loi est devenue uniforme !

    CQFD


  5. #4
    hurluberlu

    Re : Entropie maximale avec inégalité de Jensen

    Merci pour la réponse, je crois que j'ai compris.


Discussions similaires

  1. inegalité avec ln
    Par uppa92 dans le forum Mathématiques du supérieur
    Réponses: 2
    Dernier message: 29/09/2011, 19h59
  2. inégalité avec racine
    Par Lefebvre-Corentin dans le forum Mathématiques du collège et du lycée
    Réponses: 1
    Dernier message: 21/10/2010, 20h36
  3. [Biologie Moléculaire] Bioinfo et entropie maximale
    Par tchou tchou dans le forum Biologie
    Réponses: 2
    Dernier message: 30/05/2009, 14h49
  4. entropie: une inégalité
    Par alovesupreme dans le forum Physique
    Réponses: 3
    Dernier message: 13/05/2009, 23h54
  5. Altitude maximale & densite maximale
    Par Alucard dans le forum Physique
    Réponses: 6
    Dernier message: 21/03/2004, 17h59