Probabilités

[KanYeW]

Bonjour aux amateurs de probas!
J'aurais préféré ne pas venir vous demander de l'aide mais je suis dans une impasse. J'ai un DM et je n'arrive pas à démarrer. Voici le titre et l'énoncé:
Problème sur l'entropie:
Soit E un ensemble fini de cardinal N soient et deux mesures de probabilité sur E.
On note H l'entropie relative

et h l'entropie de donnée par

1. Montrer que h et H sont positives. Que se passe-t-il quand elles sont nulles ? En déduire que où U est la loi uniforme sur E.

Voilà pour l'énoncé. Déjà nous faisons des probas mais sans la théorie de la mesure donc je ne sais pas ce qu'est une mesure de proba et donc je vois pas pourquoi le prof nous a mis ça dans le dm mais j'imagine qu'on en a pas besoin pour faire le dm. Ensuite est-ce-que pour montrer que h et H sont positives je peux le faire en faisant de "l'analyse". Pour ce qui est de voir ce qui se passe quand elle sont nulles, sachant que je suis plutôt physique, je vois à peu près avec la physique mais d'un point de vu math... Pour le reste de la question je ne m'y suis pas encore intéressé vu que je ne sais pas commencer...
Voilà mon cas ! Je vous remercie d'avance en tout cas pour tous ceux qui pourront (ou voudront bien) m'aider!
Cordialement,
KanYeW
-----

[KanYeW]

Bonsoir,
Je m'y suis remis et j'ai déjà mieux cerné mon problème. Donc déjà j'ai compris que et était des applications allant d'une tribu A vers [0;1]. Je n'ai pas très bien compris ce qu'était une tribu mais je pense que vu qu'on l'a pas introduit en cours on en a pas besoin. Tout ce dont on a besoin à mon avis c'est de savoir que les deux mesures sont à valeurs dans [0;1]. De là déjà je vois qu'il faut pas que doit être égale à 0 évidemment et de même pour pour que H soit bien définie. Ensuite on a deux cas, le cas où et le cas où . Pour le premier cas, donc le logarithme est positif et donc H l'est aussi. Par contre pour l'autre cas c'est moins évident parce qu'à première vue pour moi c'est négatif vu que le rapport est cette fois plus petit que 1 et donc le logarithme est négatif. Mais vu qu'on me demande de montrer que H est toujours positif quelque chose doit m'échapper...

[gg0]

Bonsoir.

Ton problème est assez mal posé. Déjà, pour une mesure de probabilité , même pour un ensemble fini, n'a aucune raison d'être défini. Ensuite, si ce nombre existe, rien n'interdit qu'il soit nul, donc la somme est à préciser.
On a l'impression d'une mauvaise transcription d'un énoncé construit pour une situation différente.

J'interprèterais cela comme sont deux lois de probabilité sur X telles que chaque élément de X a une probabilité non nulle. est alors la probabilité (non nulle) de l'événement élémentaire x, donx de l'événement {x}. Pour h, tous les ln sont négatifs, dont la positivité est évidente.
On retrouve la même difficulté dans ce document : http://www.yann-ollivier.org/entropie/entropie3 car il y a le présupposé que X ne contient que des éléments de probabilités non nulles. Tu y trouveras la justification (esquissée) de la positivité. Elle utilise le fait que la somme des est 1.

Bon travail !

[KanYeW]

J'ai eu la même impression que vous quand je l'ai lu puisque en plus comme je l'ai déjà dit on a jamais parlé de mesure... J'avais déjà trouvé le site que vous m'avez mis en lien mais je vous remercie quand même d'avoir fais la recherche. Je vais donc essayer d'avancer je reviendrai si je bloque toujours merci pour votre réponse.
Cordialement,
KanYeW

P.S: Question peut-être indiscrète mais êtes vous chercheur ou prof ? Parce qu'à chaque fois que j'ai un problème en maths vous répondez présent

[A voir en vidéo sur Futura]

[KanYeW]

Je n'arrive pas à voir en quoi la convexité de la fonction xlog(x) implique que H est positive. Si je ne me trompe pas une fonction convexe vérifie que la dérivée seconde de cette fonction est positive. Mais je ne vois pas en quoi ici ça nous avance et puis j'ai tracé xlogx et c'est négatif sur [0;1] donc je vois pas pourquoi le fait que ça soit convexe arrange les choses...

[taladris]

Donc déjà j'ai compris que et était des applications allant d'une tribu A vers [0;1]. Je n'ai pas très bien compris ce qu'était une tribu mais je pense que vu qu'on l'a pas introduit en cours on en a pas besoin. Tout ce dont on a besoin à mon avis c'est de savoir que les deux mesures sont à valeurs dans [0;1].

Une tribu est un sous-ensemble de P(E) (P(E)=ensemble des parties de E) verifiant certaines proprietes. En gros, c'est l'ensemble des evenements possibles dans ta modelisation probabiliste. C'est la meme chose que l' "univers" dans les theories de probabilites classiques.

Mes souvenirs de l'entropie sont vagues mais comme f(x)=xln(x) est prolongeable par continuite en 0 par f(0)=0, en general on utilise la convention 0ln(0)=0. Donc pas de probleme de definition de l'entropie.

Pour ce qui est de la convexite, sune fonction est convexe et differentiable, alors elle au-dessus de ses tangentes en tout point. Attention a un point important: la positivite de la derivee seconde n'est pas la definition de la convexite. A priori, une fonction convexe n'a aucune raison d'etre derivable (par exemple, la valeur absolue est convexe).

Cordialement

[KanYeW]

Bonjour,
Je suis d'accord sur le fait qu'une fonction convexe est au dessus de toutes ses tangentes mais ça ne dit en rien pourquoi la fonction serait positive...

[gg0]

Bonjour.

Je suis effectivement prof, ... en retraite, ce qui me laisse du temps.

Pour la convexité, ce qui sert ici c'est que les segments joignant 2 points de la courbe d'une fonction convexe sont au dessus de la courbe. Donc af(x)+bf(y)>=f(ax+by) si a+b=1. En généralisant, si la somme des k_i est égale à 1 (comme une somme de probabilités !) :


Cordialement.

[toothpick-charlie]

salut,

quand on parle de probas sur un ensemble fini, à ma connaissance on prend toujours pour tribu l'ensemble des parties de E (il n'y a pas de nécessité à faire ça mais c'est l'usage). Donc à ta place je ne me prendrais pas la tête avec des questions de mesurabilité ou de savoir si mu(x) est bien défini pour x dans E.

[gg0]

D'accord avec toi, Toothpick-charlie,

quand on définit soi-même une mesure ou une variable aléatoire.
Mais ici les deux mesures sont données à priori. Il manque au moins à cet énoncé les précautions d'usage, surtout à destination de gens qui ne connaissent pas la théorie de la mesure. Et les conventions qui régissent ce thème d'habitude font que existe sur X entier ce qui n'est pas donné dans l'énoncé.
Je persiste et signe : le prof qui a donné ce sujet n'a pas fait sérieusement son travail ! Même si c'est toi (ce que je ne crois pas !)

[KanYeW]

Bonsoir,
Je passais juste vous dire que ça y est j'ai trouvé comment montré la positivité grâce à la concavité de ln(x) (je pense que j'aurais aussi pu le faire par rapport à la convexité de x ln(x) ) . Je vous remercie pour vos conseils parce que je pense que j'aurais pu chercher longtemps avant de trouver parce que ce n'est pas très trivial

[gg0]

Content pour toi !