Bonjour,
Je suis en train de lire un cours sur la theorie de l'information et son lien avec la thermo.
Une chose m'échappe. La formule de l'information moyenne est donnee par:
H(x)=Esperence(I(x))=- somme (Pi*log(Pi)) la somme est prise de i=1 à N.
Bon supposons N=2 pour faire simple. Je cherche à comparer 2 cas extrême pour bien comprendre. Le cas P1=P2=0.5 et le cas P1=1 et P2=0.
C'est le cas non uniforme qui m'interesse. Pour P2=0 on dirait que j'ai une entropie infini !! (le log l emportant sur la fonction y=x). Or dans le cours il est indiquer que le cas où le systeme est le moins bien defini (cas uniforme) devrait avoir plus d'entropie car l'information sera la plus ''surprenante'' et je suis d'accord avec ca, ca a du sens pour moi. Pourquoi dans ce cas le cas non uniforme semble donner une information moyenne infini ce qui est absurde pour moi...
merci
-----