Salut,
je n'ai pas trouvé de papiers de Varadhan en ligne, mais on peut essayer de rendre la démarche un peu plus précise : pour une suite de variables aléatoires
sur
, leur entropie, si elle existe, s'écrit
=\lim_{n\rightarrow \infty}\frac{1}{n}\ \log\ W_n(k) )
,
où
=\rm{E}\left[ e^{nkX_n} \right] )
est la fonction génératrice (et E[.] l'espérance mathématique). On a ainsi
\simeq e^{n\lambda(k)} )
.
Par ailleurs, si les variables satisfont au PGD (il existe une fonction I(x) telle que
}dx )
), alors on a l'approximation de Laplace :
=\rm{E}\left[ e^{nkX_n} \right]=\int_{\Omega}e^{nk x}dP_{X_n}\simeq \int_{\Omega}e^{nkx-nI(x)}dx. )
Dans la dernière intégrale, la contribution majeure est celle de
\} )
dans l'exponentielle, si bien que
\simeq \int_{\Omega}\exp\left(\sup_{x } \{nkx-nI(x)\}\right)dx=\exp\left(n\ \sup_{x} \{kx-I(x)\}\right). )
Mais alors
=\sup_{x}\{ kx-I(x)\} )
et
apparaît ici comme la transformée de Legendre-Fenchel de I, qui s'inverse comme suit :
=\sup_{k}\{kx-\lambda(k)\} )
.
________
Illustration : reprenons l'exemple de l'article, où l'on s'intéresse à la somme d'une suite de variables aléatoires
indépendantes qui admettent toutes la même loi, de densité
(masses concentrées en 0 et 1). Le calcul de
est aisé : en vertu de l'indépendances des
=\rm{E}\left[ \exp\left(\ nk \sum_{i=0}^{n} X_i\right) \right]=\rm{E}\left[\prod_{i=0}^{n} \exp\left(nk X_i\right) \right]\ ; )
comme les
suivent toutes la même loi,
=\rm{E}\left[ \exp\left(nk X_0\right) \right]^n= \left(\frac{1}{2}+e^{nk}\right )^n )
et finalement :
=\lim_{n\rightarrow \infty}\frac{1}{n}\ \log\ W_n(k)=\log\left(\frac{1}{2}+e ^{nk}\right) )
Il s'agit maintenant de trouver le sup sur k de
 )
pour récupérer la fonction de taux I(x) : en dérivant selon k, on obtient l'équation
, qui admet pour solution
. Il s'en suit que
=x\log\frac{x}{1-x}-\lambda\left( \log\frac{x}{1-x}\right) =\log 2+x\log x+(1-x)\log(1-x) )
et on a bien retrouvé la fonction décrite dans l'article.
________
Cette méthode s'applique bien entendu à un très grand nombe de situations. Pour des détails plus techniques sur l'entropie, voir par exemple
cette page.
Cordialement.
PS : et merci pour les compliments.
Aujourd'hui
Liens sponsorisés
Mode linéaire
