Bonsoir à tous,
Est-ce que l'estimateur empirique de la variance = (1/(N-1))*sum((x-mu)^2) est valable pour toutes les lois de probabilité ou seulement une certaine famille? je sais que pour une loi de laplace il s'agit de l'écart L1 à la moyenne et pas L2, du coup je me pose la question sur le domaine de validité de cet estimateur. J'aimerais également savoir si l'on doit confondre variance et moment d'ordre 2 centré...
Merci d'avance
Bonsoir.
L'estimateur que tu cites, à condition que mu soit la moyenne empirique (moyenne de l'échantillon) est un estimateur sans biais et convergent quelle que soit la distribution de valeurs. Donc il n'y a pas de question de loi de probabilité, et on l'utilise aussi dans une population inconnue et non modélisée. je ne comprends pas ce que tu racontes ensuite ("je sais que pour une loi de Laplace ..") qui ne m'évoque rien.
Pour variance et moment centré d'ordre 2, une simple lecture de leurs définitions devrait te permettre de conclure, non ? Quelles sont-elles ?
Cordialement.
Intéressons-nous à la loi de Laplace. http://fr.wikipedia.org/wiki/Loi_de_...abilit%C3%A9s) Cette page indique que la variance de la loi est 2b² où b=(1/N)*sum(|x-mu|) (mu étant la médiane empirique). Cet estimateur de la variance est différent, sauf erreur de ma part, de (1/(N-1))*sum((x-mu)^2).Envoyé par gg0
Intéressons nous à la loi de Cauchy: http://fr.wikipedia.org/wiki/Loi_de_...abilit%C3%A9s) . La variance n'est pas définie pour cette loi, pourtant on peut calculer empiriquement la variance selon la formule (1/(N-1))*sum((x-mu)^2). Or tu dis que l'on ne doit pas se soucier de la loi de probabilité sous-jacente aux données sur lesquelles on estime ce paramètre..., dans le cas de la loi de cauchy (et de toutes les lois de probabilité à queue lourde), estimer la variance est un non-sens puisque cette dernière n'est pas définie pour cette famille de lois (à queue lourde).
Partant de ce que je viens d'énoncer plus haut, je me suis demandé si l'estimateur de la variance (1/(N-1))*sum((x-mu)^2) est effectivement valable tout le temps.
Cordialement,
effectivement il faut supposer la variance vraie finie. ll n'y a pas d'estimateur sans biais de la variance si elle est infinie. a ce proviso près, l'estimateur 1/(n-1)... est toujours sans biais. Dans le cas de la loi normale, sa variance à distance finie est supérieure à celle de l'estimateur du maximum de vraisemblance (le même mais avec 1/n au lieu de 1/(n-1) ) qui lui est biaisé.
Bonjour.
Si la variance existe (et donc aussi la moyenne), ce que Toothpick-charlie traduit par "il faut supposer la variance vraie finie", l'estimateur (1/(N-1))*sum((x-x*)^2) où x* est la moyenne empirique est un bon estimateur de la variance. Ce qui n'empêche pas du tout qu'il y en ait d'autres. Et dans la page wikipedia sur la loi de Laplace, l'estimateur proposé, différent, repose sur un mu qui n'est pas la moyenne, mais la médiane, ce qui peut poser problème si on a un nombre pair de valeurs.
Donc la réponse à ta question initiale est :
Oui, l'estimateur (1/(N-1))*sum((x-x*)^2) où x* est la moyenne empirique est un bon estimateur de la variance pour tous les cas de variance finie.
A noter : Il existe de nombreux estimateurs de la variance classiques, à commencer par (1/N)*sum((x-m)^2) où m est la moyenne vraie (donc on la connaît).
Cordialement.
Je remercie chacun de vous pour votre réponse. Je vous invite à consulter cette page : http://mathworld.wolfram.com/Variance.htm où il est dit que " If the underlying distribution is not known, then the sample variance may be computed as .." où leur estimateur est l'estimateur (1/(N-1))*sum((x-mu)^2).
Ainsi, je pense que si l'on a une connaissance a priori de la distribution des données, on doit utiliser l'estimateur de la variance associée à la loi étudiée (et donc de ne pas en calculer si celle-ci n'est pas définie). Si l'on ne connait pas la distribution, on peut utiliser l'estimateur (1/(N-1))*sum((x-mu)^2) qui fournit une "bonne" estimation de la variance comme le souligne gg0 .
Pour en revenir à ma deuxième question, la définition d'un moment d'ordre 2 centré et de la variance sont identique E[X-E[X]²].
Cordialement,
" l'estimateur de la variance associée à la loi étudiée" n'a pas de sens ! Il y a une infinité d'estimateurs de la variance associés à la loi étudiée.
Par contre, pour certaines lois, il y a effectivement des estimateurs plus ou moins pratiques, plus ou moins convergents, voire utiles bien que biaisés, que l'on peut préférer. par exemple pour une loi de gauss et un petit échantillon, l'estimation à partir de l'amplitude est bien plus efficace que l'estimateur classique.
Cordialement.
Je suis d'accord que ma phrase n'a pas vraiment de sens. L'estimateur de la variance pour la loi de Laplace qui est indiqué sur la page Wiki a été dérivé par maximum de vraisemblance à partir de la densité de probabilité. Ainsi, l'on ne peut utiliser un estimateur de la variance que si l'on peut la dériver à partir de sa densité de probabilité ou affirmez-vous que n'importe quel estimateur de la variance dont (1/(N-1))*sum((x-mu)^2) peut être utilisé pour n'importe quelle loi (pour laquelle la variance existe)?
Cordialement,
ce n'est pas si simple. Il me semble que ce que tu dis c'est que dans un modèle paramétrique on a intérêt à utiliser l'estimateur du maximum de vraisemblance (?) mais l'estimateur du m.v. est généralement biaisé (mais a un biais asymtotique nul). Par contre sa variance peut être plus petite que celle de l'estimateur usuel non paramétrique. Donc selon la taille de l'échantillon, on peut préférer l'un ou l'autre (mais dans le cas gaussien par exemple, les 2 estimateurs sont asymptotiquement équivalents).
Non je ne dis pas vraiment d'utiliser l'estimateur du MV systématiquement. Ce que je veux savoir, c'est que partant de l'hypothèse que le moment d'ordre 2 centré d'une loi de probabilité existe, est-ce qu'utiliser n'importe quel estimateur de la variance est possible ? ou ne doit-on utiliser que ceux qu'il est possible de dériver à partir de la pdf ?
Par exemple, pour une loi gaussienne, l'estimateur de la variance par MV s'écrit (1/(N))*sum((x-mu)^2) (mu : moyenne empirique), pour la loi de Laplace c'est 2*((1/N)*sum(|x-mu|))² (mu : mediane empirique). Est-ce que cela a un sens d'estimer la variance d'une loi gaussienne avec le dernier estimateur ? Pour moi la réponse est non... certes les deux estimateurs ont été dérivés par MV mais pour une loi de probabilité donnée,.. donc utiliser un estimateur de la variance qui a été dérivée pour une autre loi n'a pas tellement de sens...
Sinon, qu'appelles-tu "l'estimateur usuel non paramétrique" ?
J'ai l'impression que ça commence à tourner en rond !
L'estimation par maximum de vraisemblance n'est qu'une méthode d'estimation, et il n'y a aucune raison de la préférer (à part par goût personnel).
En pratique, on utilise ce qui est le plus simple, ou le plus utile, ou le plus fiable, ou ...
Par contre, il est très rare qu'on puisse déterminer quelle est la loi sous-jacente (en dehors des exercices universitaires), et les modélisations sont souvent grossières. Donc finasser sur les estimateur est de la sodomisation de diptères (*). Sauf pour les thésards en probas qui y trouvent une mine de résultats ... abstraits.
NB : Je me place ici plutôt du point de vue du statisticien.
Cordialement.
(*) si tu préfères : de la quadritomie capillaire; ou encore : c'est capillotracté.
Dernière modification par gg0 ; 11/10/2012 à 15h34.
