Solution pour obtenir un ecart type plus précis

[antoinebou]

Bonjour,

en tentant d'obtenir un intervalle de confiance autour d'une moyenne je rencontre un problème avec le calcul de l'écart type. Les statistiques remontent à très longtemps pour moi, puis je n'ai jamais été particulièrement bon, il est possible que je m y sois mal pris.

J'ai une série de valeur, je calcule la moyenne de ces valeurs, puis je calcule l'écart type. Pour ce qui est de l'intervalle de confiance autour de la moyenne je me suis contenté (elle est peut être là l'erreur) intuitivement de faire :

Borne inférieure de l'intervalle = Moyenne - Ecart type
Borne supérieure de l'intervalle = Moyenne + Ecart type

Mon problème est le suivant, en particulier lorsque je manipule des valeurs faibles (proches de zéro). Il arrive que la borne inférieure soit négative, alors qu'aucune valeur négative n'est possible.

Cela m'a ouvert les yeux sur une autre limite de l’écart type pour mesurer la dispersion et surtout sur l'intervalle de confiance. Est-ce que les bornes inférieures et supérieures doivent être forcément symétrique à la moyenne ? Cela me parait peut représentatif dans certains cas.

J'ai pensé à cette solution, j'aimerai savoir ce que vous en pensez. Je crée deux groupes de valeurs, un groupe avec les valeurs supérieures à la moyenne, et un groupe avec les valeurs inférieures à la moyenne.

Je calcule donc :

ecart_type_1 (avec les valeurs supérieures à la moyenne). Du coup la borne supérieure de l'intervalle de confiance serait : Moyenne + Ecart_type_1

ecart_type_2 (avec les valeurs inférieures à la moyenne). Du coup la borne inférieure de l'intervalle de confiance serait : Moyenne - Ecart_type_2

Mon espoir (peut être infondé), est que la moyenne ne soit plus forcément située au centre de l'intervalle, et que les bornes supérieures et inférieures soient plus représentatives de la réalité.

Qu'en pensez vous ?
-----

[zenxbear]

tu as un jeu de données , , tu en as calculé la moyenne et
tu considères que les suivent une loi de probabilité d'espérance et de variance

donc il s'agit d'une réalisation de

si je pose

Je sais que et

donc j'ai un qui est le z-score de , donc d'espérance 0, et de variance 1.

le théorème central limite, me dit que pour n assez grand:


ou N(0,1) est une loi gaussienne centrée réduite.

donc en gros


donc

ou


Tu cherches un intervalle de confiance pour connaissant calculé pour ce jeu de données.
Le problème est que tu ne connais pas le \sigma de la loi de proba.
Mais si on dit approximativement que , donc la variance de ta loi de proba X est égale à la variance que tu as calculée pour ce jeu donnée...

on peu avoir une formule du style:



c'est peut être une formule plus utilisable que celle que tu fais. Mais faut demander à un statisticiens comment ils s'en sortent.

Dans le cas ou X est une loi de Bernoulli de paramètre p (son espérance est p, et sa variance est pq), on se débarasse de en la majorant par 1/2. Et dans ce cas la notion "n assez grand" est précisée comme étant ", 5/p et 5/q.

Peut être si ta loi X est gaussienne, alors c'est garanti que ca marche pour tout n, et que je peux remplacer par

[antoinebou]

Euhh.... quelqu'un à un flingue ?

Un grand merci zenxbear, mais je n'ai rien capté. Je vais encore essayer de déchiffrer.

[zenxbear]

Ta question initiale est mal posée. On ne calcule pas un intervalle de confiance sans connaître ou postuler la Loi de probabilité que les données sont censées être. Une fois admise, on peut chercher à trouver des intervalles de confiance pour les paramètres de cette loi de probabilité.

Parfois une loi est définie par un paramètre unique. Parfois par 2. Supposons que ta loi à 2 paramètre s reliés à l'espérance ET la variance. Tu cherches donc un intervalle pour les 2.

Si tes variables x_i sont des réalisations d'une variable aléatoire de Bernoulli de paramètre p, ie espérance p tu as une formule qui te donnes l'intervalle de confiance à 95℅ pour p qui sera "la moyenne de ton echatillion +- 1/(2√n)".
Comme tu vois, la taille de ton echatillion entre en jeu. Plus ton échantillon est grand, plus ta moyenne calculée sera proche de la moyenne réelle de la variable aléatoire.
Cette formule n'est valable que si l'échantillon est assez grand. Donc plus grand que 30, 5/p. 5/q. Rappel que q=1-p.
Et ce cas est particulier car une variable de Bernoulli n'a q'1 paramètre à estimer.

Dans ta question on ne sait pas tes hypothèses sur la loi. Donc la formule simple du cas Bernoulli ne marche pas.

D'où une tentative de trouver une alternative. En supposant que la variance que tu as calculé sur tes données est une bonne approximation de la variance de l' loi.

La formule devient "moyenne des données+/- 2 variance des données/√n

[A voir en vidéo sur Futura]

[zenxbear]

Écart type, pas variance à la dernière ligne

[Dlzlogic]

Bonjour Antoinebou,
D'abord, il faut supposer et/ou vérifier que la répartition des écarts à la moyenne est "normale". Cette vérification a pour but de s'assurer qu'il n'y a pas eu d'anomalie dans les observations et permet éventuelle d'en supprimer.
D'autre part, la valeur de l'écart-type est une valeur calculée à partir d'observations. Un écart-type n'est pas plus ou moins précis, il est ce que donne le calcul.
Il est évident que, mathématiquement, il puisse y avoir des valeurs que la réalité des faits trouve aberrants.
Les valeurs de maxima et minima n'ont aucune signification particulière. Les valeurs qui présentent des écarts à la moyenne supérieurs à 3 écarts-type sont généralement jugées douteuses.
Si vous pouvez donner vos observations, on pourra être plus précis dans les réponses.
Bonne journée.

[antoinebou]

Merci beaucoup zenxbear

j'ai des révisions à faire, je vais creuser un peu plus sur la base de tes infos. Merci encore

[zenxbear]

peut être le truc le plus élémentaire, est de supposer X suit une loi normale . En effet ici on ne fait pas appel au TCL.

Dans ce cas:

suit une loi normale aussi, d’espérance et d'écart type , donc

donc (*)

Rappel: pour une loi normale centrée réduite N(0,1), .

quand tu prends ton tirage , qui est ton jeu de donnés, et tu suppose que ca suit une loi normale.
est la valeur prise par pour 1 tirage.

Comme tu es dans une situation ou tu ne connais pas , et . Mais tu as calculé ainsi que la variance de tes données

du coup (*) devient:

donc

et tu te heurtes au problème, pour trouver l'intervalle de confiance de , j'ai besoin d'une valeur pour .

Maintenant. la variable aléatoire
à pour Espérance:

donc approche . Et tu peux l’utiliser pour la formule de l'intervalle de confiance de

Si maintenant tu veux chercher un intervalle de confiance pour . Il va falloir bosser sur la distribution de probabilité de la loi de Y. Qui est une loi chi-carré... Je ne sais pas si c'est quelque chose que l'on fait.

[PrRou_]

Mon espoir (peut être infondé), est que la moyenne ne soit plus forcément située au centre de l'intervalle, et que les bornes supérieures et inférieures soient plus représentatives de la réalité.

Qu'en pensez vous ?

Bonjour
En effet, il existe des intervalles de confiance qui ne sont pas centrés en la valeur moyenne.
Ces intervalles de confiance décentrés ne concernent pas la loi normale (qui, elle, est symétrique).

Pour la loi binomiale, on a une formule où l'intervalle de confiance à 95% est décentré (ce n'est donc pas celle qui est présentée habituellement, confer les explications de zenxbear).
Pour être vraiment au plus proche de vos préoccupations, je pense qu'il faut connaitre la loi de probabilité régissant vos données.

[zenxbear]

je suis conscient que je commets un abus quand je parle d'intervalle de confiance... mais je voulais raccourcir. Je devais parler d'intervalle de confiance pour le paramètre, tel que la statistique appartient à l'intervalle de fluctuation à 95% pour ce paramètre.

[feanorel]

Pour faire une réponse simple, sans hypothèses supplémentaire, l'intervalle de confiance à 95% standard est bien [moyenne - 2 écart-type, moyenne + 2 écart-type]. La solution que tu proposes ne donneras pas quelque chose de valide. Ensuite si tu as plus d'informations (plus d'hypothèses) sur tes données il est parfois possible de construire un autre intervalle de confiance.

[PrRou_]

Correction : l'intervalle de confiance à 95% habituel est
[moyenne - 2 écart-type / n^0.5 , moyenne + 2 écart-type / n^0.5] où n est la taille de l'échantillon,
et il y a des hypothèses pour utiliser cet intervalle à bon escient.