Loi normale et normalisation des données

[LuchoGonzalez]

Bonsoir,

J'ai un gros problème avec mes données : elles ne suivent pas une loi normale or pour la régression pls que je souhaite réaliser, elle impose une normalité des données. Pour que mes données (paramètres chimiques de l'eau) soient "normales", j'ai trouvé dans la littérature qu'il fallait faire une transformation avec un ln (x) ou log (x) selon les publications...

Aussi, quelles est la différence entre normaliser les données et centrer et réduire les données? Est-ce la même chose?

Merci d'avance pour votre aide...
-----

[gg0]

Bonjour.

On essaie de Normaliser les données, c'est à dire de trafiquer leurs valeurs pour que l'on puisse raisonnablement considérer qu'elles pourraient être des réalisations d'une variable Normale.
Mais il y a un gros inconvénient : Les résultats des études et tests ne concernent pas les données, seulement les données trafiquées ....

Quant à centrer et réduire, c'est une simple transformation linéaire d'échelle, c'est à dire un changement d'unité et de point de départ des mesures.

Cordialement.

[LuchoGonzalez]

Merci pour votre réponse.

Mais dans mon cas, j'ai un ensemble de variables chimiques qui ont des unités différentes (ph, concentration, taux de saturation...), est-ce qu'il est indispensable de les centrer et réduire en premier lieu?

Pour appliquer ma régression PLS, est-ce que vous pensez que je dois transformer mes données en log ?

[Dlzlogic]

Bonsoir,
Toute expérience réalisée dans les mêmes conditions a ses écarts à la moyenne conforme à la loi normale. Si ce n'est pas le cas, c'est forcément qu'il y a eu une erreur. Le terme "erreur" est à prendre dans le sens le plus fort, c'est à dire, appareil ou mesure défectueux, voire tricherie.
Donc, en aucun cas il n'y a lieu de modifier quoi que ce soit.
Donc, si la distribution normale des écarts à la moyenne n'est pas vérifiée, il y a lieu de trouver d'où vient l'erreur.

[A voir en vidéo sur Futura]

[LuchoGonzalez]

J'ai un autre petit problème : j'ai transformé mes données (variables chimiques tels que concentration en nitrites, nitrates, oxygène) en utilisant le log mais quand je fais un test de Shapiro-Wilk pour savoir si mes données suivent une loi normale, ce test m'indique que mes données ne suivent pas une loi normale.... comment dois-je faire ?

Merci d'avance

[PrRou_]

Bonjour

J'ai un gros problème avec mes données : elles ne suivent pas une loi normale

Comme cela a été dit, peut-être il y a une (ou des) erreur(s) dans vos données, ou bien tout simplement, vos données suivent une autre loi de probabilité que la loi normale : il existe énormément de lois en théorie des probabilités, ce n'est pas un hasard (si j'ose dire).

[gg0]

Mais dans mon cas, j'ai un ensemble de variables chimiques qui ont des unités différentes (ph, concentration, taux de saturation...), est-ce qu'il est indispensable de les centrer et réduire en premier lieu?

Tout dépend de ce que tu vas faire avec. Pour une régression linéaire classique, les unités n'ont pas d'importance. Pour ce que tu veux faire, je ne sais pas, il faudrait voir sur un site spécialisé en statistiques.

J'ai un autre petit problème : j'ai transformé mes données (variables chimiques tels que concentration en nitrites, nitrates, oxygène) en utilisant le log mais quand je fais un test de Shapiro-Wilk pour savoir si mes données suivent une loi normale, ce test m'indique que mes données ne suivent pas une loi normale

Eh oui, ça arrive. Si la régression PLS nécessite absolument des données provenant d'une loi Normale, tu es coincé ! Mais est-ce vrai ?

Cordialement.

[LuchoGonzalez]

J'ai lu dans un rapport qu'une régression PLS nécessitait la normalité des données, est-ce que quelqu'un peut me confirmer ?

Il n'y a pas d'erreurs dans mes données, ce sont des valeurs de chimie qui ont été vérifiées...

[Dlzlogic]

Bonjour,
Vous dites "elles ne suivent pas une loi normale". Qu'est-ce qui vous fait dire cela ? Avez-vous fait une vérification ? Quelles sont vous résultats ?

[gg0]

Dans cet article de Wikipédia, il n'est jamais fait état de Normalité des données. Elle n'est évidemment pas nécessaire pour la régression linéaire.

"J'ai lu dans un rapport..." un rapport de quoi ? de statistiques ? Si c'est un rapport de chimie, il n'y a pas de raison que l'auteur soit un statisticien confirmé.
La nécessité de la Normalité des données est une légende urbaine, souvent évoquée à propos des analyses de régression, à tort. Pour certains tests précis elle est à la base de l'analyse, mais on peut souvent se passer de cette hypothèse quand les données sont nombreuses.

Cordialement.

[LuchoGonzalez]

Dans un rapport qui étudiait les réponses d'indicateurs biologiques tels que la richesse piscicole aux facteurs du milieu (pente, taux de radiers...)... Donc d'après vous il n'est pas nécessaire de normaliser mes données? Dans une thèse je viens de trouver que l'hypothèse de normalité n'est pas nécessaire pour une régression PLS mais sur ce forum de stats (http://forums.cirad.fr/) une personne avance que pour une régression linéaire l'hypothèse de normalité est un préalable... Je ne sais pas quoi faire...

[LuchoGonzalez]

J'ai trouvé dans une thèse vérifiée et acceptée ils ont log transformées les variables qui le nécessitaient pour s'approcher des conditions de normalité. Je vais faire de même et citer cette thèse en appui.

[LuchoGonzalez]

Pour savoir si mes variables suivent une loi normale (ou s'en approchent), une méthode simple serait de regarder graphiquement avec un histogramme l'allure de la distribution de l'ensemble des valeurs dont je dispose pour chaque variable, est-ce que c'est une bonne solution selon vous ?

[gg0]

C'est une assez piètre méthode : Si on a peu de valeurs, il y en a peu par classe, de plus, le choix des bornes de classes influe sur le graphique de façon notable.
C'est pourquoi on utilise d'autres critères (aplatissement-symétrie, ..) ou tests (KS, SW ...).

Cordialement.

[LuchoGonzalez]

Si j'ai 1450 valeurs c'est pas suffisant?

[gg0]

Ben, pourquoi ne pas utiliser les tests efficaces ?
En plus, ce qui est important, ce n'est pas le fait qu'un test de Normalité soit ou non significatif (dans les deux cas, on n'a pas de preuve de Normalité), mais que la variable statistique étudiée soit gaussienne, au moins approximativement. Si c'est nécessaire au travail qu'on va faire.

[LuchoGonzalez]

Pour appliquer une régression PLS il faut que mes données se rapprochent des conditions de normalité ...