problème de corrélation

[Kondelec]

Bonjour à tous

Je ne sais pas si ma question est bien placée, voici mon problème : J'ai un procédé qui concentre légèrement un flux d'eau, la matière sèche passe typiquement de 4 à 10% en entrée et de 7 à 12% en sortie.
Je dispose d'environ 1000 points de mesures où l'on voit la correspondance de la concentration en entrée et celle en sortie.
En faisant un nuage de points on voit bien la corrélation, mais une droite de régression donne un coefficient de corrélation d'environ 0.5, ce qui est un peu logique car des phénomènes de temps de passage et de rétroaction viennent parasiter la corrélation, donc un point est en réalité à un autre plus anciens, mais avec un décalage temporel qui n'est pas constant, et pour compliquer le tout les 2 échantillons ne sont pas prélevés forcement au même moment.


J'ai donc utilisé l'approche suivante :
- J'ai classé les 2 séries de données par ordre croissant indépendamment.
- J'ai vérifié que ces séries obéissent à une loi normale en traçant une droite de Henry, ce qui est le cas
- Enfin j'ai établi une corrélation entre les 2 séries de données classées en ordre croissant, j'obtiens une tendance très propre, mais dont les points ne sont plus du tout liés temporellement

Ma question est la suivante : Est-ce que ce traitement des données reste pertinent ?
-----

[gg0]

Bonjour.

Je ne comprends pas trop ce que tu as fait. Si je comprends bien, tu as une série double, correspondant à des mesures liées, ce qui justifie une éventuelle analyse de corrélation. 0,5 n'est pas un coefficient de corrélation exceptionnel, mais montre une tendance à l'augmentation simultanée. Avec autant de données, ce n'est pas mal.
"J'ai classé les 2 séries de données par ordre croissant indépendamment." J'ai souligné ce qui fait que le calcul de corrélation n'a plus de raison d'être : Tu as détruit la série double, il n'y a plus de lien entre les valeurs.
"J'ai vérifié que ces séries obéissent à une loi normale" ?? Aucun intérêt, le fait de trier les données ne change pas la proximité avec une variable aléatoire gaussienne. Et n'importe comment, l'analyse de corrélation se fait sur n'importe quelles séries doubles. La loi Normale n'a rien à voir.

Donc un traitement statistique sans intérêt. Plutôt que de changer artificiellement les données, voir comment faire intervenir les facteurs négligés serait la bonne idée.

Cordialement.

[Kondelec]

Merci pour ta réponse, c'est un peu ce que je pensais.

Une autre approche consiste à lisser les données avec un filtre d'ordre 1 et un poids assez faible (disons 50% de la donnée précédente).
Si je fais ça mon coefficient de corrélation s'améliore (ce qui est logique), mais est-ce encore pertinent ?

La finalité est de dégager une relation mathématique entre les 2 séries de données, par exemple la valeur de sortie correspond à 1.3 fois la valeur d'entrée.

[MissJenny]

si je note X la série de valeurs en entrée et Y la série des valeurs de sortie, je vois deux chose que tu peux faire:

1) si tu connais le temps de passage dans ton système, disons h, tu peux calculer la corrélation entre X(t) et Y(t+h)

2) si tu ne le connais pas et que tu veux l'estimer, tu peux chercher la valeur de h qui maximise cor(X(t),Y(t+h))

[A voir en vidéo sur Futura]

[Kondelec]

Malheureusement ça ne fonctionne pas, parce qu il y a un temps de passage variable, en raison du procédé mais aussi du prélèvement. Les échantillons sont censés être pris le matin au même moment, mais parfois ils ont plusieurs heures de décalage.

[gg0]

À toi de voir si tu préfères un r moyen sur les vraies données ou un meilleur en trafiquant les données.
Et un modèle de régression est toujours un peu flou, en pratique, donc ne donne pas de formule magique.

Cordialement.

[Kondelec]

Je ne cherche pas une formule qui permette de prédire à coup sur la valeur de sortie en fonction de la valeur d'entrée, mais plutôt modéliser un fonctionnement moyen.

[gg0]

Alors le modèle avec r=0,5 est l pour bon. Tu peux lui adjoindre un domaine de confiance, par exemple avec la variance de la série des écarts.

[MissJenny]

Malheureusement ça ne fonctionne pas, parce qu il y a un temps de passage variable, en raison du procédé mais aussi du prélèvement. Les échantillons sont censés être pris le matin au même moment, mais parfois ils ont plusieurs heures de décalage.

dans ce cas tu peux modéliser le temps de passage à l'aide d'une distribution sur les réels positifs, avec un certain nombre de paramètres à estimer.