Significativité des résultats et tests de Student

[shnewb]

Bonsoir bonsoir,

Je suis en quête d'une bonne âme pour répondre à une énigme qui me bloque. Je crois que j'ai choisi une mauvaise option en postant sur le forum "Physique", je tente ma chance du côté des maths...!

Je dois comparer deux logiciels de modélisation de transport et d'intrusion de vapeurs de polluants contenus dans une source de contamination dans le sol.
Le titre fait un peu peur, mais le problème est assez simple.

J'obtiens avec le premier logiciel une valeur de concentration en substance x en sortie de modélisation, et une valeur x' avec le deuxième. J'ai réitéré la modélisation pour différents paramètres des sols, qui vont influencer les résultats. J'ai donc n=14 situations modélisées, me donnant des résultats x, y, z, etc. avec le premier logiciel, et x', y', z', etc. avec le deuxième.
J'aimerais démontrer que les deux logiciels renvoient des résultats qui sont les mêmes (ou pas, à voir après traitement des données), en réinvestissant des notions de significativité.
J'avais donc pensé à appliquer un test de Student, pour comparer les moyennes de mes deux séries de résultats. Etant donné que je ne peux pas effectuer de comparaison sur des résultats obtenus avec des paramètres de sols différents, j'ai pensé à "normaliser" en quelques sortes mes résultats, c'est à dire que :
- ma première série, A, composée uniquement de valeurs égales à 1, avec un écart type nul, et correspondant aux résultats obtenus avec le premier logiciel.
- ma deuxième série, B, serait une série dans laquelle chaque valeur serait égale au rapport des concentrations obtenues avec les deux logiciels, à savoir x/x', y/y', z/z'..., de moyenne mA et d’écart-type sigmaA.
Ainsi, si l'hypothèse de départ est rejetée après application d'un test de Student, je pourrais démontrer que mes résultats seraient significativement différents, ou le cas contraire.

Le problème étant énoncé, je me pose maintenant la question de la pertinence de la démarche.
- La comparaison de telles séries est-elle pertinente avec un test de Student, généralement appliqué pour des populations (ou des événements, je n'ai plus le vocabulaire) suivant une loi normale ?
- Est-il possible de contourner la condition de l'égalité des variances, sans laquelle le test n'est pas applicable ?
- Existe-t-il d'autres moyens d'arriver à une conclusion sur la divergence ou l'égalité des résultats ?

Si vous avez des conseils, des critiques constructives ou des idées géniales, je suis preneuse. J'imagine que mes bidouilles font dresser les cheveux sur la tête de certains, mais je tente, je tente...

Merci d'avance !
-----

[gg0]

Bonjour.

Jolie question !

J'imagien que ton idée de relativiser les données provient du fait que suivant les paramètres introduits, les valeurs obtenues sont foncièrement différentes, éventuellement de plusieurs ordres de grandeur. Car sinon, in test de Student pour données appariées (ou de Wilcoxon apparié si on ne peut assurer la Normalité) suffit.
Le seul inconvénient est qu'ainsi on ne sait plus très bien ce que l'on teste. En gros, comme la première série est à 1, il est préférable de faire une simple comparaison de la deuxième série à 1. Mais en fait, les tests comme celui de Student comparent seulement les moyennes, pas si les valeurs individuelles sont proches.

Deuxième problème : Il ne s'agit pas d'échantillons de valeurs pris au hasard, puisque tu as choisi les valeur initiales. Les théories habituelles s'appliquent à de vrais échantillons au hasard, indépendants ou appariés.

Finalement, il me semble plus simple de choisir une règle de décision, par exemple "deux valeurs sont cohérentes si elles ne diffèrent pas de plus de 2%" et de vérifier si les résultats sont bons de ce point de vue ou non. Tu modifieras évidemment le 2 pour tenir compte des précisions habituelles de ta discipline. En effet, même si en moyenne les logiciels donnent le même résultat, si pour certains types de valeurs, il y a divergence, on ne peut parler de "mêmes résultats".

Donc une simple étude de ta série des x/x', etc. devrait déjà t'en dire pas mal !

Cordialement.

NB : On surestime souvent l'intérêt pratique des tests statistiques. Même significatifs, ils ne donnent aucune preuve.

[shnewb]

Jolie réponse également !

J'avais peur que ce soit un peu confus, mais j'ai exactement les réponses dont j'avais besoin, merci mille fois.

Conclusion, c'est bien ce que je pensais, ce ne sera surement pas le moyen le plus judicieux de "faire parler les résultats". Je voulais "scientifiser" un peu ma comparaison pour mon rapport de stage de fin d'études, mais je crois que je vais me limiter au rapport x/x' avec un intervalle sous forme de pourcentage. Mieux vaut ne pas prendre le risque de se faire épingler par une armée de scientifiques biologistes statisticiens pendant ma soutenance, c'est vrai qu'avec le recul, aucune des conditions initiales n'est respectée !

Merci encore, j'ai failli me lancer dans un beau pêle-mêle !

[shnewb]

Une dernière question..

Je viens de jeter un œil au test de Wilcoxon, et suis tombée sur un exemple de comparaison de production d'urine chez des patients subissant un traitement diurétique. En gros, le test compare les productions avant et après prise du médoc, et conclut quant à l'efficacité de la molécule.
J'ai l'impression qu'il pourrait presque s'appliquer à ma situation, étant donné qu'il n'y a pas les conditions de la normalité et de l'égalité des variances. Ca pourrait être utile, ou y a-t-il encore des conditions sur le caractère aléatoire des échantillons ?

[A voir en vidéo sur Futura]

[gg0]

Je t'en avais parlé.

Si les valeurs ne sont pas très dispersées, le test de Wilcoxon va te donner, s'il est significatif, l'indication que les valeurs sont différentes puisque pas dans le même ordre. Mais ça ne dit rien s'il est non significatif. et rien non plus si les valeurs sont dans le même ordre, mais très différentes, les unes décalées positivement, les autres négativement.
En fait, la question principale est qu'il ne s'agit pas d'une analyse globale (mais de comparer 2 à 2) donc que ce n'est pas des statistiques qu'il faut.

Cordialement.

[toothpick-charlie]

salut,

dans une telle situation, et dans l'hypothèse où le logiciel A peut être vu comme un "standard", ce qu'on voit usuellement dans la littérature, c'est une régression où la variable explicative est la série des données de A et la variable expliquée celle des données du logiciel B. Le test pertinent est celui de la pente de la régression égale à 1. Les hypothèses sous lesquelle on peut faire une régression sont quelque peu malmenées, mais bon...

[gg0]

Bonjour Toothpick-charlie.

cette méthode donne une indication, mais pas un test. de plus, il peut y avoir des domaines où l'erreur est importante, puisqu'on demande seulement au nuage de points d'être bien dirigé. De plus, s'il y a une ou deux valeurs d'ordre de grandeur très différent des autres, c'est elle(s) qui donne l'essentiel des valeurs, donc de celle de la pente. Par exemple des valeurs très fausses (relativement), mais au début trop grandes, puis ensuite trop faibles et une seule valeur 100 fois plus grande et juste donne une pente à 1.

Mais on ne sait rien ici des valeurs (juste qu'il a pensé à les relativiser).

Cordialement.

[toothpick-charlie]

je citais ce que j'ai vu uiliser. C'est toujours intéressant de savoir ce qui se fait. Même si ce n'est pas optimal, et sauf si c'est carrément incorrect, c'est une bonne idée de s'y tenir, ça augmente la publicabilité des papiers.

j'ai vu cette technique utilisée en particulier par les paléoclimatologues. Typiquement, ils disposent de mesures directes de - disons - la température en certains points, et d'un "algorithme" qui permet d'estimer la température à partir d'une autre mesure. Par un raisonnement théorique, ils savent que la relation est plus ou moins linéaire, mais il reste à effectuer une calibration (trouver la pente). Ce qui se fait est : estimer le coefficient de calibration sur une partie des données, puis tester que la calibration est correcte (la pente égale à 1) sur le reste des données.

[gg0]

Effectivement,

c'est pertinent parce que l'éventail des températures est réduit. Je ne critique pas cette méthode par principe, seulement parce que ça ne semble pas s'appliquer dans ce cas (c'était ma première idée, mais le fait de vouloir calculer les x'/x ne peut provenir que de l'existence de données d'ordres de grandeurs différents - Shnewb ne m'a pas démenti).
Comme c'est un rapport de stage, une méthode simple bien comprise est toujours le mieux.

Cordialement.