Statistique : Tests sur hypothèses

[Sethy]

Bonjour à tous,

Je me présente, j'ai 52 ans et je suis titulaire d'une maîtrise en Chimie (option chimie organique).

Malheureusement, n'ayant pas eu à me servir des statistiques depuis 1988, année où j'ai étudié cela, j'ai absolument tout oublié. Sauf ... que je pense savoir que les stats peuvent m'aider à répondre à la question que je me pose.

La question est en lien avec l'épidémie actuelle de Coronavirus. Ce que j'aimerais faire, c'est par exemple, de comparer les résultats de la Chine (dans sa totalité, moins la province du Hubei pour lesquels les chiffres sont trop parcellaire) avec les résultats de l'ensemble des pays hors Chine. Si je dispose de la bonne méthode, je pourrais évidemment comparer deux provinces entre elles, etc.

Je suis à peu près sûr, qu'au départ de ces chiffres il est possible de faire des hypothèses et de les vérifier par des tests (inférence ?). Mais je ne sais plus du tout comment poser ni les hypothèses, ni choisir le "bon" test, ni obtenir la réponse.

Voici les chiffres :

Chine \ Hubei : 12649 cas, 93 décès (0,74%), 6191 guérisons (48,9%).
Monde \ Chine : 1072 cas, 8 décès (0,7(5)%), 161 guérisons (16,0%).

Si quelqu'un se sent dans me donner la réponse, je lui en serai gré.

Merci,

Sethy
-----

[gg0]

Bonjour.

Comme il ne s'agit pas d'échantillonnage, mais à priori de populations complètes, pas besoin de test statistique : 0,7 est (légèrement) différent de 0,74. Un point c'est tout.
Mais quelle que soit la conclusion que tu en tires, comparaison n'est pas raison. Et la comparaison sera toujours faussé par le fait que l'épidémie a commencé en Chine, que les cas relevée hors Chine sont des cas "exportés" qui n'ont aucune raison de provoquer les mêmes effets que les cas endogènes, etc.

Enfin il existe des scientifiques dont c'est la spécialité d'analyser les statistiques officielles (et officieuses) pour étudier le développement de l'épidémie. Bien sûr, il faudra attendre qu'ils aient fait et publié leurs travaux, mais ce sera plus sûr.

Si c'est seulement pour refaire un peu de statistique, tu peux considérer (faussement) que ce sont des échantillons de deux populations de 1,4 milliards et 6,1 milliards d'individus et faire des tests de comparaison de fréquence. Sachant que le 8 décès n'est probablement pas utilisable.

Cordialement.

[minushabens]

Comme il ne s'agit pas d'échantillonnage, mais à priori de populations complètes, pas besoin de test statistique : 0,7 est (légèrement) différent de 0,74. Un point c'est tout.

tiens, je trouve ta réponse étrange. Je peux te dire que les épidémiologistes ne se gênent pas pour tester l'égalité de deux proportions dans un cas comme celui-là. Peut-être ont-ils tort du reste. Mais on peut aussi penser que cette épidémie est un échantillon issu de l'ensemble (hypothétique) des épidémies possibles de ce virus.

[gg0]

Heu ... le 0,74% n'est pas une fréquence d'épidémies.

Bien sûr les épidémiologistes utilisent des analyses sur des données exhaustives, avec les outils nécessaires (*), et des tests sur échantillons avec des tests d'hypothèses (quand ils ont des hypothèses testables). C'est ainsi qu'ils ont mis en évidence (sur l'ensemble des cas à Wuhan) la surmortalité des personnes âgées et la faible morbidité des enfants. Ils sont en train de tester une éventuelle différence de morbidité par sexe.

Mais les chiffres proposés par Sethy sont des chiffres exhaustifs (pour autant qu'on puisse le savoir).

Cordialement.

(*) Poser la question "le nombre de votants pour Macron au premier tour des présidentielles est-il significativement différent de celui des votants pour Le Pen ?" n'a pas de sens : le significativement réfère à une méthode de test de l'incertain (test d'hypothèse) et il n'y a rien d'incertain. C'est de la même eau que "quelle est la probabilité d'obtenir 8 en lançant un dé classique ?".

[A voir en vidéo sur Futura]

[Sethy]

Je suis partagé. Je m'explique.

Aujourd'hui (contrairement à ce qui est souvent le cas dans pareille situation), nous avons les chiffres. L'OMS les publie (http://who.maps.arcgis.com/apps/opsd...f977d77e4a0667 ), une université américaine (https://gisanddata.maps.arcgis.com/a...23467b48e9ecf6 ) et un organe chinois (https://ncov.dxy.cn/ncovh5/view/pneu...appinstalled=0 , je précise qu'il est possible de traduire ce site "à la vollée", notamment avec Google Chrome).

Est-ce un bien, est-ce un mal, on peut en discuter. C'est une réalité en tout cas. Il est donc tout à fait possible de faire ses propres "statistiques" et d'arriver à donner une fourchette au taux de mortalité. Fourchette qui vaut, évidemment, ce qu'elle vaut. Je vous laisse calculer pour le Hubei seul : 62031 cas, 2029 décès et 10504 guérisons.

Personnellement, je me considère comme libre-penseur et j'essaie donc de me faire ma propre opinion. Si, évidemment, l'information était disponible, je m'en servirais. Mais elle ne l'est pas.

Je suis quand même surpris pas certains résultats dans les provinces. Regardons les chiffres ;
Guangdong : 1332 cas, 5 décès (0,38%), 642 guérisons (48,2%)
Henan : 1265 cas, 19 décès (1,5%), 637 guérisons (50,4%)
(+28 autres provinces)

Il y a un rapport d'1 à 4 entre les décès. Est-ce "statistiquement" possible, si oui, à quel % (inférence ?). Ou au contraire, faut-il faire l'hypothèse qu'il y a 2 types de conditions (à discuter bien sûr).

C'est aussi l'occasion de rafraîchir mes connaissances. Evidemment s'il n'y a rien moyen de faire avec ces chiffres, ben je le saurai. Mais ça m'étonne quand même.

Enfin, je dirais que j'ai choisi d'être honnête et d'expliquer le but de la démarche. A lire certaines réponses, j'ai l'impression (peut-être à tord, si c'est le cas, je m'en excuse) que j'aurais eu une autre réponse si j'avais menti sur la finalité et présenter cela dans un autre contexte. Soit. A cinquante ans, on ne change pas. Tel je suis, tel je reste.

[minushabens]

(*) Poser la question "le nombre de votants pour Macron au premier tour des présidentielles est-il significativement différent de celui des votants pour Le Pen ?" n'a pas de sens : le significativement réfère à une méthode de test de l'incertain (test d'hypothèse) et il n'y a rien d'incertain. C'est de la même eau que "quelle est la probabilité d'obtenir 8 en lançant un dé classique ?".

moi je fais couramment ce genre de choses. Et ici ça ne me dérangerait pas de tester si 8/1072 est significativement différent de 93/12649. D'ailleurs je l'ai fait (test du Chi2) et il n'y a pas de différence. En biologie et en épidémiologie on est presque toujours dans la situation où les données sont uniques et non issues d'un échantillonnage aléatoire. Ce que j'ai testé c'est si cette répartition peut être due au hasard dans une expérience aléatoire hypothétique qui aurait produit les mêmes chiffres. Ca ne dit pas que ce qui se passe avec ce virus est une expérience aléatoire, elle ne l'est pas. Mais ça permet de discuter de la confiance qu'on accorde au fait qu'on ne meurt pas plus en Chine qu'ailleurs des suites de l'infection par ce virus.

[gg0]

Depuis bientôt 60 ans que j'étudie les démonstrations chiffrées (j'ai très tôt été lecteur de revues scientifiques), j'ai appris à me méfier de l'évidence des nombres. Puis je me suis formé aux tests statistiques, auxquels il ne faut pas faire dire plus que ce qu'ils donnent. Le fait qu'un test soit significatif ne prouve rien. C'est une information qu'il faut regarder à l'aune de l'ensemble des connaissances autres. Idem s'il ne l'est pas.
Par exemple ici, le fait qu'on ne trouve pas une différence "significative" (*) entre la mortalité dans une région débordée par une grave épidémie et des cas éparpillés pour l'essentiel dans des pays informés de cette épidémie et à service de santé très organisé, ce fait est assez surprenant. Les valeurs proches en pourcentage m'avaient déjà surprises.

Pour le reste de la discussion, je ne vois pas où sont les mathématiques là dedans. Je n'ai aucun parti à soutenir dans cette situation, je suis aussi "libre-penseur", mais je ne vois pas l'intérêt de poursuivre sur ce sujet.

" Evidemment s'il n'y a rien moyen de faire avec ces chiffres, ben je le saurai." J'ai expliqué la signification du terme "significatif", trop souvent utilisé à tort comme un outil de preuve, voire même dans des tests sur des échantillons biaisés, c'est tout. Après, chacun peut faire l'usage qu'il veut des pourcentages, si possible sans allusion cachée.
"Il y a un rapport d'1 à 4 entre les décès. Est-ce "statistiquement" possible, si oui, à quel % (inférence ?)" On est là dans le mythe des statistiques qui prouvent. Il n'y a rien de ""statistiquement" impossible. Ce ne sont pas les stats qui décident de la réalité. On connaît un exemple récent en France sur des malformations infantiles de fréquences 100 à 1000 fois plus grandes dans certains regroupements de communes proches qu'ailleurs. Qu'est-ce que ça prouve ?
Les événements rares arrivent. ou pas. Ils ne prouvent rien.

Cordialement.


(*) je mets entre guillemets, car on est ici en stats descriptives, on teste l'indépendance "à priori" de deux répartitions en classes.

[Sethy]

Je ne cherche pas LA vérité dans les statistiques, pas plus qu'UNE vérité.

Je cherche juste à avoir une source d'information supplémentaire comme peut apporter la représentation graphique à une situation donnée. Un graphique n'est aussi qu'un graphique, avec ses limitations, tout comme une droite de régression et un R^2. Je sais garder une distance critique par rapport aux chiffres.

Je trouve dommage de me priver de cette source d'information, qui viendrait en complément d'autres. Mais bon voilà, je n'ai pas (ou plus) la connaissance pour le faire par moi-même.

Je n'ai quand même pas demander comment construire un fusil (sujet récemment débattu sur le forum de physique) ou comment faire une bombe (sujet qui serait "évidemment" modéré en Chimie).

[Sethy]

moi je fais couramment ce genre de choses. Et ici ça ne me dérangerait pas de tester si 8/1072 est significativement différent de 93/12649. D'ailleurs je l'ai fait (test du Chi2) et il n'y a pas de différence. En biologie et en épidémiologie on est presque toujours dans la situation où les données sont uniques et non issues d'un échantillonnage aléatoire. Ce que j'ai testé c'est si cette répartition peut être due au hasard dans une expérience aléatoire hypothétique qui aurait produit les mêmes chiffres. Ca ne dit pas que ce qui se passe avec ce virus est une expérience aléatoire, elle ne l'est pas. Mais ça permet de discuter de la confiance qu'on accorde au fait qu'on ne meurt pas plus en Chine qu'ailleurs des suites de l'infection par ce virus.

Pourrais-tu juste détailler le calcul ? Je pourrais le reproduire avec les autres provinces / situation.

Merci.

[gg0]

Je ne comprends pas ce que tu veux. Tu as les chiffres ... tu en déduis ce que tu vois. Pas besoin de technique statistique élaborée, et surtout, c'est idiot de vouloir faire des tests là où on n'a pas la situation probabiliste pour en faire (tirage au hasard d'un échantillon ou situation qui s'y ramène clairement). Pour des présentations et représentations tu as tous les outils de stats descriptives.

Après, on peut faire semblant de faire des statistiques inférentielles, des tests statistiques sur des données qui ne conviennent pas. A part pour trafiquer la réalité, ça n'est pas une activité utile.

Je n'ai pas d'outil qui puisse être "une source d'information supplémentaire". Et tu rêves d'un discipline qui n'existe pas, ou tu as eu une formation trop peu sérieuse pour avoir compris ce que c'est un test statistique. Ta phrase "Il y a un rapport d'1 à 4 entre les décès. Est-ce "statistiquement" possible, si oui, à quel % (inférence ?)" m'y fait sérieusement penser. Elle correspond en fait à la méthode suivante "Faisons comme si c'était un échantillon pris au hasard, appliquons les règles sur les échantillons et voyons ce que ça donne". Tu veux vraiment faire ce genre de fausse science ? Que je vois parfois sur des publications prétendument scientifiques.

Tu n'as pas besoin de stats pour penser que c'est bizarre. Et les stats ne peuvent rien ajouter. Tout au plus, avec des soi-disant tests, on peut faire croire aux autres qu'on a "prouvé scientifiquement que c'est impossible".

Cordialement.

[Sethy]

Non, donner un vernis "scientifique" à quelque chose qui ne l'est pas, n'est clairement pas ce que je veux faire, ça c'est certain.

Extrapoler, oui pourquoi pas (avec toutes les limites inhérentes à l'exercice), raconter n'importe quoi, ça non.

Si on y réfléchi bien, il y a de nombreux biais qui peuvent affecter les chiffres. On parle de résultat par province, mais a-t-on bien recensé tous les cas ? Y a-t-il une prime aux cas les plus graves ou pas ? Ce sont autant d'interrogation que j'ai et pour lesquelles je pensais naïvement que les stats pouvaient aider. Visiblement ce n'est pas le cas.

Merci.

[minushabens]

Je ne comprends pas ce que tu veux. Tu as les chiffres ... tu en déduis ce que tu vois. Pas besoin de technique statistique élaborée, et surtout, c'est idiot de vouloir faire des tests là où on n'a pas la situation probabiliste pour en faire (tirage au hasard d'un échantillon ou situation qui s'y ramène clairement). Pour des présentations et représentations tu as tous les outils de stats descriptives.

tu dis ne pas vouloir pousuivre le débat mais tu persistes à donner des conseils qui reflètent ta philosophie des statistiques, qui pour respectable qu'elle soit est à l'opposé de celle de la majorité des épidémiologistes.

[gg0]

Minushabens,

tu connais vraiment les outils des épidémiologistes ? Et la construction des modèles de propagation des maladies ? Si oui, peux-tu me dire quand ils utilisent des tests d'hypothèse pour comparer des données exhaustives entre elles ? (*)

Et tu parles de ma "philosophie des statistiques" là où je me contente de rappeler les bases des tests d'hypothèses et les risques de fausses conclusions à partir d'événements uniques inattendus.

Cordialement.

(*) bien sûr, ils utilisent des tests d'hypothèse pour vérifier leurs idées, en particulier l'adéquation des modèles à la réalité.

[minushabens]

pour te répondre je prendrai l'exemple de l'article que je suis en train de lire. Il concerne l'épidémie de Zika qui a eu lieu au Brésil en 2013-2015. L'épidémie est terminée et on a toutes les données disponibles. De plus c'est un événement unique qui n'aura plus jamais lieu (puisque maintenant les gens sont immunisés) ou en tout cas pas avant quelques décennies. Ca n'empêche pas les auteurs de calculer des risques relatifs, de les donner avec des intervalles de confiances, de tester l'égalité des taux d'attaque entre les différentes régions du Brésil, etc. Je t'assure, c'est la pratique classique dans ce domaine.

Et c'est vrai dans d'autres domaines d'application des statistiques. J'ai lu par exemple une étude où on comparait le taux de réussite des filles et des garçons dans telle école telle année. C'est encore un événement unique. Dans tous les cas, quand on utilise un modèle probabiliste (selon ma philosophie on va dire) on se réfère à une expérience aléatoire hypothétique, qui pourrait avoir engendré les données disponibles. Mais on ne dit pas que le phénomène étudié est réellement un phénomène aléatoire.

[gg0]

Dont acte .

Je connaissais déjà ça en économétrie, mais les économistes ne se sont jamais signalés pour leur rigueur scientifique. Je ne pouvais imaginer que des gens dont l'un des outils de base est la technique statistique puissent tirer des conclusions de calculs sans signification (tests faits en dehors du domaine de validité). J'ai vu aussi des psychologues faire des tests sur des échantillons biaisés (de façon évidente), mais eux sont notoirement mal formés en stats.
On ne peut pas considérer un recueil de données sur un événement unique comme un échantillon de ce qui pourrait se passer, c'est un recueil biaisé par nature (100% des gagnants ont tenté leur chance). Ce qui n'empêche pas de faire un traitement statistique de ces données avec les outils adaptés.

Je me demande si finalement, ce n'est pas simplement un effet de mode (c'est le cas en psycho) et qu'on n'est pas considéré comme non scientifique si on n'accompagne pas les explications de mathématiques sans utilité, de tests. Un peu comme autrefois on perdait des points en devoir si on n'avait pas souligné le résultat

Cordialement.

NB : Dans certains domaines, la significativité d'un test est considéré comme une preuve. Alors qu'avec un risque de 5%, une fois sur 20 tests d'hypothèse correcte le test est significatif.