Question stat & probabilités toute simple ?

[inviteaf07a09a]

Tout d'abord bonjour à tous,

Je me suis inscrit sur le forum pour voir si quelqu'un pouvait me renseigner sur une question mathématique à priori très simple (pour les "initiés") mais j'ai déjà vu qu'il y a plein d'autres sujets intéressants qui sont discutés ici donc j'aurai surement beaucoup de plaisir à surfer voire à contribuer sur d’autres sujets .

Voici mon problème et les questions qu’il soulève. C’est surement très simple mais je ne suis pas statisticien donc j’ai besoin d’un coup de main.

J'ai un ami qui prétend pouvoir deviner quelle face d'une pièce sera tirée dans un tirage à pile ou face (en réalité ce n'est pas exactement de pile ou face qu'il s'agit mais ce n'est pas important car le principe est le même).

J'ai faut quelques tests et simulations dans Excel pour voir comment se comporterait une expérience si mon ami avait tort. S'il n'est pas capable de faire une prévision correcte, il devrait très logiquement avoir une probabilité d'échec/réussite de 50% soit la probabilité de gagner à pile ou face. J'ai aussi constaté que l'écart type de la précision basée sur un lancé de pièce tourne entre 7 et 10% suivant le nombre de "lancés" qu'on prend en compte. Donc si on prend un écart type de 7%, cela veut dire que si mon ami a un taux de succès qui se situe entre 43% et 57%, je ne pourrai pas déduire qu'il est plus précis qu'un simple tirage à pile ou face. Est-ce correct de dire cela ?

Donc maintenant la question suivante est celle qui m'intéresse finalement le plus, c'est combien de fois et avec quel test pratique puis-je challenger mon ami pour voir si ça méthode est efficace ou pas ? Si je vois par exemple qu'il arrive à deviner 60 ou 65% des tirages (ce qui serait déjà nettement mieux qu'un simple 50/50), à partir de quand puis-je considérer que sa méthode est effectivement efficace et avec quel taux de confiance ?

En espérant que je me suis bien fait comprendre ?

D'avance merci pour vos retours.

Cordialement,

Eric
-----

[gg0]

Bonjour.

S'il a raison, une prévision de 10 coups successifs est une réussite (si c'est toi qui lances ta pièce, et lui qui devine à l'avance, ou suffisamment loin pour éviter la tricherie). En effet, il y a moins d'une chance sur 1000 de deviner juste 10 fois de suite. (*)
Si "ce n'est pas exactement de pile ou face qu'il s'agit mais ce n'est pas important car le principe est le même", je fais toute réserve, car il peut y avoir tricherie ou supercherie de prestidigitateur.

Sinon, sur les lancers de pièces, les expériences que tu as faites ne concernent pas la question que tu poses. les calculs se font très bien à l'aide de la loi binomiale qu'on voyait en première.

Cordialement.

(*) plus généralement, la probabilité de deviner juste sur n lancers est 1/2^n.

[inviteaf07a09a]

Bonjour. Merci pour cette réponse. Je comprend bien le principe et la formule mais cela ne répond pas vraiment à la question que je me pose.

Comment évaluer la fiabilité de sa méthode s'il devine par exemple correctement 6 ou 7 fois sur 10 ? En d'autres mots, à partir de combien de "succès", puis-je être sûr que mon ami est un meilleur évaluateur qu'un simple lancé à pile ou face ? Comment puis-je évaluer objectivement la fiabilité de sa "méthode" ? S'il a un taux de succès par exemple de 60%, combien de fois dois-je le tester et à partir de quand et avec quelle probabilité puis-je considérer qu'il est effectivement plus fort qu'un simple tirage aléatoire à pile ou face ?

[gg0]

Bonjour.

Il n'y a aucune méthode parfaite. les statisticiens ont mis en place la technique des tests d'hypothèses pour traiter des questions de ce genre. les réponses sont soir "on ne peut rien conclure", soit "on peut dire que l'hypothèse est à rejeter au risque t%" (ou t est à priori petit - c'est la probabilité à priori de rejeter l'hypothèse quand elle est juste).

Dans ce cas, on peut faire le test de "il répond au hasard", c'est à dire de "la probabilité d'une réponse juste est de 50%". C'est l'hypothèse statistique à tester. Il va deviner sur un certain nombre de lancers, noté n. Plus n est grand, plus le test sera "puissant", c'est à dire plus il y aura de chances de faire la différence entre 50% et par exemple 60%. Sous l'hypothèse choisie, le nombre de résultats devinés suit la loi B(n,1/2), et si on prend le risque (classique, mais relativement élevé) 5% (s'il devine au hasard, il a une chance sur 20 qu'on pense qu'il devine), on cherche un intervalle [k,n], le plus large possible tel que la probabilité que le nombre de cas correct y soit est inférieure à 5%).
Pour n=10, on conclura à une éventuelle capacité à deviner s'il trouve 8 fois ou plus; pour n=20, s'il trouve 14 fois ou plus; pour n=100, s'il trouve 58 fois ou plus. Mais en devinant au hasard, il a une chance sur 20 de te tromper. Et la moindre technique permettant d'améliorer la prévision fausse tout. On peut alors diminuer le risque, prendre 1%, et pour 100 on passe de 58 (8 "coups de chance") à 62.

On trouve facilement sur Internet des documents sur les tests d'hypothèses.

Cordialement.

[A voir en vidéo sur Futura]

[inviteaf07a09a]

Merci beaucoup. Je pense que c'est exactement ce genre d'info dont j'avais besoin.

Je note aussi que c'est quelque part ce que j'avais intuitivement expérimenté avec mon modèle Excel. J'ai fait des séries de 50 tirages aléatoires de type pile ou face et en regard de chaque tirage j'avais simulé un test pour deviner ce qui était tiré également avec un algorithme aléatoire de type pile ou face. Cela m'a permis de confirmer que la probabilité de tomber juste sur 50 tirages tendait vers 50% dès que le nombre de tirages était suffisant (logique) et surtout que l'écart type de la prévision par pile ou face est de l'ordre de 10%. En d'autres mots, une prévision réussie à 60% (50% + 10% d'écart type) n'est pas un gage d'efficacité du modèle de prévision. Ou inversement, un modèle de prévision qui fonctionnerait théoriquement bien dans 70% des cas avec un écart type de 10% (ce qui pourrait déjà être considéré comme fantastique en finance, en économie ou en médecine) pourrait être invalidé (càd confondu avec un pile ou face) si par "malchance", on n'observerait qu'un taux de prévision correct de 60%.

Pour la petite histoire, mon ami ne joue pas à pile ou face et moi non plus et ni lui ni moi ne sommes intéressés à essayer de manipuler notre expérimentation. Au contraire, nous voulons tous les 2 être les plus justes et les plus précis possible. En fait, mon ami fait de la bio-réseonnance et il pense qu'il a pu mettre au point un test qui pourrait lui permettre d'estimer si un échantillon ou n'importe quel autre objet est infecté par le Covid19. Quand il pratique son test de manière "informée" donc en sachant ce qu'il teste, son taux de réussite est proche de 100%. Mais nous restons tous les 2 prudents et extrêmement dubitatifs. Nous voulons du coup faire une expérience en mode "blind test" pour essayer d'estimer si sa méthode est vraiment efficace ou pas. Et on ne veut surtout pas tricher ! On a donc tout prévu pour tester une 50aine d'échantillons répartis 50/50 entre des échantillons sains et des échantillons contaminés. Et donc, nous nous posions la question de savoir à partir de quand nous pourrions être "sûrs" que sa méthode est ou n'est pas fiable ! A ce stade-ci, je retiens que si on a plus de 70% de taux de réussite sur 50 "tirages" il y aura de fortes chances que sa méthode soit efficace. Si on est capable de reproduire ce taux de réussite au moins 2 ou 3 fois de suite, l'efficacité de sa méthode sera quasiment indiscutable on en tous cas la probabilité que nous nous trompions sera incroyablement petite... Si on fait 2 ou 3 séries de 50 tests à l'aveugle et que son taux de détection ne dépasse jamais 60%, nous ne pourrons vraisemblablment pas affirmer que son test est plus efficace qu'un simple tirage à pile ou face.

A suivre et encore merci pour vos lumières .

Cordialement

[invitef29758b5]

Salut

que l'écart type de la prévision par pile ou face est de l'ordre de 10%

Pour une loi binomiale l' écart type c' est √(Npq)
N nombre de tirage .
p probabilité de réussite
q probabilité d' échec = 1-p
Dans un cas "pile ou face" p = q = 0,5 et donc σ = 0,5√N
Pour N = 50 , σ = 3,5
https://fr.wikipedia.org/wiki/%C3%89cart_type

[gg0]

Attention,

même si le taux de détection dépasse 70 %, la méthode peut être sans utilité : Une méthode de détection qui a 70 % de réussite est assez peu utile : elle laisse de côté 30% des cas. C'est un des problèmes des tests actuels.
Si, sur deux échantillons de 50 infectés et 50 non infectés, mélangés et à l'aveugle, il y a eu détection de 35 infectés et de 10 non infectés à tort, le aux de détection n'est que 70 %, ce qui laisse 30% de "faux négatifs" (grave, car on va avoir confiance à tort) mais aussi il y a 20% de "faux positifs", qui vont être rejetés à tort.

Je suis d'ailleurs un peu dubitatif : Pourquoi venir poser la question ici ? Alors que tout scientifique sérieux en biologie connaît les stats de base et a la possibilité de contacter un bio-statisticien qui connaît les procédures habituelles. Et qu'il existe des ouvrages entiers sur ces questions.

Cordialement.

[inviteaf07a09a]

Bonjour

@Dynamix: merci pour la précision sur l'écart type. C'est forcément logique mais je suis quand même content de voir que cela colle avec ce que j'avais simulé en Excel. Avec une vingtaine de séries de 50 tirages, j'avais un écart type de l'ordre de 10%. Au plus on rajoute des séries de 50, au plus on tend vers un écart type de prévisions réussies/ratées de 7%. Avec 50 séries de 50 tirages cet écart type est déjà pile à 7%. Puisque n=50, 7% de 50 = 3,5 C.Q.F.Deviner.

@gg0: pour un taux de réussite/détection du covid de 70% je suis assez d'accord avec vous. Heureusement nous visons et espérons un taux de réussite bien plus élevé. Ceci dit, s'il s'agissait d'un algorithme de prévision de l'évolution des cours de bourse, un pourcentage de prévisions réussies de 70% serait bien meilleur que ce que font les meilleurs gestionnaires de fortune aujourd'hui et cela ferait vite de nous des multimillionnaires.

Pour ce qui est de l'intérêt de venir demander ici ou pas... Je peux comprendre la remarque mais ce n'est pas notre métier, c'est notre hobby et nous n'avons rien à revendiquer ni à vendre. Nous faisons ceci en toute humilité à côté de notre activité principale qui n'a rien à voir avec la recherche en biologie. Et fort heureusement toutes les découvertes intéressantes ne doivent pas forcément être faites par des personnes ayant des profils bac+10 dans toutes les disciplines associées donc nous continuons notre petit bonhomme de chemin sans faire de mal à personne. Et si par extraordinaire la méthode fonctionne vraiment bien, je crois que cela n'aura plus vraiment d'importance de savoir quels bons livres nous aurons lus ou pas. Par contre, vous nous aurez aidés en partageant juste un peu de votre savoir et je vous en remercie .

Cordialement

[gg0]

OK,

mais difficile de savoir, avec ce que tu disais, qu'il s'agit d'amateurs. Sachez cependant qu'à moins de 90% de détection du virus, on est très loin des méthodes PCR (qui sont appliquées non seulement sur les gens, mais aussi sur les surfaces voire les eaux d’égout) et que la question de la dose minimale repérable est critique (elle est très faible, quelques virus pour la PCR).

Bonne chance pour la suite de votre aventure !