Test statistique

[Sethy]

Bonjour à tous,

Comme vous pouvez le voir, j'ai quitté les bans de la fac il y a quelques années. J'ai beaucoup perdu, notamment en stat et j'ai justement un petit problème que j'aimerais résoudre, ce qui me permettrait en gros de faire d'une pierre deux coups.

Le problème est simple : partons d'un jeu de 20 cartes comportant un joker. A chaque tour on tire un carte (sans remplacement) et j'aimerais savoir si le tirage est biaisé (ce que je soupçonne, car c'est un problème dont j'ai eu l'idée suite à cette impression).

Il y a autant de chance de tirer le joker dans les 10 premières cartes que dans les 10 dernières. Mes deux hypothèses sont assez évidentes : soit le tirage est non biaisé, soit il est biaisé.

Quelle serait la meilleure stratégie pour le prouver, disons avec 95% de chance soit dans un sens, soit dans un autre ?

D'avance merci,

Sethy
-----

[gg0]

Bonjour.

Avec un test statistique, tu pourras soit confirmer ton impression, avec un certain risque de le faire à tort, soit ne rien conclure. Mais tu ne prouveras rien, les tests statistiques ne sont jamais des preuves.
J'utilise le schéma de test que tu proposes, qui est : Sur un nombre n de parties, on note le nombre p de fois où le joker est sorti parmi les 10 premières cartes. On fait l'hypothèse h0 que le tirage est non biaisé, donc que p est une réalisation d'une variable binomiale B(n,1/2). Choisissons un seuil de risque, par exemple le classique 5% (*). On cherche un intervalle [k,l] d'entiers, tel que, dans l'hypothèse H0, on ait 95% de chances que p est entre k et l (inclus). En fait, on ne tombe jamais exactement à 95%, donc on prendre un intervalle qui donne un peu plus de 95%, mais tel que, si on le réduit, on a moins de 95%. Par exemple, pour n= 10, on a l'intervalle [2,8], qui contient 97,85 % des cas dans un tirage non biaisé. On fera alors le test, et si p est un des nombres 2, 3, 4, .. 8, le test ne conclut rien et si n=0 ou 1 ou 9 ou 10, le test confirmera qu'il y a peut-être un biais, avec une chance sur 20 de se tromper si par hasard il était sans biais.
On voit qu'il faut des cas très particuliers (rarement ou presque toujours) pour que le test donne un résultat. On dit qu'il manque de puissance. Pour augmenter cette puissance, il faut augmenter n. par exemple avec n = 20, deux intervalles conviennent : [4,15] ou [5,16], avec encore plus de 97% de probabilité que p soit dedans si H0 est vraie. Mais on ne rejette encore que des cas extrêmes.

Donc la meilleure stratégie est d'avoir le maximum de cas.

NB : Je n'ai testé que le fait que le joker ne sorte pas de la même façon au début ou à la fin. Si on suppose qu'il sort plutôt vers la fin, on modifie le test.

Cordialement.

(*) ce qui veut dire que même avec un tirage non biaisé, on conclura à tort une fois sur 20 en moyenne.

[Sethy]

Tout d'abord, merci beaucoup.

Comme je l'écrivais, mon but est double : et avoir la réponse au test, et comprendre.

Donc ai-je bien compris que si je veux montrer que si le joker sort plutôt à la fin (en conservant le seuil de 95%), je peux par exemple prendre comme intervalle [k,l], [14,20] ce qui réduirait le seul à 94,2% (soit 1 chance sur 16 de se tromper). Si j'obtiens un résultat sur mes sorties compris entre [0,13], je ne peux rien conclure mais si j'obtiens un résultat [14,20] alors je peux conclure qu'il est biaisé avec une chance sur 16 de me tromper. Je peux aussi bouger l'intervalle de 1 [0,14] et [15,20] avec pour conséquence de ne me tromper que dans (1-0,0207)*100% cas.

Ai-je bon ?

Merci.

[MissJenny]

Je ne sais pas ce que tu appelles un tirage biaisé, mais ce qui est évident c'est qu'en retenant simplement le fait que le joker est dans les 10 premières cartes ou non, tu perds énormément d'information. Si tu notais le rang du joker dans ta permutation aléatoire ce serait bien mieux a priori (à vérifier selon ce que tu veux tester précisément).

[A voir en vidéo sur Futura]

[gg0]

Heu ... d'où sort cet intervalle [14,20] ? Sur combien d'essais ?

J'ai l'impression que tu parles du cas n=20 (on a joué 20 fois le jeu jusqu'à la sortie du joker), que tu as changé d'hypothèse H0 (si tu ne la précises pas, ça devient peu compréhensible) et que tu mélanges l'intervalle d'acceptation (ce dont je parlais) avec l'intervalle de rejet. Autre défaut, tu n'as pas choisi l'intervalle à partir du risque, mais le risque à partir de ta façon de faire, ce qui est .. risqué. Je ne sais pas non plus d’où tu sors ce 1/16. Ni le (1-0,0207)*100%

[Sethy]

Je ne sais pas ce que tu appelles un tirage biaisé, mais ce qui est évident c'est qu'en retenant simplement le fait que le joker est dans les 10 premières cartes ou non, tu perds énormément d'information. Si tu notais le rang du joker dans ta permutation aléatoire ce serait bien mieux a priori (à vérifier selon ce que tu veux tester précisément).

Comme c'est un jeu, il arrive parfois que j'arrive à obtenir les derniers tirages.

[Sethy]

Heu ... d'où sort cet intervalle [14,20] ? Sur combien d'essais ?

J'ai l'impression que tu parles du cas n=20 (on a joué 20 fois le jeu jusqu'à la sortie du joker), que tu as changé d'hypothèse H0 (si tu ne la précises pas, ça devient peu compréhensible) et que tu mélanges l'intervalle d'acceptation (ce dont je parlais) avec l'intervalle de rejet. Autre défaut, tu n'as pas choisi l'intervalle à partir du risque, mais le risque à partir de ta façon de faire, ce qui est .. risqué. Je ne sais pas non plus d’où tu sors ce 1/16. Ni le (1-0,0207)*100%

Effectivement, je vais détailler. Donc oui, j'ai pris le cas où n=20.

En analysant ta première réponse, j'ai déduit (peut-être à tort) que tu avais procédé comme suit :

Stat_10.PNG

Et que c'est de là que tu tirais tes chiffres (notamment celui de 97,85 %).

Source de l'abaque : https://fr.wikipedia.org/wiki/Loi_binomiale

Donc, je suis parti de la version "intégrale de l'abaque" pour n=20 en déplaçant la fenêtre :

En bleu, le test à 94,2% (1-0,0577)*100%, en violet le test à (1-0,0207)*100%.

Stat_20.jpg

Est-ce que ma démarche est plus claire (et surtout, est-elle juste) ?

Merci.

[gg0]

Quelle est ton hypothèse H0 et l'hypothèse contraire ?
Si j'ai bien compris, tu cherches des intervalles de confiance de la forme [6,20] ou [5,20]. Mais pour quoi faire ?

[MissJenny]

Sethy, il faut que tu décrives précisément l'expérience aléatoire et l'hypothèse que tu veux tester. Le fait que "c'est un jeu" ne dit rien de tout ça.

[Liet Kynes]

J'ai fait un lien avec la loi de Benford : pertinent  ?

[gg0]

Non !

A priori, rien à voir.

[Sethy]

Hypothèse H0, si le tirage est non biaisé, alors le résultat compris dans l'intervalle [0,14] j'ai 95% de chance (en fait ici 97,9%) que p est entre 0 et 14 (je reprends p, k et l avec le même sens que celui de ton post).

[Sethy]

Sethy, il faut que tu décrives précisément l'expérience aléatoire et l'hypothèse que tu veux tester. Le fait que "c'est un jeu" ne dit rien de tout ça.

L'expérience est décrite : un paquet de 20 cartes, on tire les cartes une à une, sans remplacement. Le joker est sensé être distribué aléatoirement, mais je suspecte que ce ne soit pas le cas et je veux le montrer.

[MissJenny]

Hypothèse H0, si le tirage est non biaisé,

désolé mais "tirage biaisé" ou non biaisé, ça n'est pas assez précis. Qu'est-ce qui serait un tirage biaisé?

[MissJenny]

L'expérience est décrite : un paquet de 20 cartes, on tire les cartes une à une, sans remplacement. Le joker est sensé être distribué aléatoirement, mais je suspecte que ce ne soit pas le cas et je veux le montrer.

tu veux tester une méthode de mélange des cartes? mais qu'est-ce que le joker a de spécial? pourquoi ne pas considérer la permutation dans son ensemble?

[Sethy]

Je vais expliquer "ma" logique en français. On supposera n=20 pour toute l'explication.

Imaginons d'abord que le tirage ne soit pas biaisé.

Si on n'a qu'un seul tirage, c'est évident, le joker peut être n'importe où dans le paquet (et donc sortir n'importe quand). Mais en multipliant les tirage la "masse" des positions centrales va augmenter. C'est exactement ce qu'on voit (graphe bleu, N=20, p = 0,5).



La seconde courbe est la courbe intégrale et si je souhaite avoir la probabilité de tirer le joker avant la 12ème carte, il me suffit d'intégrer et de lire la valeur du 12ème point de la courbe intégrale.

Jusque là, est-ce que j'ai bon ?

Mon ressenti est que le tirage est biaisé. Ce que je ferais en tant que programmeur, serait de tirer 2 nombres aléatoire compris entre 1 et 20 inclus et de prendre le plus grand des deux et de positionner le joker à cet emplacement dans le paquet de carte.

Donc maintenant, ce que j'essaie de faire, c'est de montrer que c'est le cas. Donc je me suis dit qu'il y avait plus de chances de tirer le joker vers la fin que vers le début. Pour cela, je compare le résultat attendu (le fameux intervalle 0, 14) avec le résultat obtenu.

Ai-je toujours bon ?

[Sethy]

tu veux tester une méthode de mélange des cartes? mais qu'est-ce que le joker a de spécial? pourquoi ne pas considérer la permutation dans son ensemble?

Simplement parce que c'est un jeu et qui si on perd prématurément, on ne voit pas le contenu de la fin du paquet.

[MissJenny]

ton histoire ne me paraît pas claire. Si tu tires une permutation aléatoire dans la loi uniforme (sur l'ensemble des permutations) alors la position de n'importe quelle carte (dont le joker) suit la loi uniforme sur l'intervalle [1,20]. Ce que tu peux faire est répéter l'expérience un grand nombre de fois, noter à chaque fois la position du joker et tester (par le test du Chi2 ou celui de Kolmogorov-Smirnov) si la loi de la position du Joker s'écarte de la loi uniforme. Mais tu aurais plus de puissance (beaucoup plus) si tu considérais aussi les positions des autres cartes.

[gg0]

Enfin, dans le message #16, tu t'es décidé à dire ce qui te pose problème, ce que tu voudrais mettre en évidence. L'hypothèse H0 est "tirage équiprobable", l'hypothèse alternative H1 est que le joker se situe plus "à la fin" que sur un tirage équiprobable.
Je reprends le test que j'avais proposé, en rectifiant en fonction de H1 :
Sur un nombre n de parties, on note le nombre p de fois où le joker est sorti parmi les 10 premières cartes. On fait l'hypothèse H0 que le tirage est non biaisé, donc que p est une réalisation d'une variable binomiale B(n,1/2). Choisissons un seuil de risque, par exemple le classique 5% (*). Si H0 est fausse parce que c'est en fait H1 qui convient, on aura généralement plus d'échecs que de réussites, donc les valeurs de p seront faibles. Par contre, les valeurs fortes ne seront pas, à priori, imputables à H1. Donc on cherche un intervalle [k,n] d'entiers, tel que, dans l'hypothèse H0, on ait 95% de chances que p est entre k et n (inclus). En fait, on ne tombe jamais exactement à 95%, donc on prendre un intervalle qui donne un peu plus de 95%, mais tel que, si on le réduit, on a moins de 95%.
Pour n=20, la table de la loi binomiale cumulative montre qu'on est amené soit à réduire le risque un tout petit peu, et prendre k=7, soit à dépasser nettement 95% avec k=6; qui serait la bonne valeur au risque 2%. L'intervalle d'acceptation est donc [6,20].
Donc on fait 20 parties et on note +1 si le joker sort dans les dix premières cartes. On obtient un total de p sorties parmi les 10 premières cartes. Rappel : p n'est pas la position de sortie du joker.
Si p vaut 6 ou plus, le test réussit, il n'y a pas de bonne raison de rejeter H0.
Si p vaut 1, 2, 3, 4, ou 5, le test échoue, on a des raisons statistiques de rejeter H0 au profit de H1. Avec cependant le risque qui est que ça arrive en moyenne une fois sur 50 avec un tirage parfaitement équiprobable.

La faible puissance de ce test se voit car il faut que le joker sorte moins d'une fois sur 4 dans la première partie du jeu pour qu'on puisse mettre en doute H0.

Attention : le protocole de test est à parfaitement respecter. Faire des parties jusqu'à obtenir 20 parties de suites pour lesquelles p ne dépasse pas 5 serait une tricherie.

Cordialement.

NB : L'intervalle [0,14] est hors course.

[Sethy]

J'ai compris ... et effectivement l'avertissement en gras était le bienvenu.

Ceci dit, j'ai été fairplay puisque le problème "réel" se pose avec un jeu de 30 cartes. Mais je ne voulais pas avoir la réponse "toute faite".

[gg0]

C'est donc une bonne chose que j'aie repris entièrement la démarche de test. Car elle est à suivre scrupuleusement.