Evaluation des probabilités...

[invite2ec994dc]

Salut,

De plus en plus de modèle pour couvrir leur prédiction ne donne pas un événement certain mais un événement avec x chance de se produire.
Prenons l'exemple de la météo, est-si fiable que cela ?
Pour en avoir une idée je vous propose le protocole suivant :
-on regarde toute les prévisions situé dans une même fourchette probabiliste (par exemple entre 70 et 80% de chance), il en faut beaucoup,
-on estime alors sur les événements prédits le nombre de ceux effectivement réalisé, on fait le quotient entre les 2.
-si le coefficient obtenue est entre 0.7 et 0.8 d'événement prédits alors la météo est en accord avec ces prédictions sinon il y a problème.

Que pensez-vous de ce protocole ?
-----

[Deedee81]

Salut,

C'est une méthode fort grossière, mais pourquoi pas.

En science on utilise plutôt :

http://fr.wikipedia.org/wiki/%C3%89cart_type

Par exemple, l'écart à ciq sigma pour la physique des particules.

De plus en plus de modèle pour couvrir leur prédiction ne donne pas un événement certain mais un événement avec x chance de se produire.

Mais ça c'est faux. Tous les modèles depuis toujours donnent un résultat avec une certaine probabilité ou une certaine précision.
Simplement, l'information sur cette incertitude à maintenant tendance à passer dans le grand public.

Avant, tu n'en entendais pas parler car ce n'était pas expliqué au grand public.

Pour la météo, par exemple, la notion de cofficient de confiance existe depuis longtemps dans les pays anglophones mais a eut plus de mal à passer dans les pays latins. C'est maintenant chose faites, presque tout le monde donne ce coefficient.

[invite2ec994dc]

...
Mais ça c'est faux. Tous les modèles depuis toujours donnent un résultat avec une certaine probabilité ou une certaine précision.
Simplement, l'information sur cette incertitude à maintenant tendance à passer dans le grand public.

Une expérience reproductible ne l'est jamais à 100 %, et pourtant on ne donne jamais de risque de non obtentiont du résultat souhaité.

[Tawahi-Kiwi]

Une expérience reproductible ne l'est jamais à 100 %, et pourtant on ne donne jamais de risque de non obtentiont du résultat souhaité.

Tu as un exemple ?

Le systeme est soit tellement complexe que l'experience est de facto non reproductible a 100% (typique de phenomenes biologiques) ou alors le systeme est ideal et simplifie (chimie, physique,...), et quand on a pas le resultat attendu, c'est que le probleme est ailleurs et que l'experience n'est pas executee dans les memes conditions que ce que l'on a fait avant. Maintenant, a nouveau, tout cela depend de la complexite du systeme, de phenomenes chaotiques, etc.

Maintenant, oui, il y a toujours une chance que ca ne se passe pas comme prevu pour des raisons quantiques, mais appliquees aux objets macroscopiques, autant dire qu'on parle de chances tres tres tres negligeables...

T-K

[A voir en vidéo sur Futura]

[invite2ec994dc]

Tu as un exemple ?

Prends un thermomètre de précision (au dixième de degré prés) fait bouillir de l'eau et regardes si tu obtiens bien 100 degrés exactement....
On pourras toujours trouvé des coupables mais cela n'empêche que cette expérience est très difficile à réaliser.

[invite2ec994dc]

Prends un thermomètre de précision (au dixième de degré prés) fait bouillir de l'eau et regardes si tu obtiens bien 100 degrés exactement....
On pourras toujours trouvé des coupables mais cela n'empêche que cette expérience est très difficile à réaliser.

En tout les cas pour moi, et je n'habite pas à la montagne...

[Tawahi-Kiwi]

dans des conditions rigoureusement exactes, oui, je suis a peu pres sur que l'on obtient 100ºC, sinon, il y a bon nombre d'applications qui ne fonctionerait pas si bien...les chambres a bulles par exemple.

Si tu n'obtiens pas les memes valeurs, c'est que les conditions experimentales ne sont pas les memes...
l'erreur est soit experimentale (equipement et conditions pas strictement identiques) si >0.1ºC ou instrumentale si tu obtiens 100±0.1ºC

T-K

[invite2ec994dc]

dans des conditions rigoureusement exactes, oui, je suis a peu pres sur que l'on obtient 100ºC, sinon, il y a bon nombre d'applications qui ne fonctionerait pas si bien...les chambres a bulles par exemple.

Si tu n'obtiens pas les memes valeurs, c'est que les conditions experimentales ne sont pas les memes...
l'erreur est soit experimentale (equipement et conditions pas strictement identiques) si >0.1ºC ou instrumentale si tu obtiens 100±0.1ºC

T-K

Tu sais quand on fait des prévisions météo il y a également tout un tas de facteur que l'on ne maîtrise pas avec précision (maillage finie) cela n'empêche pas de donner un indice de confiance...

Bref, on s'éloigne du sujet...

Le protocole proposé est-il pertinent ?

La seule limite que j'y vois c'est qu'il faut beaucoup de valeurs issus du même modèle.

[invite2ec994dc]

PS : dans ma petite expérience la météo (pression atmosphérique) y joue un rôle déterminant, donc tes conditions rigoureusement identique dépendras d'une météo rigoureusemnet identique.

[Tawahi-Kiwi]

..cela n'empêche pas de donner un indice de confiance...

C'est typiquement un systeme complexe (mentionne au message #4), ou les erreurs instrumentales sont negligables vis-a-vis de l'erreur interpretative ou les peri-phenomenes imprevus et chaotiques.
Je suis sur que Yves ou Damien auraient des choses a dire sur ce sujet.

T-K

[invite2ec994dc]

C'est typiquement un systeme complexe (mentionne au message #4), ou les erreurs instrumentales sont negligables vis-a-vis de l'erreur interpretative ou les peri-phenomenes imprevus et chaotiques.
Je suis sur que Yves ou Damien auraient des choses a dire sur ce sujet.

T-K

Cela n'empêche que je peux donner un indice de confiance à la reproductibilité de la première expérience qui dépendra des conditions atmosphériques prédis durant les 5 prochaines minutes à mon lieu d'habitation, le temps de faire chauffer l'eau.

[invite9dc7b526]

Le protocole proposé est-il pertinent ?

à mon avis oui. Je te conseille de choisir un indicateur qualitatif (comme pluie oui ou non) plutôt que quantitatif (comme une température ou une vitesse du vent).

Mais ça va te prendre du temps puisqu'en gros tu vas avoir une donnée par jour. Je dirais qu'en un an tu auras une idée assez bonne de la fiabilité de cet "indice de confiance". Si tu poursuis l'expérience plusieurs années tu verras si ça bouge. La rumeur dit que Meteo-France "ouvre le parapluie" en, d'une part prédisant plus souvent du mauvais temps qu'il n'y en a en réalité (c'est ce qu'on appelle un biais) et d'autre part en surévaluant l'incertitude associée à leur prédiction. Tu nous diras si c'est le cas (dans un an ou mieux quelques années).

[Deedee81]

Une expérience reproductible ne l'est jamais à 100 %, et pourtant on ne donne jamais de risque de non obtentiont du résultat souhaité.

Je ne sais pas du tout pourquoi tu crois ça. C'est faux.

A la fac, je ne compte plus le nombre d'expériences qu'on a réalisé et où des mesures successives donnaient des résultats différents (dans les mêmes conditions évidemment).
On effectuait alors des moyennes et tout et tout. Et on calculait l'écart type et donc le risque de ne pas avoir la valeur attendue. On calculait les intervalles de confiances, etc.

Et on était tous parfaitement au courant de cela dès le départ, ça faisait même partie du premier cours de proba en première année.

Je crois que tu confonds "moi, contrexemple, je ne connais pas ce risque" avec "on ne donne jamais le risque".

[Cendres]

Et on était tous parfaitement au courant de cela dès le départ, ça faisait même partie du premier cours de proba en première année.

En biologie aussi; cela faisait partie de la base...

[invite2ec994dc]

...Je crois que tu confonds "moi, contrexemple, je ne connais pas ce risque" avec "on ne donne jamais le risque".

Effectivement, c'est possible.

[Deedee81]

Effectivement, c'est possible.

Je crois comprendre que tu n'as pas fait l'université ?

C'est quelque chose qu'on apprend à l'université et c'est aussi quelque chose qu'on utilise couramment quand on fait un travail scientifique ou technique. Par exemple, dans l'industrie où j'ai travaillé un temps, les machines bien qu'elles fonctionnent tout le temps de la même manière, ne donnent pas toujours le même résultat. Il est très important de connaitre le risque d'avoir une fabrication défectueuse car cela sert de guide pour les échantillonages du contrôle qualité.

Mais on ne s'amuse pas à expliquer ça au grand public. Si tes ressources sont la vulgarisation : livre, articles, documentaires, forums. Alors c'est normal que tu ne connaisses pas.
Si ce n'est pas expliqué, ce n'est pas pour des raisons de secret (sauf dans de rares cas pour le secret industriel) mais simplement parceque la plupart des gens s'en foutent et que ce serait très rébarbatif de l'expliquer.
Pour donner un exemple. Lorsque dans un livre on donne des valeurs mesurées : masse de l'électron, moment magnétique anomal de l'électron, distance des étoiles, etc.... On peut constater deux cas :
- les livres de vulgarisation : les chiffres sont donnés comme ça et il est très rare de voir une information sur l'incertitude
- les livres techniques : les chiffres sont presque toujours donnés avec les incertitudes (en valeur absolues, en valeurs relatives, en écarts-type, etc.... Exemples : le livre Gravitation de MTW, le livre de physique statistique de Couture

C'est comme ça pour tout. On passe de la musique à la radio, mais on n'envoie pas les partitions aux auditeurs
On dit qu'on doit être anesthésié en chirurgie mais il a fallu que je sois opéré pour savoir que la dose d'anesthésique dépend du poids de la personne.
Etc....

[invite2ec994dc]

à mon avis oui. Je te conseille de choisir un indicateur qualitatif (comme pluie oui ou non) plutôt que quantitatif (comme une température ou une vitesse du vent).

Mais ça va te prendre du temps puisqu'en gros tu vas avoir une donnée par jour. Je dirais qu'en un an tu auras une idée assez bonne de la fiabilité de cet "indice de confiance". Si tu poursuis l'expérience plusieurs années tu verras si ça bouge. La rumeur dit que Meteo-France "ouvre le parapluie" en, d'une part prédisant plus souvent du mauvais temps qu'il n'y en a en réalité (c'est ce qu'on appelle un biais) et d'autre part en surévaluant l'incertitude associée à leur prédiction. Tu nous diras si c'est le cas (dans un an ou mieux quelques années).

Cela ne sera pas nécessaire car il me semble que l'indice de confiance tiens compte des prédications passées....
Il y a un enseignant en météo qui demandaient à ses élèves :
Comment connaître la fiabilité d'un modèle ?
Réponse des élevés : il faut considérer l'ensemble des paramètres intégrés dans le modèle et évaluer leur compatibilité ...
Réponse de l'enseignant : regardez par la fenêtre.

[invite29cafaf3]

Cela ne sera pas nécessaire car il me semble que l'indice de confiance tiens compte des prédications passées....
Il y a un enseignant en météo qui demandaient à ses élèves :
Comment connaître la fiabilité d'un modèle ?
Réponse des élevés : il faut considérer l'ensemble des paramètres intégrés dans le modèle et évaluer leur compatibilité ...
Réponse de l'enseignant : regardez par la fenêtre.

Si un "enseignant en météo" à répondu cela, il devait être prof en plasticine bac à sable ; parce que vérifier en local, par la fenêtre (quelques dizaines de mètres), un résultat fait sur un maillage minimum de trente kilomètres, c'est d'une stupidité sans borne ! ... Pour autant que vous sachiez ce qu'est un maillage en météo ?
Pour le reste, depuis le début, vous nous prouvez en permanence que vous ignorez ce qu'est "un modèle" ; vous ignorez le sens de "statistique", "d'écart-type" et de "calcul de probabilité".
Mais, depuis le début vous posez une soi-disant question et tentez de faire croire à tout le monde que vous, vous savez, les autres n'étant que de pauvres ignorant n'ayant rien compris.
Bref, vous êtes pénible.

En fait, si vous confondez "prédiction" et "prédication", cela ne m'étonne guère !

Deedee, t'as de la chance d'être aussi cool (trop à mon sens), tu perds ton temps (on ne fait pas pisser un âne qui n'a pas envie de boire).

[invite2ec994dc]

Si un "enseignant en météo" à répondu cela, il devait être prof en plasticine bac à sable ; ...

La politesse n'est pas une faiblesse, mais une nécessité pour avoir un débat saint, en tous les cas Deedee81 l'a compris mieux que toi.
Je formule peut-être mal la question posé par l'enseignant, mais en tous les cas le sens de l'échange est bien là, ce qui fait la validité d'un modèle c'est qu'il prédit bien.
Excusez moi cette évidence, mais il y a des évidences qu'il est salutaires de rappeler.
Et le protocole ne fait pas autre chose que de vérifier que l'estimation de la proba de prédiction est correcte.
Je n'ai pris la météo que comme un exemple.

[invite29cafaf3]

La politesse n'est pas une faiblesse, mais une nécessité pour avoir un débat saint, en tous les cas Deedee81 l'a compris mieux que toi.
Je formule peut-être mal la question posé par l'enseignant, mais en tous les cas le sens de l'échange est bien là, ce qui fait la validité d'un modèle c'est qu'il prédit bien.
Excusez moi cette évidence, mais il y a des évidences qu'il est salutaires de rappeler.
Et le protocole ne fait pas autre chose que de vérifier que l'estimation de la proba de prédiction est correcte.
Je n'ai pris la météo que comme un exemple.

D'accord, dites moi donc en quoi je fus malpoli ?
Je peux vous jurer (croix de bois crois de fer), qu'aucun modèle n'est "saint" cher monsieur, uniquement sain, parfois.
J'aimerais savoir qui ici a nié que la validité d'un modèle soit liée à sa prédictibilité ; le problème est de savoir quelles sont les normes de cette prédictibilité, dans une fourchette statistique ; ce que vous ne comprenez manifestement pas.
Un protocole ne vérifie strictement rien, une fois de plus vous utilisez à tort et à travers des termes que vous ne comprenez pas.

[invite2ec994dc]

D'accord, dites moi donc en qoui je fus malpoli ?
Je peux vous jurer (croix de bois crois de fer), qu'aucun modèle n'est saint cher monsieur, uniquement sain, parfois.
J'aimerais savoir qui ici a nié que la validité d'un modèle soit liée à sa prédictibilité ; le problème est de savoir quelles sont les normes de cette prédictibilité, dans une fourchette statistique ; ce que vous ne comprenez manifestement pas.
Un protocole ne vérifie strictement rien, une fois de plus vous utilisez à tort et à travers des termes que vous ne comprenez pas.

ok, vous m'interdisez le fait d'utiliser des termes car je les utiliserais à tord.
Je m'engage à donner une définition de chaque terme que j'ai utilisé de manière incorrecte selon vous.
Dans mon premier post j'ai parlé de "modèle" (j'ai oublié mathématique), un modèle est un système d'axiome décrivant le comportement de la chose étudier.
J'ai parlé également de "chance de se produire", c'est une probabilité que le modelé permet de calculer et qui évaluerais les chances que la prédications issus du modèles soient bonnes. Et ensuite j'ai proposé un protocole permettant de voir si ces proba sont correctes.
La nécessite d'avoir un grand nombre de prédictions-résultats permet d'éviter les biais (loi des grands nombres).
Ensuite pour les biais inérrants au modèle celui est censé les gérés, sinon c'est que le modelé n'est pas valable.

Si j'ai, ici, une seule définition incorrectes, alors je ne fais que montrer qu grand jour mon incomptétence.

[Cendres]

Dans mon premier post j'ai parlé de "modèle" (j'ai oublié mathématique), un modèle est un système d'axiome décrivant le comportement de la chose étudier.

Pourquoi "d'axiomes" ?

[invite29cafaf3]

ok, vous m'interdisez le fait d'utiliser des termes car je les utiliserais à tord.
Je m'engage à donner une définition de chaque terme que j'ai utilisé de manière incorrecte selon vous.
Dans mon premier post j'ai parlé de "modèle" (j'ai oublié mathématique), un modèle est un système d'axiome décrivant le comportement de la chose étudier.
J'ai parlé également de "chance de se produire", c'est une probabilité que le modelé permet de calculer et qui évaluerais les chances que la prédications issus du modèles soient bonnes. Et ensuite j'ai proposé un protocole permettant de voir si ces proba sont correctes.
La nécessite d'avoir un grand nombre de prédictions-résultats permet d'éviter les biais (loi des grands nombres).
Ensuite pour les biais inérrants au modèle celui est censé les gérés, sinon c'est que le modelé n'est pas valable.

Si j'ai, ici, une seule définition incorrectes, alors je ne fais que montrer qu grand jour mon incomptétence.

Je ne vous interdit rien, que je sache, et vous n'utilisez aucun terme à "tord", mais à "tort", je n'ai jamais supposé que vous étiez "tord", ni tordu.

Ben le problème, c'est que pas une définition n'est correcte !

Non, un système d'axiome ne décrit rien, et surtout pas un "comportement"
Non, il n'y a pas de "chance" en statistique, on laisse cela aux joueurs de .... lotto, loterie, .....
Non, un modèle n'est pas auto prédictible, il ne peut à la fois faire un calcul (ce qui n'est pas le rôle d'un modèle) et évaluer si le calcul est juste (ce qui n'est pas son rôle non plus), bref vous ignorez ce qu'est un modèle (mathématiquement parlant).
Non, on peut avoir un très petit nombre de résultats et ne pas avoir de biais, on peut avoir un très grand nombre de résultats et avoir des biais. Simplement, le biais ne dépend pas du nombre de "résultats" ... encore faudrait-il savoir ce que vous appelez "résultats" ; je n'ai pas osé lié le fait que pour vous un "résultat" soit une "prédiction", ce qui est une absurdité.
Aparté, en stat on ne fait pas de "prédiction", on fait des calculs de proba. Pour les prédictions je vous renvoie à votre mage favori.
Non, un modèle ne gère pas ses biais. S'il y a des biais c'est que le modèle est soit mal conçu, soit imparfait et la gestion se fait en aval. Quant on le sait, on modifie le modèle, un modèle n'est pas auto-régulé.

Bref, 0/10

Si j'ai, ici, une seule définition incorrectes, alors je ne fais que montrer qu grand jour mon incomptétence.

Je ne vous le fais pas dire

[invite2ec994dc]

Je ne vous interdit rien, que je sache, et vous n'utilisez aucun terme à "tord", mais à "tort", je n'ai jamais supposé que vous étiez "tord", ni tordu.

Ben le problème, c'est que pas une définition n'est correcte !

Non, un système d'axiome ne décrit rien, et surtout pas un "comportement"
Non, il n'y a pas de "chance" en statistique, on laisse cela aux joueurs de .... lotto, loterie, .....
Non, un modèle n'est pas auto prédictible, il ne peut à la fois faire un calcul (ce qui n'est pas le rôle d'un modèle) et évaluer si le calcul est juste (ce qui n'est pas son rôle non plus), bref vous ignorez ce qu'est un modèle (mathématiquement parlant).
Non, on peut avoir un très petit nombre de résultats et ne pas avoir de biais, on peut avoir un très grand nombre de résultats et avoir des biais. Simplement, le biais ne dépend pas du nombre de "résultats" ... encore faudrait-il savoir ce que vous appelez "résultats" ; je n'ai pas osé lié le fait que pour vous un "résultat" soit une "prédiction", ce qui est une absurdité.
Aparté, en stat on ne fait pas de "prédiction", on fait des calculs de proba. Pour les prédictions je vous renvoie à votre mage favori.
Non, un modèle ne gère pas ses biais. S'il y a des biais c'est que le modèle est soit mal conçu, soit imparfait et la gestion se fait en aval. Quant on le sait, on modifie le modèle, un modèle n'est pas auto-régulé.

Bref, 0/10



Je ne vous le fais pas dire

ok, merci pour la leçon.

[invite2ec994dc]

Pourquoi "d'axiomes" ?

Parce que c'est le meilleure mot que j'ai trouvé, je ne l'ai pas dit mais j'ai une solide formation en mathématiques (Maîtrise de mathématiques fondamentales et licence info (mention bien pour les 2) et master de cryptographie (mention très bien, pour l'explication je l'ai eu à Paris 8)).

PS : Si tu trouves les attaques de Pelkin fondés je m'en justifierai.

[Deedee81]

Salut,

PS : Si tu trouves les attaques de Pelkin fondés je m'en justifierai.

Ce n'est pas des attaques mais des critiques. Et elles sont fondées.

[invite2ec994dc]

Ok, si cela est des critiques.
Je comprends qu'est-ce qui dans mes écrits en est la source, une utilisation trop personnelle des mots et c'est sûr que cela empêche toute compréhension de votre part et de ma part.

Et c'est à moi d' apprendre votre langue.

Désolé du désagrément.

Tout ça pour ça : oui...

[Deedee81]

Salut,

Désolé du désagrément.

Y a pas mort d'homme. Ce n'est pas si grave. Il suffit généralement de rectifier ou, si on a un doute, de poser les questions, aller voir dans wikipedia ou wikitionnaire, etc....
Je le fais moi-même au moins une fois par jour quand je ne suis plus sûr d'un terme, d'une source, d'un chiffre, etc....

[invite29cafaf3]

Ok, si cela est des critiques.
Je comprends qu'est-ce qui dans mes écrits en est la source, une utilisation trop personnelle des mots et c'est sûr que cela empêche toute compréhension de votre part et de ma part.

Et c'est à moi d' apprendre votre langue.

Désolé du désagrément.

Tout ça pour ça : oui...

Salut contrexemple,

Désolé si j'ai paru trop brutal, c'est vrai je ne mets pas toujours de gant.
Mais, il me semble qu'en science l'utilisation "personnelle" des mots est à bannir, il y a déjà suffisamment de difficulté à se comprendre.
Par contre j'ignorais ton problème de langue, quelle est ta langue maternelle, si je connais cela peut aider.

Si mon intervention précédente est apparue comme une attaque, je te prie d'accepter mes excuses, j'essayerai d'être un peu plus diplomate à l'avenir.