Estimation de la fiabilité d'un modèle

[invite96ea64f3]

Bonjour,

Je vous explique mon problème: j'ai un modèle mathématique qui est sensé (comme tout modèle) me donner toujours les mêmes résultats si les conditions initiales sont identiques.
Seulement, ce n'est pas exactement le cas et j'aimerais donc estimer la "fiabilité" de mon modèle (pas sûr qu'il faille utiliser ce terme d'ailleurs, répétabilité ?).
Pour le moment, je suis parti d'une série de 10 résultats, j'en ai calculé la moyenne et la variance. J'ai divisé la variance par la moyenne, ce qui fait environ 1.5%. Est-ce que je peux dire que mon modèle est fiable à 1.5% près ?
Ou existe-t-il une autre méthode pour estimer la fiabilité(/répétabilité?) de mon modèle ?
En vous remerciant !
-----

[invite96ea64f3]

Re-bonjour,

Personne pour m'aider ?

Je vais essayer d'être plus clair.
Je lance mon modèle 10 fois à partir des mêmes paramètres :

Simulation 1 :

Paramètres 1 ----(via modèle)----> Réponse 1

Simulation 2 :

Paramètres 1 ----(via modèle)----> Réponse 2

Etc...Jusque

Simulation 10 :

Paramètres 1 ----(via modèle)----> Réponse 10

Je suis donc à la recherche d'un critère à partir de ces résultats qui permette de tester la robustesse de mon modèle. Mais comme je n'y connais rien, je ne sais pas comment m'y prendre et je n'ai trop rien trouvé par moi même.
J'avais pensé à la variance de mes 10 réponses divisée par la moyenne de ces réponses. Qu'en pensez-vous ?

[ansset]

bonjour,
pourquoi la variance et ps l'ecart type qui lui est homogène à la moyenne, alors que la variance est une valeur au carré.

[invite986312212]

salut,

c'est un modèle aléatoire ou déterministe?

[A voir en vidéo sur Futura]

[invite96ea64f3]

Merci pour vos réponses !

Ok pour l'écart type, ce sera plus juste en effet.

Ambrosio, c'est un modèle aléatoire (je fais un échantillonnage de type Monte-Carlo).

[invite986312212]

deux remarques:
1) le coefficient de variation (écart-type sur moyenne) n'a de sens que pour les variables positives (ou négatives, en tout cas qui ne changent pas de signe).
2) 10 tirages c'est faible pour estimer correctement un écart-type. Dans mon domaine (la génétique des pops) quand on étudie le comportement d'un algorithme stochastique, on est plutôt dans les milliers de répétitions.

[invite96ea64f3]

Merci ambrosio.

1) mes variables ne changent pas de signes (toutes positives), je vais donc pouvoir utiliser le coefficient de variation

2) mon but n'était pas d'estimer l'écart type sur les sorties de mon modèle. En fait, je suis arrivé un peu par hasard à répéter mes simulations plusieurs fois (et donc d'avoir la possibilité de calculer un écart type). Cependant, pour chaque simulation de mon modèle, j'ai déjà un échantillonnage de 25000 individus par Monte-Carlo donc je ne me vois pas le répéter des milliers de fois
Au final, je voulais "montrer" que 25000 échantillons pour mon modèle était suffisant à partir de simulations répétées plusieurs fois (ici 10 fois).

[ansset]

OKI pour moi,
mais entre 10 tirages et 25000 echantillons , on a peut être pas compris ton protocole.
reste que ecart-type / moyenne a plus de sens.

[invite96ea64f3]

Oui, je ne suis en effet pas très clair mais c'est que je ne voulais pas non plus trop compliqué les choses.
Je vais essayer d'être plus clair.

1) Mon modèle se base sur un échantillonnage de Monte-Carlo pour me fournir des données de sorties (au nombre de 4). Et c'est pour cet échantillonnage de MC qu'il fait 25000 tirages.

2) J'ai lancé ce modèle une dizaine de fois avec des paramètres d'entrée différents.

3) J'ai remarqué que pour 10 simulations, je n'avais pas de variations sur l'une des quatre sorties de mon modèle. (Ce qui est logique au vu du modèle). Je me suis donc demandé comment exploiter ces 10 simulations (x 25000 tirages, pour ceux qui suivent ) afin d'estimer la fiabilité de mon modèle

4) D'où mes questions sur ce forum (et vos réponses !)

Voilà, j'espère que c'est (un peu) plus clair.
Encore merci pour votre aide !