Optimisation d'une identification par régression

[vivafutura]

Bonjour à tous,

Je cherche à identifier des paramètres, par exemple on va se limiter à un cas où il n'y en a que 2: p1 et p2. Je connais à la fois une fonction faisant intervenir ces paramètres, f(x,p1,p2) et plusieurs résultats de cette fonction pour différentes valeurs connues de x. Pour simplifier le problème on va dire que je connais au moins 2 valeurs particulières de f pour 2 valeurs de x choisies, et que la relation entre f(x,p1,p2) et p1,p2 est biunivoque pour ces valeurs de x choisies. Donc il n'existe qu'un seul jeu de valeurs p1,p2 ni plus ni moins, qui soit la solution au problème.

Une approche qui je pense serait classique dans une telle situation pour identifier les valeurs de p1 et p2 serait d'effectuer une régression par la méthode des moindres carrés. Si les valeurs de f ne sont pas entachées d'une erreur, on doit donc retomber sur les valeurs exactes de p1 et p2 (corrigez moi si je me trompe).

Par contre si les valeurs connues de f sont entachées d'une erreur (par exemple ce sont des mesures expérimentales bruitées) alors les valeurs identifiées de p1 et p2 seront approchées. Et c'est la où je me pose des questions. Par exemple, pourquoi utiliser f dans une telle approche? Je veux dire par là qu'on est tenté d'utiliser f directement mais on pourrait très bien utiliser g(f(x,p1,p2)) en choisissant une "fonction de transformation" g telle que la relation entre g et p1,p2 reste biunivoque aux valeurs de x choisies. Dans ce cas, par la méthode des moindres carrés, on va à nouveau obtenir des valeurs approchées de p1,p2 mais pas exactement les mêmes que si on utilise directement f.

Du coup, existe-t-il des approches/méthodes pour choisir g de manière judicieuse pour obtenir p1 et p2 qui permettrait de réduire l'erreur d'identification? J'aimerai avoir des pistes ou noms de méthodes ou des références à ce sujet car j'imagine que ça a déjà été traité mais je ne sais pas quels mots clés me permettraient de trouver des informations là dessus.

En particulier, je trouverai intéressant d'être capable de trouver une méthode qui me permette de trouver une fonction g (si il en existe une) telle que le résidu de ma méthode des moindres carrés varie de manière équivalente dans les directions de p1 et p2 pour tout couple de valeurs de p1,p2 dans une plage de variation possible de ces 2 paramètres. Mais là j'en demande peut être trop...

Merci par avance pour votre aide précieuse!
-----

[erff]

Bonjour,

Pour simplifier le problème on va dire que je connais au moins 2 valeurs particulières de f pour 2 valeurs de x choisies, et que la relation entre f(x,p1,p2) et p1,p2 est biunivoque pour ces valeurs de x choisies. Donc il n'existe qu'un seul jeu de valeurs p1,p2 ni plus ni moins, qui soit la solution au problème.

Une approche qui je pense serait classique dans une telle situation pour identifier les valeurs de p1 et p2 serait d'effectuer une régression par la méthode des moindres carrés. Si les valeurs de f ne sont pas entachées d'une erreur, on doit donc retomber sur les valeurs exactes de p1 et p2 (corrigez moi si je me trompe).
Pour simplifier le problème on va dire que je connais au moins 2 valeurs particulières de f pour 2 valeurs de x choisies, et que la relation entre f(x,p1,p2) et p1,p2 est biunivoque pour ces valeurs de x choisies. Donc il n'existe qu'un seul jeu de valeurs p1,p2 ni plus ni moins, qui soit la solution au problème.

Si on connaît 2 valeurs de f alors p1 et p2 se déduisent par une résolution (éventuellement numérique) de système d'équations.

Du coup, existe-t-il des approches/méthodes pour choisir g de manière judicieuse pour obtenir p1 et p2 qui permettrait de réduire l'erreur d'identification? J'aimerai avoir des pistes ou noms de méthodes ou des références à ce sujet car j'imagine que ça a déjà été traité mais je ne sais pas quels mots clés me permettraient de trouver des informations là dessus.

Je ne suis pas du tout spécialiste de ces méthodes, mais pour ma part je choisis g de manière à rendre compte de la réalité physique de mon problème et du besoin que j'ai. Par exemple je passe en échelle log (càd g(x)=ln(x)) lorsque l'erreur de mesure est proportionnelle à la valeur de f comme c'est souvent le cas avec les capteurs - on donne une erreur en %.

[gts2]

Bonjour,

Moi non plus "Je ne suis pas du tout spécialiste de ces méthodes" ...
Mais la gestion des incertitudes joue un rôle fondamental, comme indiqué par @erff.

Simulation x=A*exp(-k*t) avec A=1, k=1 et du bruit constant
Régression soit directe (1) soit ln(x)=ln(A)-k*t (2)

Sans prise en compte des incertitudes
A1=1,011 ; A2=917
k1=1,023 ; k2=948
On voit que la régression respectant "incertitude=constante" donne un résultat correct alors que l'autre ...

Avec prise en compte des incertitudes
A1=1,011 +- 0,017 ; A2=1,012 +- 0,017
k1=1,023 +- 0,029 ; k2=1,030 +- 0,028
On voit que les deux régressions donnent des résultats compatibles, tant qu'à dire laquelle est meileure ...

[MissJenny]

Du coup, existe-t-il des approches/méthodes pour choisir g de manière judicieuse pour obtenir p1 et p2 qui permettrait de réduire l'erreur d'identification?

ce qui est bien connu c'est le choix des valeurs de x où faire les mesures. C'est ce qu'on appelle "planification optimale des expériences" (en anglais "optimal experimental design"). Il y a un livre pas mal de Fedorov (sans-doute un peu dépassé maintenant...)

[A voir en vidéo sur Futura]

[Paraboloide_Hyperbolique]

Bonjour,

A ma connaissance, il n'y a pas de méthode unique et "automatique" pour votre problème. La plupart des méthodes de régression robustes sont itératives* et utilisent des "loss function" ("fonctions de pertes" en français ?) pour réduire l'influence des données erratiques. Deux de ces fonctions sont la "Huber loss", la "Tukey loss", ou encore remplacer le critère des moindres carrés par le critère de la moindre médiane.

Cela ne correspond pas tout à fait à votre fonction "g", mais transforme plutôt le problème de régression:



en:



pour des points de données

*Comme l'iteratively reweighted least squares (IRLS)

Une méthode itérative robuste qui a pas mal de succès est la méthode "RANSAC" qui a l'avantage d'être adaptable à tout type de régression (l'IRLS est plutôt adaptée à la régression lineaire). Elle peut être cependant un peu lente en présence d'un grand nombre de points de données (de l'ordre du million).

Sinon, une méthode itérative assez simple à mettre en oeuvre et qui fonctionne plutôt bien est la suivante:

1. Effectuer une régression au sens des moindres carrés.
2. Si l'erreur max > seuil, retirer les 10% (ou x % en général) des points de données associés aux erreurs les plus grandes. Revenir en 1. avec les 90% des données restantes.
3. Fin de la régression.

[MissJenny]

J'y repense, je crois que Fedorov ne traite que le modèle linéaire. Dans le cas d'un modèle non-linéaire on fait une linéarisation mais je ne connais pas les détails. Peut-être qu'on peut trouver des détails dans le Seber.

[MissJenny]

deuxième repentir : une réponse partielle à ta question pourrait être de choisir g telle que gof soit linéaire en p1, p2, ou au moins en des fonctions de p1, p2 (c'est-à-dire une fonction de p1 qui ne dépend pas de p2 ni de x et une fonction de p2 qui ne dépend pas de p1 ni de x, de façon à pouvoir utiliser la machinerie du modèle linéaire.