formulation correcte d'un problème des moindres carrés

[invitec35bc9ea]

Bonjour,

le problème des moindres carrés linéaires peut etre formulé comme suit:

trouver a et b qui font coller au mieux a*x(t)+b à y(t), revient à minimiser somme[(a*x(t)+b-y(t))^2]

je voudrais arriver à une formulation correcte du problème suivant:

je cherche a1-2-3-4, b1-2-3-4 et c1-2-3-4 qui minimisent l'ecart entre
a1*n(t)^2+b1*n(t)+c1 et p1(t)
a2*n(t)^2+b2*n(t)+c2 et p2(t)
a3*n(t)^2+b3*n(t)+c3 et q(t)
a4*n(t)^2+b4*n(t)+c4 et d(t)

avec n connus mais p1 p2 q et d non connu cependant, ils sont liés par la relation:
y(t+2) = (-p2(t+2)+p1(t+2)*p2(t+1)/p1(t+1)-Te*p1(t+2))*(y(t+1)-p2(t+1)*u(t+1)+p1(t+1)*p2(t)*u (t)/p1(t)+p2(t+1)*Te*y(t)/q(t)+p2(t+1)*Te*d(t)/q(t)-p1(t+1)*y(t)/p1(t)-Te*u(t)*p1(t+1))/(-p2(t+1)+p1(t+1)*p2(t)/p1(t)-Te*p1(t+1))+(-p2(t+2)+p1(t+2)*p2(t+1)/p1(t+1)-Te*p1(t+2))*Te*(y(t)+d(t))/q(t)+p2(t+2)*u(t+2)-p1(t+2)*p2(t+1)*u(t+1)/p1(t+1)-p2(t+2)*Te*y(t+1)/q(t+1)-p2(t+2)*Te*d(t+1)/q(t+1)+p1(t+2)*y(t+1)/p1(t+1)+Te*u(t+1)*p1(t+2)

comment à partir de ces infos, formuler correctement le problème de moindres carrés?

merci
-----

[invitec35bc9ea]

Bonjour,
j'étale une peu ma réflexion:

supposons y=f(x,a) (non linéaire), dans ce cas le problème des moindres carrés peut se formuler:
Citation:

trouver a qui minimise la fonction g(a)=somme((y-f(x,a))^2)

on se retrouve avec un problème d'optimisation (minimisation d'une fonction) pour lequel, on peut utiliser des methodes de type, descente de gradient, gradient conjugué, simplex si g est convexe par rapport à a, ou des metaheuristiques si g n'est pas convexe.
ce que je cherche, c'est :
quelle fonction g(a,b,c)=h(y,n,a,b,c) minimiser pour que par la meme occasion je minimise à la fois:
somme((a1*n(t)^2+b1*n(t)+c1 - p1(t))^2)
somme((a2*n(t)^2+b2*n(t)+c2 - p2(t))^2)
somme((a3*n(t)^2+b3*n(t)+c3 - q(t))^2)
somme((a4*n(t)^2+b4*n(t)+c4 - d(t))^2)


tu as en quelque sorte Y=I(X1), et X1=J(A)
tu connais pas X1, mais tu cherche A qui minimise somme((X1-J(A))^2)
Ma première reflexion etait de dire
minimiser somme((X1-J(A))^2) equivaut à minimiser somme((Y-I(J(A))^2)
mais en fait, ce n'est pas le cas, j'obtiens un A qui effectivement minimise somme((Y-I(J(A))^2) mais celui qui minimise somme((X1-J(A))^2) est different

[Dlzlogic]

Bonjour,
Cette question est assez ancienne, mais je crois utile d'y répondre.
Le principe de la méthode des moindres carrés est d'écrire la somme des carrés des écarts entre une quantité "mesurée" et le résultat du calcul par une fonction donnée. On sait que la valeur la plus probable du résultat donné par la fonction est obtenue lorsque cette somme est minimale. Elle sera minimale pour la valeur qui annule sa dérivée.

Tous les termes employés (quantité, mesuré,valeur) sont à prendre dans le sens le plus général.
Soit une liste d'observations (xi,yi,zi,...) d'une même chose, i valant de 1 à n, par contre les valeurs x,y,z, sont en nombre limité.
On cherche une relation de la forme R = f(x, y, z, ...), telle que pour tout groupe de valeurs observées, la relation qui a pour résultat R soit le plus probable.

Cette relation (ou fonction) va contenir des paramètres A, B, C, D etc. Le but de la méthode est de calculer ces paramètres.
Pour fixer les idées, admettons que le nombre de variables est 4 (x,y,z,R), et que la relation est
R= K * x^A * y^B * z^C
Les paramètres K, A, B, C sont à déterminer, ce sont donc les inconnues, les valeurs xi, yi, zi, Ri sont les valeurs mesurées.
La somme S à minimiser s'écrit
S=Somme((Ri - (K xi^A yi^B zi^C))²)
On calcule les dérivées partielles par rapport à K, A, B, C, et on écrit qu'elles s'annulent.
On obtient ainsi un système de 4 équations à 4 inconnues qu'il faut résoudre.

[leon1789]

On sait que la valeur la plus probable du résultat donné par la fonction est obtenue lorsque cette somme est minimale.

...sauf qu'il n'y a aucune raison de parler de probabilités... c'est un problème d'optimisation.

[A voir en vidéo sur Futura]

[Dlzlogic]

...sauf qu'il n'y a aucune raison de parler de probabilités... c'est un problème d'optimisation.

Ah, et quelle est d'après toi l'argumentation, la justification mathématique de la méthode des moindres carrés ?

[leon1789]

La somme des carrés des différences est une "fonction" que l'on veut minimiser (on peut imaginer des raisons innombrables pour lesquelles on aurait envie de minimiser cette fonction). On peut aussi considérer d'autres fonctions à minimiser : la somme des valeurs absolues des différences, ou le maximum des valeurs absolues des différences, etc. Dans certains cas, ça peut être judicieux de ne pas prendre la somme des carrés des différences, mais une autre fonction à minimiser.

De manière générale, par annulation des dérivées partielles que tu présentes, on trouve facilement des minimas locaux. Mais pour avoir un minimum global, il faut faire très attention, et c'est la toute la difficulté de l'exercice d'optimisation.
Dans certaines circonstances, il y a des théorèmes qui prouvent des choses sur la somme des carrés des différences (grâce à de la géométrie euclidienne par exemple), ou sur le maximum des valeurs absolues des différences, etc.

[Dlzlogic]

Si j'ai bien compris, pour toi, il n'y a pas de justification mathématique à la méthode des moindres carrés.
C'est intéressant, tu devrais faire une communication.

[leon1789]

J'ai l'impression que tu n'as pas compris ce que j'ai tenté d'expliquer : pour prouver des résultats, il faut des hypothèses. On ne fait pas n'importe quoi n'importe comment... Et il y aussi un intérêt dans d'autres mesures de différence.

Mais j'imagine que tu peux énoncer proprement et justifier ta méthode générale des moindres carrés. Ne te gène pas, fais une communication. Mais pour l'instant, ce que je lis de toi, c'est juste une tentative de recherche d'un minimum local. C'est loin de ce qu'on peut attendre d'une méthode générale de minimisation...

[gg0]

Bonsoir.

Il n'ya effectivement aucune justification mathématique à la méthode générale des moindres carrés. Elle a d'ailleurs été utilisée au départ (Gauss, Laplace, ..) pour des raisons pratiques (calculs de type connu car habituels en mécanique rationnelle). Il y a des cas où elle donne les bons résultats (modèles purement gaussiens) et d'autres où elle est catastrophique (lois à fortes "queues de distribution").

Mais le "la valeur la plus probable" de Dlzlogic n'est pas le résultat d'un calcul absolu, seulement de l'utilisation d'une fonction de vraisemblance (méthode du maximum de vraisemblance) liée ... à la méthode des moindres carrés : dans le cadre d'un calcul de moindres carrés, la maximum de vraisemblance est obtenu pour le minimum de la somme des carrés. Dans le cadre d'une méthode de somme des écarts absolus, on trouverait de même le maximum de vraisemblance pour la somme minimale.

Cordialement.