demonstration des moindre carré

[invite9c7554e3]

salut tous,

j'aimerai comprendre comment demontrer la solution d'un probleme de moindre carré.

Si on veut faire une approximation par moindre carré avec le polynome:



il faut minimiser ceci:



la solution de ce probleme est ceci:



comment demontrer ceci ?

il faut que je dérive J par rapport à et que j'annule cette dérivée je pense mais :
=> par contre il faut que je mette sous forme vectorielle J, non ?
=> et ensuite je vais avoir des dérivée de vecteur à faire ? comment fait on ceci rigoureusement ?

j'espere que vous pourrez m'aider
-----

[phys4]

il faut que je dérive J par rapport à et que j'annule cette dérivée je pense mais :
=> par contre il faut que je mette sous forme vectorielle J, non ?
=> et ensuite je vais avoir des dérivée de vecteur à faire ? comment fait on ceci rigoureusement ?

j'espere que vous pourrez m'aider

Bonjour,
Votre problème est resté en panne.
Pourquoi voulez vous mélanger les notations matricielles et les notations en somme.

Si vous restez en notation somme pour la résolution vous n'aurez pas de problème de dérivation.
Il suffit de dériver la somme des carrés J et d'écrire toutes les dérivées partielles en x

Les moindres carrés sont intéressants s'il y a plus d'équations que de variables, il permet de se ramener a un système linéaire carré.

[invite9c7554e3]

merci beaucoup d'avoir pris le temps de repondre.
Je n'ai pas trop compris par rapport à quoi deriver, je suis perdu... je sais pas trop comment m'y prendre car je n'ai pas trop compris cette methode.

peux tu m'écrire la premiere etape et ensuite je pense que ça ira..
merci

[invite9c7554e3]

j'ai compris mon erreur: il faut dériver par rapport aux coefficients "Ak", je suis bete....

[A voir en vidéo sur Futura]

[invite9c7554e3]

départ de la démonstration:




on a donc la dérivée qui est



La derniere dérivée vaut

au final j'ai donc la dérivée de J qui vaut :



es ce juste? je pense que non car je ne retrouve pas la forme matricielle dont on a parlé...

[phys4]

Je pense que la dernière équation est bien la réponse demandée :
il suffit de diviser par 2 et de mettre le terme négatif dans l'autre membre.

Il faut dériver la quantité à calculer, s'il s'agit de trouver les ak, il faut dériver par rapport à ces coefficients.
D'après l'énoncé de départ, je pensais qu'il fallait trouver les xi, ça marche aussi dans ce sens la en dérivant par rapport aux xi.

[invite9c7554e3]

en oui en effet ça ressemble,

mais en fait j'ai un peux de mal à ce qu'il y a en colonne, en ligne...

[sylvainc2]

Pour qu'il y ait une solution exacte à Ax=b, il faut que b soit un vecteur de Im(A). Si ce n'est pas le cas, on peut quand même chercher une solution "la plus proche" dans le sens des moindres carrés comme ceci: Ax' = b', où b' est le vecteur qui est la projection orthogonale de b sur Im(A); c'est le vecteur le plus proche de b au sens des moindres carrés. Puisque Im(A) est un sous-espace vectoriel, on peut le faire.

Soit e = b - b' --> e = b - Ax'. Ce 'e' est orthogonal à b' donc il se trouve dans le sev qui est orthogonal à Im(A). Pour une matrice A, il y a 4 sev fondamentaux: Im(A) et Ker(A) qu'on connait bien, mais aussi Im(A^t) et Ker(A^t), où A^t est la transposée de A. Ce qu'il faut savoir c'est que le sev orthogonal à Im(A) c'est Ker(A^t), je vais pas le prouver mais c'est vrai.

Donc si e est dans Ker(A^t), par définition on a: (A^t)e = 0 --> A^t(b - Ax') = 0 --> (A^t A)x' = (A^t)b. C'est cette équation qu'il faut résoudre. Il y aura toujours une solution exacte si les colonnes de A sont des vecteurs indépendants (il forment une famille libre), car dans ce cas la matrice A^t A est inversible.

[invite9c7554e3]

merci pour ces explications mais en fait j'aimerai demontrer analytiquement ceci...

voici ce que je cherche

avec X la matrice de Vandermonde

voici ce que j'ai fais, on peut écrire l'erreur à minimiser par:



ensuite on derive par rapport à chaque , on a donc:



soit la relation:



par contre à partir de ceci je n'arrive pas à voir la relation matricielle cité plus haut....

pourriez vous m'expliquer ?

[phys4]

Bonjour,

Je vois qu'en mon absence personne n'a répondu, mais il est probable que 21did21 a résolu son problème tout seul.
Pour les curieux, les deux écritures en forme matricielle ou avec indices sont équivalentes, il suffit de choisir le sens de lignes et de colonnes.

A noter que la matrice de résolution est symétrique, est qu'il est permis de transposer si nécessaire.

[invite9c7554e3]

oui c reglé en effet