Moindre carré ou svd

[black_hole78]

Bonjour,

Tout d'abord je précise que je ne suis pas un pro des maths .

J'ai un problème du type AX = B ou X est inconnue. La solution au sens des moindres carrés est X = inv(At*A)*At*B.
Mais je peux aussi mettre sous forme différent le problème: [A B]Xa = 0 ou Xa est X augmenté Xa = [Xa; 1]
Dans ce cas je cherche selon la svd de la nouvelle matrice [A B] et je prends le vecteur propre correspondant à la plus petite valeur propre et j'ai Xa.

Je voudrais savoir qualitativement quel est la différence entre ces deux méthodes?

Si quelqu'un pouvait m'éclairer.

D'avance merci.
-----

[toothpick-charlie]

pourquoi veux-tu résoudre Ax=B par moindres carrés? A n'est pas inversible?

[black_hole78]

Pourquoi A ne serait pas inversible? Mais la solution au sens des moindres carrés est bien X = inv(At* A)*At*B ?

[toothpick-charlie]

si A est inversible la solution n'est-elle pas X=B/A ? (avec un abus de notation)

[A voir en vidéo sur Futura]

[black_hole78]

En fait, je sais comment résoudre avec les moindres carrés ou svd et trouver la solution mais la question n'est pas la.

Ma demande au début concernait la différence au niveau mathématique entre ces deux solutions. Je suppose que géométriquement ca ne doit pas représenter la même chose ?

[toothpick-charlie]

en fait tu ne le dis pas mais A est une matrice qui n'est pas de plein rang, typiquement une matrice avec plus de lignes que de colonnes. Le problème de la décomposition en valeurs singulières c'est que tu peux avoir plus d'une valeur singulière nulle.

[acx01b]

salut,



(notation matlab : le ; c'est concaténation verticale, le ',' concaténation horizontale)

chercher les solutions de est équivalent à chercher l'espace propre associé à la valeur propre 0

mais on a la contrainte que la dernière composante de Y soit 1, donc les solutions au problème de départ ce n'est pas cet espace propre en entier

[black_hole78]

Merci acx01b pour cette réponse. Mais ce que tu dis est valable dans les deux cas ou seulement dans le cas de la solution de la décomposition en valeur singulière.

Et donc quelle est la différence entre la solution svd et celle des moindres carrés?

[acx01b]

si MY = 0 avec Y =[X;u] alors AX - u B = 0

mais nous on veut u = 1

donc on divise Y par u pour avoir une solution au problème de départ

réciproquement si X est solution du problème de départ, alors Y = [X;1] donne MY = 0

en résumer :

- par SVD il faut prendre les "vecteurs propres" (les singular vectors?) associés à la "singular value" 0, les diviser par leur dernière composante, et considérer les combinaisons linéaires (avec somme des coef = 1) de ces vecteurs pour retrouver l'ensemble des solutions

- alors qu'avec l'autre méthode, il faut avoir un système déterminé, s'il y a plusieurs solutions ça ne fonctionnera pas

après au niveau des problèmes de précisions je ne sais pas, de toute façon pour les grosses matrices ce sont toujours des algorithmes itératifs qui donnent des valeurs approchées