Question bête moindres carrés et optimisation

[invite6db91fef]

Bonjour
Un truc que je pige pas trop dans les problèmes d'optimisation comme les MC. Par exemple prenons le cas des MC en vectoriel et l'équation

x = Ha + b

(x, a, b = vecteurs de taille N, H =matrice de taille en conséquence). Le critère des mc peut s'écrire

J(a)= (x- Ha)'(x-Ha)

(' pour transpose)

Et une solution de a est la minimisation de J(a). Or J(a) est une fonction de R^N dans R...

Déjà à partir de là je ne vois pas trop pourquoi on parle de critère convexe, de minimisation puisqu'on ne peut pas représenter la fonction J(a) dans R^2 ou R^3

Ensuite on peut écrire de manière équivalente J(a)=||x-Ha||²

(avec ||.|| norme eucliedienne) et là, je vois encore moins comment fonctionne la minimisation de J(a) puisque lorsqu'on fait la norme on obtient un scalaire... Que signifie minimiser un scalaire ?

Un peu d'aide serait la bienvenue !
-----

[invitea6f35777]

Salut

je ne vois pas trop pourquoi on parle de critère convexe

c'est parce que la fonction est convexe de dans , par définition on dit qu'une fonction de dans est convexe si elle vérifie l'inégalité de convexité:
pour tout , pour tout avec

en fait il suffit que cette inégalité soit vérifiée pour , autrement dit il faut que vérifie, pour tout , pour tout

l'inégalité pour quelconque est une conséquence de l'inégalité pour . L'interprétation géométrique est que le graphe de la fonction est en dessous de ses cordes ou plus généralement de tout polygone convexe dont les sommets appartiennent au graphe (même si c'est pas évident de le visualiser en dimension ).
exemple:





(d'après l'inégalité de Cauchy-Schwarz)


(par convexité de la fonction )
et donc est convexe.

Que signifie minimiser un scalaire ?

tu fais varier pour que soit le plus petit possible, on ne minimise pas un scalaire mais une fonction (à valeurs scalaires)

[invite6db91fef]

Déjà merci énormément d'avoir pris le temps de régider et d'expliquer soigneusement les choses !

J'aimerais savoir si tu connais un bonne référence en optimisation (fr ou en) qui part de ce genre de base. Tout les trucs que j'ai vu (essentiellement en anglais sur le net), n'explique pas ce genre de concept même si je reconnais que je suis supposé les trouver...

[invite986312212]

bonjour,

dans l'exemple que tu donnes (modèle linéaire) on a une solution explicite, obtenue en dérivant J par rapport aux paramètres et il n'y a nul besoin d'employer une procédure d'optimisation numérique. Dans le cas général, il faut en passer par là et il y a différentes méthodes, dont le choix dépend d'un certain nombre de facteurs, comme la dimension de l'espace des paramètres ou la difficulté à calculer les dérivées première et seconde. Si ce qui t'intéresse c'est la méthode des moindres carrés, et non l'optimisation en général, tu devrias consulter un livre sur ce qu'on appelle "computational statistics", il y en a plusieurs, je connais le Kennedy & Gentle mais il doit être épuisé, je ne sais pas quel est le meilleur aujourd'hui. D'autres livres sur les statistiques en général donnent des informations: Bolker par exemple, ou Ripley & Venables.

[A voir en vidéo sur Futura]