algo newton: passage gradient à matrice heissienne

[invite9c7554e3]

Bonjour tous,

J'ai vu sur le net que la méthode de Newton Raphson s'ecrit:



Avec H la matrice hessienne de la fonction f à minimiser.

Or quand j'essai de redemontrer cela (developpement de Taylor à l'ordre 1 de la fonction) pour une erreur quadratique je retombe sur:



Ca ressemble fortement mais pour moi:

est différent de la matrice Heissienne.

==> Ma question est:
savez vous comment retomber sur cette matrice Heissienne car pour moi
est différent de la matrice Heissienne.
-----

[invite9c7554e3]

je rajoute une petite question au passage:

comment approcher numeriquement une derivée seconde?

==> Pour une derivée premiere on calcul par comme ceci:

ce qui s'effectue facilement: à partir d'un point on calcul une petite variation et on obtient donc la derivée par cette formule.


==>mais pour la derivée seconde je vois pas trop

[invite9c7554e3]

Bonjour tous,

J'ai vu sur le net que la méthode de Newton Raphson s'ecrit:



Avec H la matrice hessienne de la fonction f à minimiser.

Or quand j'essai de redemontrer cela (developpement de Taylor à l'ordre 1 de la fonction) pour une erreur quadratique je retombe sur:



Ca ressemble fortement mais pour moi:

est différent de la matrice Heissienne.

==> Ma question est:
savez vous comment retomber sur cette matrice Heissienne car pour moi
est différent de la matrice Heissienne.

cela ne va pas donner une derivée seconde mais la multiplication de deux derivée premiere, vous etes bien d'accord?

est bien différent de

[invite6f25a1fe]

Comment fais-tu pour arriver à un tel résultat ?

Si tu approximes ta fonction , alors tu auras ta fonction m, approximation à l'ordre 2 de f suivante :


où est bien la hessienne de f en xk (cf. notation nabla). Il ne s'agit pas de

Le résultat est alors immédiat car on connait la solution du minimum d'une fonction quadratique (parabole). c'est exactement la même chose qu'à une variable si tu écris :
m(x)=a+bx+cx²/2 alors le minimum est en x=-b/c

dans notre cas, on aura donc la même chose avec b le gradient et c la hessienne d'où la formule :


P.S : a vérifier, dans ta formule tu as un - au lieu du plus, je pense que c'est une erreur

[A voir en vidéo sur Futura]

[invite9c7554e3]

salut scorp merci d'avoir pris le temps de repondre je vais te montrer comment j'ai fait:

soit une reponse fonction de plusieurs parametres x1 x2...xn

soit la reponse theorique que je devrais avoir

on definit le residu R

on cherche à minimiser l'erreur quadratique globale:






1°) on considere l'ecriture de au voisinage de que l'on notera k par la suite:

avec dx=x-k

si on remplace cela dans l'ecriture de
on a:



2°) en développent et en se rappelant que

on a:



si je néglige les derivée seconde ( c'est pas se qu'il faut faire en faite je viens de me renddre compte de mon erreur) on tombe sur l'expression que j'ai dit precedemment.

en faite on arrive à retrouver l'expression si on neglige dans la ligne ci dessus un terme du type:

[invite9c7554e3]

merci scorp j'ai pu trouver mon erreur grace à ta remarque

A+