Dérivée d'une fonction quadratique

[dd1986]

Bonjour,

J'étudie en ce moment la méthode du gradient conjugué.
Je me suis concentré sur un document qui m'a permis de comprendre le concept : https://www.cs.cmu.edu/~quake-papers...e-gradient.pdf
L'équation N°6 de ce document est présentée comme étant la dérivée de l'équation N°3.
J'aurai aimé le démontrer mais je n'y parviens pas.

Voici l'équation de base :


Voici l'équation présentée comme sa dérivée :


J'ai tenté d'utiliser l'identité remarquable (uv)' = u'v +v'u
J'obtiens quelque chose de ressemblant mais ce n'est pas ça.
Je suis gêné par la transposée et par l'ordre des matrices.
J'ai compris que la transposée peut être vu comme une fonction différentiable et que si f(x) = \mathbf{x}^\top alors f'(x) = \mathbf{x}^\top
Cela ne m'aide pas dans mon développement.
J'ai compris que le produit matriciel n'était pas commutatif.
Cela m'empêche de remettre les opérandes de chaque produit dans le bon ordre.

Quelqu'un pourrait 'il m'orienter vers la solution en corrigeant/complétant mon raisonnement ?

Merci pour votre aide.

David
-----

[Tryss2]

Attention, il manque un x dans ton expression de départ. Sinon, on revient à la définition de la dérivée de Fréchet :

La dérivée de F au point x est l'unique application linéaire telle que


Si on pose

Alors




Après, on remarque que , ainsi que et que donc




Et comme , c'est un , on a le résultat :



Ou encore,


Enfin, bizarrement, je l'aurai écrit dans l'autre sens...

[dd1986]

Bonsoir Tryss2,

Merci beaucoup pour ce développement.
Il m'a fallu un peu de temps pour l’analyser.
Je pense avoir compris chaque étape hormis une.
Lorsque tu précises "Après, on remarque que"
Comment remarques tu ces égalités ?
J'ai appris que les produits matriciels n'étaient pas commutatif, hormis dans certain cas mais ce n'est pas très claire pour moi.
Est-on dans un cas de figure qui permet de faire cela ?
Pourrais tu m'en dire plus à ce sujet ? Je n'ai pas trouvé grand chose pour le moment.

David

[Resartus]

On n'utilise pas la commutativité, mais le fait que .
Et comme le résultat est un scalaire....

[A voir en vidéo sur Futura]

[dd1986]

Merci pour ces nouveaux éléments.
J'ai tenté de faire le développement grâce à cette identité remarquable mais je ne trouve pas encore le bon résultat (Je trouve sa transposée).
J'ai un doute. La transposée de la transposée de A vaut elle A ? Je suis parti de ce principe et j'obtiens le développement suivant :



Or je cherche à démontrer :

[Tryss2]

Oui, mais c'est un scalaire, et la transposition ne modifie pas les scalaires.

[dd1986]

Bonjour,

Merci pour cette nouvelle piste.

Je comprends l'idée. Malgré tout, je ne vois pas comment obtenir un scalaire à partir de ce double produit. Le premier donne un scalaire et du coup je me dis que le second donne un vecteur ? Ou est mon erreur à ce niveau ?

[Tryss2]

est une matrice, et h un vecteur donc est un vecteur, donc est le produit scalaire entre le vecteur et le vecteur (et donc c'est un scalaire)


Si tu préfères, avec les notations produit scalaire :



(pour le coup, la transposée, c'est l'adjoint de A vu comme un opérateur)

[dd1986]

Je suis un peu perdu. J'avais compris que tout les produits associé à cette équation étaient des produits scalaire. Est ce bien le cas ? On peut mettre ces crochets partout ? Merci pour votre patience.

[gg0]

Le produit d'un vecteur par une matrice est-il un produit scalaire ? Ah est-il un scalaire ?

[dd1986]

C'est un produit matriciel. Cela donne un vecteur.

[dd1986]

Et deux vecteurs permettent de faire un produit scalaire qui donne un scalaire. Mais il y a aussi le produit vectoriel. Je suis souvent dans le doute. Je ne parviens pas à les distinguer au premier coup d'oeil. Ca ne me semble pas explicite, surtout au niveau de la syntaxe.

[Tryss2]

Le produit vectoriel n'est défini qu'en dimension 3 (et 7), tu peux l'oublier dans le cadre de vecteurs de R^n

Et puis le produit vectoriel est généralement noté

[dd1986]

Merci, j'avance dans la compréhension.
Il me reste quelques questions.



Dans cette identité remarquable, on est bien en présence d'un produit matriciel des deux cotés du signe "=" ?
Les affirmations ci-dessous sont elles vraie ?

- Un produit matriciel entre un vecteur et une matrice donne un vecteur.
- Un produit matriciel entre une matrice et une matrice donne une matrice.

[gg0]

A priori, un vecteur est une matrice à une colonne. Donc ta première règle n'est que la règle classique sur la dimension du produit matriciel. Attention quand même à l'ordre des opérations. Si X est un vecteur de dimension n, et A une matrice de dimension nxn que donne XA ?

Cordialement.

[dd1986]

Oui je suis daccord. Je dirais que XA est un vecteur ligne à n colonnes. J'ai fais un essais sur papier. J'ai résolu XA et AX. Pour moi, le resulta de AX et la transposé de celui de XA. Est ce correct ?

[gg0]

Heu ... j'ai supposé que tu écris (comme tout le monde) les vecteurs en colonne. Dans ce cas; les règles de la multiplication matricielle ne donnent pas pour XA une matrice 1xn. Par contre si tu transposes X, que tu calcules , tu obtiens bien un "vecteur-ligne", une matrice 1xn. Qui n'est généralement pas le transposée de AX, mais celle de .
Attention à bien faire la différence entre une ligne et une colonne.

Tu devrais revoir les règles de la multiplication matricielle ...

[dd1986]

Bonsoir,

J'avais fait mon essais avec une matrice symétrique.
Du coup je trouve le même résultat mais transposé.
Je me dis que l'on peut donc considérer les deux résultats comme étant égaux vu qu'il s'agit de vecteur (Ce ne serait pas le cas si le résultat était une matrice).

J'ai refais des essais. Voici mes résultats :

- Avec À symétrique :



- Avec À quelconque :




J'ai vérifié que
Ça marche.
Cela m'a bien aidé de faire des essais sur feuille avec des exemples simples.

[dd1986]

Au final, peut on dire que le produit matriciel de deux vecteurs (qui son des matrices a une ligne ou une colonne) est un produit scalaire ?
Car finalement, dans le document que j'étudie, il ne font pas la distinction au niveau de la notation.
Il semble que cela soit implicite.
Je comprend que l'on applique donc les règles du produit scalaire lorsque le produit matriciel implique deux vecteurs.

[gg0]

Revois les règles du produit matriciel. Tu ne peux pas multiplier matriciellement deux vecteurs 2x1, ou deux vecteurs nx1 pour n>1. Par contre, on peut multiplier un vecteur ligne 1xn et un vecteur colonne nx1, et ça donne soit une matrice nxn, soit un nombre. dans ce dernier cas les formules du calcul matriciel te disent bien que c'est le produit scalaire canonique.

Je ne comprends pas que tu ne revoies pas les bases du calcul matriciel, puisque tu en fais (produit de deux matrices, condition, définition).

[Tryss2]

Personnellement, voila mon schéma mental quand je multiplie deux matrices :



Ça permet de bien se rappeler pour les tailles