Prouver que ça minimise avec l'inégalité de Cauchy-Schwarz

[Loosgin]

Bonjour à tous,

Nous avons une fonction coût C qui mesure l'écart entre 2 fonctions et qui sont des fonctions multi-variables.
Nous définissons et .
Et Delta C est approximativement égal à <=> où est le gradient de C par rapport aux vecteurs v.

où est un paramètre réel.

Donc, il faut démontrer à l'aide de l'inégalité de Cauchy-schwarz que minimise .

L'inégalité de Cauchy-Schwarz stipule que Hors est linéairement lié à . Cette inégalité peut être réécrite sous forme de Cauchy-Swcharz :


Et ça je vois pas en quoi ça répond à la question quand minimise .
Pouvez-vous éclairer ma lanterne ?

J'ai trouvé une correction sur le net mais n'explique pas assez pour moi : https://math.stackexchange.com/quest...s-and-deep-lea
-----

[MissJenny]

bonjour,

fais attention, tu utilises le signe de la multiplication deux fois avec des significations différentes. Et quant à ton problème je pense que tu as oublié une contrainte sur delta-v, parce que s'il n'y en a pas, il suffit de le multiplier par un réel plus grand que 1 pour avoir une valeur du produit scalaire encore plus petite.

[Loosgin]

Oui pardon, merci. Et effectivement, tous les signes de la multiplication que j'utilise sont des produits scalaires.

Je comprends pas ta 2ième remarque sur la contrainte manquante.

[MissJenny]

Il doit y avoir une contrainte sur le paramètre eta, sinon tu le multiplies par 2 et tu as un produit scalaire plus petit.

[A voir en vidéo sur Futura]

[GBZM]

Bonjour,

La contrainte est bien présente dans le fil de stackexchange : on fixe la norme de.

[Loosgin]

Ducoup, qui peut me dire pourquoi ça minimise ?

[MissJenny]

Tu connais le lien entre norme et produit scalaire ?

[Loosgin]

Oui, je connais ces notions de niveau seconde :

En fixant la norme de v :
On se retrouve avec <=>

Désolé, je le fais pas exprès de ne pas comprendre... Mais je vois pas pourquoi ce résultat démontre que l'écart C est minimisé.

[GBZM]

Apparemment, tu connais mal cette notion de seconde : la norme de n'est pas le produit scalaire , mais la racine carrée de ce produit scalaire.

Que dit l'inégalité de Cauchy-Schwarz appliquée aux vecteurs et ?

[Loosgin]

Au temps pour moi, merci ! C'est ça quand on fait plus appel à la mémoire (en l'occurrence défaillante) qu'à la logique !

L'inégalité de Cauchy-Schwarz appliquée aux vecteurs et stipule que le produit scalaire de la norme de chaque vecteur ( et ) est supérieur ou égal à la norme du produit scalaire des 2 vecteurs ( et ).

Ici, il y a même égalité car et sont linéairement liés :

Tentative d'explication pourquoi ça minimise :

Si on fixe la norme de v à , alors on a démontré par l'inégalité de Shwartz = .
Or

En remplaçant dans l'équation, on a alors .

Alors, par l'inégalité de Cauchy-Schwarz .

[GBZM]

Tu t'emmêles joyeusement les pinceaux.
L'inégalité de Cauchy-Schwarz (pas de "t") te dit que , et donc pour tout tel que on a . Le cas d'égalité dans l'inégalité de Cauchy-Schwarz te dit qu'on a égalité si et seulement si .

[Loosgin]

J'avais pas bien compris l'inégalité de Cauchy-Schwarz ! Les simples barres à gauche de l'équation m'ont perturbé : je pensais qu'on prenait la norme alors que ça signifie "prendre la valeur absolue".

Je reformule : "L'inégalité de Cauchy-Schwarz stipule que la valeur absolue du produit scalaire des 2 vecteurs et est inférieur ou égale au produit scalaire de la norme de chaque vecteur et ."

[Loosgin]

Je lis aussi : la norme est une extension de la valeur absolue des nombres aux vecteurs...

[GBZM]

" produit scalaire de la norme de chaque vecteur et

Que vient faire le produit scalaire ici ??? Les normes sont des nombres réels, il s'agit du produit tout court !
Le produit scalaire, c'est pour deux vecteurs d'un espace euclidien (ou préhilbertien).

[Loosgin]

Merci pour les précisions ! J'ai visiblement pris des mauvaises habitudes dans l'emploi du vocabulaire.

Et je commence à retracer le raisonnement :

1) Nous cherchons à minimiser la fonction de coût :
2) Minimiser cette fonction de coût revient à calculer : . Donc,
3) Dans le cadre des algorithmes de Machine Learning, est une inconnue. Pour déterminer la direction , nous posons
4) Par l'inégalité de Cauchy-Schwarz, nous démontrons que cette direction minimise bien . Pour ce faire :
-> nous fixons la norme
-> l'inégalité de Cauchy-Schwarz :
Le produit de est égal à que Ssi est linéairement lié à . C'est ce que démontre GBZM (cf post 17h58).
5) Cette direction minimise bien car est linéairement lié à .