Bonjour, je voudrai bien savoir la différence entre la régression linéaire et la descente en gradient (gradient descent en anglais) car dans les deux cas on essaie de trouver une droite qui se rapproche le plus possible d’un ensemble de points ???
Merci de m'éclairer !!
Bonjour.
Je ne connais pas de méthode spécifique "descente en gradient" qui "essaie de trouver une droite qui se rapproche le plus possible d’un ensemble de points", par contre la descente de gradient sert à trouver un modèle de régression. Voir ce document "Descente de gradient pour le machine learning".
Cordialement.
Bonjour,
je ne pense pas qu'il s'agisse de la même chose (en général).
Sauf erreur de ma part la "descente en gradient" est une méthode itérative d'optimisation dont le but est de trouver un minimum local d'une fonction ou d'un système.
L'application de cette méthode au problème de régression linéaire ou non est un cas particulier. Et encore plus particulier dans le cas le plus simple de régression linéaire. Mais dans ce cas le plus simple, c'est le marteau pilon pour écraser une mouche !
J'ai oublié de dire ceci :
Il est vrai que la régression linéaire vise à trouver une droite qui se rapproche le plus possible d’un ensemble de points. Mais encore faudrait-il spécifier quel critère de proximité on choisi. Sans critère mathématique, que voudrait dire "qui se rapproche le plus possible" ? A un critère de proximité correspond une fonction mathématique dont on cherche le minimum. C'est bien ce qui ramène à un cas particulier d'application de la méthode "de descente en gradient" (ou à d'autres méthodes), dont l'intérêt en pratique est plus généralement dans les cas non-linéaires.
