Régression linéaire multiple.

[Dlzlogic]

Bonjour,

Imaginons que je dispose d'un grand nombre de groupes de mesure, chaque groupe étant constitué l'une variable dépendante Y et de variables explicatives Xi.
Je cherche à établir la fonction Y = f(X1, X2, ... Xn). L'opération est connue sous le nom de "régression linéaire multiple".
Imaginons maintenant que je souhaite effectuer le calcul sans le recours d'un logiciel existant, type R.
Ma question, où trouver une documentation.
J'ai lu pas mal de trucs sur le Net, mais rien d'utilisable. On trouve des études théoriques sur un aspect particulier (ex colinéarité) mais rien d'autre.
Le cas où il y a une seule variable explicative est bien connu, ce n'est pas "multiple"
Le cas où il y a 2 variables explicative est un cas particulier intéressant.
Le général comporte plusieurs variables explicatives.

Merci d'avance.
-----

[invite0b618583]

C'est archi-classique et facile à trouver sur le web. En supposant que l'on veuille minimiser l'erreur quadratique, i.e. que l'on cherche le vecteur de coefficients $a$ tel que
soit minimisé (X étant une matrice où chaque coefficient correspond à variables explicatives et y la valeurs à prédire) il suffit d'un peu d'algèbre linéaire pour avoir
les coefficients optimaux donnés par . Voir https://fr.wikipedia.org/wiki/R%C3%A...9aire_multiple ou http://www-irma.u-strasbg.fr/~fbertr...e08/MagRLM.pdf
parmis les innombrables présentations sur le sujet.

[Dlzlogic]

Bonjour,
Merci pour les liens, mais il me semble que tout cela est un peu simplifié.
Le qualificatif "linéaire" signifie que l'application y=f(u) est linéaire, mais rien ne dit que u=g(x) est une fonction affine. Par exemple des fonctions comme {y= A.ln(x) + B} ou {y = Ax^4 + Bx^3 + Cx^2 + Dx + E} sont des résultats de régression linéaire. C'est la régression qui est linéaire et non pas la formule obtenue.
Là, j'ai donné des exemples avec une seule variable explicative.
Le cas de deux variables explicatives est très courant et la solution d'écrire {Y = aX1 + bX2 + c} me parait un peu simpliste, et naturellement ce n'est pas vraiment celle que j'attendais.

Ma question reste ouverte.

[Dlzlogic]

Bonjour,
Je me permets de faire un petit UP sur le sujet.
Il y a eu tout dernièrement deux questions concernant ce sujet.
Peut-être l'intervention d'utilisateurs de ces méthodes permettrait un éclairage intéressant.

[A voir en vidéo sur Futura]

[invite9dc7b526]

Le qualificatif "linéaire" signifie que l'application y=f(u) est linéaire

non, c'est une erreur courante. Le qualitficatif "linéaire" s'applique à la relation aux paramètres inconnus. Supposons que x soit la variable explicative et y la réponse. Le modèle y=a*log(x)+erreur, où a est le paramètre à estimer, est un modèle linéaire.

[Dlzlogic]

Bonjour Minushabens,
Je me suis certainement mal exprimé, je voulais justement dire que le qualificatif "linéaire" ne s'applique pas à la fonction obtenue mais au calcul de la régression. Ma question ne concerne que les régressions linéaires, c'est à dire ne concerne pas les régressions elliptiques et autres, traitées en détail pas Jean jacquelin.
A mon tour d'émettre une critique. On parle souvent de "modèle". A titre d'exemple, le connais bien le modèle de Caquot. Celui-ci ne se résume pas à une simple formule, mais à un ensemble de conditions, de formules etc.
Dans ma question, il s'agit de régression linéaire multiple et pour la très grande majorité des cas avec seulement deux variables explicatives.
Les très nombreux documents que j'ai lus survolent les hypothèses, passent très vite sur l'établissement des paramètres du système à résoudre et concluent rapidement au calcul d'une matrice, alors qu'il s'agit d'un système linéaire à calculer et non d'une application linéaire.
Ceci étant fait, il y a toute une étude détaillée sur des cas particuliers, des conditions, des dangers à éviter etc., c'est à dire, a mon avis, pas grand-chose à voir avec l'établissement de la formule résultante, objet de ma question.

[invite9dc7b526]

Je ne comprends pas bien ta question. Feanorel t'a donné l'expression de l'estimateur linéaire sans biais, dont on peut démontrer qu'il est de variance minimale et dont on peut calculer la loi. Que veux-tu de plus?

[Dlzlogic]

Bon, pour simplifier ma question.
1- si j'ai un certain nombre de couples (X,Y), on trouve (si on cherche bien) la méthode, indépendamment de tout traitement informatique, pour calculer les paramètres d'une fonction f(X) que l'on s'est donnée. Par exemple y = a.x^b. Il s'agit de la régression linéaire simple. A noter que le coefficient de détermination R² permet de choisir, parmi les formules qu'on a essayé, celle qui donne le meilleur résultat.

2- si j'ai deux variables explicatives, c'est à dire des triplets (X, Y, Z)
On doit chercher et calculer une fonction Z=f(X,Y). Je n'ai rien trouvé d'autre que des affirmations pour trouver les paramètres d'une fonction
Z = a + bX + cY
Cela me parait un peu simpliste. Et je n'ai pas vu d'explication (et pour cause) que c'était la formule la plus "probable".

3- Avec plus de deux variables explicatives, ce n'est qu'une généralisation du 2-.

Feonal parle de vecteur et de matrice, ici, il n'y a ni vecteur ni matrice, il n'y a pas d'application linéaire, seulement les coefficients d'un système linéaire à établir, la résolution du système obtenu n'étant plus qu'une opération calculatoire. (Le terme de "prédiction" me parait toujours incongru dans un exposé mathématique).

[invitebd98b571]

Bonsoir

la résolution du système obtenu n'étant plus qu'une opération calculatoire.

Oui, il suffit de résoudre un système linéaire, ce qui se fait facilement avec de l'algèbre linéaire élémentaire, utilisant vecteurs, matrices, etc : voir le document tout à fait explicite http://www-irma.u-strasbg.fr/~fbertr...e08/MagRLM.pdf signalé par Feonal (message #2).
C'est assez simple, à tel point que l'on obtient le résultat avant même de connaitre le système linéaire "concrètement". (confer la formule rappelée par Feonal et prouvée dans le document).

(Le terme de "prédiction" me parait toujours incongru dans un exposé mathématique).

C'est pourtant un des intérêts/objectifs des sciences utilisant les mathématiques.

[invite0b618583]

Visiblement Dlzlogic ne comprends pas le lien entre système linéaire et matrices... Dans la question posée il y avait le terme "régression linéaire multiple". Si tu parles de fitter ax^b ce n'est plus linéaire tant que tu n'as pas fait de changement de variables. Si tu considères ln(y_i) et ln(x_i) alors fitter une droite affine (regression linéaire) revient à choisr a et b dans y \simeq ax^b.

Du coup on se concentre sur le cas linéaire car d'autres cas s'y ramène (puissance, polynome, etc) au prix d'une augmentation du nombre de variable. Il y a aussi de la regression non-linéaire directe mais ce n'était pas la question.

[Dlzlogic]

Bonjour Feanorel,
Effectivement, je ne comprends pas pourquoi et depuis quand on appelle "matrice" tout tableau à deux dimensions. Une matrice est, pour moi, un tableau de n lignes et m colonnes qui représente une application linéaire dans un espace vectoriel etc.
J'ai même vu comme définitions d'un tableau : "une matrice à plus de deux dimensions".
Pour mémoire, on (Léon et moi) a fait des essais de résolution de système linéaire très particulier (j'ai oublié le nom). La méthode "matricielle" utilisée par des logiciels comme Scilab se plantait lamentablement. La méthode de résolution de système (on ne parle pas de matrice) donne un résultat acceptable, toutes choses égales par ailleurs. Mais là on est plus dans le domaine "trouver un cas particulier pour pouvoir dire que c'est faux".

Pour illustrer ma question d'origine, voici un exemple simple, il s'agit d'un cas réel.

96 2800 170
10 2800 210
53 2800 190
100 3200 176
100 3600 183.5
100 4200 194
17 4200 240
10 3800 234.5
10 3400 225
60 3200 195.5
60 3600 204
70 4000 206.5
60 4200 216

Les valeurs sont données dans l'ordre Z, X, Y
Comment faire la régression, quelle formule proposeriez-vous ? Et surtout, c'est le but de ma question d'origine, comment expliqueriez-vous à un étudiant l'argument mathématique du calcul et l'établissement des équations, la résolution n'est que calculatoire.
J'en ai d'autres du même genre (cad une quinzaine de triplets), tous aussi réels les une que les autres.
Ce sujet n'est pas anodin, sur d'autres forums il y a des questions qui s'y rapportent et n'obtiennent pas de réponse.

[invite9dc7b526]

Effectivement, je ne comprends pas pourquoi et depuis quand on appelle "matrice" tout tableau à deux dimensions. Une matrice est, pour moi, un tableau de n lignes et m colonnes qui représente une application linéaire dans un espace vectoriel etc.

Classiquement, une matrice est un tableau à n lignes et m colonnes et dont les éléments appartiennent à un anneau. La définition mathématique n'est pas celle-là bien sûr. Ce qu'on définit c'est un anneau de matrices, et une matrice est définie comme un élément d'un tel anneau. C'est la même chose pour les vecteurs: ce qu'on définit c'est un espace vectoriel, le vecteur n'en étant qu'un élément. Une matrice est donc bien un "tableau à deux dimensions", je ne comprends pas la distinction que tu fais entre les deux.

[Dlzlogic]

@ Minushabens,
Oui, une matrice a la forme d'un tableau à n lignes et m colonnes. C'est la forme apparente. Mais surtout, c'est une représentation d'une application linéaire.
La différence fondamentale entre une matrice et un système d'équations est que pour un système linéaire un peut échanger les lignes sans rien changer au résultat, pas pour une matrice, puisque c'est un bloc unique. Une matrice est un tableau, un tableau n'est pas une matrice.
En fait ceci est un détail d'écriture (ie traduction math -> français), j'ai réagi sur ce point pour la seule raison qu'au lieu de parler de régression, on parle de vecteur, de matrice etc, de "y'a qu'à".
Ma question est simple : quel est l'argument de calcul de régression ? On sait qu'il faut résoudre un système linéaire, mais avant de le résoudre, il faut l'établir.
Bon, alors mettons-nous dans la situation où je serais un étudiant, où un professionnel. J'ai cette liste, soit elle m'a été donnée comme exo, soit il s'agit d'un cas réel. Donc ma question : qu'est-ce que j'en fais et pourquoi ?

[invitebd98b571]

Une matrice peut coder une application linéaire, mais aussi un système linéaire, et d'autres trucs encore !
Un vecteur permet de coder les données, mais aussi la solution d'un système linéaire, etc.

On sait qu'il faut résoudre un système linéaire, mais avant de le résoudre, il faut l'établir.

Ce système linéaire est justement établi dans le document précisé par feanorel ( http://www-irma.u-strasbg.fr/~fbertr...e08/MagRLM.pdf )
et dans ce même document, on y précise la solution explicitement ! Que demande le peuple ?

Donc ma question : qu'est-ce que j'en fais et pourquoi ?

Si on veut faire une régression linéaire sur les données, alors on applique la formule de la régression linéaire... Ce serait bête de s'en priver, puisqu'elle est prouvée.
D'ailleurs, la formule est utilisée "un peu beaucoup par pas mal de gens", peut-être pour cette raison

On en revient donc à la question de minushabens (message #7) : Feanorel t'a donné l'expression de la solution. Que veux-tu de plus ??

[invite0bbe92c0]

Effectivement, je ne comprends pas pourquoi et depuis quand on appelle "matrice" tout tableau à deux dimensions.

Parce que, dans un contexte informatique, une matrice est un tableau de données à deux entrées. Point.
Donc appeler un objet par le nom qui correspond à sa définition opérationnelle est plutôt une bonne idée.

Une matrice est, pour moi, un tableau de n lignes et m colonnes qui représente une application linéaire dans un espace vectoriel etc.

Et en biologie ça a une autre signification, et en numismatique encore une autre; et une troisième dans l'imprimerie; étonnant non ?

[invite9dc7b526]

Oui, une matrice a la forme d'un tableau à n lignes et m colonnes. C'est la forme apparente. Mais surtout, c'est une représentation d'une application linéaire.
La différence fondamentale entre une matrice et un système d'équations est que pour un système linéaire un peut échanger les lignes sans rien changer au résultat, pas pour une matrice, puisque c'est un bloc unique.

En fait un système linéaire d'équations c'est bien une équation en x (vecteur) de la forme u.x=b où b est un vecteur et u une application linéaire. Elle a des solution si b est dans l'image de u et un cas simple est celui où u a une inverse v et alors x=v.b La permutation des équations d'un système d'équations linéaires correspond à la permutation des éléments de la base de l'espace d'arrivée de l'application linéaire et donc des lignes de la matrice associée.

[Dlzlogic]

Bonjour,
Ca y est, c'est reparti sur les matrices !!
@ Bluedeep,
Le terme de matrice est défini en mathématique depuis bien longtemps, c'est à dire bien avant que l'informatique n'existe.
Les tableaux existent depuis que l'imprimerie existe et probablement avant cela.
On m'a dit un jour qu'en anglais l'amalgame entre matrice et tableau existait, donc, normal en français ... vérification faite, c'est faux.
Une matrice est un objet unique, indissociable etc. C'est un objet à connaitre, si on veut faire du calcul matriciel.

En math, une matrice a une signification bien précise et tout ce qui contient des chiffres disposés en ligne et en colonne ne représente pas forcément un matrice.
Exemple d'utilisation du calcul matriciel : on a deux applications linéaires A et B, on peut les représenter par des matrices. Si on veut faire la composition de ces applications, on va faire le produit des matrices (attention, c'est pas commutatif). Mais le calcul matriciel ne me concerne pas. Je me suis tout de même amusé à écrire les modules des opérations de base sur les matrices.

@ Minushabens,
L'étude de ces notions date de 50 ans pour moi et je n'ai jamais eu l'occasion d'en entendre parler depuis. Tu as certainement raison, mais comme tellement de choses ont changé dans le vocabulaire je ne peux pas te contredire.

Si on pouvait revenir au sujet, je répète ce que j'ai demandé *** inapproprié ***.

Ma question est simple : quel est l'argument de calcul de régression ? On sait qu'il faut résoudre un système linéaire, mais avant de le résoudre, il faut l'établir.
Bon, alors mettons-nous dans la situation où je serais un étudiant, où un professionnel. J'ai cette liste, soit elle m'a été donnée comme exo, soit il s'agit d'un cas réel. Donc ma question : qu'est-ce que j'en fais et pourquoi ?

S'il vous plait, ne mélangeons pas différentes notions indispensable à préciser ici
- que représente une régression linéaire, la question est valable aussi pour une régression non-linéaire
- la méthode pour établir le système d'équation linéaire
- la résolution de ce système, chacun fait comme il veut, ce n'est pas ma question.

Par exemple pourquoi la "formule" est Y= a0 + a1X1 + a2X2 +... et non pas Y = K.X1^a1 . X2^a2 ... ou je ne sais quoi d'autre ?
Un membre d'un forum a posé la question "soit plusieurs variables explicatives faut-il calculer les régressions de chaque variable explicative ou calculer une régression linéaire multiple ?". Il n'a pas eu de réponse.

J'ai donné une liste de triplets d'un cas réel, je pourrais m'attendre de votre part au moins à une petite formule résultat.

[invite0bbe92c0]

Bonjour,
Ca y est, c'est reparti sur les matrices !!
@ Bluedeep,
Le terme de matrice est défini en mathématique depuis bien longtemps, c'est à dire bien avant que l'informatique n'existe..

Oui, et ? Tu penses réellement que j'ai attendu que tu nous en "informes" ?

[invite9dc7b526]

Ma question est simple : quel est l'argument de calcul de régression ? On sait qu'il faut résoudre un système linéaire, mais avant de le résoudre, il faut l'établir.

l'origine du système linéaire est la suivante: Tu as le modèle Y=X*Theta+Epsilon où Y et Epsilon sont des vecteurs aléatoires de R^n, Theta est un vecteur de k paramètres et X une matrix nxk qui représente les variables explicatives. On estime Theta par moindres carrés, c'est-à-dire qu'on cherche à minimiser en Theta la forme quadratique (Y-X*Theta)'(Y-X*Theta) <l'apostrophe désigne la transposée>. Quand tu dérives cette forme quadratique par rapport à Theta tu arrives au système linéaire X'(X*Theta-Y)=0. En fait c'est la même chose en dimension 1 : la dérivée de x^2 (fonction quadratique) est 2*x (fonction linéaire).

[invitef29758b5]

Salut

Par exemple pourquoi la "formule" est Y= a0 + a1X1 + a2X2 +... et non pas Y = K.X1^a1 . X2^a2 ... ou je ne sais quoi d'autre ?

Il n' y a pas de formule .
Tu cherches quelque chose qui n' existe pas .
Y= a0 + a1X¹ + a2X² ....
C' est pratique , mais ça ne correspond pas forcément à la loi vraie d' évolution de ton système .
C' est l' étude physique du système qui t' oriente vers une loi .
On ne peut pas tirer une loi d' évolution d' un ensemble finit de mesures . On ne peut obtenir qu' une loi approximative valable uniquement dans l' intervalle des mesures .
Elle peut même être complètement fausse .

[invitebd98b571]

S'il vous plait, ne mélangeons pas différentes notions indispensable à préciser ici
- que représente une régression linéaire, la question est valable aussi pour une régression non-linéaire
- la méthode pour établir le système d'équations linéaires

Dans ce document pointé par feanorel http://forums.futura-sciences.com/ma...-multiple.html
(document que tu as qualifié de "un peu simplifié", message #3), il y a les réponses à ces questions !

[invite9dc7b526]

Par exemple pourquoi la "formule" est Y= a0 + a1X1 + a2X2 +... et non pas Y = K.X1^a1 . X2^a2 ... ou je ne sais quoi d'autre ?

j'ai l'impression de commencer à comprendre ton problème: tu voudrais ajuster la meilleure fonction de X1,..,Xk qui approxime Y, et pas seulement la meilleure fonction linéaire. Ce que tu veux faire s'appelle régression non-paramétrique. Il y a plusieurs approches différentes, qui diffèrent par la classe de fonctions admissibles (si on inclut toutes les fonctions on n'obtient rien d'intéressant). Ces méthodes s'appellent (en anglais) spline regression, additive model, regression tree, etc. Tu devrais trouver des infos à leur sujet sur le net.

[Dlzlogic]

Bonsoir Minushabens,
J'ai ouvert ce fil pour provoquer des échanges. J'ai eu des échanges, mais uniquement à sens unique. On m'a prêché la bonne parole, indiqué des docs qui annoncent comme préalable une fonction affine (c'est comme ça qu'on dit maintenant, je crois), mais pas un instant la position du problème à résoudre. La preuve : personne n'a donné de formule (il s'agit effectivement d'un formule à trouver) pour la série que j'ai proposée.
L'auteur d'un cours d'une faculté connue m'a répondu "il ne faut pas chercher midi à quatorze heures". C'est intéressant quand on lit la rigueur imposée par les matheux. Il y a quelques années, je lui avais envoyé un message sur le même sujet, je n'avais pas eu de réponse.
La régression dont je parle n'est pas une régression non-linéaire, mais bien une régression linéaire, puisque le résultat est la forme y=f(u), et dans u, il n'y a que des fonctions indépendantes en Xi.
Je connais aussi les méthodes de régression non-linéaires, mais ce n'était pas le sujet, puisque le but est de trouver une fonction de la forme Y=f(u) et que les Xi sont indépendants.
Ravi d'avoir pu échanger avec toi.
Bonne soirée.

[invite9dc7b526]

Attention: régression non-linéaire et régression non-paramétrique sont des choses différentes.

Tu n'obtiens pas de réponse qui te satisfasse parce qu'on n'arrive pas à comprendre ce que tu veux. La régression linéaire est une méthodologie bien connue et bien standardisée, les formules t'ont été données, tu n'as qu'à les appliquer. Il n'y a pas à chercher midi à quatorze heures.

[invitebd98b571]

on n'arrive pas à comprendre ce que tu veux.

En effet. D'où l'importance d'employer le vocabulaire avec les définitions usuelles en mathématique (matrice, régression linéaire multiple, etc).
A défaut d'arriver à s'expliquer, Dlzlogic devrait donner un exemple de ce qu'il cherche sur la série qu'il a proposée :

96 2800 170
10 2800 210
53 2800 190
100 3200 176
100 3600 183.5
100 4200 194
17 4200 240
10 3800 234.5
10 3400 225
60 3200 195.5
60 3600 204
70 4000 206.5
60 4200 216

[invitef29758b5]

Dlzlogic devrait donner un exemple de ce qu'il cherche sur la série qu'il a proposée

Géométriquement , ça revient à chercher la surface qui passe au plus prêt de des x points mesurés .

[Dlzlogic]

Bonjour,

Géométriquement , ça revient à chercher la surface qui passe au plus prêt de des x points mesurés .

Oui, cette interprétation me convient parfaitement.

[invitebd98b571]

Géométriquement , ça revient à chercher la surface qui passe au plus prêt de des x points mesurés .

La surface qui passe au plus près ? Mais existe-t-elle au moins ? Et est-elle unique avant de dire "LA" ?

Pour vous, "surface" signifie "variété de dimension 2" ? Dans ce cas, a priori, je me fais fort de trouver facilement une surface qui passe par tous les points !

[invitef29758b5]

La surface qui passe au plus près ? Mais existe-t-elle au moins ? Et est-elle unique avant de dire "LA" ?

Non .
Voir #20

Dans ce cas, a priori, je me fais fort de trouver facilement une surface qui passe par tous les points !

Une seule ?
Alors qu' il en existe une infinité ...
De plus , dans la pratique , les mesure sont entachées d' une incertitude et la surface qui passe exactement pas tous les points n' est pas la plus judicieuse .

[invitebd98b571]

Non . Voir #20

Tout à fait d'accord, il faut donc préciser correctement le problème avant de demander de calculer "la meilleure surface".

Une seule ?Alors qu' il en existe une infinité ...

Oui bien sûr qu'il en existe une infinité. Mais qui demande à voir une infinité de solutions ? Déjà qu'en calculer une pose visiblement souci...
Comme il y a une infinité (non dénombrable, hein) de surfaces, il faut peut-être préciser correctement le problème.

De plus , dans la pratique , les mesure sont entachées d' une incertitude et la surface qui passe exactement pas tous les points n' est pas la plus judicieuse .

Tout à fait, il existe plein de surface non judicieuses. Mais pour le comprendre, il faut préciser correctement le problème, par exemple en disant ce que l'on attend d'une bonne solution.

D'où la réponse de minushabens

Tu n'obtiens pas de réponse qui te satisfasse parce qu'on n'arrive pas à comprendre ce que tu veux.

Si on veut une bonne solution, il faut poser correctement le problème. Les mathématiques ne sont pas de la magie