Généralisation de la notion de droite en dimension 9 / ACP

[invite9a0c45ac]

Bonjour à tous,

Je suis actuellement bloquée dans mes travaux, et j'aurais besoin de votre aide pour résoudre mon problème mathématique.

Je vous explique : j'ai 9 variables environnementales plus ou moins corrélées : V1, V2, ..., V9. J'aimerais arriver à trouver une relation linéaire pour exprimer V9 approximativement en fonction des autres variables (V9 ~ a*V1 + b*V2 + ... + h*V8).

J'ai déjà essayé par la méthode des moindres carrés, qui me donne des coefficients un peu trop bizarres car les variables sont parfois un peu trop corrélées. Donc je tente une autre méthode :

J'ai la matrice de corrélations entre les 9 variables (dimension 9x9) et ai décidé de faire une ACP (Analyse en composante principale) pour avoir la direction principale et l'utiliser à mes fins (et aussi avoir les directions secondaires qui peuvent m'aider à nuancer mes résultats). Donc, j'ai calculé les valeurs propres, j'ai identifié la plus grande d'entre elles et j'ai calculé le vecteur propre associé.

Ce vecteur propre donnant la direction principale est vect = [ -0.37 +0.31 -0.05 -0.35 -0.35 +0.41 -0.28 +0.40 +0.33 ]. Je sens que ce vecteur peut m'aider à avoir la régression linéaire qui lie mes variables. Mais je ne sais pas trop comment retrouver l'équation qu'il me faudrait.

En dimensions 2 et 3, je saurais faire, en disant que vect est le vecteur directeur d'une droite et je retrouverais facilement l'équation de la droite.

Donc voilà, comment pourrait-on trouver l'équation d'une "droite" représentée par un "vecteur directeur" en dimension 9 ? Est-ce que ça existe ? Avez-vous éventuellement une solution à me proposer ?

Merci d'avance
-----

[gg0]

Bonjour.

La notion de droite existe en toutes dimensions (non nulle) et se traite de la même façon qu'en dimension 3, par exemple. Si tu as centré tes variables, la droite est l'ensemble des points de coordonnées [ -0.37k; +0.31k; -0.05k; -0.35k; -0.35k; +0.41k; -0.28k; +0.40k; +0.33k ] quand k varie dans R.
Tu as ainsi un système d'équations paramétriques
x₁=-0.37k
x₂=0.31k
...
x₉=0.33k

Cordialement.

NB : ça ne permet pas d'exprimer x₉ en fonction des autres variables?

[GrisBleu]

Bonjour

Les moindres carrés avec des données corrélés peuvent donner des coefficients importants. Quels genres de résultats as t u obtenus ?
Une idée est de pénaliser des coefficients importants. Par exemple, si (V1[1],...,V9[1]), ...,(V1[n],...,V9[n]) sont tes données et que tu souhaites exprimer V9=W1 V1 + ... + W8 V8 = W.V, alors, tu as les modèles suivants
ce sont les moindres carrés
ce sont les moindres carrés avec pénalisation L1 (appelé LASSO), C est une constante balancant la pénalité
ce sont les moindres carrés avec pénalisation L2 (appelé régularisation de Tikhonov), C est une constante balancant la pénalité
Ça donne en général de bons résultats (voir içi http://en.wikipedia.org/wiki/Lasso_(...rized_versions)
++

[invite9a0c45ac]

Bonjour.

La notion de droite existe en toutes dimensions (non nulle) et se traite de la même façon qu'en dimension 3, par exemple. Si tu as centré tes variables, la droite est l'ensemble des points de coordonnées [ -0.37k; +0.31k; -0.05k; -0.35k; -0.35k; +0.41k; -0.28k; +0.40k; +0.33k ] quand k varie dans R.
Tu as ainsi un système d'équations paramétriques
x₁=-0.37k
x₂=0.31k
...
x₉=0.33k

Cordialement.

NB : ça ne permet pas d'exprimer x₉ en fonction des autres variables?

Ah oui, merci, la représentation paramétrique de la droite, donc un système de 9 équations.

Par contre, je n'ai pas bien compris la suite. Comment passer de la représentation paramétrique à une représentation cartésienne dans ce cas ?
Je vois bien comment faire dans l'espace, en substituant k dans une équation, etc., pour arriver à un ax₁ + bx₂ + c = 0.
Mais ici avec 9 équations paramétriques ?

Merci

[A voir en vidéo sur Futura]

[invite9a0c45ac]

Bonjour

Les moindres carrés avec des données corrélés peuvent donner des coefficients importants. Quels genres de résultats as t u obtenus ?
Une idée est de pénaliser des coefficients importants. Par exemple, si (V1[1],...,V9[1]), ...,(V1[n],...,V9[n]) sont tes données et que tu souhaites exprimer V9=W1 V1 + ... + W8 V8 = W.V, alors, tu as les modèles suivants
...
Ça donne en général de bons résultats (voir içi http://en.wikipedia.org/wiki/Lasso_(...rized_versions)
++

Bah en fait, j'avais abandonné l'idée des moindres carrés car, pour une variable en particulier, j'obtenais un coefficient négatif alors qu'il devait de toute évidence être positif ("physiquement"). Donc je me suis dit que ça devait être parce que cette variable était corrélée à d'autres et que donc ça faisait foirer le truc.

En tout cas, je ne connaissais pas du tout la pénalisation pour les moindres carrés. Il faut que je regarde ça de plus près alors. Pour l'instant, je ne comprends pas trop trop ce que ça apporte de rajouter C somme des w. Si tu connais tout ça bien, GrisBleu, peux-tu m'expliquer brièvement, stp ?

[GrisBleu]

Salut

D'abord, indépendamment de la technique utilisée, as tu "normaliser" tes données: en centrant (moyenne nulle) et normalisant (variance a 1), tu auras des résultats plus interprétables (pas d'effet d'échelles)

Ensuite, pénaliser la norme L1 ou L2 de w permet une meilleure généralisation: il est tout à fait possible de trouver un modèle qui va coller quasi-exactement à tes données mais qui se révélera faux pour de futurs données. Ça se manifeste en général par des coefficients importants. Donc, en introduisant un autre critère que les moindres carrés, tu autorises à ne pas fitter parfaitement tes données en contrepartie d'un meilleur comportement en général
Finalement, entre L1 et L2, c'est une question de choix
+ Pénaliser la norme L2 revient à avoir des coefficients petits, et du même ordre
+ Pénaliser la norme L1 revient à chercher à avoir des coefficients nuls (et les autres seront petits)
Expliquer ces différences, c'est rentrer dans le détail -->. Tout bon livre de machine learning fera l'affaire

++

[invite9a0c45ac]

GrisBleu, oui, mes données sont normalisées.

Les coeffs que j'obtiens par la méthode des moindres carrés ne sont pas "trop grands". Ils sont "normaux", sauf pour la variable qui m'embête (mais c'est plus une question de signe) et que je ne peux pas juste virer de mon analyse (ça serait tellement plus simple). Je suppose que dans ce cas, les pénalisations des normes L1 et L2 de w n'aideraient pas ?

[GrisBleu]

En fait, ca depend du but: expliquer les correlations (une PCA ou autre xCA serait plus utile) ou de prévoir de futurs valeurs ?
Dans le dernier cas, une normalisation L2 (assez simple à calculer) peut aider. Pour voir l'intérêt (ou pas ) de ces méthodes, tu devrais essyaer la cross validation: tu sépares tes échantillons en sous ensembles, sur chacun tu fais tourner les moindres carres et tu calcules l'erreur sur les autres ensembles. Tu verras alors si tu as une erruer de généralisation importante
++