Généralisation de la notion de droite en dimension 9 / ACP
Répondre à la discussion
Affichage des résultats 1 à 8 sur 8

Généralisation de la notion de droite en dimension 9 / ACP



  1. #1
    invite9a0c45ac

    Généralisation de la notion de droite en dimension 9 / ACP


    ------

    Bonjour à tous,

    Je suis actuellement bloquée dans mes travaux, et j'aurais besoin de votre aide pour résoudre mon problème mathématique.

    Je vous explique : j'ai 9 variables environnementales plus ou moins corrélées : V1, V2, ..., V9. J'aimerais arriver à trouver une relation linéaire pour exprimer V9 approximativement en fonction des autres variables (V9 ~ a*V1 + b*V2 + ... + h*V8).

    J'ai déjà essayé par la méthode des moindres carrés, qui me donne des coefficients un peu trop bizarres car les variables sont parfois un peu trop corrélées. Donc je tente une autre méthode :

    J'ai la matrice de corrélations entre les 9 variables (dimension 9x9) et ai décidé de faire une ACP (Analyse en composante principale) pour avoir la direction principale et l'utiliser à mes fins (et aussi avoir les directions secondaires qui peuvent m'aider à nuancer mes résultats). Donc, j'ai calculé les valeurs propres, j'ai identifié la plus grande d'entre elles et j'ai calculé le vecteur propre associé.

    Ce vecteur propre donnant la direction principale est vect = [ -0.37 +0.31 -0.05 -0.35 -0.35 +0.41 -0.28 +0.40 +0.33 ]. Je sens que ce vecteur peut m'aider à avoir la régression linéaire qui lie mes variables. Mais je ne sais pas trop comment retrouver l'équation qu'il me faudrait.

    En dimensions 2 et 3, je saurais faire, en disant que vect est le vecteur directeur d'une droite et je retrouverais facilement l'équation de la droite.

    Donc voilà, comment pourrait-on trouver l'équation d'une "droite" représentée par un "vecteur directeur" en dimension 9 ? Est-ce que ça existe ? Avez-vous éventuellement une solution à me proposer ?

    Merci d'avance

    -----

  2. #2
    gg0
    Animateur Mathématiques

    Re : Généralisation de la notion de droite en dimension 9 / ACP

    Bonjour.

    La notion de droite existe en toutes dimensions (non nulle) et se traite de la même façon qu'en dimension 3, par exemple. Si tu as centré tes variables, la droite est l'ensemble des points de coordonnées [ -0.37k; +0.31k; -0.05k; -0.35k; -0.35k; +0.41k; -0.28k; +0.40k; +0.33k ] quand k varie dans R.
    Tu as ainsi un système d'équations paramétriques
    x1=-0.37k
    x2=0.31k
    ...
    x9=0.33k

    Cordialement.

    NB : ça ne permet pas d'exprimer x9 en fonction des autres variables?

  3. #3
    GrisBleu

    Re : Généralisation de la notion de droite en dimension 9 / ACP

    Bonjour

    Les moindres carrés avec des données corrélés peuvent donner des coefficients importants. Quels genres de résultats as t u obtenus ?
    Une idée est de pénaliser des coefficients importants. Par exemple, si (V1[1],...,V9[1]), ...,(V1[n],...,V9[n]) sont tes données et que tu souhaites exprimer V9=W1 V1 + ... + W8 V8 = W.V, alors, tu as les modèles suivants
    ce sont les moindres carrés
    ce sont les moindres carrés avec pénalisation L1 (appelé LASSO), C est une constante balancant la pénalité
    ce sont les moindres carrés avec pénalisation L2 (appelé régularisation de Tikhonov), C est une constante balancant la pénalité
    Ça donne en général de bons résultats (voir içi http://en.wikipedia.org/wiki/Lasso_(...rized_versions)
    ++
    Dernière modification par GrisBleu ; 10/10/2013 à 16h27.

  4. #4
    invite9a0c45ac

    Re : Généralisation de la notion de droite en dimension 9 / ACP

    Citation Envoyé par gg0 Voir le message
    Bonjour.

    La notion de droite existe en toutes dimensions (non nulle) et se traite de la même façon qu'en dimension 3, par exemple. Si tu as centré tes variables, la droite est l'ensemble des points de coordonnées [ -0.37k; +0.31k; -0.05k; -0.35k; -0.35k; +0.41k; -0.28k; +0.40k; +0.33k ] quand k varie dans R.
    Tu as ainsi un système d'équations paramétriques
    x1=-0.37k
    x2=0.31k
    ...
    x9=0.33k

    Cordialement.

    NB : ça ne permet pas d'exprimer x9 en fonction des autres variables?
    Ah oui, merci, la représentation paramétrique de la droite, donc un système de 9 équations.

    Par contre, je n'ai pas bien compris la suite. Comment passer de la représentation paramétrique à une représentation cartésienne dans ce cas ?
    Je vois bien comment faire dans l'espace, en substituant k dans une équation, etc., pour arriver à un ax1 + bx2 + c = 0.
    Mais ici avec 9 équations paramétriques ?

    Merci

  5. A voir en vidéo sur Futura
  6. #5
    invite9a0c45ac

    Re : Généralisation de la notion de droite en dimension 9 / ACP

    Citation Envoyé par GrisBleu Voir le message
    Bonjour

    Les moindres carrés avec des données corrélés peuvent donner des coefficients importants. Quels genres de résultats as t u obtenus ?
    Une idée est de pénaliser des coefficients importants. Par exemple, si (V1[1],...,V9[1]), ...,(V1[n],...,V9[n]) sont tes données et que tu souhaites exprimer V9=W1 V1 + ... + W8 V8 = W.V, alors, tu as les modèles suivants
    ...
    Ça donne en général de bons résultats (voir içi http://en.wikipedia.org/wiki/Lasso_(...rized_versions)
    ++
    Bah en fait, j'avais abandonné l'idée des moindres carrés car, pour une variable en particulier, j'obtenais un coefficient négatif alors qu'il devait de toute évidence être positif ("physiquement"). Donc je me suis dit que ça devait être parce que cette variable était corrélée à d'autres et que donc ça faisait foirer le truc.

    En tout cas, je ne connaissais pas du tout la pénalisation pour les moindres carrés. Il faut que je regarde ça de plus près alors. Pour l'instant, je ne comprends pas trop trop ce que ça apporte de rajouter C somme des w. Si tu connais tout ça bien, GrisBleu, peux-tu m'expliquer brièvement, stp ?

  7. #6
    GrisBleu

    Re : Généralisation de la notion de droite en dimension 9 / ACP

    Salut

    D'abord, indépendamment de la technique utilisée, as tu "normaliser" tes données: en centrant (moyenne nulle) et normalisant (variance a 1), tu auras des résultats plus interprétables (pas d'effet d'échelles)

    Ensuite, pénaliser la norme L1 ou L2 de w permet une meilleure généralisation: il est tout à fait possible de trouver un modèle qui va coller quasi-exactement à tes données mais qui se révélera faux pour de futurs données. Ça se manifeste en général par des coefficients importants. Donc, en introduisant un autre critère que les moindres carrés, tu autorises à ne pas fitter parfaitement tes données en contrepartie d'un meilleur comportement en général
    Finalement, entre L1 et L2, c'est une question de choix
    + Pénaliser la norme L2 revient à avoir des coefficients petits, et du même ordre
    + Pénaliser la norme L1 revient à chercher à avoir des coefficients nuls (et les autres seront petits)
    Expliquer ces différences, c'est rentrer dans le détail -->. Tout bon livre de machine learning fera l'affaire

    ++
    Dernière modification par GrisBleu ; 10/10/2013 à 16h55.

  8. #7
    invite9a0c45ac

    Re : Généralisation de la notion de droite en dimension 9 / ACP

    GrisBleu, oui, mes données sont normalisées.

    Les coeffs que j'obtiens par la méthode des moindres carrés ne sont pas "trop grands". Ils sont "normaux", sauf pour la variable qui m'embête (mais c'est plus une question de signe) et que je ne peux pas juste virer de mon analyse (ça serait tellement plus simple). Je suppose que dans ce cas, les pénalisations des normes L1 et L2 de w n'aideraient pas ?

  9. #8
    GrisBleu

    Re : Généralisation de la notion de droite en dimension 9 / ACP

    En fait, ca depend du but: expliquer les correlations (une PCA ou autre xCA serait plus utile) ou de prévoir de futurs valeurs ?
    Dans le dernier cas, une normalisation L2 (assez simple à calculer) peut aider. Pour voir l'intérêt (ou pas ) de ces méthodes, tu devrais essyaer la cross validation: tu sépares tes échantillons en sous ensembles, sur chacun tu fais tourner les moindres carres et tu calcules l'erreur sur les autres ensembles. Tu verras alors si tu as une erruer de généralisation importante
    ++

Discussions similaires

  1. Notion de faimille libres, génératrices et de bases en dimension infinie
    Par invite50baf54d dans le forum Mathématiques du supérieur
    Réponses: 8
    Dernier message: 14/02/2013, 13h38
  2. Notion de Dimension
    Par inviteda0f8d6f dans le forum Archives
    Réponses: 31
    Dernier message: 19/04/2012, 13h24
  3. Notion d'hyperplan en dimension infinie
    Par Seirios dans le forum Mathématiques du supérieur
    Réponses: 3
    Dernier message: 28/01/2010, 20h28
  4. Généralisation de la notion de nombre premier
    Par Seirios dans le forum Mathématiques du supérieur
    Réponses: 3
    Dernier message: 30/12/2009, 23h02
  5. Généralisation de la notion de fonction ...
    Par invite0f31cf4c dans le forum Mathématiques du supérieur
    Réponses: 12
    Dernier message: 13/01/2006, 01h31