calcul de covariance

[invitea65add6d]

Bonjour,

je souhaiterais accélérer un calcul () d'une matrice de covariance.
Actuellement je traite des données composé d'un seul jeu de vecteur aléatoire
Chaque vecteur est donc composée de variable aléatoire
Je me demandais :
si je décompose mon jeux de donnée en deux ensemble égaux et si je calcul les deux matrices de covariance respective et si je pouvais obtenir par un algorithme plus ou moins compliqué la covariance de S :

Si cela n'est pas possible y a t il une méthode (ou une stratégie a adopter) pour paralléliser le calcul d'une matrice de covariance sur un grands nombre de vecteurs aléatoires composé eux même d'un grand nombre de variables aléatoires.

Pour info en ordre de grandeur :
nombre de variable ~ 300
nombre de vecteur ~ 160 000

merci d'avance pour vos remarque et suggestion.
-----

[acx01b]

Bonjour,

est une matrice contenant sur chaque ligne tes vecteurs centrés

on sépare l'ensemble en deux :

on aura bien :



en "oubliant" volontairement de diviser par le nombre d'observations

[invitea65add6d]

Ok j'avais pas pensé à centrer mes variables.
du coup c'est cool je peux diviser mon calcul.

merci

[invite986312212]

bon, mais tout ça n'accélère nullement le calcul. Que tu fasses S1=X1+..+Xn, S2=X(n+1)+..+X(2n) puis S=S1+S2 d'une part, ou S= X1+...+X(2n) d'autre part, où est la différence?

[A voir en vidéo sur Futura]

[invitec5eb4b89]

Je crois que lidiriel veut faire du calcul en parallèle, c'est pour ca que c'est intéressant pour lui !

[invitea65add6d]

Hello,

effectivement c'est pour utiliser les 2 à 8 coeur des serveurs dispo au lieu d'un seul. Du coup cela devrait me faire gagner du temps de calcul.

a+

[invitea65add6d]

au fait si un modo passe dans le coin il peut mettre résolu et fermer la discussion. Bon maintenant il me reste à coder le parallélisme.

merci FS

a+

[invite986312212]

au fait, je ne sais pas quel est le but de ce calcul, mais si c'est pour estimer la matrice de variance de ton vecteur, je dirais que tu n'as pas besoin de 160000 observations. Tu pourrais utiliser un sous-échantillon et ça te ferait vraiment gagner du temps.

[invitea65add6d]

Je ne peux pas me baser sur un sous échantillon car :
je travaille sur des images hyperspectrale sattelitaire donc ce n'est pas des variables aléatoires au sens strict. On ne connais pas la loi qui les régies, chaque point doit être analysé enfin c'est l'idée.
La covariance est une partie d'un algo plus sophistiqué qui permet d'estimer en aveugle le nombre de composant physico-chimique présent dans une zone géographique donnée.

Les zones n'étant pas homogène je travaille sur toute la zone. Travaillé sur un échantillon de mes vecteurs donc un échantillon géographique n'a pas vraiment d'intérêt. Par contre on peut chercher à diminuer la taille du vecteur car toute les variables ne contribue pas également mais cela est une autre histoire.. sur ce je retourne a mon implémentation parallèle.

a++