distance entre lois de vecteurs aléatoires

[invitebf65f07b]

Bonjour à tous,

Suite à un premier fil qui m'a fait prendre conscience de plusieurs choses, j'en ouvre un second pour plus de clarté (enfin j'espère).

Mon problème est le suivant :
Je suis face à un vecteur aléatoire, X, dont je peux construire un grand nombre de réalisations. Je cherche à évaluer une distance entre la loi du vecteur X et et celle d'un vecteur gaussien de paramètres connus (moyenne et covariance).

Ce type de question trouve un bon nombre de réponse pour le cas 1D, en particulier la distance de Kolmogorov-Smirnov[*] retient mon attention car elle me semble simple à calculer et avoir de plus un bon "comportement numérique". Malheureusement pour moi, tout se complique en n dimensions.

Par exemple pour la distance de K-S, je ne sais pas trop comment calculer la fonction de répartition de mon vecteur gaussien dans le cas général. Par contre, ce calcul est très simple si la matrice de covariance est diagonale, ce qui me donne une première idée : au lieu de calculer la distance de K-S entre X et mon vecteur gaussien (notons le N), je pourrais calculer la distance entre Q.X et Q.N où Q est la matrice orthogonale qui diagonalise la covariance de N (ou plutôt son inverse).
Mais je suis pour l'instant incapable de dire si cette démarche me permet d'estimer de manière valide une distance entre X et N...

Je résume en quelques points mes interrogations :
- serais-je passé à côté d'une distance "magique" qui soit fiable et simple à calculer en n dimensions?
- suis-je assez nul en calcul pour ne pas voir comment calculer cette fichue fonction de répartition?
- est-ce que ma tambouille sur la distance de K-S et la diagonalisation de la covariance est crédible?
- et tant d'autres que vous ne manquerez pas de soulevez

Merci d'avance pour vos réponses.

[*] : pour mémoire, la distance de Kolmogorov-Smirnov entre les lois de 2 variables aléatoires X et Y est donnée par où et sont les fonctions de répartitions de X et Y.
-----

[invitebf65f07b]

Pour ce qui concerne mon histoire de diagonalisation, ma question peut encore se formuler comme suit :

On considère un vecteur aléatoire X qui suit "à peu près" une loi normale, ce que je noterais bien :

où est un vecteur non aléatoire, une matrice de covariance et désigne la loi normale centrée de covariance .
Ma question est alors la suivante, pour Q une matrice quelconque, est-il légitime d'écrire :
?

auquel cas on aurait finalement :

et je ne me gênerais pas pour prendre Q égale à la matrice orthogonale diagonalisant et calculer ma distance de K-S le plus simplement du monde...

et toujours un grand merci à tous ceux qui prennent la peine de se pencher sur mes petits tracas

[invitedf667161]

Salut, je vais essayer de répondre à tes questions en vrac :

-Je ne connais pas de distance magique facile à calculer en dimension n. Cependant, certaines distances (hors K-S) sont directement données en dimension n, et tu n'aurais pas besoin de calculer la fonction de répartition qui t'embète tant.

-Non, je pense que tu n'es pas assez nul pour avoir raté un calcul "facile" de la fonction de répartition d'un vecteur normal.

-Oui je pense que ton idée sur la diagonalisation en base orthonormée de sigma est bonne. Mais tu risque d'avoir un problème : disons que tu veuilles calculer la distance (K-S) entre N_1 et N_2. Si tu diagonalises sigma_1 (notation évidente) avec Q ; et si tu as le bol que Q diagonalises aussi sigma_2, alors je suis prêt à parier (pzut-être à perte ! ) que d(N_1,N_2) = d(QN_1,QN_2).
Mais dans le cas où Q ne marche pas pour les 2, j'ai peur que tu ne fasses que déplacer le problème ...

[invitebf65f07b]

merci GuYem pour ta réponse.

Je précise avant toutes choses que je suis dans une situation finalement assez commune en statistique : confronter une v.a. connue de manière empirique (X) à une loi théorique (N).

Ceci me permet déjà de répondre à ta dernière remarque ("Mais dans le cas où Q ne marche pas pour les 2") puisqu'il n'y a pas 2 lois gaussiennes mais une seule (N), la fonction de répartition de X (ou de ) étant calculée "par inventaire" (je viens d'inventer la formule, mais je pense qu'elle est claire) à partir d'un "grand" nombre de réalisations.


Sinon, pour revenir sur ta première remarque et sur les attraits que je trouve à Kolmogorov-Smirnov :
Les autres distances que j'ai rencontré ont effectivement une définition plus naturelle en n dimensions que K-S car elles reposent sur la distribution et non sur la fonction de répartition (qui est peut-être plus ambigüe en nD comme le montre ta première réaction sur l'autre fil).
Malgré cela, je préfèrerais utiliser K-S pour deux raisons (sans doute discutables). D'une part, je trouve que la fonction de répartition empirique se comporte bien mieux que la distribution empirique pour un même échantillon. D'autre part, ces autres distances procèdent à une intégration, ce qui risque fortement d'accentuer les problèmes liés à la distribution empirique (oscillation et réduction du nombre de points de la discrétisation).
Je donne bien sûr cet avis en tant que "néophyte" sur ces problématiques et c'est donc avec plaisir et intérêt que je les remettrais en cause.


PS : pour être honnête, les autres distances que j'ai trouvé ne sont pas nombreuses. Il s'agit des distances de Pearson et de Kullback-Leibler, dont au moins une m'a été soufflée ici même...

[A voir en vidéo sur Futura]

[invitebf65f07b]

Je me permet de revenir sur mon histoire de diagonalisation qui se résume à la légitimité du passage de à .

Ce que je crains en fait c'est un espèce de phénomène de possible compensation entre les composantes du vecteur aléatoire qui empêcherais la transformation de la première à la seconde relation.

Pour illustrer mon idée, je pense à quelque chose du genre avec Y v.a.. Dans ce cas, pour , on voit qu'il se passe quelque chose de singulier (). Dans le même temps, j'ai aussi l'impression que ne peut pas vraiment être proche d'un vecteur gaussien...

N'ayant pas une lourde formation en proba, c'est ce genre de questions que j'ai du mal à éclaircir pleinement.

[invitedf667161]

Ton passage me parait bon.

D'une manière générale, pour X un vecteur aléatoire de moyenne m et de matrice de covariance G, et A une matrice, AX est un vecetur aléatoire de moyenne Gm et de matrice de covariance (A)(G)(tA)

[invitebf65f07b]

D'accord, mais juste pour être bien sûr, je te rappelle que ce que je note signifie pour moi " suit approximativement la même loi que " et non pas "suit exactement".

Tu l'auras compris, il y a une histoire de suite et de convergence en loi là-dessous, et en gros, si on me dit qu'il y a équivalence entre
" tend vers en loi"
et
" tend vers en loi"
pour inversible, alors je crois que j'aurais fini de me convaincre.

Ce résultat m'ayant l'air tout à fait juste, au moins quand une densité de probabilité existe pour tous ces objet, je crois que je vais enfin pouvoir passer à autre chose...

[invite986312212]

1234567890

[invitedf667161]

1234567890

Je savais que faire trop de statistiques pouvait nuire grandement à la santé mentale ; en voilà la preuve

Pour tes problèmes de convergence en loi robert (et tes amis), je pense que tu (vous) pouvez y aller les yeux fermés : je ne vois pas en quoi une transformation (bijective) linéaire pourrait altérer ces convergences.

[invitebf65f07b]

1234567890

Oui, merci GuYem, j'ai fini de me convaincre.

Il n'y a plus qu'à attendre les commentaires d'ambrosio

[invite986312212]

oui, c'est surtout la continuité qui fait que ça marche. Pour robert et pour ses amis, il y avait un bouquin pas mal pour des statisticiens ne voulant pas trop s'investir dans l'étude des probas, c'est le cours de statistique mathématique de Borovkov (éditions Mir). il me semble qu'il traite en détail de ce genre de problèmes.

d'un point de vue formel, et même tatillon, la notation X0+N(0,sigma) n'est pas très bonne, parce qu'elle mélange v.a. et distribution.

et pour GuYem: 10 caractères est le minimum qu'il faut laisser quand on veut effacer une ânerie qu'on a laissé échapper

[invitebf65f07b]

et bien merci à vous deux.