Projection de matrice et suppression de lignes/colonnes

[fabio123]

Bonjour,

j'étudie en ce moment le formalisme de Fisher dans le cadre de l'estimation de paramètres.

La matrice de Fisher est la matrice inverse de la matrice de covariance. Au départ, je construis une matrice "full" qui tient compte de tous les paramètres.

1) Projection : On peut alors faire ce que l'on appelle une projection, c'est-à-dire que l'on exprime cette matrice dans une autre base en utilisant la matrice jacobienne qui fait intervenir les dérivées des paramètres de départ par rapport aux nouveaux paramètres que l'on choisit : cette matrice est appelée "matrice projetée".

2) Marginalisation : Une fois que l'on a cette matrice projetée, on peut faire une autre opération qui est la "marginalisation d'un paramètre" : c'est-à-dire que l'on supprime dans la matrice projetée la ligne et la colonne correspondant à ce paramètre marginalisé.

Finalement, une fois que j'ai la matrice projetée, je peux l'inverser pour connaitre la matrice de covariance associée aux paramètres (les nouveaux).

QUESTION 1) Je voulais savoir si les opérations 1) et 2) sont commutatives, c'est-à-dire si les 2 séquences suivantes donnent le même résultat :

1ère séquence :

1.1) Partir de la matrice de Fisher "full"
1.2) Marginaliser par rapport à un paramètre (ou même plusieurs mais je m'intéresse d'abord à un seul), c'est-à-dire enlever la colonne et ligne correspondant au paramètre que l'on veut marginaliser.
1.3) Projeter avec le calcul faisant le produit :
1.4) Inverser la matrice projetée pour obtenir la matrice de covariance associée aux nouveaux paramètres

2ème séquence :

2.1) Partir de la matrice de Fisher "full"
2.2) Projeter avec les matrice jacobiennes
2.3) Marginaliser la matrice projetée = enlever la colonne et ligne correspondant au paramètre que l'on veut marginaliser.
2.4) Inverser la matrice projetée pour avoir la matrice de covariance

J'aimerais pouvoir le démontrer de manière analytique mais je sèche un peu, pour pas dire beaucoup. Si quelqu'un a des infos pour savoir si ces opérations sont commutatives ou pas, ça serait sympa de me donner quelques pistes ou infos.

QUESTION 2) Ce que j'ai du mal à saisir concernant ces 2 séquences ci-dessus, c'est que je ne marginalise pas le même paramètre (dans le 1er cas, sur un des paramètres de départ, dans le second sur un nouveau paramètre) : si c'est commutatif, je n'arrive pas à expliquer que ça donne dans les 2 cas la même matrice de covariance.


Si c'est pas très clair, n'hésitez pas à me demander des précisions (ça dépend desquelles car comme vous le voyez, je n'ai pas encore tout saisi).

Merci par avance.
-----

[fabio123]

Il se pourrait que les 2 séquences que j'ai décrites ne soient pas bonnes (je n'ai pas assez d'éléments pour l'instant) : c'est peut-être l'ordre suivant :

1ère séquence :

1.1) Partir de la matrice de Fisher "full"
1.2) Inverser cette matrice pour obtenir la matrice de covariance
1.3) Marginaliser par rapport à un paramètre (ou même plusieurs mais je m'intéresse d'abord à un seul), c'est-à-dire enlever la colonne et ligne correspondant au paramètre que l'on veut marginaliser.
1.4) Inverser cette matrice de covariance
1.5) Projeter pour obtenir la matrice de Fisher finale projetée

2ème séquence :

2.1) Partir de la matrice de Fisher "full"
2.2) Projeter avec les matrice jacobiennes
2.3) Inverser pour obtenir la matrice de covariance
2.4) Marginaliser cette matrice de covariance
2.5) Inverser pour obtenir la matrice de Fisher finale.

Si c'est bien les 2 séquences dont il s'agit , les 2 matrices de Fisher finales dans ces 2 séquences sont-elles égales ?

[minushabens]

La matrice de Fisher est la matrice inverse de la matrice de covariance.

ça commence mal...

[fabio123]

@minushabens

Bizarre, dans le document que j'ai, ils affirment cette relation.

Quel est le lien entre matrice de Fisher et matrice de covariance ?

[A voir en vidéo sur Futura]

[fabio123]

voici la doc en question :

[minushabens]

Quel est le lien entre matrice de Fisher et matrice de covariance ?

le lien est fait par l'inégalité de Cramér-Rao, qui dit que la variance d'un estimateur sans biais est supérieure à l'inverse de l'information de Fisher, mais cette inégalité n'a rien d'universel. Dans ton premier message tu ne précises pas de quel estimateur tu parles, ni s'il est sans biais, ni si le modèle statistique est régulier (condition nécessaire pour l'existence de l'information de Fisher).

Le texte que tu reproduis parle de "paramètres cosmologiques" mais ce n'est pas un terme mathématique donc on ne peut pas savoir si ce qui en est dit est correct.

[minushabens]

Sinon pour répondre à ta question: les deux opérations ne commutent pas. Prends par exemple le cas de 2 paramètres. si tu commences par supprimer l'un des paramètres il ne te reste qu'une dimension et tu ne peux pas faire de rotation (ce que tu appelles "projection")

[fabio123]

@minushabens

Merci pour ta réponse rapide. En effet, dans les 2 séquence que je croyais équivalentes, c-est-à-dire :

1ère séquence :

1.1) Partir de la matrice de Fisher "full"
1.2) Inverser cette matrice pour obtenir la matrice de covariance
1.3) Marginaliser par rapport à un paramètre (ou même plusieurs mais je m'intéresse d'abord à un seul), c'est-à-dire enlever la colonne et ligne correspondant au paramètre que l'on veut marginaliser.
1.4) Inverser cette matrice de covariance
1.5) Projeter pour obtenir la matrice de Fisher finale projetée

2ème séquence :

2.1) Partir de la matrice de Fisher "full"
2.2) Projeter avec les matrice jacobiennes
2.3) Inverser pour obtenir la matrice de covariance
2.4) Marginaliser cette matrice de covariance
2.5) Inverser pour obtenir la matrice de Fisher finale.

Je ne peux pas affirmer qu'elles donneront la même matrice final (matrice de Fisher Finale à l'étape 1.5) et 2.5)).

Déjà, dans la première séquence, je marginalise (suppression ligne/colonne) suivant un paramètre de l'ensemble de départ des paramètres (base de départ = ensemble de départ des paramètres à estimer). Alors que dans la deuxième, je marginalise suivant un paramètre d'un autre ensemble de paramètres (nouvelle base = autre ensemble de paramètres).

Je peux donc très bien marginaliser, dans la première séquence,un paramètre au hasard MAIS je ne pourrai jamais choisir dans le second cas un nouveau paramètre à marginaliser fonction du premier paramètre marginalisé à l'étape 1.3) CAR ce sont 2 ensembles de paramètres différents (à moins qu'il y ait 2 paramètres liés entre eux entre la base de départ et la nouvelle base ..., mais là je sais pas comment faire)

@minushabens

QUESTION 1) Peux-tu me confirmer que l'explication ci-dessus est correcte ?

QUESTION 2) Pourrais-tu me dire dans quel cas ou conditions la matrice de covariance est égale à l'inverse de la matrice de Fisher ?

QUESTION 3) Connaitrais-tu par hasard des opérations particulières qui soient commutatives concernant le formalisme de Fisher ou la marginalisation/projection ?

Cordialement

[fabio123]

Sinon pour répondre à ta question: les deux opérations ne commutent pas. Prends par exemple le cas de 2 paramètres. si tu commences par supprimer l'un des paramètres il ne te reste qu'une dimension et tu ne peux pas faire de rotation (ce que tu appelles "projection")

Juste une précision, je travaille avec un ensemble de 9 paramètres cosmologiques, . Donc je ne me retrouve jamais avec juste 2 paramètres avec l'un des 2 que je voudrais marginaliser.

[minushabens]

Pour la question 2) tu demandes quand un estimateur atteint la borne de Cramér-Rao (est efficace comme on dit). Il faut voir au cas par cas. Mais la propriété d'efficacité à distance finie n'est pas forcément désirable. Les estimateurs du maximum de variance par exemple sont en général biaisés mais ils sont asymptotiquement sans biais et asymptotiquement efficaces (ce qui signifie que quand la taille d'échantillon augmente leur variance approche la borne de Cramér-Rao).

[fabio123]

@minushabens

Les estimateurs du maximum de variance par exemple sont en général biaisés mais ils sont asymptotiquement sans biais et asymptotiquement efficaces (ce qui signifie que quand la taille d'échantillon augmente leur variance approche la borne de Cramér-Rao).

Quand tu parles de "estimateurs du maximum de variance", tu veux plutôt dire "estimateurs de variance" ou "estimateurs du maximum de vraisemblance" ?

[minushabens]

désolé, je voulais dire : maximum de vraisemblance.

autre chose: si X est un vecteur aléatoire de matrice de variance Var(X) et si A est une matrice telle qu'on puisse faire le produit Y=A'X (A' est la transposée de A) alors Var(Y)=A'Var(X)A

donc si X est partitionné en (X1,X2)' et si tu veux la matrice de variance de X1, il te faut prendre pour A la matrice diagonale dont les éléments diagonaux sont 1 pour les colonnes correspondant à X1 et 0 pour celles correspondant à X2 et on a Var(X1)=A'Var(X)A et tu peux voir que cela revient à supprimer les colonnes et les lignes correspondant à X2 (ce que tu disais)