multidimensional Fisher Discriminant Analysis

[acx01b]

Bonjour, je vais peut être dire des bétises dans ce qui suit, donc c'est un peu ma question : est-ce que j'ai bien compris ou est-ce que j'écris des choses fausses


d'abord je vais résumer la multidimensional Fisher Discriminant Analysis

on a des points répartis en classes,

on a les scatter matrix et , et on applique au points une projection de rang qui maximise :



où les sont les colonnes de

la solution c'est que les sont les premiers vecteurs propres (plus grandes valeurs propres) de

ma question

est-ce que c'est équivalent à maximiser toujours avec la contrainte que soit de rang ?

évidemment, dans le premier cas on s'en sort, mais dans le second comme on ne peut pas (en tout cas je ne sais pas faire) mettre la contrainte de rang dans le "Lagrangian" je n'arrive pas à voir ce qu'on obtient.

note1 : dans les deux cas, si on ne met pas la contrainte que soit de rang , la solution est une projection de rang , et c'est le premier vecteur propre de qui s'y colle

note2 : le second critère est beaucoup plus intuitif : c'est la variance interclasse sur la variance intraclasse
-----

[inviteaeeb6d8b]

Salut,

non, ce n'est pas la même chose.
Mais je suis sûr que le critère à maximiser s'interprète très bien lui-aussi.
Quelque part on veut que pour chaque colonne, soit grand, c'est-à-dire avoir - après projection - une dispersion petite des points autour de la moyenne de la classe à laquelle ils appartiennent.

[acx01b]

on applique au points une projection de rang qui maximise :



où les sont les colonnes de

la solution c'est que les sont les premiers vecteurs propres (plus grandes valeurs propres) de

j'ai quatre commentaires à faire :

1er commentaire

si est inversible, on peut poser et si bien que :


sous la contrainte que


et donc il faut contraindre aussi à être orthogonale : pour que la solution soit les premiers vecteurs propres (plus grandes valeurs propres) de

2ème commentaire

si on ne met pas cette contrainte (si on garde uniquement que et donc est de rang plein) on trouve que contient dans ses colonnes le premier vecteur propre de plus un dans directions différentes

3ème commentaire

et dans ce cas, si la contrainte est orthogonale, alors le deuxième critère est équivalent au premier

4ème commentaire
il n'y a pas spécialement de raison que et
aient les mêmes vecteurs propres

résumé : je suis un peu perdu

[acx01b]

petite erreur : c'est et pas

et comme on a on a


si bien que est vecteur propre de donc ça fait une question de moins !

[A voir en vidéo sur Futura]

[invite986312212]

]d'abord je vais résumer la multidimensional Fisher Discriminant Analysis

Analyse discriminante linéaire en Français.

on a les scatter matrix (...)

matrice de variance en Français.

[acx01b]

salut ambrosio, j'ai trouvé beaucoup de textes qui traitent de ce sujet en dérivant un Maximum Likelihood Estimator (estimateur du maximum de vraissemblance ) ou un maximum a posteriori, mais les suppositions qu'ils font sont probabilistes / bayésiennes, moi je cherche plutot l'approche "problème d'optimisation sous contrainte"

et la seule référence que j'ai c'est : Intro_to_Statistical_Pattern_R ecognition_2E_ de Fukunaga, que j'avoue je n'ai pas encore très bien lu

[invite986312212]

sur le net il y a pas mal d'infos. il faut chercher "linear discriminant analysis". si tu as des matrices de variances différentes selon les classes, tu arrives à une analyse discriminante quadratique.