expliciter l'espace Kernel (par ex. gaussien)

[acx01b]

Bonjour,

je viens de me rendre compte que si K(x,y) est une fonction noyau défine positive, est une matrice d'observations et M la matrice de Gram correspondante :

alors M est une matrice positive et symétrique, elle est donc diagonalisable dans une base orthonormée avec des valeurs propres positives et on peut écrire que

avec

si K est le kernel gaussien, contient les observations explicitement projetées sur une hypersphère de dimension N

ensuite on peut appliquer tous les algorithmes habituels (PCA, SVM, Kmeans, LDA, ICA ...) sur sans avoir besoin de parler de KernelPCA, kernelSVM etc ...

c'est pédagogiquement intéressant : on voit tout de suite par exemple que quand le sigma du kernel gaussien tend vers 0, la matrice de Gram et par la même occasion tendent vers l'identité, et on se retrouve avec une information nulle dans l'espace de redescription


à part à faire des codes plus simples sous matlab (et dans certains cas plus rapides : par exemple dans le cas des Kmeans si on les relance 50 fois avec une initialisation différente, on a besoin de diagonaliser la matrice qu'une seule fois), à quoi ça peut servir d'autre ?

Renaud
-----

[acx01b]

alors en allant fouiller dans un bouquin j'ai trouvé qu'expliciter l'espace Kernel (sur un certain ensemble de données) avait un nom : << empirical feature space >>

ils en parlent dans un article des même auteurs que le bouquin :
Input space versus feature space in kernel-based methods

il y est dit qu'effectivement c'est pratique si on ne sait pas ou si on n'a pas le temps de << kerneliser >> un algorithme linéaire, et que dans ce cas il est plus simple de kerneliser directement les données

ce qui est intéressant c'est qu'on peut projeter des nouveaux points dans cet espace, bien sûr si on projette 2 points supplémentaires a -> phi(a) et b -> phi(b)
on n'aura pas phi(a).phi(b) = K(a,b)
mais pour tous les x_i utilisés pour fabriquer cet espace, on aura bien K(a,x_i) = phi(a).phi(x_i)