Apprentissage machine

[Roc_]

Bonjour,

j'ai une question du domaine de l'apprentissage machine, en intelligence artificielle. C'est au sujet du classifieur "plus-proche-voisin". J'ai observé qu'en augmentant le nombre d'exemples d'apprentissage par classe, le taux d'erreur de classification a tendance à diminuer. Y a-t-il une preuve mathématique de ce phénomène ?
Mes exemples de classe sont des chiffres manuscrits tirés au hasard dans une base de donnée. Comme estimateur de taux d'erreur, j'utilise le taux "leave-one-out".

Je vous remercie
-----

[invite6c250b59]

En fait il y a des preuves mathématiques que l'apprentissage est, dans le cas général, impossible. Bien entendu, il faut le comprendre comme "impossible sauf à poser des hypothèses sur le problème de classification". Dans le cas du knn, une hypothèse raisonnable est que chaque classe correspond à un idéal plus du bruit blanc indépendant Armé de cette hypothèse, il est facile de prouver que plus le nombre de voisin est grand, plus le bruit aura tendance à se moyenner. Ce n'est pas clair pour moi que cela reste vrai avec d'autres hypothèses même raisonnables (par exemple du bruit corrélé entre les différents features).

[invite9dc7b526]

C'est au sujet du classifieur "plus-proche-voisin". J'ai observé qu'en augmentant le nombre d'exemples d'apprentissage par classe, le taux d'erreur de classification a tendance à diminuer. Y a-t-il une preuve mathématique de ce phénomène ?

la convergence de l'estimateur des k plus proches voisins en analyse discriminante (selon l'appellation des statisticiens) peut être démontrée sous certaines conditions sur les distributions conditionnelles et pour une fonction k(n) (où n est la taille de l'échantillon) convenable. Je pense que tu trouveras des détails dans le livre de Prakasa Rao "non parametric functional analysis".