perceptron/connexite

[invited95a83ec]

Bonjour,

Je suis en train de faire des recherches sur le perceptron (c'est pour le TIPE...) et je cherche des informations sur le theoreme de connexite (Minsky&Papert). Dans la litterature je trouve de informations diverses: notamment parfois on dit que le perceptron ne sais pas reconnaitre des figures connexes, parfois on dit qu'il s'agit de figures simplement connexes.

Est-ce que quelqu'un pourra m'indiquer de quoi s'agit-il exactement et ou trouver les informations faiables concernant ce theoreme?

Merci,
Marzenie
(desolee pour la manque des accents, problemes avec l'ordinateur)
-----

[invite8b04eba7]

Salut !

Apparemment, la reconnaissance de la connexité est possible en théorie, mais requiert en pratique un trop grand nombre d'exemples et une durée d'apprentissage beaucoup trop longue.

Pour trouver une source fiable, je pense que la seule chose à faire est de regarder le livre de Minsky et Papert.

[invited95a83ec]

Merci pour ta reponse...

En ce qui concerne le perceptron, Minsky et Papert ont montre mathematiquement qu'il ne peut pas reconnaitre la connexite d'une figure. Les reseaux plus compliques, peut-etre, mais pas le petit perceptron...

Je n'arrive pas a trouver l'ouvrage qui m'interesse dans des bibioltheques et librairies en France, mais j'ai eu la reponse a ma question en ecrivant directement a M.Papert. Il s'agit bien des figures connexes et pas simplement connexes.

[GrisBleu]

Salut

Le perceptron a ete invente il ya pas mal de temps, dans les annees 50 / 60. Rosenblatt est generalement cite (ref : F. Rosenblatt, Principle of neurodynamics, Spartan Books, 1962). Il y a alors eu un grand espoir dans la communaute intelligence artificielle. Mais Minsky (ref : M. L. Minsky and S. A. Papert,Perceptrons, Cambridge, The MIT Press, 1969) a montre qu'une figure tout bete (le xor) ne peut etre appris par un neurone de type perceptron. Un neurone ne peut separer que deux regions spearables par un hyper plan. Avec plusieurs neurones, ca va deja mieux mais il est vite clair qu'une seule couche de perceptron ne peut pas apprendre des figures complexes.

Par contre un reseau avec deux couches de perceptrons (avec BEAUCOUP de perceptrons) peut apprendre n'importe quelle figure non "tarte" (ref : K. Hornik, Multilayer Feedforward networks are universal approximators, Neural Networks, vol. 2, pp. 359 - 366, 1989). La methode d'entrainement est souvent la retro propagation (ref : P. J. Werbos, The roots of backpropagation, John Wiley \& Sons, 1994). Comme tu le vois les annees 90 ont vu le renouveau des reseaux de neurones grace, en partie, aux deux papiers cites qui ont mis des bases mathematiques derriere.

Bon, la vague des reseaux de neurones est passee vu les gros problemes d'entrainements extrement longs et de sur apprentissages. Maintenant les choses a la modes sont les svm et les rkhs perceptrons. si tu veux des rensiegnemetns, tu peux m'envoyer des mp.

++

[A voir en vidéo sur Futura]

[Quinto]

C'est drôle, mais on dirait un truc de sciences fiction ou une blague à la lecture des termes employés. Evidemment je sais que ce n'est pas le cas, mais auriez vous des références qui traitent un peu du sujet et compréhensible par un néophite?

[GrisBleu]

Salut quinto

Ce n'est pas de la SF, loin de la. Les problemes d'"apprentissage" sont de deux natures proches
- classification: a partir d'exemple input / output, le systeme doit etre capable de classer les inputs en different classes. Par exemple, le systeme a partir de releves de sante essie de classe tumeur benigne / maligne
- regression: a partir d'exemple argument / valeur, le systeme essaie d'apprendre une foncyion (non lineaire en general). Par exemple a partir des N donnees du passe essayer de prevoir la valeur d'un indice boursier.

Le domaine etait nomme intelligence artificielle. Mais c'est devenu machine learning (plus clair a mon gout). Pour te montrer que ce n'est pas du vent, sache que google et crosoft investissent beaucoup la dedans. Par exemple, l'algo usuel des methods a noyaux vient de chez crosoft.
Un des papiers que j'avais cite prouvait qu'un reseaux de neurones de 2 couches pouvait approche aussi pres que voulu toute fonction continue. Ca a lance de gros espoir dans les annees 80 / 90 qui se sont releves faux a cause de problemes numeriques et d'une faible assise theorique.
Le domaine a ete renouvele par les SVM (sorti des labos de ATT bell) et les methodes dites a noyaux. Pour une reference aisee a aborder... je ne sais pas trop. Il y a beaucoupe de choses sur les reseaux de neurones et ses liens avec la physiologie. Les SVM / methodes a kernels sont basees sur les stats et non sur des "correspondance" avec le cerveau. C'est mieux pour s'y fier mais plus dure pour introduire la chose de maniere simple.

Vlad