Affichage des résultats 1 à 3 sur 3

reseaux de neurones



  1. #1
    humanino

    reseaux de neurones


    ------

    Dans les reseaux que je connais, il me semble que l'on fait des restrictions fortes afin d'obtenir des algorithmes "raisonables" en temps de calcul. Cela nous masquerait-il certaines caracteristiques importantes pour les systemes desquels une intelligence emerge ? Ou alors, existe-t-il des justifications au fait que les restrictions pratiques preservent toutes les potentialites des resaux les plus generaux ?

    Je m'explique, afin d'etre plus intelligible. Un reseau de neurones est constitue d'automates relies entre eux par la structure abstraite. Ces automates evoluent en temps discret : selon leurs excitations d'entree et leur etat au temps n, un automate effectue une transition vers un nouvel etat au temps n+1. Il est clair par exemple que convenir de "le signal en sortie de l'automate est specifie par son etat" est naturel et n'imposera pas de restrictions sur les potentialites de clacul. Si au depart on avait convenu des deux ensembles distincts pour les etats (N1 etats differents) et les signaux de sorties (N2 signaux possibles en sortie), il faudra sans doute utiliser un ensemble plus grand d'etats (ensemble de cardinalite N3), mais dont le nombre est borne par N2*N1 (cardinalite des paires initiales).

    En revanche, il est tres loin d'etre clair pour moi que les restrictions suivantes ne limitent pas la puissance d'un reseau de neurones :
    • pourquoi les signaux sont-ils scalaires ? Pourquoi ne pas prendre des signaux a plusieurs composantes, des vecteurs ? Dans le cerveau, il me semble que les molecules agissant au niveau synaptique sont legions.
    • pourquoi se restreindre a une fonction "echellon" ? Generalement, pour calculer si une transition aura lieu, on fait une somme ponderee des signaux en entree, et si cette somme depasse un seuil, on induit la transition vers l'etat suivant. Il me semble dans ce cas que c'est effectivement ce qui se passe dans les neurones biologiques. Mais pourquoi ne pas permettre quelque chose de plus general ? Par exemple, une "intensite" de signal en sortie pourrait etre dependante continuement de l'intensite en entree.
    • il me semble aussi que l'on se restreint toujours a ce que le signal en sortie ne soit envoye que vers une seule entree d'un autre automate dans la structure. Meme si l'on utilise des signaux scalaires, n'est-il pas utile que le scalaire puisse etre communique a plusieurs membres cooperants ?
    • la structure elle meme est figee et il n'y a pas d'adaptation dynamique. L'apprentissage est une phase preliminaire a l'exploitation du reseau, mais cet apprentissage cesse ensuite, et d'autre part les liens du reseau ne sont jamais reorgranises

    J'ai bien conscience que l'on arrive deja a faire tellement de choses avec des reseaux simples et pratiques que toutes ces possibilites paraissent superflues. Aussi, dans la liste j'ai essaye de faire un ordre de pertinence : la premiere possibilite (utiliser des vecteurs) peut etre tres utile, mais la derniere possibilite par exemple est vraissemblablement utopique. Mon questionnement n'est pas tant dans un contexte de "Comment ameliorer les algorithmes ?" qu'une reflexion (vague pour moi) de "Comment emerge l'intelligence ?"

    Par exemple, une machine de Turing elementaire : un ruban de papier, un ruban de brouillon et un ruban d'instruction, on n'ecrit que des 0 et des 1, on n'efface pas le brouillon ... est un modele qui permet en theorie de faire tout ce qu'un ordinateur peut faire (machine de Turing universelle). De meme, je voudrais savoir si l'on connait quelles hypotheses dans le cas d'un reseau de neurones permettent de conserver toute les potentialites d'un reseau general, plus proche de la realite biologique du cerveau, i.e. si l'on est capable de separer celles-ci des hypotheses que l'on fait pour des raisons pratiques de complexite et de temps de calcul.

    D'avance je vous remercie pour votre temps, ainsi que d'avoir choisi d'apporter vos precieuses lumieres a FS a l'occasion de cette "Fete de la Science".

    -----
    "Puisque toute ces choses nous depassent, feignons de les avoir organisees"

  2. #2
    A.Guillot

    Re : reseaux de neurones

    Bonjour,

    Je vais vous répondre de façon brève, si j'ai le temps ces jours-ci je chercherai des url qui vous aiguilleront plus précisément...

    (1) signaux scalaires: certains neurones artificiels actuels sont plus sophistiqués que les classiques. Ils peuvent recevoir plusieurs signaux en parallèle que l'on peut vectoriser, correspondant aux neuromédiateurs "directs" d'un neurone biologique, mais aussi des signaux correspondants aux neuromodulateurs (ayant une action plus diffuse, plus longue, etc. que les neuromédiateurs directs) et même aux emissions de gaz (les réseaux gasnet), comme le monoxyde d'azote de certains neurones réels.

    (2) il y a de nombreuses fonctions d'activation pour les neurones formels. Celle qui a la préférence actuelle des modélisateurs est celle qui reproduit le "potentiel de pointe" (spike en anglais) des neurones réels, comme ceux des "spiking neurons" ou "neurones impulsionnels" en français, qui peuvent donner au réseau des performances interessantes de temps réel, synchronisation, etc.

    (3) Il y a maintenant de nombreux travaux sur les "réseaux recurrents" qui, comme leur nom l'indiquent, renvoient de nombreux signaux de sortie dans les couches précédentes. Leur exploitation semble très prometteuse (cf. le Traité de Science. Co. sur l'approche dynamique de la cognition artificielle) L'apprentissage y est très difficile, mais certains travaux essayent de l'améliorer (cf. Emmanuel Daucé, http://esm2.imt-mrs.fr/~dauce/). Leur analyse est également très complexe et nécessite des méthodes statistiques et mathématiques spéciales.

    (4) Il existe également des apperntissages en ligne où les réseaux apprennent continuellement. Certaines connexions deviennent nulles, ce qui peut correspondre à l'éliminatino d'un neurone.

    Last but not least: Un réseau de neurone dont chaque élément est "agrémenté" de gadgets inspirés de la biologie est intéressant car il est beaucoup plus adaptatif (robuste à un changement de conditions; temps réel; etc.), c'est notre critère pour savoir si leur intégration est utile. Mais son fonctionnement peut rapidement devenir complètement incompréhensible pour le chercheur qui l'a conçu. Dans notre domaine de la robotique bioinspirée, nous adoptons ce genre de démarche, mais nous voulons toujours contrôler cet outil, car ce n'est pas la peine de se donner du mal pour concevoir quelque chose qui sera aussi complexe et incompréhensible que leurs modèles, les systèmes vivants!!

  3. #3
    humanino

    Re : reseaux de neurones

    Merci encore, a posteriori cette fois, pour votre excellente reponse. Le page d'Emmanuel Daucé contient deja un certains nombre de references dont je peux me servir comme point d'entree pour explorer ce domaine fascinant. Bien entendu, j'accueillerais neanmoins avec grand plaisir de plus amples suggestions d'approfondissement.
    "Puisque toute ces choses nous depassent, feignons de les avoir organisees"

Sur le même thème :

Discussions similaires

  1. Help!!Réseaux de neurones sur matlab
    Par hela_b dans le forum Mathématiques du supérieur
    Réponses: 10
    Dernier message: 28/11/2008, 16h15
  2. Réseaux de neurones
    Par ixi dans le forum Biologie
    Réponses: 12
    Dernier message: 30/05/2005, 05h48
  3. go/reseaux de neurones?
    Par ixi dans le forum Logiciel - Software - Open Source
    Réponses: 3
    Dernier message: 13/02/2005, 19h25
  4. reseaux de neurones
    Par Caesar dans le forum Logiciel - Software - Open Source
    Réponses: 12
    Dernier message: 31/07/2004, 00h22
  5. Réseaux de neurones
    Par isozv dans le forum Physique
    Réponses: 7
    Dernier message: 09/03/2004, 08h03