Réseaux de neurones

[invite6f044255]

Bonjour a tous,

voila, je viens demander une petite faveur aux biologistes du forum: je travaille avec des reseaux de neurones en info et j'aimerai montrer que les informaticiens se sont inspires des neurones biologiques. J'ai fait une petite intro, mais j'aimerai etre sur de ne pas raconter de betises . Donc, si vous pouviez jeter un oeil a ma bafouille pour verifier que je ne dis pas d'enormites....

\subsection{Biological neurons}

Neurons are specific cells supposed to conduct and to treat information in
the human body. They are composed of a main body, called the soma, performing
a sum of all the signals it receives from the dendrites, branches
that conduct information (1 mV current, exciting or inhibiting) from other
neurons. An average neuron is linked with between 1000 and 10000 other ones.
The neuron then yields a fixed 0 or 100 mV action potential whether the sum
is lower or higher than an intrinsic -30 mV threshold, that is conducted along
a prolongation of the cellular body called the axon. The latter may eventually
split in several branches and activate dendrites of other neurons.
This way, the information is at the same time conducted (by the dendrites
and the axons) and treated (by the soma).

\subsection{Perceptron}

A perceptron is a representation of a neuron: it is an object that achieves
a weighted sum of its entries and yields a boolean output by comparing the
sum to an intrinsic threshold. The main differences with the biological
neurons are the following:
\begin{itemize}
\item the sum the perceptron performs is weighted
\item the number of inputs of a perceptron is much lower
\item the threshold is a variable depending on the perceptron
\end{itemize}

Merci beaucoup!!

PS: c'est pas la version definitive!! Donc, il se peut que l'anglais utilise ne soit pas le meilleur....
-----

[invite73192618]

Salut,

Général:
1. McCulloch et Pitts ont déjà publié ce travail en 1950 (et il y a plein de bonnes choses sur le net -surtout en anglais). Publication refusée.
2. Il y a des millions de type différents de neurones, dont le fonctionnement n'est pas toujours bien compris mais en tout bien plus complexe que les automates appelés "neurones artificiels". Personnellement, je trouve que l'analogie entre réseaux artificiels et biologie n'est pas tellement dans le fonctionnement des automates, mais plutôt dans le fait que le traitement de l'information se fait de façon distribuée et parallèle. C'est en réalité ce trait qui fait que ce type de modélisation se raproche de certains comportements biologiques (comme les courbes d'apprentissage ou la robustesse aux destructions randomisées). Alors pour le perceptron je dirais plutôt que le seul point commun est ...


Détaillé:

performing a sum of all the signals it receives from the dendrites, branches that conduct information (1 mV current, exciting or inhibiting) from other
neurons.

Courant n'est pas le bon terme: il s'agit plutôt d'une vague de dépolarisation (variation du potentiel membranaire). Entre la dendrite et le soma, la transmission se fait en analogique (plus le signal est grand, plus la dépolarisation est grande) et c'est toujours exitateur. Les mécanismes d'inhibition se passent en diminuant la capacité de la membrane à se dépolariser jusqu'au seuil de décharge (d'ouverture des canaux Na).

An average neuron is linked with between 1000 and 10000 other ones.

Ajoute un 0.

The neuron then yields a fixed 0 or 100 mV action potential whether the sum is lower or higher than an intrinsic -30 mV threshold

Disons plutôt: si le seuil est dépassé, alors il y a génération d'un potentiel d'action. Ce potentiel d'action se propage le long de l'axone ce qui fait passer le potentiel de membrane de -70 (repos) à +50 (pic) à -80 (période réfractaire) mV (eurk les chiffres fixes en biologie animale!) de proche en proche (de noeud de Ranvier en noeud de Ranvier si l'axone est myelinisé). La période réfractaire évite probablement que le pa change de sens en court de route.

This way, the information is at the same time conducted (by the dendrites and the axons) and treated (by the soma).

Les dendrites sont plutot du coté traitement que conduction, et tu oublis les synapses...

\item the sum the perceptron performs is weighted

... qui font la pondération des signaux.

\item the threshold is a variable depending on the perceptron

C'est un détail: 1. avec les rêgles de rétropopagation le seuil n'a pas d'importance à condition qu'en bout de ligne la fonction sortie=f(entrées pondérées) soit non linéaire. 2. dans le cas général, un changement du seuil équivaut simplement à un changement de pondération des synapses

Bonne continuation

[invite6f044255]

Merci beaucoup Gamma!!

Je ne sais pas pour le moment jusqu'a quel point detailler cette analogie qui introduit le perceptron (c'est un peu mon probleme en fait, faire pas trop long, sans dire d'absurdites....y'a du boulot a ce que je vois ), mais je vais tenir compte de tes conseils.

Personnellement, je trouve que l'analogie entre réseaux artificiels et biologie n'est pas tellement dans le fonctionnement des automates, mais plutôt dans le fait que le traitement de l'information se fait de façon distribuée et parallèle. C'est en réalité ce trait qui fait que ce type de modélisation se raproche de certains comportements biologiques (comme les courbes d'apprentissage ou la robustesse aux destructions randomisées).

Oui, et c'est pour cela que j'ai aussi un passage sur le fait qu'un ordinateur est seriel alors que le cerveau fonctionne en parallele (avec tout ce que ca implique de redondance, ce qui est positif), et que les reseaux de neurones sont la pour essayer de faire accomplir a un ordinateur des taches que le cerveau resoud relativement facilement....
Mais, j'ai envie de montrer que meme a l'echelle du perceptron, la programmation neurale s'inspire du modele biologique.

[invite73192618]

y'a du boulot a ce que je vois .

Pas tant que ça, mais le correcteur est un peu maniaque sur ce genre de sujet

la programmation neurale s'inspire du modele biologique

Le terme est bien choisit! En fait McCulloch et Pitts voulaient argumenter que le cerveau n'est qu'une machine et que donc on pouvait copier son fonctionnement. Leur représentation du neurone en pondération des entrées (synapses), sommation (transmission analogique des dendrites au soma), et seuillage (fonctionnement en tout ou rien au niveau de l'axone) est encore actuelle (en programmation), et même omniprésente.

[A voir en vidéo sur Futura]

[invite143758ee]

salut !
mais autour de moi, on dit que les réseaux de neurones ne sont pour l'instant qu'un outil d'ingénieur, et s'éloigne du saint graal permettant d'imiter le cerveau.
Alors, on me dit que c'est dû à la mauvaise modélisation du neurone. Pourtant, il semble assez clair qu'on peut toujours mesurer la fonction de transfert, bien qu'il est mis en évidence qu'il y a un caractère probabiliste(mais on peut quand même essayer de trouver la distribution ? non?) dans la transmission du signal.

voilà, la question, j'aurais juste besoin de savoir si les réseaux de neurones probalistes se rapproche plus du côté humain, et permettait un apprentissage radicalement différent des autres réseaux(au niveau efficacité, en se rappelant quand même qu'il faut des années pour qu'un enfant se construise), en espérant pouvoir un jour, lui faire apprendre...beaucoup de choses, mais aussi commettre bcp d'erreurs,mais ceci est une autre histoire.
bon, ça vire à la science fiction, pardon.

[invite73192618]

mais autour de moi, on dit que les réseaux de neurones ne sont pour l'instant qu'un outil d'ingénieur, et s'éloigne du saint graal permettant d'imiter le cerveau. Alors, on me dit que c'est dû à la mauvaise modélisation du neurone.

A vrai dire, personne n'a essayé d'imiter le cerveau, c'est à dire de programmer des réseaux comportant une centaine de milliard de neurones, quelques millions de milliards de synapses... et plusieurs années de développement en contact avec l'environnement comme tu le notes plus loin. Alors c'est dur de dire à quoi serait du un échec d'une modélisation qui, dans les faits, n'a jamais été tentée!

Pourtant, il semble assez clair qu'on peut toujours mesurer la fonction de transfert, bien qu'il est mis en évidence qu'il y a un caractère probabiliste(mais on peut quand même essayer de trouver la distribution ? non?) dans la transmission du signal.

Tu as tout à fait raison, mais en fait je ne crois pas que la modélisation du neurone de base soit réellement le problème le plus crucial. Nos petits réseaux artificiels ont des propriétées très intéressantes et similaires à bien des égards au comportement des systèmes nerveux biologiques, et quand on se penche sur les détails on s'aperçoit que ceux-ci ne sont pas très important: une règle de Hebb demeure efficace pour une large gamme de neurones par exemple, la rétropopagation itou.

voilà, la question, j'aurais juste besoin de savoir si les réseaux de neurones probalistes se rapproche plus du côté humain, et permettait un apprentissage radicalement différent des autres réseaux

Techniquement, ça métonnerait que ça change grand chose pour les réseaux artificiels dont on dispose: on fait déjà du probabiliste en tirant au hasard le nombre de neurone, les initialisations des poinds synaptiques, etc. Avec d'autre réseaux que ceux que l'on connait, pourquoi pas? Il y a quelques personnes en électrophysiologie qui croient en un rôle du bruit neuronal, que ce soit pour orienter la formations des assemblées distribuées (utilisation de la corrélation des bruits) ou à cause des propriétés de dynamique non linéaire (systèmes chaotique) qui pourraient avoir un rôle important.

bon, ça vire à la science fiction, pardon.

bon, ça vire à la science fiction, cool!

[invite143758ee]

merci pour ta réponse!

j'aurais voulu avoir également ton avis si tu le veux bien sur la modélisation boite noire par les réseaux de neurones.(j'espère que les modérateurs me pardonneront que ce ne soit pas très biologique tout ça!)

par exemple j'ai un ensemble de mesure et je connais les causes.
Je fait une modélisation boite noire. Est-ce qu'un réseau de neurones pourrait m'aider à "prédire" mes futures mesures, si je change légèrement mes causes, par exemple la tension ou les concentrations chimiques,
en fait par exemple si je fais un apprentissage avec des concentrations constantes, est-ce que si je fait dépendre du temps la concentration, est-ce qu'on peut s'attendre à de bonnes prédictions à la sortie ?

ou estce que la modélisation ne permet juste d'avoir une prédiction des points entre les mesures sans pouvoir changer les causes ?

j'avoue que ça n'a pas l'air d'être clair ! Si tu es motivé de m'éclairer, je pourrais expliciter plus en détail à moins que j'en demande trop aux neurones !(aux miens et aux neurones formels ! )

[invite88cd5f09]

coucou a tous
je voudrai juste dire que les reseaux de neurones peuvent faire de super truc.
mais il faut deja passer de grosses banques de test avant...

si non les reseaux sont la pour tenter de prédir des résultats en modifiant les valeurs qu'on rentre...c'est un peu leur but.

quant au bon resulat, ça apres, c'est pas garantie a 100%, y'a que le travail bio pour le dire(encors que... )
mais si le reseaux et bien réglé, ca peux marcher...

[invite73192618]

j'espère que les modérateurs me pardonneront que ce ne soit pas très biologique tout ça!)

C'est vrai, il faudrait déplacer le fil en Sciences Cognitives. Ah zut ça existe pas

Est-ce qu'un réseau de neurones pourrait m'aider à "prédire" mes futures mesures

Comme le dit skybax, les reseaux de neurones peuvent faire de super truc, mais faut quand même pas leur demander l'impossible! Il n'y a aucun moyen de savoir si la fonction trouvée à partir d'un sous-ensemble de résultat est valable en dehors des conditions testées, que ce soit avec un réseau de neurone ou n'importequel autre modèle. En fait ça dépendra du phénomène plus que du modèle.

Point technique: inutile de rentrer des valeurs constantes dans un modèle de réseau de neurone: elles ne feront aucune différence à la sortie (autrement dit: rentrer une concentration qui reste constante reviens à ne pas utiliser la concentration).

Si tu es motivé de m'éclairer, je pourrais expliciter plus en détail

Si tu as un tableur genre excel, je peux même t'expliquer comment faire un réseau à rétropopagation

[invite143758ee]

Si tu as un tableur genre excel, je peux même t'expliquer comment faire un réseau à rétropopagation

ok ! merci,
je ne sais pas si tu voudrais continuer ici ou par mail ?
ça dépend si ça en intéresse d'autre, j'imagine que oui !

les reseaux de neurones peuvent faire de super truc, mais faut quand même pas leur demander l'impossible!

j'imagine ! je me disais que ça pouvait peut être m'aider à prendre une décision: parce que je sais faire les calculs théoriques, mais ça prend 2 mois, et si ça peut m'aider à distinguer des choses intéressantes ...qui sait ! qui tente rien, n'a rien. Peut être que ça sera une impasse ? Bah, j'aime bien les neurones et ça va marcher ! au pire, c'est une excuse pour bifurquer un peu vers ce domaine, l'air de rien !!!

[invite73192618]

Allons-y sur place

Il faut d'abord savoir quel type de problème tu veux aborder: est-ce que tu veux faire une "fonction" qui trouve des sorties en fonction d'entrées (mémoire hétéroassociative), ou est-ce que tu veux une "mémoire" qui va apprendre des séries d'exemple (mémoire autoassociative) et redonner un exemple à partir d'un sous ensemble de cet exemple? Combien de neurones en entrée, en sortie (ou simplement au total si c'est un auto-associateur)?

Dans tous les cas (qui ne sont pas très différent mais vont influer sur la façon de faire le modèle), tu peux commencer à ranger tes données en une série de ligne, chaque ligne représentant un exemple de ne neurone d'entrée et de ns neurones de sortie (chaque colonne représente donc un "type" d'entrée (ou de sortie). Pour des raisons pratiques, je préfererais que les valeurs soit normalisées entre 0 et 1: valeur_normalisée=(valeur_anci enne-valeur_min)/(valeur_max-valeur_min) -à faire soit par colonne, soit sur toutes les valeurs.

[invitea57d4839]

marf zut je vois ce sujet un peu tard et faudrait que je prenne vraiment du temps pour répondre... j'ai 1 demie tonne de remarques à faire... un peu la flemme là...

Juste une chose gamma, lorsque tu dis que personne n'a jamais essayé d'imiter le ecrveau méfie-toi j'en connais que tu vexerais sacrément... Ok pas sur le nombre de neurones dans ton réseau mais ca c'est juste parce que ce serait inutile de rallonger à des décennies l'étude d'un système tel alors qu'on sait d'avance que nos recherches en la matière ne sont pas assez avancées pour faire un truc satisfaisant. Pour autant il y a de nombreuses équipes de recherche qui font encore de l'IA dite "forte" en essayant de donner à des réseaux les mode de fonctionnement observés en biologie et en psychologie simplement sur des objectifs plus restreints en premier lieu.

Prend par exemple l'introduction de spiking neurons (neurones artificiels prenant en compte la temporalité d'émission du potentiel d'action dans la modélisation sur la base de l'importance qui en a été nommé en neurosciences) qui se fait actuellement... C'est quand même des travaux en neuromimétisme!!!
Toutefois il est à noter que le rapprochement entre neuro et IA ne se fait pas que via des algo connexionnistes (réseaux de neurones) mais aussi via des algos génétiques...

Ensuite méfie-toi tous les reseaux multi-couches n'utilisent pas de rétropropagation... tu ne peux donc pas faire de généralité sur l'ensemble des réseaux de neurones artificiels sur la base d'éléments qui n'en concerne qu'une partie... :?

Par contre gamma merci de rappeller aux modos susceptibles de passer qu'il y a des sujets qu'auraient vraiment besoin d'une partie sciences cognitives... je te soutiens!!!

Concernant les calculs théoriques concernant les capacités de ton réseau de neurones, entre autre à converger vers un état stable lors de l'apprentissage, je ne te conseille pas d'en faire trop en anticipation de ton modèle car peu de types de réseaux offrent la possibilité de démontrer mathématiquement qu'ils aboutissent à une solution... ca peut très vite tourner au casse-tête... surtout dès que tu te penche sur des réseaux plus complexes qu'un perceptron et encore pire lorsque ce sont des réseaux mixtes qui attribuent des architecture différentes de neurone selon l'aire du réseau (j'entends par le processus que doit assurer le sous-système du réseau)...
Il m'a été présenté des réseaux associant jusqu'à 8 architectures connexionnistes dans le même réseau global. Après voilà ca dépend quel est le but de ton travail...

Sinon pour faire un réseau multicouche à retropropagation de l'erreur va donc sur google tu trouvears plein de cours sur le sujet avec exercices et même parfois exemple d'algo efficace...

Et puis concernant l'aspect "perceptron s'inspire de l

[invitea57d4839]

Et puis concernant l'aspect "perceptron s'inspire de la bio", je rajouterais que de même que les poids de connectivité entre neurone varie en fonction de l'activité de la synapse la reliant (en modifiant souvent la membrane postsynaptique) ben ton neurone il va avoir une connectivité modifiée par son activité et ce à chaque étape d'apprentissage... En outre on essaie aujourd'hui de faire des réseaux qui fonctionne en permanence "online" j'entends par là qui font une modif des poids au cours des phases de généralisation aussi...

bon amusement!!!