Fonctionnement réel d'un neurone

[uinet_propane]

Bonjour à vous,

Dans le but de créer un simulateur de réseau de neurones, j'ai besoin de savoir exactement comment fonctionne un neurone, que l'on va appeler N1. Il y a quelques années, déjà, j'avais participé a une discution très animé mais très interessante sur l'IA dans le forum philosophie (aujourd'hui fermé malheureusement) et nous avions mis le doigt sur un problème de concept.

je precise que mon propos n'est pas de faire une discution sur l'IA n'y sur comment programmer un réseau de neurone, et encore moins de savoir lors de cette discution qui avait raison ou pas.

Mais je revient tout de meme sur ce point. Pour faire court, je considérait un neurone comme un systeme binaire, un interrupteur biologique et je le comparait au transistor. L'un des intervenant m'avais fait la remarque qu'un neurone ne fonctionne pas comme cela (et j'en suis parfaitement conscient), mais d'une facon probabiliste. Loin de moi l'idée de remettre en question les decouvertes en neuro-biologie, mais j'ai besoin de savoir exactement l'impact d'un fonctionnement probabiliste comparer a un fonctionnement binaire.

J'en revient au propos de la discution sur l'IA. Selon moi, l'élement determinant pour comprendre l'intelligence, biologique ou artificiel, passe d'abord par la comprehension du support de l'intelligence. En tant qu'informaticien de gestion (programmeur durant mes loisirs), je connais assez bien le fonctionnement de l'electronique numérique (booléenne). Dans un ordinateur, l'élement actif est le transistor et il ne peut prendre que 2 état : ouvert/fermer (0/1). En tant qu'informaticien, j'avais assimilé un neurone (du point de vue conceptuel) a un transistor. Dans ce modèle (qui est personnel), le neurone prend lui aussi 2 état : excité/au repos.

Mon interlocuteur m'as fait remarquer que le neurone n'est pas binaire, mais probabiliste. J'ai donc besoin de savoir ou se situe ce phénomène probabiliste ainsi que son impact sur le passage d'un signal d'un neurone a l'autre.

En gros, je comprend par "probabiliste" qu'un neurone N1 a une probabilité P de transmettre le signal qu'il recoit sur ces dendrite (si je ne me trompe pas de terme) aux synapse et donc de transmettre l'influx nerveux aux neurones suivant, Nx. Mais je n'en suis pas du tout sur. Car si un neurone a une probabilité P de transmettre le signal, du point de vue du neurone suivant Nx(celui a qui on transmet l'influx nerveux), le neurone N1 est excité ou pas excité, ce qui revient a considéré le neurone N1 comme un systeme binaire, meme si N1 n'est pas un simple interrupteur, mais un ensemble biologique qui dépend fortement de l'etat de ses dendrides. En d'autre terme, ce qui est probabiliste, c'est le passage de l'etat "au repos" a l'etat " excité" (contrairement au transistor qui dépend uniquement d'une tension de seuil, qui est determinée)

Je peux faire une autre analogie avec la physique quantique, ou les particules isolé sont dans une superposition d'etat mais qui suite a l'interaction avec l'environnement (telle qu'une mesure) passe dans un etat determiné (c'est le problème de la décoherence). Appliquer au neurone, cela revient a dire que le neurone N1 est dans une superposition d'etat qui dépend de l'etat des drendrides, genre plus il y a de dendride excité, plus le neurone aura la probabilité de passer dans l'etat excité. D'ou un comportement probabiliste puisque l'etat des dendride ne peut pas etre determiné avec précision (dans l'absolu on pourrait, mais quant on sais qu'1 neurone est connecté a 10'000 neurones, cela revient a chercher une aiguille dans une botte de foin, d'ou une modelisation probabiliste)

J'en viens a ma vrai question : est-ce que cette conception personnelle est erroné ou est-elle relativement correct ? Il s'agit bien d'une conception personnel et non pas d'une theorie sur la neuro-biologie

Dans le cas ou elle est érronée, ou ce situe l'erreur de comprehension ?

[Nicolas Daum]

Mais je revient tout de meme sur ce point. Pour faire court, je considérait un neurone comme un systeme binaire, un interrupteur biologique et je le comparait au transistor. L'un des intervenant m'avais fait la remarque qu'un neurone ne fonctionne pas comme cela (et j'en suis parfaitement conscient), mais d'une facon probabiliste. Loin de moi l'idée de remettre en question les decouvertes en neuro-biologie, mais j'ai besoin de savoir exactement l'impact d'un fonctionnement probabiliste comparer a un fonctionnement binaire.

J'en revient au propos de la discution sur l'IA. Selon moi, l'élement determinant pour comprendre l'intelligence, biologique ou artificiel, passe d'abord par la comprehension du support de l'intelligence. En tant qu'informaticien de gestion (programmeur durant mes loisirs), je connais assez bien le fonctionnement de l'electronique numérique (booléenne). Dans un ordinateur, l'élement actif est le transistor et il ne peut prendre que 2 état : ouvert/fermer (0/1). En tant qu'informaticien, j'avais assimilé un neurone (du point de vue conceptuel) a un transistor. Dans ce modèle (qui est personnel), le neurone prend lui aussi 2 état : excité/au repos.

Mon interlocuteur m'as fait remarquer que le neurone n'est pas binaire, mais probabiliste. J'ai donc besoin de savoir ou se situe ce phénomène probabiliste ainsi que son impact sur le passage d'un signal d'un neurone a l'autre.

[…]

J'en viens a ma vrai question : est-ce que cette conception personnelle est erroné ou est-elle relativement correct ? Il s'agit bien d'une conception personnel et non pas d'une theorie sur la neuro-biologie

Dans le cas ou elle est érronée, ou ce situe l'erreur de comprehension ?

Ta conception a toutes les chances d’être erronée dans la mesure où il n’y a pas encore de réponse certaine à ta question. On sait en gros comment fonctionne un neurone : le signal commence aux dendrites, passe par le corps, ou ne passe pas, puis dans l’axone, puis dans ses ramifications et enfin dans les synapses.
Le problème commence par le fait qu’un neurone peut avoir entre 1 et 100.000 connexions (on évalue la moyenne à 50.000). On n’a donc pas un « passage d'un signal d'un neurone a l'autre » mais bien souvent de dizaines de milliers de neurones à des dizaines de milliers d’autres. On est très loin d’avoir pu cartographier tout ça.
De plus les différents types de neurones ne fonctionnent pas tous de la même façon. Certains sont parcourus par des ondes lorsqu’ils sont au repos. Enfin un même neurone peut transporter différents types d’ondes.

On est très très loin de l’électronique booléenne ou même quantique.

ND

[clementdousset]

L'excitation d'un neurone est en fait marquée essentiellement par l'oscillation de sa membrane liée au rythme des polarisations et dépolarisations successives. Cette oscillation varie en fréquence. Elle est ou non en phase avec l'oscillation d'autres neurones excités concommitamment. Donc dire que le neurone ne peut connaître que deux états: l'excitation ou le sommeil, c'est en parler de façon tout à fait réductrice. Il semble bien maintenant que l'étude longtemps limitée à l'algorithme d'interactions où le neurone était effectivement considéré comme un générateur à réponse binaire s'oriente vers une étude des fréquences et des phases de neurones individuels ou de groupes de neurones. Pour ma part, j'ai déjà souligné dans plusieurs interventions l'intérêt que cette étude pourrait avoir pour départager diverses théories sur la conscience.

[Jiav]

J'en viens a ma vrai question : est-ce que cette conception personnelle est erroné ou est-elle relativement correct ?

Un modèle est toujours un modèle. Un modèle de neurone, c'est jamais un vrai neurone. Un modèle de transistor, c'est jamais un vrai transistor. En l'occurrence un vrai transistor n'est pas un truc binaire: tu as toujours un pouillème de voltage en plus ou en moins.

C'est généralement pas grave parce que l'erreur que tu fais en pensant que c'est binaire est trop petite pour faire une différence dans le comportement attendu de ton tas de transistor. C'est donc bien sur ce critère que tu vas savoir si ton modèle est une approximation suffisamment correcte de la réalité.

Si ton modèle te conduit à des simulations dont le comportement reflète une propriété des comportements des "vrai réseaux de neurone", alors ton modèle capture les éléments essentiels à une façon de faire émerger cette propriété (avec le bémol que ce n'est pas nécessairement la seule façon). A l'inverse, s'il y a une propriété intéressante qui ne se retrouve pas dans ton modèle alors il y a quelque chose d'important qui manque.

[uinet_propane]

Très interessante toute vos réponse. J'arrive un peu mieux a comprendre le fonctionnement du neurone lui meme, meme si j'ai encore de la peine a tout comprendre.

Pour savoir si ma conception n'est pas trop erroné, il me reste plus qu'a coder mon simulateur et voir si ce que je simule correspond plus ou moins a la réalité, tout en sachant que ce n'est qu'un modele et pas la realité.

A d'en 5 ans, quant j'aurais codé mon simulateur

[caribou.volant]

Très interessante toute vos réponse. J'arrive un peu mieux a comprendre le fonctionnement du neurone lui meme, meme si j'ai encore de la peine a tout comprendre.

Pour savoir si ma conception n'est pas trop erroné, il me reste plus qu'a coder mon simulateur et voir si ce que je simule correspond plus ou moins a la réalité, tout en sachant que ce n'est qu'un modele et pas la realité.

A d'en 5 ans, quant j'aurais codé mon simulateur

Coucou, connais-tu la phylogénèse du système nerveux, qui montre comment s'est complexifié le cerveau d'espèce en espèce.

Penses-tu déjà que tu pourrais reproduire le modéle simple d'un épithélioneuriens : ces animaux ont un systéme non centralisé, les neurones ne sont pas regroupés mais dispersés dans l'ensemble de l'épithélium de l'animal ( méduse, anémone de mer etc. ) .

La majorité des neurones se rétractent lorqu'on les touche. Ces animaux apparaissent très tôt dans l'évolution, ils ne possédent pas de symétrie et ont un orifice pas de bilarité.

Etant donné qu'il s'agit du premier type de système nerveux, le plus simple, et que d'un point de vue émergentiste, la complexité de notre cerveau d'Homme s'est appuyé dessus pour servir "l'intelligence" ou "la conscience", est-ce que l'étude de l'IA à partir de ce type d'animaux peut t'avancer pour répondre à ce difficile probléme de la science ?

Après les épithélioneuriens, les hyponeuriens succédent : les neurones sont centralisés et forment des paquets ( ganglions) On vit ça chez les invertébrés ( annélides, ver de terre animaux à anneaux, et molusques et les arthropodes) avec un système nerveux ventral.

Puis on a les épineuriens :nous entre autres les vertébrés avec un système nerveux qui se trouve sur la face dorsale et est composé de cavités, et qui s'est composé plus tard dans l'évolution d'une corde ( qui maintient la moelle épinière ) , avec une même organisation du système nerveux.

Voilà j'espère t'avoir aidé !
Karine

[uinet_propane]

Voilà j'espère t'avoir aidé !
Karine

Oui, et tu pourra pt etre m'aider encore, ainsi que les autres.

J'ai besoin d'avoir des approfondissements, et comme vous paraissez maitrisé le sujet et etre ouvert a la discution (ce n'est pas un débat a proprement parler), j'en profite.

D'abord, je vais récapituler mes connaissances très basique sur le neurone. c'est une récapitulation de MES connaissance, pas un modele ou une théorie ou quoi que se soit d'autre, donc svp ne me prenez pas pour un pseudo-scientifique, je ne suis même pas ingénieur.

Le neurone possède :

- des dendride : element recepteur "connecté" a plusieurs milliers de synapses.
- 1 corps cellulaire : contient la machinerie cellulaire (Noyau, ADN, mitochondrie, etc...)
- 1 axione : une sorte d'antenne ou de queue d'ou partent ...
- des milliers de synapses : element emetteur, "connecté" individuellement a un autre neurone.

Le neurone est une cellule qui possède un noyau et un ADN et est donc un systeme vivant qui a besoin d'énergie et qui génère des dechets. Comme toute cellule, il tente de se maintenir dans un etat d'homeostasie.

Le neurone est aussi un systeme bioelectrique qui repose sur l'electricité statique (par opposition a l'electricité continue ou alternative). Son aspect "électrique" est dû à des ions, en particulier Calcium (Ca) et Potassium (K) (ne me demandez pas lequel est le cation/l'anion, je sais plus). Ses ions se deplace continuellement entre l'interieur du neurone et l'environnement exterieur (le liquide céphalo-rachidien dans le cas de l'etre humain) en passant par des pompes a proton, et ce mouvement provoque une oscillation de la membre.

Le neurone communique avec les autres neurones en émettant (ou recevant) des neuro-transmetteurs. Ces neuro-transmetteurs (NT) se fixe sur les recepteurs des dendrides et déclenche un processus biochimique qui provoque une réponse du neurone sur ses synapse (ou l'absence de réponse active, ce qui est tout de même une réponse "fonctionnelle").

Qu'en au systeme nerveux (quelque soit son degré de complexité, cf msg de caribou.volant), il est constitué de capteur sensoriel (les sens, dans le sens "cellules sensible à l'environnement exterieur et/ou interieur"), de nerfs (les "autoroutes de l'information" biologique), des neurones qui forme un réseau (plus ou moins centralisé) et "d'actionneur" biologiques (les muscles ou des cellules spéciale qui réagissent a un signal bioelectrique en liberant des hormones).

Je croit que j'ai fais le tour, général, de tout les aspect d'un systeme nerveux et du neurone (element caractéristique d'un systeme nerveux).

Je vais continuer sur un autre post pour lancer une serie de question/réponse, donc svp, essayez "d'attendre" le msg suivant avant de poster une réponse. Ca serais sympa .

[Nicolas Daum]

Ton résumé présente un certain nombre d’imprécisions et de confusions. Ce serait trop long de tout reprendre. Tu devrais préciser et approfondir tout ça à bonne source.
Par exemple :
http://fr.wikipedia.org/wiki/Système_nerveux
http://fr.wikipedia.org/wiki/Neurone
http://fr.wikipedia.org/wiki/Cerveau
http://fr.wikipedia.org/wiki/Théorie_du_neurone
Pour commencer.
Bonne lecture

ND

[uinet_propane]

En fait, je croit que je prefere savoir si mes connaissances sont correct avant de me lancer dans des questions alors que je suis pas sur que mes bases soit correcct. Comme le dit ND

[Nicolas Daum]

En fait, je croit que je prefere savoir si mes connaissances sont correct avant de me lancer dans des questions alors que je suis pas sur que mes bases soit correcct. Comme le dit ND

Etudie bien les bases.
Pour ta simulation, je ne pense pas qu'elle puisse se réaliser avec un hardware. Le fonctionnement des circuits électroniques a des contraintes trop différentes.
Il me semble que c'est plutôt par programmation qu'il y aurait la souplesse nécessaire. Je ne sais d'ailleurs pas ce qui a été fait à ce jour.

ND

[uinet_propane]

Etudie bien les bases.
Pour ta simulation, je ne pense pas qu'elle puisse se réaliser avec un hardware. Le fonctionnement des circuits électroniques a des contraintes trop différentes.

Entiérement d'accord avec toi. L'electronique ne permet pas de simuler "physiquement" un neurone et encore moins un réseau de neurone.

Il me semble que c'est plutôt par programmation qu'il y aurait la souplesse nécessaire. Je ne sais d'ailleurs pas ce qui a été fait à ce jour.

A ma connaissance, les programmes qui ont été fait jusqu'a maintenant sont des réseaux de neurones probabiliste (selon mes derniers souvenir). Certe, ces réseaux arrivent a des résultats très interessant, comme la capacité a reconnaitre des visages ou interpreté des signaux cerebraux (controle d'un ordinateur par la pensée) mais de mon point de vue, je pense que ce genre de réseau est loin de simuler la réalité. Parce que pour moi un neurone n'est pas probabiliste, mais deterministe (et pas binaire, je l'ai bien compris ). J'arrive pas a imaginé mon cerveau comme qqch de probabiliste, simplement de tellement complexe qu'il est plus efficace de simuler cela en utilisant les probabilité que de créer un systeme deterministre mais chaotique (c'est totalement idiot ce que je viens de dire, incohérent, mais je trouve pas mieux pour exprimer ce que je veux dire)

Mais lors du débat sur l'IA, on reproche souvent aux ordinateurs d'etre trop "binaire", trop determiné et que ceci impose des limites. Je pense justement le contraire. Je pense que l'ordinateur est capable d'etre programmé pour simulé un "cerveau" virtuel. Certe, le code reste booléen mais le resultat lui ne l'ai plus.

Mon idée consiste donc a créer une sorte de "machine virtuelle" qui repose n'ont pas sur un calcul mathématique mais plutot sur un schema spatial et c'est ce schema (ou réseau) qui forme le support du futur programme "IA".

Mais pour y arrivé, je doit créer un neurone virtuel parfait (parce que c'est un modele et pas un neurone reel) puis connecté un maximum de ces neurone virtuel en un réseau spatial qui ensuite permet de "coder" spatialement une sorte d'IA.

Je sais pas si c'est très clair.

[Faith]

Mais pour y arrivé, je doit créer un neurone virtuel parfait (parce que c'est un modele et pas un neurone reel) puis connecté un maximum de ces neurone virtuel en un réseau spatial qui ensuite permet de "coder" spatialement une sorte d'IA.

Même en supposant que tu dispose d'un modèle parfait de neurone, il est à peu près impossible que tu arrives à réaliser un réseau de neurones comparables à un cerveau.

Je m'explique: l'immense avantage du biologique face au numérique, c'est la simultanéité.
Dans un cerveau, tous les neurones fonctionnent en même temps.
Dans un ordinateur, tu peux au mieux avoir autant de fonctionnements simultanés que tu as de processeur (ou de coeur) soit 8 pour les meilleurs PC actuels.
Tu peux éventuellement utiliser des processus séparés, mais c'est une solution de très mauvaise qualité, bien loin de retracer la véritable simultanéité (sans compter les limites en nombre de processus sur les systèmes courants)

Ta seule chance éventuelle serait de voir avec un OS spécialisé dans le temps réel... mais même avec ça, ça me semble impossible

[uinet_propane]

Je m'explique: l'immense avantage du biologique face au numérique, c'est la simultanéité.

Je suis d'accord avec toi sur le fait que le cerveau est massivement parallele et que le PC est simplement sequencielle. Mais si un cerveau fonctionne a 100Hz et qu'un PC fonctionne a 2GHz (2 milliard de cycle par seconde), la différence permet de simuler le parallelisme.

Ce que je veux dire, c'est que si je part du principe que mon réseau de neurone fonctionne a 100Hz (donc 1 cycle toute les 10 ms), j'ai 9,999ms pour effectué les operation en mode sequencielle alors qu'en realité elles se font en parallele.

Et a 2Ghz, 10 ms c'est presque l'eternité. Ca représente 20 millions de cycle informatique par ms, donc si mon simulateur necessite moins de 200 millions de cycle pour effectué la simulation (l'execution du code complet s'effectue en moins de 200 millions de cycle), je suis très proche de la réalité, meme si l'execution se fait sequenciellement. Proche de la réalité dans le sens ou la totalité du réseau est calculer dans ce laps de temps de 10ms. Au final, le réseau est totalement recalculer en 10ms, ce qui fait que du point de vue du réseau, il fonctionne bien a 100Hz (un cycle complet tous les 10 ms).

[Faith]

Ce que je veux dire, c'est que si je part du principe que mon réseau de neurone fonctionne a 100Hz (donc 1 cycle toute les 10 ms), j'ai 9,999ms pour effectué les operation en mode sequencielle alors qu'en realité elles se font en parallele.

Qu'est-ce qu'un cycle quand on parle de cerveau ? Combien de cycles informatiques représentent un cycle biologique ?

Et a 2Ghz, 10 ms c'est presque l'eternité. Ca représente 20 millions de cycle informatique par ms

Pour te donner une idée: je suis en train de travailler à un mini monde de 360.000 cases. Chaque case n'utilise que les informations de ses 4 voisines pour évoluer (rien par rapport à un cerveau).
Pour le moment, il me faut 1000s pour faire évoluer toutes les cases de 5000 cycles. Alors qu'il n'y a quasiment aucun calcul: quelques additions/soustractions, très peu de multiplication et aucune division (les division étant extrêmement coûteuses en temps de calcul)

Combien de calculs nécessite l'évolution d'un neurone ?

, donc si mon simulateur necessite moins de 200 millions de cycle pour effectué la simulation (l'execution du code complet s'effectue en moins de 200 millions de cycle), je suis très proche de la réalité, meme si l'execution se fait sequenciellement.

Le problème du séquentiel, c'est qu'il ne connait pas les interruptions (très important en temps réel), une fois que tu commences ton traitement, il se termine, même si quelque chose est arrivé entre temps... Ca peut poser problème.

Le seul moyen pour éviter ce problème, c'est la parallélisation (processus séparés) => tu vas très vite être limité par le hardware).

Un point important si tu te lances dans ce travail titanesque: il est impératif que les neurone ne soient pas exécutés dans un ordre fixe (N1, puis N2, puis N3, ...) sinon tu auras des effets de bords détestables.

[uinet_propane]

Qu'est-ce qu'un cycle quand on parle de cerveau ? Combien de cycles informatiques représentent un cycle biologique ?

Aucune idée, seulement, les processus biologique ne sont pas instantanné, ils prennent un certain temps. C'est ce temps que j'appel cycle. Mais le but n'est pas de simuler les cycle biologoqie, mais les cycles "fonctionnel"

Pour te donner une idée: je suis en train de travailler à un mini monde de 360.000 cases. Chaque case n'utilise que les informations de ses 4 voisines pour évoluer (rien par rapport à un cerveau).
Pour le moment, il me faut 1000s pour faire évoluer toutes les cases de 5000 cycles. Alors qu'il n'y a quasiment aucun calcul: quelques additions/soustractions, très peu de multiplication et aucune division (les division étant extrêmement coûteuses en temps de calcul)

Ce serais pas le "jeu de la vie" par hasard ?? Le jeu où l'avenir d'une "cellule" depend de ses voisine ?? C'est avec un programme de ce type que j'ai créer un monde avec des propriété emergeantes. Mes cellules devenait cannibal alors que je n'avais pas du tout programmé ce comportement.

Si tu fais 5000 cycle "monde" en 1000s, ca veux dire que ton monde est cadencé à 20Hz (5 cycles par seconde). C'est deja pas mal pour un monde de 360'000 individu.

Combien de calculs nécessite l'évolution d'un neurone ?

N'ayant pas encore codé le neurone, je peux pas te dire.

Le problème du séquentiel, c'est qu'il ne connait pas les interruptions (très important en temps réel), une fois que tu commences ton traitement, il se termine, même si quelque chose est arrivé entre temps... Ca peut poser problème.

D'accord avec toi d'un point de vue théorique, mais si tu utilise des "flags" (des variable booleene) tu peux simuler des interruptions. C'est comme ca que bcp de programme fonctionne (dont les jeux TR). En fonction des flags, le cycle de calcul change (avec des if, des boucles ou des select). Il suffit que le flag soit modifié 1x dans le programme pour que tout le processus de calcul soit différent.

Un point important si tu te lances dans ce travail titanesque: il est impératif que les neurone ne soient pas exécutés dans un ordre fixe (N1, puis N2, puis N3, ...) sinon tu auras des effets de bords détestables.

Entièrement d'accord. Je pense que je vais faire comme j'avais fait avec mon simulateur electronique. Je commence par le neurone d'entrée et puis je suit ses " connection". Si le neurone suivant (du point de vue spatial) necessite de calculer ses entrée (donc ses neurone parents) je commence par calculer ces entrées. L'avantage c'est que quelque soit le premier neurone calculer, je fini par tout calculer, mais en suivant la "géometrie" du réseau et non pas en calculant les neurone dans l'ordre "arithmetique".

Bien sur, ce n'est pas comme ca que cela se passe en realité, mais comme tu le dit, un processeur est sequencielle, il faut bien commencer quelque part.