Neurone / Réseaux de neurone

[quanta62]

Bonsoir,

Voila j'ai plusieurs question sur les neurones et sur l'activité cérébrale en générale.

1) Je pense avoir bien compris que un "souvenir" (par exemple) et la résultante de la création d'un "réseaux" de neurone inter-connecté entre eux (avec pour règle que plus le souvenir et fort plus les liaisons entre les neurones sont fort). Mais ce que je n'est pas compris, c'est la part d'information de chaque neurone : s

[g]Chaque neurone "code-t-il" pour une information élémentaire ?[/g]

J'ai un gros blocage sur ça : s (peut être un excès de la métaphore informatique - je suis développeur - ?).

2) Dans la même veine, les techniques de "réseaux de neurones" en informatique sont-elle des reflets fidèles du modèle biologique ?

Merci d'avance pour vos éclairages
-----

[ansset]

pour le 1) , on n'en sait pas suffisamment pour une réponse claire.mais la description que tu en fais est probablement trop simpliste.
pour le 2) c'est faux, l'expression est empruntée , c'est tout. ( voir le point 1).

[PrOXXie]

Néanmoins si on doit trouver un point commun, on a bien une intégration de différents "flux" pour en faire la synthèse et finalement émettre (ou pas) un "signal".

[ansset]

une forme d'analogie , si tu veux.
un ensemble de ptits éléments fournissent une solution globale.
j'en dirais de même d'une fourmillière, par exemple.

[A voir en vidéo sur Futura]

[quanta62]

pour le 1) , on n'en sait pas suffisamment pour une réponse claire.mais la description que tu en fais est probablement trop simpliste.
pour le

C'est à dire qu'a aujourd'hui on ne connait pas le "code neuronal" ? : s

[ansset]

si c'est un ? . il est juste.
je ne sais même pas si on peut parler de code neuronal à l'instar d'un ordi par exemple .

[quanta62]

Je n'arrive pas à conceptualiser comment le cerveau (au niveau neuronal) stock l'information et comment il l'a récupère : s

Si chaque neurone correspond à une information élémentaire, alors je comprend que le circuit neuronal qui se forme dans un souvenir créer une information "composite"

Mais tu me dit que les neurones ne correspond pas à une information élémentaire : s

Si quelqu'un peut m'aider à comprendre ^^

[ansset]

Mais tu me dit que les neurones ne correspond pas à une information élémentaire : s

pas exactement, j'ai dit qu'on en savait bien trop peu sur le sujet.
d'ailleurs, comment definirais tu une "information élémentaire" ?

[malter0mhite]

Salut,

On sait mesurer l'activité électrique d'un neurone isolé, et le potentiel résultant montre une activité sous forme de potentiel d'action. En gros c'est une réponse du neurone suite à une stimulation, d'un autre neurone par exemple, qui prendra toujours la même forme pour un neurone particulier et respecte la loi du tout ou rien : si la stimulation est suffisante pour déclencher un potentiel d'action, ce dernier se vérifie, sinon le signal débuté par la stimulation n'est pas relayé par le neurone touché. De ce point de vue là, on pourrait comparer le neurone à l'unité élémentaire informatique qui prendrait la position 1 ou 0 selon qu'il est activé à la hauteur d'un potentiel d'action ou non.
Mais le neurone reste une construction biologique et son fonctionnement se révèle plus compliqué que celui d'un simple interrupteur.
A voir où fixer les limites de l'analogie et à replacer l'idée dans le contexte du réseau de neurones. C'est un sujet vraiment intéressant que j'serais ravi de creuser à vos côtés.

[quanta62]

Salut,

On sait mesurer l'activité électrique d'un neurone isolé, et le potentiel résultant montre une activité sous forme de potentiel d'action. En gros c'est une réponse du neurone suite à une stimulation, d'un autre neurone par exemple, qui prendra toujours la même forme pour un neurone particulier et respecte la loi du tout ou rien : si la stimulation est suffisante pour déclencher un potentiel d'action, ce dernier se vérifie, sinon le signal débuté par la stimulation n'est pas relayé par le neurone touché. De ce point de vue là, on pourrait comparer le neurone à l'unité élémentaire informatique qui prendrait la position 1 ou 0 selon qu'il est activé à la hauteur d'un potentiel d'action ou non.
Mais le neurone reste une construction biologique et son fonctionnement se révèle plus compliqué que celui d'un simple interrupteur.
A voir où fixer les limites de l'analogie et à replacer l'idée dans le contexte du réseau de neurones. C'est un sujet vraiment intéressant que j'serais ravi de creuser à vos côtés.

Ce que je ne comprend toujours pas c'est comment est "stocker" l'information.
On va sûrement me répondre que c'est le réseaux de neurone qui est lui même l'information : s
Aidez moi o/

[invite73192618]

Ce que je ne comprend toujours pas c'est comment est "stocker" l'information.

En termes biologiques, très majoritairement dans les synapses. En termes informatiques, dans la matrice codant les amplitudes des poids synaptiques entre les i^th et j^th neurones.

[quanta62]

En termes biologiques, très majoritairement dans les synapses. En termes informatiques, dans la matrice codant les amplitudes des poids synaptiques entre les i^th et j^th neurones.

Ok, l'information est contenu dans les connexions.
Mais pour ce retrouver dans ce nombre incalculable de "réseaux" il doit bien y avoir un mécanisme d'indexation non ?
Du genre le réseaux qui correspond à "la tasse rouge" est le réseaux n°X
Non ?

[ansset]

la reponse de Jiav porte essentiellement sur le "ou" , pas sur le "comment".

[vep]

Bonjour

je pense que ce document vous apportera certaines réponses.

[ansset]

bonjour vep.
ton lien ne fonctionne pas ( en tout cas pour moi )
cordialement.

[vep]

oui, je me rends compte que l'accès est protégé


doc pourtant accessible sur le net en demandant "Serge Laroche pdf mémoire" puisque c'est ainsi que je viens de le retrouver !

(du coup je ne sais même pas si j'ai le droit de dire ça.
Merci à la modération d'effacer si j'enfreins la règle ...)

[malter0mhite]

Mais pour ce retrouver dans ce nombre incalculable de "réseaux" il doit bien y avoir un mécanisme d'indexation non ?

Je ne comprends pas ce tu entends pas "mécanisme d'indexation" des neurones. Une indexation de quoi qui renverrait à quoi ?

[ansset]

merci vep, ça marche !
par contre, je vais lire cela a tête reposée car c'est riche, dense et copieux.

[vep]

dense, oui, mais passionnant et très bien expliqué.

Sinon il y a ce dossier Inserm (à partir de la page 22)

moins approfondi mais il est en accès libre celui là

[ansset]

tu me donnes beaucoup de lecture.
c'est gentil de ta part .
mais je vais commencer, si tu le veux bien , par le premier, qui effectivement semble passionnant.
Cdt

ps: l'autre aussi est en accès libre en passant par le lien que tu as proposé.

[invite73192618]

Mais pour ce retrouver dans ce nombre incalculable de "réseaux" il doit bien y avoir un mécanisme d'indexation non ?
Du genre le réseaux qui correspond à "la tasse rouge" est le réseaux n°X

C'est une question très intéressante. Le point commun à l'ensemble des mécanismes d'adressage, pour un réseau de neurone, c'est d'être basé sur un principe d'association plutôt qu'un répertoire qui contiendrait la liste de tous les souvenirs ou concept (en fait, il n'est pas évident qu'il existe des associations immuables entre réseaux de neurones biologiques et concepts, versus un association dynamique dont le sens est fourni en tout ou partie par le contexte). Certains mécanismes s'en rapprochent toutefois pas mal, par exemple les cartes avec les cellules de lieu, qui vont activer les réseaux en lien avec ce qui s'est passé quand la personne était en ce lieu (je ne serais pas surpris qu'il existe l'équivalent pour la mémoire autobiographique).

Dans une modélisation tu pourrais obtenir l'équivalent d'un adressage par répertoire (en forçant une association entre des ensembles d'input et un "numéro de souvenir"), mais si tu le fais tu vas te rendre compte que les performances vont être exécrable (de tête, la taille d'une mémoire neuronale conçue de cette façon varie comme la racine carrée du nombre de neurones). Par contre si tu fais une mémorisation plus futé, où tu adresses les ensembles d'input en fonction de catégories qui ont (un sens)/(des propriétés statistiques intéressantes) plutôt que par des numéros arbitraires, alors la performance va être bien meilleure (plus robuste, plus rapide à apprendre, plus économique en synapse). Tout l'art de la modélisation par réseau de neurone (peut se réduire)/(est mathématiquement équivalent à) à comprendre comment les couches cachées devraient être structurées pour obtenir des associations intéressantes, ce qui est d'une certaine façon équivalent à se demander comment l'adressage devrait être conçu.

Une indexation de quoi qui renverrait à quoi ?

Avec quoi as-tu bu ton café ce matin?
Méthode windows: consulter une base de données qui contient les adresses des souvenirs en fonction de la date. Appeler successivement les souvenirs correspondant à ce matin, si ne contient pas de mention de café refaire, si contient répondre le souvenir résultat.
Méthode réseau de neurone: activer en parallèle les régions/réseaux associés à "café" "boire" "moi ce matin", favoriser les neurones qui entrent en résonance, répondre le réseau qui demeure actif.

(du coup je ne sais même pas si j'ai le droit de dire ça.

Certainement, ne serait-ce que pour ta liberté d'exprimer ton indignation qu'on puisse trouver le doc sur google avec ces mots-clefs.

[vep]

Avec quoi as-tu bu ton café ce matin?

Avec rien, ni sucre ni lait ... mais je me permets de te retourner la question vu que je n'ai jamais écrit la phrase que tu me prêtes

[ansset]

@Jiav:
tu parles de modélisation informatique , il me semble, bien loin des process ( analogiques) humains.
je ne pense pas que le cerveau humain soit d'une manière ou d'une autre comparable à un système windows.
ça c'est une vue de pur informaticien .

[invite73192618]

Avec rien, ni sucre ni lait ... mais je me permets de te retourner la question vu que je n'ai jamais écrit la phrase que tu me prêtes

Oups... je retourne faire le plein

tu parles de modélisation informatique , il me semble, bien loin des process ( analogiques) humains.
je ne pense pas que le cerveau humain soit d'une manière ou d'une autre comparable à un système windows.

Mon point était de donner un avant-goût de la différence entre une architecture par réseau de neurone versus logiciel standard. Mais je soupçonne que ton point est que les processus "analogiques" humains (qui ne sont pas analogiques) ne sont pas Turing-équivalent (bien évidement que si). Et je soupçonne la plupart des anciens lecteurs prêt à nous abattre à vue plutôt qu'on reprenne cette discussion.

[vep]

la reponse de Jiav porte essentiellement sur le "ou" , pas sur le "comment".

Pour répondre à ça:
Actuellement, à ma connaissance les scientifiques s'accordent sur le fait que le support de représentations en mémoire réside dans des "scénarios" d’activité dans de vastes réseaux de neurones.
Mais aucun de ces réseaux n'a réussi à être identifié et délimité pour une forme de mémoire spécifique à ce jour. (On ne sait pas ou "bol de café" ou "table de multiplication de 9" son stockés.


Et dans les phénomènes d'apprentissages, si la plasticité synaptique est importante, il y a actuellement une nouvelle piste de recherche :
On sait désormais que de nouveaux neurones naissent dans l'hippocampe (contrairement à l'idée reçue qu'à partir de 20 ans on ne fait que perdre des neurones).
Ces neurones ont également une grande plasticités et sont en grande partie affectés aux apprentissages.
Lors de la création de nouveaux souvenirs, ils doivent donc participer à la création de nouveaux circuits neuronaux.

Bref, pour résumer, il y a encore beaucoup de choses à apprendre en la matière.

[malter0mhite]

Mais je soupçonne que ton point est que les processus "analogiques" humains (qui ne sont pas analogiques) ne sont pas Turing-équivalent (bien évidement que si). Et je soupçonne la plupart des anciens lecteurs prêt à nous abattre à vue plutôt qu'on reprenne cette discussion.

Sans reprendre la discussion et tout en restant sur le fil initial, tu pourrais donner quelques clés (des sources bienvenues) pour étayer le propos sur la correspondance entre réseau de neurones et machine de Turing (si c'est bien ça que tu voulais faire entendre). Simplement pour le rendre encore plus évident.

[ansset]

vep, j'approuve ton dernier post, au même titre que je trouve les propos de Jiav bien simplistes sur le sujet.

[quanta62]

Je pense (après des lectures et échanges) avoir compris pourquoi je ne comprenais pas quand on me parler d'information et de réseaux neuronales (biologique).
Tout simplement parce que j'avais oublier l'essentiel c'est à dire qu'un processus neuronal c'est une entrée, un traitement et une sortie.

Concrètement ici j'avais oublier que l'information qui est traité ici c'est une information sensorielle (par exemple un son) mais également un comportement qui c'est produit, et que la mémoire c'est la combinaison de ces choses via le réseaux de neurone.

[invite73192618]

Et dans les phénomènes d'apprentissages, si la plasticité synaptique est importante, il y a actuellement une nouvelle piste de recherche :
On sait désormais que de nouveaux neurones naissent dans l'hippocampe (contrairement à l'idée reçue qu'à partir de 20 ans on ne fait que perdre des neurones).

Bien sur, de même qu'on peut aussi avoir des changements dans les propriétés des astrocytes, des actions pas complètement locales avec le monoxyde d'azote, des actions retardées avec les gènes rapides... etc etc. Mais le point clef est que ces mécanismes sont toujours équivalents. au point de vue de la fonction, à des règles de modification des synapses. Par exemple avec la neurogénèse: la formation de nouveaux neurones est, d'un point de vue fonctionnel, strictement équivalente à un découvrement de synapses silencieuses.

Sans reprendre la discussion et tout en restant sur le fil initial, tu pourrais donner quelques clés (des sources bienvenues) pour étayer le propos sur la correspondance entre réseau de neurones et machine de Turing (si c'est bien ça que tu voulais faire entendre). Simplement pour le rendre encore plus évident.

Équivalence avec des RN artificiels ou avec des RN biologiques? Artificiel, c'est un résultat complètement trivial qui découle que l'on peut faire toutes les opérations logiques de base avec un réseau de neurone, donc un réseau de neurone est Turing complet, donc équivalent à tout modèle de calcul utilisant des mathématiques standards. Biologique, le plus clair est d'inverser le raisonnement: qu'est-ce qu'il faudrait pour qu'un réseau de neurone biologique ne soit pas Turing équivalent? Il faudrait qu'il soit capable de résoudre des problèmes indécidables, donc de faire de l'hypercalcul. Pour une présentation, par quelqu'un qui ne pense pas que c'est délirant, ce mémoire est très bien.

[vep]

je trouve les propos de Jiav bien simplistes sur le sujet.

De cela, je ne jugerai pas, je ne comprends que pouic à la partie sur l'informatique, la machine de Turing et tout le reste.
Mon seuil d'incompétence en la matière est atteint depuis très longtemps

Mais le point clef est que ces mécanismes sont toujours équivalents. au point de vue de la fonction, à des règles de modification des synapses. Par exemple avec la neurogénèse: la formation de nouveaux neurones est, d'un point de vue fonctionnel, strictement équivalente à un découvrement de synapses silencieuses.

Merci pour les précisions