IA, TFlops et neurones

[HenriParisien1]

Bonjour,

De ce que je comprends des performances actuelles des IA en matière de reconnaissance visuelles, elles sont à peu près capables de simuler ce que fait notre lobe optique avec 1 à 2 TFlops.
Celui est composé de 130 millions de neurones. En considérant qu'un neurone a un temps de réaction de l'ordre de la dixième de secondes, on retrouve à peu près le niveau de "puissance de calcul".
Alors, en extrapolant un peu, atteindre le niveau du cortex humain (80 milliards de cellules), c'est disposer d'une machine à 800 TFlops. On en est un peu loin, mais pas si loin : Google a annoncé un TPU (Enfin 4) avec une puissance combinée de 160 TFlops. (C'est à priori lui qui a été utilisé pour AlphaZéro).
https://arstechnica.com/information-...compute-cloud/

Si la loi de Moore fonctionne toujours, si les algos de deeplearning peuvent réellement couvrir l'ensemble des fonctions cognitives, c'est une histoire de 4 – 5 ans.

--

Vous avez lu des trucs sérieux (c’est-à-dire pas en provenance des transhumanistes) sur ce sujet ?
-----

[pm42]

Cela suppose que l’équivalence soit complète entre neurones artificiels et humains, qu’on sache faire des réseaux aussi gros qu’un cerveau humain et qu’on oublie le nombre de synapses.
Cela fait beaucoup de «*si*».

[obi76]

Sauf que la loi de Moore est "satisfaite", mais différemment qu'avant. On est confrontés actuellement à une augmentation du nombre de cœur qui n'est pas loin de Moore (quoi qu’inférieure), mais pas de leur vitesse (qui est au max depuis plusieurs années), et concernant la mémoire, ça ne suit pas non plus (je dirai même : ça régresse).

[minushabens]

Et puis on vise un cerveau artificiel plus performant qu'un cerveau humain: si pour qu'il soit capable de résoudre des problèmes difficiles d'ingénierie il faut l'éduquer pendant 10 ans ce n'est pas très intéressant.

[A voir en vidéo sur Futura]

[ansset]

On peut quand même noter le nb de bugs avérés qui existent tj. ( une recherche internet suffit )
j'ai même lu assez récemment un article qui expliquait certains pb structurels.( donc à la base indépendants de la "puissance" de calcul ) je ne sais s'ils sont actuellement résolus, et il faut que je retrouve cet article technique.

[Archi3]

Bonjour,

De ce que je comprends des performances actuelles des IA en matière de reconnaissance visuelles, elles sont à peu près capables de simuler ce que fait notre lobe optique avec 1 à 2 TFlops.
Celui est composé de 130 millions de neurones. En considérant qu'un neurone a un temps de réaction de l'ordre de la dixième de secondes, on retrouve à peu près le niveau de "puissance de calcul".

je ne savais pas qu'un neurone était capable de faire 10 floating operations par seconde ... si pour toi capacité de calcul = nombre de flops, comment expliques tu que le cerveau soit totalement incapable d'inverser ne serait ce qu'une matrice 3x 3 de tete ?

[polo974]

je ne savais pas qu'un neurone était capable de faire 10 floating operations par seconde ... si pour toi capacité de calcul = nombre de flops, comment expliques tu que le cerveau soit totalement incapable d'inverser ne serait ce qu'une matrice 3x 3 de tete ?

Tu prends le problème à l'envers, c'est la simulation d'un neurone qui est pitoyable...

[minushabens]

(...)comment expliques tu que le cerveau soit totalement incapable d'inverser ne serait ce qu'une matrice 3x 3 de tete ?

on peut aguer qu'un ordinateur ne travaille pas "de tête": il écrit puis lit les calculs intermédiaires dans sa RAM, qui peut être vue comme un carnet de notes. Cela dit, j'admets que même avec une ramette de papier à sa disposition un humain ne peut pas inverser une matrice 20x20.

[Archi3]

on peut aguer qu'un ordinateur ne travaille pas "de tête": il écrit puis lit les calculs intermédiaires dans sa RAM, qui peut être vue comme un carnet de notes. Cela dit, j'admets que même avec une ramette de papier à sa disposition un humain ne peut pas inverser une matrice 20x20.

si tu veux mais alors pour la reconnaissance visuelle il ne travaille pas non plus "de tete" donc la comparaison avec le nombre de neurones ne veut pas dire grand chose ...

[pm42]

si tu veux mais alors pour la reconnaissance visuelle il ne travaille pas non plus "de tete" donc la comparaison avec le nombre de neurones ne veut pas dire grand chose ...

Elle ne veut d'autant plus pas dire grand chose qu'on obtient de très bons résultats en reconnaissance visuelle avec beaucoup moins de neurones virtuels qu'un humain.
Mais bien sur, le réseau obtenu a moins de flexibilité que les humains.

[HenriParisien1]

Et puis on vise un cerveau artificiel plus performant qu'un cerveau humain: si pour qu'il soit capable de résoudre des problèmes difficiles d'ingénierie il faut l'éduquer pendant 10 ans ce n'est pas très intéressant.

Ça c'est le rêve des transhumanistes.
Mais, même un réseau neuronal qu'on mettrait 10 ans à entraîner pour devenir docteur ou ingénieur serait un progrès incroyable : Il faut actuellement 30 ans de formation pour former UN ingénieur.
Une fois qu'on aurait entraîné un réseau neuronal, on aurait à notre disposition autant d'ingénieurs que l'on voudrait

je ne savais pas qu'un neurone était capable de faire 10 floating operations par seconde ... si pour toi capacité de calcul = nombre de flops, comment expliques tu que le cerveau soit totalement incapable d'inverser ne serait ce qu'une matrice 3x 3 de tete ?

J'avais en tête l'analogie inverse " il faut 10 Flops pour simuler un neurone" mais en y réfléchissant, on peut retenir celle-ci qui est encore plus faible :"on peut simuler un réseau neuronal biologique de N neurones avec 10 fois N Flops".

Elle ne veut d'autant plus pas dire grand chose qu'on obtient de très bons résultats en reconnaissance visuelle avec beaucoup moins de neurones virtuels qu'un humain.
Mais bien sur, le réseau obtenu a moins de flexibilité que les humains.

Voilà, il n'est pas tout à fait impossible qu'il y ait un "gros gaspillage" dans le cerveau concernant les connexions neuronales et le nombre de neurone. Comme le cerveau n'est pas construit à partir d'un plan fin qui définit précisément son architecture, chaque neurone pousse "au hasard" et se connecte "au hasard". Du coup, on mets beaucoup de neurones, et beaucoup de synapses.

Cela permet d'assurer une forte redondance. Et c'est quand pratique pour un organisme vivant dont la principale "responsabilité" et d'assurer sa survie. Mais tout à fait inutile pour un système électronique que l'on peut remplacer.

[obi76]

J'avais en tête l'analogie inverse " il faut 10 Flops pour simuler un neurone" mais en y réfléchissant, on peut retenir celle-ci qui est encore plus faible :"on peut simuler un réseau neuronal biologique de N neurones avec 10 fois N Flops".

Oui, mais ne perdons pas de vue aussi la communication entre chaque processeur. C'est là que ça devient excessivement compliqué pour la simulation : un neurone peut être connecté à des milliers d'autres, en temps réel.

[ansset]

dans cet esprit, on ne simule qu'une fonction du neurone biologique, car celui ci ( et ses camarades ) renvoient aussi entre autre à d'autres images mentales ainsi qu'à des considérations indirectes et même non visuelles.

[pm42]

Il faut actuellement 30 ans de formation pour former UN ingénieur.

Non, il faut un certain temps pour former un humain qui sait parler, éventuellement plusieurs langues, maitriser un corps, comprendre de nombreux concepts, en apprendre de nouveaux...

Une fois qu'on aurait entraîné un réseau neuronal, on aurait à notre disposition autant d'ingénieurs que l'on voudrait

C'est l'équivalent d'une IA forte dont on n'a aucune idée de sa faisabilité actuellement.

Voilà, il n'est pas tout à fait impossible qu'il y ait un "gros gaspillage" dans le cerveau concernant les connexions neuronales et le nombre de neurone. Comme le cerveau n'est pas construit à partir d'un plan fin qui définit précisément son architecture, chaque neurone pousse "au hasard" et se connecte "au hasard".

Parce que les réseaux de neurones artificiels sont conçus comment d'après toi ?

[fred3000gt]

Effectivement, avec l'augmentation de la puissance de calcul, on pourra faire de la relaxation en temps réel avec plusieurs milliards de neurones, cela a même déjà été fait hors temps réel. Mais attention, il faut savoir de quel modèle de neurone on parle:

- Pas de problème question Flops avec un modèle simple type deep learning (état=f(sigma(Wi.Xi) en gros),
- Par contre avec un modéle spiking du type integrate&fire, ca consomme très vite du Flop (je parle d'expérience malheureusement...), faut savoir qu'il y a quand même des gars qui vont jusqu'à utiliser un supercalculateur pour simuler... 1 neurone

Mais, ce n'est même pas cela le souci (oui, on est mal... ), le problème central à mon avis pour une IA générale pour l'instant c'est l'apprentissage sur des réseaux non-multicouches et récurrents, typiquement ce que l'on a dans notre tête. En gros rien ne marche bien, et perso, plus je travaille sur le sujet, plus je suis convaincu que c'est en dehors de la compréhension humaine (ce qui ne veut pas dire que l'on ne peut pas y arriver, hein?)

A tort ou à raison, je ferais l'analogie suivante:
- en aérodynamique on ne peut modéliser correctement les turbulences (en gros on perd l'outil mathématique, rien que ca...), mais on peut tout à fait les simuler et les calculer digitalement
- en réseaux récurrents général (pas du LSTM ou du multicouche déplié), c'est pareil

Le problème c'est:
- en aérodynamique, les propriétés du fluide sont en uniformes et figées, on ne cherche pas à faire une turbulence précise en changeant ces propriétés
- en réseaux de neurones, c'est ce que l'on cherche à faire: l'apprentissage consiste à changer la nature des interactions entre tous les neurones, sans aucune contrainte de continuité, pour utiliser leur activité à une tache précise

...et peut-être que j'ai raté quelque chose ou dis plein d’âneries, dans ce cas, soyez sympa et corrigez moi avec tolérance...

[obi76]

Salut,

pour ajouter à ça, je dirai aussi que la problématique d'utiliser des processeurs 2D pour simuler des structures 3D est très peu efficace, justement à cause des communications (et ça c'est valable pour un réseau de neurone ou pour n'importe quelle simulation de phénomène physique en 3D).

Il a déjà été envisagé de faire des processeurs "3D" (dans le sens (très) multicouche), mais (de mémoire, à confirmer) la question qui se pose alors (outre que technologique pour les fabriquer), c'est le refroidissement. Et (toujours à confirmer) une équipe avait envisagé de faire une alimentation des processeurs avec un électrolyte, ce qui permet d'alimenter et de refroidir en même temps. Une copie du fonctionnement cérébral avec le sang qui alimente et refroidit en même temps, en somme.

Mais impossible de remettre la main sur là où je l'ai vu, si quelqu'un se souvient avoir lu la même chose je suis preneur...

[HenriParisien1]

C'est l'équivalent d'une IA forte dont on n'a aucune idée de sa faisabilité actuellement.

Non, non... Un IA "médecin" n'a rien à voir avec une IA "forte" (quoi que ce soit que l'on mette derrière ce mot).
Ce serait simplement une IA qui confrontée à une série d'entrées avec les paramètres médicaux d'un patient définirait un diagnostic (et encore même ça ne serait pas utile) et surtout un traitement. Et cela existe déjà au moins pour la lecture des scanners et des radios.

faut savoir qu'il y a quand même des gars qui vont jusqu'à utiliser un supercalculateur pour simuler... 1 neurone

Ca ne m'étonne pas : dès qu'on essaye de modéliser des processus en biologie on se retrouve très vite face à des explosions combinatoires. Que je sache, même l'étude du repliement d'une molécule dans une solution aqueuse est déjà à la limite de nos capacités de calcul. Alors une cellule entière…

- Par contre avec un modéle spiking du type integrate&fire, ca consomme très vite du Flop (je parle d'expérience malheureusement...),

Je connais très mal l'integrate and fire ; Il me semble qu'il s'agit surtout d'essayer de prédire la stabilité d'un réseau neuronal à partir de sa description. Et pour généraliser, une tentative de prédire le bon fonctionnement d'un réseau sans le faire marcher. Mais en fait, ce n'est pas très important
Après tout, on se moque un peu de savoir pourquoi un réseau neuronal marche du moment qu'il marche. Et ce ne sera pas la première fois dans l'histoire des techniques qu'on utilisera un truc sans comprendre pourquoi ça marche.
L'exemple le plus célèbre à ce sujet, c'est l'histoire du développement des photos argentiques, dont – à ma connaissance – il n'existe toujours pas d'explication scientifique sur "pourquoi et comment ça marche" mais qui a été utilisé et perfectionné pendant plus d'un siècle.

pour ajouter à ça, je dirai aussi que la problématique d'utiliser des processeurs 2D pour simuler des structures 3D est très peu efficace, justement à cause des communications (et ça c'est valable pour un réseau de neurone ou pour n'importe quelle simulation de phénomène physique en 3D).

Je lis ça depuis que je suis tout petit (enfin les années 80), et je n'ai jamais été vraiment convaincu.
Si nos processeurs – de part des contraintes de fabrications – sont construit en 2D, on les programmes comme s'ils s'agissaient de machine de Turing (en gros, on a accès à un gros tableau à une seule dimension) et ça ne pose pas particulièrement de problème.
Le cerveau biologique est contenu dans une boite à trois dimensions. Mais on peut déplier le cortex qui est grosso modo un tissu cellulaire de quelques millimètres d'épaisseur sur un quart de mètre carré. Il n'y a pas vraiment besoin d'une troisième dimension pour assurer ses "calculs". (je triche un peu, grosso modo, sur le 1,5 mm et 4 mm d'épaisseur on peut empiler quelques dizaines de neurones, mais cela n'a rien d'une architecture "massivement 3D).

[pm42]

Non, non... Un IA "médecin" n'a rien à voir avec une IA "forte" (quoi que ce soit que l'on mette derrière ce mot).
Ce serait simplement une IA qui confrontée à une série d'entrées avec les paramètres médicaux d'un patient définirait un diagnostic (et encore même ça ne serait pas utile) et surtout un traitement. Et cela existe déjà au moins pour la lecture des scanners et des radios.

Avant, tu parlais d'IA "ingénieur" et maintenant, on est passé à la lecture des scanners et des radios...
Ce qui est exactement ce que font les IA aujourd'hui : de la reconnaissance d'images...

Quand à une IA qui fait un diagnostic, on en reste encore loin dans le cas général. Il y a bien sur IBM qui a fait un outil pour les cancérologues sur la base de Watson mais ce sont des projets très long et ils insistent eux même sur le fait qu'ils proposent de "l'intelligence augmentée" c'est à dire des outils d'aide aux humains, pas du tout du remplacement.


Bref, ce que tu disais reste totalement inaccessible (j'ai remis ton affirmation que tu sembles avoir oubliée).
Pour t'en persuader, tu peux notamment lire : http://www.lefigaro.fr/flash-eco/201...e-les-rats.php

Mais, même un réseau neuronal qu'on mettrait 10 ans à entraîner pour devenir docteur ou ingénieur serait un progrès incroyable : Il faut actuellement 30 ans de formation pour former UN ingénieur.
Une fois qu'on aurait entraîné un réseau neuronal, on aurait à notre disposition autant d'ingénieurs que l'on voudrait

[ansset]

(je triche un peu, grosso modo, sur le 1,5 mm et 4 mm d'épaisseur on peut empiler quelques dizaines de neurones, mais cela n'a rien d'une architecture "massivement 3D).

ni non plus en couches segmentées. ( voir les connections synaptiques qui se contre-fichent de l'orientation spatiale. )

[invite73192618]

le problème central à mon avis pour une IA générale pour l'instant c'est l'apprentissage sur des réseaux non-multicouches et récurrents, typiquement ce que l'on a dans notre tête. En gros rien ne marche bien, et perso, plus je travaille sur le sujet, plus je suis convaincu que c'est en dehors de la compréhension humaine (ce qui ne veut pas dire que l'on ne peut pas y arriver, hein?)

Tu as déjà mentionné quelque chose du genre, mais j'ai beaucoup de mal à comprendre ton point de vue. Tu as raison que certaines approches parmi tes favorites (programmation génétique "radicale" et approches de minimisation de l'entropie) n'ont pas apporté grand chose de notable, et que les modèles "réalistes" (spiking, hebbien) ne donneront probablement rien avant longtemps d'un point de vue "habiletés comportementales" (mais à leur décharge ces modèles ont un intérêt premier tout différent, en neurosciences fondamentale plutôt qu'en IA).

Néanmoins à coté de cela l'apprentissage profond a fait des progrès incroyables (que ce soit les modèles à convolution pour la vision, les LSTM pour le langage, le reinforcement learning pour les prises de décision, etc) avec une accélération évidente et surtout une série d'indices de plus en plus clairs que la maitrise du sens commun, qui est possiblement la dernière étape avant une AGI, n'est peut-être pas si éloignée que cela (Watson qui infère les questions à Jeopardy, Deep mind qui fait jouer une même IA à une variété de vieux jeux nintendo, la traduction possible sans jamais montrer aucune traduction à l'IA, des structures sémantiques qui apparaissent spontanément d'un examen de phrase appartenant ou non à wikipedia, des descriptions d'images en langage naturel, la capacité d'imiter un thème artistique... etc etc etc).

De mon point de vue c'est comme si tu argumentais que les vols d'appareils plus lourd que l'air seront à jamais impossibles, deux ans avant les frères Wright ne mettent un terme à la question. Je n'arrive juste pas à comprendre le cheminement de ta pensée pour qu'il aboutisse à un point de vue pessimiste, et en particulier un point de vue pessimiste maintenant. C'est quoi que tu as essayé de faire, et avec quels outils, pour arriver à ce point de vue?

[pm42]

Néanmoins à coté de cela l'apprentissage profond a fait des progrès incroyables (que ce soit les modèles à convolution pour la vision, les LSTM pour le langage, le reinforcement learning pour les prises de décision, etc) avec une accélération évidente et surtout une série d'indices de plus en plus clairs que la maitrise du sens commun, qui est possiblement la dernière étape avant une AGI, n'est peut-être pas si éloignée que cela (Watson qui infère les questions à Jeopardy, Deep mind qui fait jouer une même IA à une variété de vieux jeux nintendo, la traduction possible sans jamais montrer aucune traduction à l'IA, des structures sémantiques qui apparaissent spontanément d'un examen de phrase appartenant ou non à wikipedia, des descriptions d'images en langage naturel, la capacité d'imiter un thème artistique... etc etc etc).

L'argument est intéressant. Je me demande si tu as lu l'interview de LeCun que j'ai citée un peu plus haut ?
Parce que chacun des exemples que tu donnes nécessite la création d'une IA spécifique.
Et je me demande si le "sens commun" n'est pas au contraire une 1ère couche d'apprentissage qui fait un modèle du monde sur laquelle les autres apprentissages se construisent ensuite rapidement.
Par ex, si une IA qui pilote une voiture dérape sur de la glace 1 ou 2 fois, elle va avoir du mal à apprendre. Un humain peut faire l'inférence rapidement. Et il y a la transmission du savoir entre adultes et jeunes de pas mal d'espèces qui joue aussi et qu'on ne reproduit pas non plus.

[obi76]

Je lis ça depuis que je suis tout petit (enfin les années 80), et je n'ai jamais été vraiment convaincu.
Si nos processeurs – de part des contraintes de fabrications – sont construit en 2D, on les programmes comme s'ils s'agissaient de machine de Turing (en gros, on a accès à un gros tableau à une seule dimension) et ça ne pose pas particulièrement de problème.

Des problèmes ça en pose à partir du moment où on essaye de simuler des phénomènes en3D. Pour dire, le seul super calculateur sur lequel j'ai bossé qui était capable de calquer un domaine 3D sur son architecture était câblé selon un schéma d'hypertore (ça doit coûter cher en Valium pour les techniciens/ingé qui sont dessus). ça mis à part, le câblage et l'architecture matérielle pose vraiment de gros soucis en terme de communication puisque c'est généralement câblé en cartésien2D, les communications sont affreuse et à un moment rédhibitoires.

[invite73192618]

L'argument est intéressant. Je me demande si tu as lu l'interview de LeCun que j'ai citée un peu plus haut ?

L'article du figaro avec une phrase qui serait de Le Cun? Par expérience les guillemets de certains journalistes ne signalent pas nécessairement une citation. Cela m'étonnerait qu'il ai accordé une interview d'une phrase.

Parce que chacun des exemples que tu donnes nécessite la création d'une IA spécifique.

Si c'était des IA générales, la question ne se poserait pas!

Mon point est qu'on aurait pu avoir un tout autre constat, avec des séries de modèles sans progression évidente (période des système expert) plutôt que des modèles qui semblent nous faire progresser rapidement dans nos capacités à concevoir le prochain (période actuelle).

Et je me demande si le "sens commun" n'est pas au contraire une 1ère couche d'apprentissage qui fait un modèle du monde sur laquelle les autres apprentissages se construisent ensuite rapidement.

Peut-être.

Par ex, si une IA qui pilote une voiture dérape sur de la glace 1 ou 2 fois, elle va avoir du mal à apprendre. Un humain peut faire l'inférence rapidement.

Oui c'est probablement une question centrale. En fait c'est pour cela que l'idée de _Goel_ me parait particulièrement intéressante.

Des problèmes ça en pose à partir du moment où on essaye de simuler des phénomènes en3D.

Je vois bien en quoi ce serait un problème pour modéliser des phénomènes physiques caractérisées par des connexions locales en 3D. Quel rapport vois-tu avec les réseaux de neurones, dont la connectivité est connue pour être "sparse"?

[HenriParisien1]

Oui c'est probablement une question centrale. En fait c'est pour cela que l'idée de _Goel_ me parait particulièrement intéressante.

Sur cette question de l'apprentissage, je crois qu'on idéalise un peu trop les capacités des humains.
Il a fallu par exemple 8 mois a ce monsieur pour apprendre à faire du vélo "inversé" : https://www.koreus.com/video/experie...n-inverse.html ; L'apprentissage d'une langue étrangère au niveau B2 (fluent), c'est entre 2000 et 4000 heures d'entrainement etc...

--

Une comparaison "brutale" entre les 10 000 parties d'un champion de GO et les 40 000 000 nécessaire à alphaZéro pour atteindre son niveau donne l'avantage à l'homme mais cela n'a pas grand sens. Au bas mot, les 10 000 parties du champions correspondent à 20 000 heures => C'est à dire grosso modo à 3 ans a temps plein.
Et c'est une sous estimation manifeste. Je ne connais pas le milieu professionnel du Go, mais j'ai un peu fréquenté celui des échecs. En pratique un champion d'échec s’entraîne 4 à 6 heures tous les jours. Et il lui faut autour d'une dizaine d'années pour atteindre son top level.

On n'est donc - dans le cas des jeux de plateau - à plusieurs années d'entrainement versus 1 jour. Cela laisse rêveur.

--

Alors bien sûr, dans le cas d'AlphaZéro on a trouvé une méthode permettant à l'IA de s'auto-entraîner. Elle est très spécifique au jeu de plateau (Exploration de l'arbre alpha/béta + Montecarlo).

Mais il y a pas mal d'autres pistes permettant d'autoentrainer des IA.

Par exemple dans le cas de la locomotion, la création d'un environnement virtuel simulé sur ordinateur https://www.microsoft.com/en-us/rese...9a964315d183)() ou encore le recueil de les voitures "semi-autonome" de Google ou de Tesla qui constitue déjà un jeu d'essai bien plus important que ce que rencontrera n'importe quel humain.

[obi76]

Je vois bien en quoi ce serait un problème pour modéliser des phénomènes physiques caractérisées par des connexions locales en 3D. Quel rapport vois-tu avec les réseaux de neurones, dont la connectivité est connue pour être "sparse"?

Qu'en terme de cablage, il y a une puissance 3/2 qui traine, et qui fait qu'on ne peut plus scaler en N (N le nombre d'entités (agents ou neurones modélisés, peu importe)).

[invite73192618]

Soit je ne comprends pas ton raisonnement, soit il t'a echappe que dans une matrice creuse (connectivite sparse) le nombre d'elements non nul (le nombre de connexions) n'est pas proportionnel a N (ne scale pas).

[invite73192618]

Sur cette question de l'apprentissage, je crois qu'on idéalise un peu trop les capacités des humains.

Pas vraiment. Oui sur plein de tâches l'humain n'est pas top (mémoriser 1G en quelques minutes...), mais le point est qu'il y a certaines tâches pour lesquelles l'humain "apprend" irréalistement vite, par exemple celle-ci (qui n'est pas juste rigolote, d'un point de vue "ingénieur" la transformation d'information impliquée par ce comportement est tout-à-fait non triviale et suggère qu'il y a un principe à comprendre), et que les exemples tels que "comment se comporter sur la glace" semblent relever de cette catégorie plutôt que de la catégorie "6 h/j pendant 10 ans".

le nombre d'elements non nul [par colonne ou par ligne] (le nombre de connexions [par neurone]) n'est pas proportionnel a N (ne scale pas).

bolded

[obi76]

Soit je ne comprends pas ton raisonnement, soit il t'a echappe que dans une matrice creuse (connectivite sparse) le nombre d'elements non nul (le nombre de connexions) n'est pas proportionnel a N (ne scale pas).

Elle n'est pas si sparse que ça, et considérant (en 3D) que les connexions sont à peu près isotropes, projeter ça en 2D ne donnera certainement pas une matrice sparse.

[invite73192618]

les connexions sont à peu près isotropes

D'où viens cette idée? Comme déjà mentionné par Henri, le cerveau et en particulier le cortex sont mieux décrit comme une surface 2D repliée que par une structure 3D isotrope.

Plus simplement: si on représente la connectivité du cerveau humain par une matrice avec 10^12 lignes et 10^12 colonnes (une par neurone) donc 10^24 cases (chacune étant remplie si elle correspond à une des 10^15 synapses existantes), le résultat sera une matrice creuse à 99,9999999%. Tu trouves que ce n'est "pas si sparse que ça"?

[obi76]

D'où viens cette idée? Comme déjà mentionné par Henri, le cerveau et en particulier le cortex sont mieux décrit comme une surface 2D repliée que par une structure 3D isotrope.

Ca effectivement c'est vrai. Cela dit les interconnexions se font aussi (meme si moins) perpendiculairement à cette surface. Donc oui, isotrope est une grosse approximation je l'admets.

Tu trouves que ce n'est "pas si sparse que ça"?

Qu'elle soit creuse, c'est sur, qu'elle soit à peu près diagonale, beaucoup moins...