NEUROGRID : une carte de taille IPAD qui simule plus d'un million de neurones ?

[mp3dux]

Une équipe de bioingénieurs de Stanford, a développé une carte électronique "Neurogrid", capable de simuler plus d'un million de neurones.

Un avantage de ce circuit est qu'il consomme à peu près 100 000 fois moins, qu'une simulation logicielle de la même quantité de neurones, sur un PC.

Il serait aussi 9 000 fois plus rapide... et le tout de la taille d'un IPAD.

Si cet info s'avère aussi prometteur qu'on le lit dans certains articles, avec plusieurs cartes de ce type on pourrait faire des choses intéressantes !

Quelqu'un a t'il plus d'infos ? Ça semble sorti de nulle part... C'est la première fois que j'en entends parler...


http://www.01net.com/editorial/61900...-nos-cerveaux/

source originale-Anglais-
-----

[PA5CAL]

Ça semble sorti de nulle part... C'est la première fois que j'en entends parler...

Ça doit fait près de vingt ans qu'on fabrique ce type de puces, avec des capacités croissantes et des consommations en constante diminution.

Si l'on n'en parle pas souvent, c'est que les applications grand-public sont rares, surtout à cause du prix. Pour répondre aux besoins, on leur préfère généralement d'autres solutions, ou bien leur équivalent logiciel, beaucoup plus lent et plus gourmand en énergie, mais aussi beaucoup moins cher à réaliser.

Par exemple, n'importe quelle tablette à moins de 100€ est capable d'implémenter logiciellement un dispositif dix fois plus gros que celui présenté dans l'article... si l'on n'est pas trop regardant sur le temps de réaction.

[myoper]

Merci de ces précisions !

[mp3dux]

bonjour @PA5CAL,

Ça doit fait près de vingt ans qu'on fabrique ce type de puces, avec des capacités croissantes et des consommations en constante diminution.

Au fait de quel type de puces parles tu, 20 ans ça fait pas beaucoup ?

Parce que d'après ce que je vois, ce n'est pas une puce classique de technologie logique programmable à base de FPGA ou CPLD, c'est une puce spécifique dont l'architecture est inspirée de celle des neurones, qui émule le système neuronale, certains parlent de "processeur neuromorphique". Pour être précis ce n'est même pas une simulation. Vu le coup du prototype 40 000 dollars quand même, j'ai quelques doutes si tu dis que ces puces sont fabriqués depuis 20 ans... je pense plutôt à une première.

Le fonctionnement est analogique, avec des connexions neurones-synapses configurables dans une RAM, donc logique. En gros un système hybride qui fonctionne en temps réel contrairement à la simulation qu'on peut faire sur superordinateur. A titre de comparaison dans l'article, il est indiqué que Blue Gene le superOrdinateur de IBM est 1500 fois plus lent que le cerveau humain, simulation numérique oblige et une consommation en MegaWatts. Ici on est en temps réel avec 6 milliards de synapses dans la taille d'un IPAD.

Par exemple, n'importe quelle tablette à moins de 100€ est capable d'implémenter logiciellement un dispositif dix fois plus gros que celui présenté dans l'article... si l'on n'est pas trop regardant sur le temps de réaction.

faut pas caricaturer non plus 10 fois ça veut dire 10 millions de neurones et 60 milliards de synapses... on stocke tous ces objets où... De plus si le dispositif est 9000 fois plus rapide qu'un pc de bureau, pour une minute de simulation cela revient à attendre 2 mois le résultat... pour une tablette si on ajoute un facteur 6 on est à 1 an.
Quel intérêt, c'est comme dire que n'importe qui peut acheter un yot si l'on est pas trop regardant sur la durée de payement ... En gros en 10 vies^^.

On verra bien ce que ça donne, l’intérêt à mon avis de ce truc c'est de le rendre accessible aux chercheurs et universitaires...

[A voir en vidéo sur Futura]

[PA5CAL]

Au fait de quel type de puces parles tu, 20 ans ça fait pas beaucoup ?

Parce que d'après ce que je vois, ce n'est pas une puce classique de technologie logique programmable à base de FPGA ou CPLD, c'est une puce spécifique dont l'architecture est inspirée de celle des neurones, qui émule le système neuronale, certains parlent de "processeur neuromorphique".

Je parlais bien de ce type de puces neuro-mimétiques spécialisées, pas de calculateurs fabriqués à partir de puces programmables courantes.

De mémoire, les premières ne contenaient qu'un nombre très limité de neurones, de l'ordre de quelques dizaines.

faut pas caricaturer non plus

J'ai poussé le trait, juste pour dire que grâce à la simulation, on pouvait faire beaucoup moins cher, en étant beaucoup plus lent. Faire un système de cette taille sur une tablette n'aurait en effet certainement aucun intérêt.

10 millions de neurones et 60 milliards de synapses... on stocke tous ces objets où...

60 milliards de synapses, ça ne fait pas tant que ça. Pour rappel, aujourd'hui ça peut tenir dans une puce mémoire plus petite qu'un ongle, et n'importe qui peut disposer de moyens de stockage dépassant les 1000 milliards d'octets.

Alors, bien sûr, question vitesse c'est proprement catastrophique. Mais les applications ne réclament pas toutes de faire du temps réel, ni de faire nécessairement des milliards d'itérations avant de converger.

Au lieu de dire qu'une tablette mettrait un an pour réaliser 1 minute de fonctionnement de la puce (rapport 500 000:1), et le PC deux mois (rapport 90 000:1), on peut dire que pour un résultat obtenu en 3 heures sur la tablette ou en 30 minutes sur le PC, la puce ne mettrait plus que 20 millisecondes. Je pense que ce serait une vision plus juste de la situation.

[mp3dux]

Je parlais bien de ce type de puces neuro-mimétiques spécialisées, pas de calculateurs fabriqués à partir de puces programmables courantes.

ok, si tu retrouves un lien n’hésites pas à le poster parce que je pensais que c'était une première en lisant ça :

Where simulation refers to capturing essential properties with software, emulation refers to hardware. With the neuromorphic approach, the flow of ions through channels is emulated directly with the flow of electrons through transistors. Instead of just using the on or off behavior, the full dynamics of transistors, clustered into groups of 6 or 8, are used to emulate compartments of neurons.

Mead’s early designs linked transistorized neurons directly in hardware. That approach has its merits, and is a more physically accurate realization of neuronal interconnection.
Boahen took this second approach, giving each neuron an address which points to a local memory location stored in RAM. The RAM location then holds the synaptic target’s address. When the target address is fed back to the chip, a mini voltage, a synaptic potential is triggered at the target. Soft-wired virtual synapses can be encoded, translated, and decoded fast enough to route millions of spikes per second

Justement il a adopté une autre approche c'est pour ça que je tenais à voir si c'était déjà ce qui se faisait.

60 milliards de synapses, ça ne fait pas tant que ça. Pour rappel, aujourd'hui ça peut tenir dans une puce mémoire plus petite qu'un ongle, et n'importe qui peut disposer de moyens de stockage dépassant les 1000 milliards d'octets.

Yes, on est d'accord, pour faire simple on a plus les mêmes problématiques de stockage d'il y a quelques années, je me rappelle de mon pentium 80 GO, dont j'étais fier^^

Au lieu de dire qu'une tablette mettrait un an pour réaliser 1 minute de fonctionnement de la puce (rapport 500 000:1), et le PC deux mois (rapport 90 000:1), on peut dire que pour un résultat obtenu en 3 heures sur la tablette ou en 30 minutes sur le PC, la puce ne mettrait plus que 20 millisecondes. Je pense que ce serait une vision plus juste de la situation.

Vu comme ça, en effet .

Alors, bien sûr, question vitesse c'est proprement catastrophique. Mais les applications ne réclament pas toutes de faire du temps réel, ni de faire nécessairement des milliards d'itérations avant de converger.

Yep ça dépend des simulations, mais généralement pour modéliser les systèmes du réel, on simplifie les modèles sinon ça fait baver au niveau des calcul...
Les CPU usuels sont disqualifiés car trop lents du fait de leur capacité de calcul en parallèle trop faible, on préfère les GPU.

Un exemple, si on prend un million de neurones cela fait un million d'objets, au sens instance, pour les synapses si on prend aussi des objets... ça devient compliqué sur un PC , un objet ça fait plus d'un octet en mémoire. Pour les neurones je ne connais pas d'application réelle pour dire comment c'est modélisé, mais dans un domaine similaire je dois avoir une application de cellules dans un coin, que je mettrai dès que je le chope...

[polo974]

Là, comme ça, en passant, il me semble qu'il existe des unités de mesures normalisées dans le système iso pour mesurer les longueurs, surfaces et volumes, alors pourquoi mêler une tablette (même pas de chocolat) à la discussion ? ? ?

[mp3dux]

..., alors pourquoi mêler une tablette (même pas de chocolat) à la discussion ? ? ?

Pour les mêmes raisons qu'on mêle la pomme à la gravité (pas la pomme de terre)

Ouep pour être plus sérieux, on aurait pu parler en "FLops" à voir s'il est ISO ou pas... Je viens de découvrir que dans les tablettes les GPU ne sont pas si mauvais que ça...
Un chip Qualcomm Snapdragon S4 Pro APQ8064A arrive à développer 50 GFlops (théoriques) avec son GPU...(équipant un Samsung Galaxy S4 LTE).
Dans les tests pour simulation de type N-body, la partie GPU atteint 15.7 GFlops alors que son CPU Krait 600 arrive péniblement à 0.8(0.796) source SISoftware
Pièce jointe 247924
C'est super 50 GFlops dira t on , mais pour casser notre moral, une source NVIDIA

Simulation of a single neuron involves 200,000,000 differential equation evaluations per second, requiring approximately 4 gigaflops...

4 gigaFlops pour simuler un seul neurone en temps réel, déjà notre CPU quad core de tablette il est à la ramasse pour 1 neurone... Pour le reste même si on disposait d'une bonne puissance de calcul, la puissance énergétique pour développer des millions de gigaFlops serait juste aberrante pour un particulier ou même une université... Bref les aléas habituels de la simulation soft pour modéliser l'évolution temporelle d'un système disposant de millions voire de milliards d'entités interactives.

Dans ce domaine, moins intensive que le NBody de type gravitationnel, j'ai fait référence dans mon précédent post à une appli similaire que j’avais à rendre pour un cours, je pense au conway universe ou game of life(jeu de la vie).
Contrairement au N body où toutes les entités interagissent, dans le jeu de la vie, la cellule(l'entité) n'est influencée que par les cellules qui l'entourent plus ou moins 8-26-,... selon qu'on soit en 2D ou 3D, dans un monde plat ou arrondi, etc. Les cellules naissent donc, et meurent en fonction de l'état des cellules de leur entourage.
En 2D pour 100*100 cells =10 000 ça tourne facilement et converge au bout de quelques minutes. Avec 1 million de cellules à pleine vitesse la simulation devient interminable...
Pour des milliards de neurones avec leur connexions...faut pas chercher loin. Cette approche temps réel de Neurogrid et de petite taille temps réel si elle se révèle concluante sera un grand pas, par rapport à la simulation pour la recherche universitaire par exemple.
10000_r.png à peine 2 min plus tard en vitesse modérée finish1000r.png

Pour le million de cellules ça comme comme ça, mais j'ai jamais vu la fin
1million.PNG

Je crois ne pas me tromper, mais d'après ce que je sais ce n'est pas tant que ça le cerveau qui est très performant en calcul, mais ce sont les systèmes de modalisation qui sont lents dans leur processus de modélisation software. Dans la mesure qu'il faut plusieurs opérations logicielles pour simuler par exemple une addition élémentaire du cerveau...
Une addition élémentaire si un CPU doit le faire et non la simuler peut se faire en un 1 Flops, abordable en 1 nanoseconde pour un vieux pentium 4.

[invite73192618]

Au lieu de dire qu'une tablette mettrait un an pour réaliser 1 minute de fonctionnement de la puce (rapport 500 000:1), et le PC deux mois (rapport 90 000:1), on peut dire que pour un résultat obtenu en 3 heures sur la tablette ou en 30 minutes sur le PC, la puce ne mettrait plus que 20 millisecondes. Je pense que ce serait une vision plus juste de la situation.

Pour voir l'intérêt il faut faire un tableau comparant la consommation énergétique pour émuler un million ou 100 milliards de neurones, en temps réel, selon qu'on utilise ces puces, ou des PC, ou des tablettes. En reprenant tes hypothèses (plus une hypothèse de consommation de 5W pour la puce, 10 W pour le Ipad, 100W pour un PC), cela donne

Nombre d'éléments nécessaires pour émuler en temps réel x neurones:
10⁶: 1 puce ou 100 000 PC ou 500 000 tablettes
10¹¹: 100 000 puces, ou 10 000 000 000 PC ou 50 000 000 000 tablettes

Consommation énergétique:
10⁶: 5 Wh; 10 MWh; 5 MWh
10¹¹: 500 kWh; 1000 GWh; 500 GWh

Bref, avec ces puces émuler un cerveau de taille humaine consommerait 5 litres d'essence de l'heure; versus l'équivalent de la production électrique des états-unis avec des PC ou des tablettes (à la louche les calculs). Sur le plan théorique, tu as parfaitement raison que ces puces ne font rien que les PC ne peuvent faire. Sur le plan technologique, le gap est énorme, suffisant pour passer d'une impossibilité pratique à une construction somme toute raisonnable.

[invite73192618]

Un petit nouveau signalé dans un autre fil: http://en.wikipedia.org/wiki/TrueNorth (merci à EauPure)

Difficile de vérifier que les deux chips sont équivalentes, mais les deux annoncent un million de neurones programmables. Neurogrid annonçait 2 W (et non 5 selon l'estimé à la louche plus haut), TrueNorth 0,063 W.

Bref, en quelques années on est passé, pour émuler un cerveau de taille humaine, de la production énergétique mondiale à un shooter de vodka par heure.

Tchin tchin.

[EauPure]

Et Neurogrid est une carte électronique de la taille d'une tablette alors que TrueNorth est un circuit intégré de la taille d'un processeur.

[invite73192618]

TrueNorth 0,063 W

Oups... complètement faux. Ce chiffre repris un peu partout est pour une application spécifique qui sous-utilise la chip, ce qui diminue artificiellement la consommation. En fait la consommation serait grosso modo de l'ordre du watt (cf annexe S8). Le résultat dépend par ailleurs des hypothèses de connectivité, fréquence de décharge, et taux de rafraîchissement, donc difficile si c'est bien plus performant, ou bien moins performant, que la neurogrid.

Cela dit, 5 litres c'était déjà pas mal

[mh34]

Bref, en quelques années on est passé, pour émuler un cerveau de taille humaine, de la production énergétique mondiale à un shooter de vodka par heure.

Euh...j'ai beau tourner la question dans tous les sens, je comprends pas du tout ce que vient faire le shooter de vodka dans l'affaire!
Donc si tu pouvais traduire?

[EauPure]

Un shooter (aussi appelé cul-sec ou rasade) est un cocktail alcoolisé qui contient entre 25 ml et 100 ml de un (ou plusieurs) alcool fort.
Avec une pile à combustible à l'éthanol il faudrait 25 ml à 100 ml d’éthanol pour alimenter le cerveau artificiel

[EauPure]

Euh...j'ai beau tourner la question dans tous les sens, je comprends pas du tout ce que vient faire le shooter de vodka dans l'affaire!
Donc si tu pouvais traduire?

Il n'y a pas que les traductions google qui posent des problèmes de compréhension

[EauPure]

donc difficile si c'est bien plus performant, ou bien moins performant, que la neurogrid.

Quand on passe d'une carte électronique à un circuit intégré de même capacité en principe on gagne en consommation et en performance

[mh34]

Avec une pile à combustible à l'éthanol il faudrait 25 ml à 100 ml d’éthanol pour alimenter le cerveau artificiel

Voilà c'est ça qui me manquait. Merci.