remplacer les modèles d'IA actuels?

[Bounoume]

Maintenant on va faire bien mieux (? ?) que les ANN organisés en couches successives , où chaque 'neurone' de la couche N est relié à chacun de la couche N+1.... (enfin, c'est ce que j'ai cru comprendre du peu que j'en connais..) ?
l' Avenir radieux?
https://www.futura-sciences.com/tech...siques-125462/
quelle en est l'organisation?
Qui a des informations détaillées sur cette nouvelle organisation des neurones formels?

est-ce la simple suppression des connexions qui ont un 'poids' trop proche de zéro? Je suppose que c'est bien plus complexe que
ça...et puis il faut aussi déterminer ces positions privilégiées et les valeurs par l'apprentissage....et pour traiter le langage naturel (via les 'transformers'????) ça change quoi?.
-----

[Garion]

Bon, on va commencer par te féliciter à lire un article qui parle de '"ridiculiser" les connaissances actuelles. Ça c'est le genre de news que je bloque (message caché aux rédacteurs de FS). Dés qu'il y a le mot choquer et ridiculiser, je bloque le site. il y a donc longtemps que je ne vois plus les news de FS.
Alors exceptionnellement, j'ai lu l'article.
Et je lis : "Dans un des tests, avec un prompt de 4 millions de tokens, le plus petit des deux modèles était plus de 100 fois plus rapide qu'un modèle classique."
Là, déjà, je me dis, ça pue l'annonce pour récolter des sous.
Puis je lis "L'entraînement de SpikingBrain a nécessité moins de 2 % des données utilisées par des modèles classiques tout en affichant des performances similaires."
Là, je me dis que c'est encore plus du bullshit.
Puis je regarde l'abstract du papier, et je vois que c'est bien plus modéré le X100 n'est que dans un cas particulier qui n'a rien à voir avec l'article

Quand à la connexion entre chaque neurone du niveau N et ceux du niveau N+1, c'est la moindre des choses et c'est déjà ce qu'on faisait dans les année 80...(voire même plus tôt)

[Flyingbike]

Par défaut il faut considérer que les articles de FS sont du bullshit. Et encore pire avec certains auteurs notamment celui qui a pondu le torchon cité plus haut.


De toute façon; quand on ne sait plus ou commence l'article et ou finit la pub, c'est qu'on est mal barrés. Le pire étant la popup qui vient dire "la science est en danger, soutenez nous", alors que ces génies sont largement acteurs de la décrépiscence (oui, ça existe) des media scientifiques....

[ThM55]

L'article sur Arxiv met en avant une technique qui n'est pas si nouvelle, celle des "spiking neurons" ou neurones à impulsions, qui semblent plus proches du fonctionnement des neurones biologiques. Ce n'est pas nouveau, l'idée existe depuis longtemps pour améliorer le rendement énergétique mais d'après ce que j'ai lu, ce serait plus difficile à mettre en oeuvre en pratique. Sans étudier les détails techniques de l'article, si on lit le paragraphe de conclusion, on voit qu'il s'agit seulement d'une étude de faisabilité pour des architectures qui visent à se passer des puces NVidia, et la réalisation d'un démonstrateur, montrant des perspectives intéressantes:

These results not only demonstrate the feasibility of efficient large-model training on non-NVIDIA
platforms, but also outline new directions for the scalable deployment and application of brain-inspired
models in future computing systems.

Cela ne "ridiculise" donc pas les systèmes existants, c'est ce titre qui est ridicule.

[A voir en vidéo sur Futura]

[oualos]

Pardon mais ça m'intrigue: qui écrit les articles intitulés Futura ?
A priori, ce ne sont sûrement pas les modérateurs vu leur réaction

[Flyingbike]

Apparemment ce ne sont même pas les «*journalistes*». Il doit y avoir un type payé juste pour trouver les titres les plus creux et les plus putaclick.

[Bounoume]

merci de ton avis, ThM55..... en plus, en cherchant comment tu avais pu accéder à la publication Arxiv.... j'ai eu l'insight animal de cliquer sur le mot 'Arxiv' noyé sans précision présent dans le texte du journaliste... et c'était miraculeusement le lien vers la publication....
voici la traduction (thanks google!)d'une fraction du résumé:

Pour y remédier, nous présentons SpikingBrain, une famille de modèles inspirés du cerveau, conçus pour un apprentissage et une inférence efficaces en contexte long. SpikingBrain s'appuie sur le cluster GPU MetaX et se concentre sur trois aspects : (1) Architecture du modèle : architectures d'attention linéaires et hybrides-linéaires avec neurones à picots adaptatifs ; (2) Optimisations algorithmiques : un pipeline d'apprentissage efficace basé sur la conversion et un framework de codage de pics dédié ; (3) Ingénierie système : frameworks d'apprentissage personnalisés, bibliothèques d'opérateurs et stratégies de parallélisme adaptées au matériel MetaX.

alors c'est quoi, ces adaptive spiking neurons?
https://www.sciencedirect.com/scienc...20025524013951
au-delà d 'acronymes inconnus, il me semble que ce sont encore des neurones virtuels, recevant via des 'synapses' les stimulations provenant de neurones de la couche N-1 .... calculant comme d habitude une fonction d 'excitation à partir de poids de connexion, et si le seuil est atteint, propageant vers les suivants....
ça ne me semble révolutionnaire,
mais il y aurait aussi des processus de suppression de certains neurones, de régénération d'autres, et de modification des poids pour les neurones voisins des supprimés pour cause de redondance (ou d'inutilité?)
Ces arrangements d'arrière-plan voudraient simuler la 'plasticité neuronale' attribuée aux cerveaux biologiques....
Est-ce un peu ça?
Si tu suis encore FS, qu'en penses-tu, FinalSpark? ça ne me semble pas bien ressembler aux neurones biologiques réels, qui ont en général une activité cyclique autonome (sans stimuli), des stimuli inhibiteurs, facilitateurs, plusieurs sortes de neurones selon les structures, etc....

[oxycryo]

ce que je trouve un peu étrange avec les réactions à cet article, st que précisément, l'article étant mal foutu, et générer pour produire du cash-flow à partir d'une "publication réelle"

donc, là où les forums aurait une grand utilité, comme le montre ce post, en se faisant une joie de débunker la production littéraire de futura pour leur donner leur réelle profondeur...

car sommes, toutes, futura n'existe que parce qu'il se comporte en miroir de son environnement...
- doit-on se plaindre qu'un média scientifique soit gratuit, avec ce que le gratuit génère en matière de comportement et de provocation inutile...
- où bien "peut-être" se dire que l'important n'est peut-être pas dans forme, mais dans le fait que cette information remonte à la surface du web via futura-science, même si la jolie boué "canard" qui lui permet de remonté, rend cette information particulièrement visible, voir risible dans de nombreux cas

par là...
pendant longtemps ce forum, reprenait chaque article de Futura, qui au moins servait de support de discussion... et d'approfondissement de notion assez varié... enfin pour les curieux...

que futura-science fasse "au mieux" du web gratuit, une chose, que nul ne tente de réparer l'outrage à la connaissance, une autre chose... peut-être un bon objectif "en-soi" pour un Forum qui tend de son côté à disparaître un peu de soi-même, ayant perdu sa façade première, son point d'ancrage sur la toile...

pour le reste (je lirais peut-être l'article) A+

[Bounoume]

effectivement...
FS a le mérite d'exister, indépendamment de medias spécialisés, réservés à des 'élites' possiblement obsédés d'un seul sujet, ignorant tout le reste du vaste Monde.. et même possiblement sectaires, comme le sont plein d'affidés à X, facedeBouc ou Twitter ou autres....
Il y a un peu de tout, des bêtises .. qui ont le mérite de m'amuser un peu (le vrai Monde n'est pas gai...), du frivole, du racoleur limite vicieux.... (et de belles images.. ) ainsi que des publicités parfois.... intéressantes ou distrayantes..... voire signifiantes de certains travers humains....

Hélas cet environnement racoleur est essentiel pour attirer le client...
Il est indispensable que l'entreprise soit rentable, sinon cette source d'informations gratuites disparait (au bénéfice d'autres... dont les financeurs ne sont pas nécessairement sympathiques...)
Après avoir joui du spectacle, on fait le tri et on documente les informations qui paraissent signifiantes.....
C'est comme ça qu'on peut rester un peu au courant des évolutions du monde technique et scientifique (et .. via AI... extension au fonctionnement sociétal et mental des humains, et aux théories sur le pensée raisonnante..)

Mais ça n'interdit pas de commenter et de proposer des améliorations et des extensions aux articles réellement intéressants....

Alors, sur l'innovation chinoise 'soi-disant inspirée du cerveau humain....
la prétendue 'communication par impulsions' .... du vent?
OU BIEN c'est seulement la modification de la mise en oeuvre des IA et grands modèles de langage, modification de l'attention et extinction/réactivation des neurones formels...
mais sans remise en cause des principes et l'architecture générale?
Et aucune évolution ni vers les 'vrais' neurones, au fonctionnement impulsionnel asynchrone, ni vers l'organisation anatomique (aires spécialisées... et peut-être groupes cellulaires spécialisés dans une 'pensée' (perception, pulsion, conduite) précise ? ni l'objectivation d'un parcours de décision ni 'raisonnement' explicite ????
Est-ce bien ça???
mais avec (je suis méchant!) complication de l'apprentissage.. apprentissage qu'ils affirment toutefois qu'il devient plus efficace.....