IA LLM Microsoft révolutionnaire (calculant... en binaire vs 32 bit flottant)

[Bounoume]

voici l'information
https://www.futura-sciences.com/tech...ivores-121291/
Qui pourrait éclairer notre lanterne sur cette nouvelle surprenante?
Si effectivement les calculs sont effectués 'sur 1 bit' ... donc sur des variables binaires....
Pour ce qui est du hardware...paradoxalement, .ça me gêne peu.... il faudra que l'UART calcule en binaire.... bit à bit... par paquets se 32 bits je suppose.... ça me rappelle les instructions Assembleur 6809 :
AndA, ANdB, OrA, OrB, EORA, ORRB , les décalages etc.... alors sur 8 bits... c'est vieux!

par contre, l'impact sur les variables du modèle, sur le fonctionnement des couches de neurones formels, les calculs des poids de connexion , les fonctions d'activation, les calculs matriciels d'attention, la rétropropagation de l'erreur...... etc etc..
même avec le petit ,peu que j'en connais, je suppose que les formes actuelles sont très peu compatibles avec des variables exclusivement binaires.....
Alors, pour BitNet b1.58 2B4T, qu'est-ce qui change réellement?

Quel est l'avis des forumeurs qui, eux, maîtrisent le domaine?
-----

[polo974]

Ce n'est plus un llm 1 bit, mais 1.58 bit (soit un poids de -1, 0 ou 1).
Ça date de plus de 6 mois, et vu la vitesse à laquelle ça va dans ce domaine, et que rien n'a bougé depuis (à part des ajustements suite à évolution des lib externes), l'aspect révolutionnaire n'est plus trop d'actualité...