Un bon résumé des limites des LLMs et des travaux pour les dépasser

[pm42]

Bonjour,

Pour ceux que cela intéresse, j'ai trouvé que https://medium.com/@aedelon/one-gpu-...i-d62d837bf4c2 était très clair.
Rien de nouveau sur le fond mais cela donne une idée précise de l'état de l'art, quelques exemples très clairs, parle de la recherche...
-----

[Liet Kynes]

Bonjour, je cite (en espérant que c'est bien traduit):

Comment apprendre les principes causals à partir de données d'observation?

Le cerveau humain le fait. Un bébé n’a pas besoin de voir des millions d’exemples de boules tombantes pour comprendre la gravité. Quelques observations suffisent pour induire une règle générale.

Est ce que si on va plus loin le problème ne se situe pas dans le fait que l'humain ressent des récompenses physiques dans son apprentissage, ces ressentis physiques étant quelque part très difficiles à bien comprendre ?

[Bounoume]

ce cas particulier me semble simple:
la stabilisation des règles issues d'un tel apprentissage se fait au décours de la mise en jeu de multiples boucles d'asservissement résultat ->ajustement de l'action productrice....
et ces boucles sont hiérarchisées.... la boucle ça descend->aïe ça m'écrase le pied->donc ce qui fait descendre... même si c'est rare et peu probable....c'est dangereux!
ça va faire enregistrer très vite les boucles qui intègrent la fameuse descente des choses.... alors que dans un monde d'images sans sensations et sans trace de ressentis.... faudra attendre bien plus d'observations pour prendre en compte la chose....

voir la controverse sur l'IA incarnée....,
mais en fait l'IA peut être 'incarnée' dans uns simulation du monde réel physique ou/et social... ou bien aussi dans d'un monde imaginaire d'esprits, de magie, de superstitions....
une IA incarnée dans le monde de Harry Potter... par exemple ! ça ça ne serait pas trop grave, mais dans le monde de Monsieur Steiner (anthroposophie) ?

[GBo]

voir la controverse sur l'IA incarnée....,
mais en fait l'IA peut être 'incarnée' dans uns simulation du monde réel physique ou/et social... ou bien aussi dans d'un monde imaginaire d'esprits, de magie, de superstitions....
une IA incarnée dans le monde de Harry Potter... par exemple ! ça ça ne serait pas trop grave, mais dans le monde de Monsieur Steiner (anthroposophie) ?

On n'en est pas là du tout : plutôt que du texte dont se nourrissent les LLMs, V-JEPA de Y. LeCun "regarde" des millions de vidéos non sous-titrées et non éditées (pas de coupures temporelles) pour apprendre le monde dans ses manifestations les plus basiques mais de façon plus abstraite que l'analyse du moindre pixel, à savoir comment les objets bougent, tombent si on les lâche, interagissent entre eux, sont occultés par d'autres suivant le point de vision etc... comme le ferait un animal ou un bébé qui ne comprend pas (encore) le langage, mais dont on a la preuve qu'il comprend la physique de base par la simple observation, mieux que le ChatGPT dernier cri.
Le fait que V-JEPA 2 échoue au benchmark IntPhys 2 montre que le chemin va être long avant d'avoir des robots humanoïdes type majordome chez soi, c'est de la recherche fondamentale.

[A voir en vidéo sur Futura]