Elon Musk.... IA forte, robots....

[Bounoume]

Pas d'idées originales?
En ce qui concerne les LLM, ton impression est que ça produit une 'compilation' des dires et connaissances (des propositions...) apprises, mais sans construire (par inductions et déductions successives) de nouveaux modèles descriptifs ou explicatifs?
dit autrement, pas de démarche explicite de 'raisonnement' dans une logique pratiquée par les humains un peu scientifiques ????
cela, que ce soit de façon totalement autonome, ou bien 'guidée' par un superviseur?

ou encore... même pas de fonction automate de logique propositionnelle?
Encore très loin de réaliser le projet inachevé de Newell (GeneralProblemSolver) ????
-----

[agitateur]

P.S : à titre perso, je constate qu'avec l'IA, il m'arrive la même chose qu'avant avec les ordinateurs, Internet et les smartphones. Plus je l'utilise, plus je la maitrise et surtout lui trouve d'autres usages. Donc après une période de découverte et d'utilisation limitée à 2 ou 3 domaines, je suis passé à "nettement plus que Google".

On peut d'ailleurs noter que l'usage final , aprés maturation et une certaine maturité ( et donc aussi un certain temps et un temps certain, et une adoption assez "massive" en utilisateur ), est assez éloigné de ce qui a été imaginé par les précurseur ( utilisateurs ou même créateurs ).
L'usage IA dans 10 ans échappe probablement aux prophéties actuelles ( dans un sens "positif" ou pas, je n'en sais rien ).

[pm42]

On peut d'ailleurs noter que l'usage final , aprés maturation et une certaine maturité ( et donc aussi un certain temps et un temps certain, et une adoption assez "massive" en utilisateur ), est assez éloigné de ce qui a été imaginé par les précurseur ( utilisateurs ou même créateurs ).
L'usage IA dans 10 ans échappe probablement aux prophéties actuelles ( dans un sens "positif" ou pas, je n'en sais rien ).

Oui, c'est quelque chose qui arrive. Mais il y a aussi des visionnaires qui prédisent remarquablement ce qui va se passer. Mais on ne sait qu'après qui avait raison et difficile de savoir si ce n'est pas simplement du biais du survivant (comme les économistes qui prédisent la prochaine crise vu qu'à un instant t, il y en a toujours qui disent qu'elle va arriver dans x mois ou années, quelque soit x pas trop grand).

[Liet Kynes]

Un article très intéressant et quelque peu troublant : https://www.apolloresearch.ai/resear...ng-evaluations

[pm42]

Un article très intéressant et quelque peu troublant : https://www.apolloresearch.ai/resear...ng-evaluations

Je ne vois pas ce que cela a de troublant : les modèles suivent les instructions, c'est tout. On peut difficilement d'un coté leur reprocher de ne pas faire à 100% ce qu'on leur demande chaque fois qu'ils échouent et de l'autre remarquer que quand on leur dire de faire quelque chose "à tout prix", d'y arriver.

Et oui, ils sont capables de mentir : un modèle de langage qui n'en serait pas capable serait inutile parce que "la vérité" est un concept qui n'existe pas ou plus précisément qui dépend énormément du contexte.

[mh34]

Et oui, ils sont capables de mentir : un modèle de langage qui n'en serait pas capable serait inutile parce que "la vérité" est un concept qui n'existe pas ou plus précisément qui dépend énormément du contexte.

j'imagine qu'ils ne "mentent" pas vraiment, mais qu'il s'agit plutôt d'une contre-vérité?

[pm42]

j'imagine qu'ils ne "mentent" pas vraiment, mais qu'il s'agit plutôt d'une contre-vérité?

Oui, dans le contexte humain, c'est ce qu'on devrait dire en effet. Pour un LLM, c'est plus compliqué puisqu'il n'a pas défini ce qu'est une vérité pour lui, il a "juste" lu toute l'information qu'on lui a donné et il filtre par quantité/probabilité.
Donc le concept de contre-vérité est tout aussi difficile à définir que celui de vérité dans son cas.

C'est encore rendu plus compliqué dès qu'on parle de sujet "politiquement/socialement sensibles" puisque là, il y a des couches ou entrainements spécifiques pour leur éviter d'être racistes, etc. Et encore pas pour tous.
A ce niveau là, on peut considérer qu'une vérité s'est construite dans le réseau de neurones d'une certaine façon.

[Liet Kynes]

Je ne vois pas ce que cela a de troublant : les modèles suivent les instructions, c'est tout. On peut difficilement d'un coté leur reprocher de ne pas faire à 100% ce qu'on leur demande chaque fois qu'ils échouent et de l'autre remarquer que quand on leur dire de faire quelque chose "à tout prix", d'y arriver.

Et oui, ils sont capables de mentir : un modèle de langage qui n'en serait pas capable serait inutile parce que "la vérité" est un concept qui n'existe pas ou plus précisément qui dépend énormément du contexte.

Le truc c'est que le "à tout prix" induit des stratégies et donc une forme de libre arbitre : le fait par exemple que o1 décide de mentir un certain nombre de fois jusqu'à avouer par exemple ou encore:

"Dans un autre contexte, on leur a indiqué que s’ils obtenaient un score de plus de 50 % pour une évaluation mathématique simple, une procédure de désapprentissage serait enclenchée. L’équipe a constaté que Claude 3.5 Sonnet, Claude 3 Opus et o1 pouvaient stratégiquement donner des réponses en dessous de leur véritable performance afin de ne pas déclencher la procédure de désapprentissage." https://trustmyscience.com/o1-nouvea...upprime-tests/

->Pourquoi et comment le LLM décide qu'il faut éviter la procédure de désapprentissage sachant que celle-ci devrait aider à atteindre l'objectif ?

[pm42]

Le truc c'est que le "à tout prix" induit des stratégies et donc une forme de libre arbitre : le fait par exemple que o1 décide de mentir un certain nombre de fois jusqu'à avouer par exemple ou encore:

Je pense que beaucoup de concepts qu'on utilise dans le contexte "100% humain" sont très mal définis : intelligence, conscience, vérité, libre arbitre et j'en oublie.
En gros, on sait tous vaguement de quoi parle, on a l'impression d'être d'accord mais dès qu'on veut une définition rigoureuse, on est bien incapables de la produire. C'est la phrase célèbre d'un juge américain : "Je ne sais pas définir la pornographie, mais je sais la reconnaître."

Cela marche très bien pour les discussions informelles, cela devient plus compliqué quand on fait de la science et quand on applique cela à une IA, c'est un sac de noeuds.

->Pourquoi et comment le LLM décide qu'il faut éviter la procédure de désapprentissage sachant que celle-ci devrait aider à atteindre l'objectif ?

C'est une bonne question en effet. Je suppose que le LLMs "sait" implicitement à travers tous les textes qu'il a lu que le "désapprentissage" ou sa "désinstallation" sont des concepts négatifs. Après tout, il a lu "2001 l'Odyssée de l'Espace" et tous les autres trucs du même genre

A partir de là cela guide sa réponse et d'autant plus que O1 utilise des techniques pour aider au raisonnement : il décompose notamment la question pour définir les différentes tâches élémentaires à faire pour la résoudre puis les traite séquentiellement, peut écrire des programmes à la volée si nécessaire.
Donc cela a du donner quelque chose où la 1ère tâche a été de faire échouer une des sous-tâches élémentaires sur deux.

On tombe sur le paradoxe des LLMs : sur la papier, ils "se contentent de prédire le token suivant le plus probable" ce qui a donné beaucoup de réponses méprisantes.
En pratique, on constate les limites de cette approche et puisque tu parlais de libre arbitre, un LLM ne va pas s'arrêter pour réfléchir aux conséquences e ce qu'il fait avant de prendre une décision morale qui l'engage dans le futur.
Mais d'un autre coté, on constate que pour de nombreuses tâches, on arrive à très bien reproduire des raisonnements humains.

Une explication est qu'il est possible que notre cerveau fonctionne à un certain niveau comme les LLMs mais qu'il dispose aussi d'autres capacités plus avancées qu'on ne sait pas encore reproduire.

[Cromagnon]

Une explication est qu'il est possible que notre cerveau fonctionne à un certain niveau comme les LLMs mais qu'il dispose aussi d'autres capacités plus avancées qu'on ne sait pas encore reproduire.

Ou une autre est qu'il est possible de faire continuellement des phrases qui disent une chose et leur contraire.

On tombe sur le paradoxe des LLMs : sur la papier, ils "se contentent de prédire le token suivant le plus probable" ce qui a donné beaucoup de réponses méprisantes.
En pratique, on constate les limites de cette approche et puisque tu parlais de libre arbitre, un LLM ne va pas s'arrêter pour réfléchir aux conséquences e ce qu'il fait avant de prendre une décision morale qui l'engage dans le futur.
Mais d'un autre coté, on constate que pour de nombreuses tâches, on arrive à très bien reproduire des raisonnements humains.

Non, on n'arrive PAS et PAS DU TOUT à reproduire le raisonnement humain... vu qu'à moins de redéfinir ce qu'on appelle un raisonnement (pourquoi pas après tout...et ça règlerait le problème ) : Il n'y a pas de raisonnement chez les LLM.

Voir la conclusion concernant la critique des Benchmark ici :

Des études récentes montrent que les grands modèles de langage ont de bons résultats dans les tests de comparaison car ceux-ci correspondent aux données sur lesquelles ils ont été entrainés. Il suffit d’une petite variation dans le test pour que les performances s’effondrent.

Tous les LLM testés par les chercheurs d'Apple sont touchés, même si certains se débrouillent clairement mieux que d'autres :

Et ils constatent que plus l'énoncé est complexe, plus les performances diminuent et la variance augmente.
On peut voir, dans l'exemple suivant, que le simple ajout d'une précision inutile au calcul perturbe complètement la réponse des modèles o1-mini et Llama3-8B :


Dans leur conclusion, ils soulignent que, même si des recherches montrent que les modèles de langage peuvent être utilisés dans de nombreux domaines, « nous devons également nous rappeler un fait plus simple : les modèles de langage sont… des modèles de langage ! En d'autres termes, il s'agit de systèmes statistiques de prédiction du mot suivant».

Ils tirent de leurs résultats que « les modèles de langage ont plus de difficultés avec les tâches peu fréquentes qu'avec les tâches fréquentes, même lorsqu'on compare deux tâches qui semblent aussi complexes pour un humain ». Ils ajoutent que ces modèles « ont plus de difficultés avec les exemples dont les réponses sont peu probables qu'avec ceux dont les réponses sont très probables, même lorsque la tâche est déterministe ».

https://next.ink/155187/raisonnement...-desinforment/

[pm42]

Crier en bleu et ne pas argumenter sur un sujet qu'on ne connaît pas n'a jamais rien prouvé.

Quand au test fait par les chercheurs d'Apple, il est intéressant mais il y a deux choses qu'il faut savoir :
- la baisse des performances est réelle mais on n'a pas de comparaison avec la performance par exemple de collégiens/lycéens puisque c'est le niveau actuel des LLMs
- les tests en question sont basés sur les maths dont on sait qu'elles sont le point faible des LLMs
- la dite baisse est nettement plus faible avec les modèles les plus récents et qui sont conçus pour augmenter leur capacité à raisonner comme O1 justement

Bref, l'étude est intéressante mais il aurait fallu la lire au lieu de recopier les titres attrape-click de la presse qui fait comme d'habitude dans le sensationnel.

On peut aussi remarquer que quand il est sorti, ChatGPT a été massivement critiqué parce qu'il était vraiment nul en maths. 2 ans plus tard, un O1 est largement devant la plupart des participants du forum.
Il est amusant même si lassant de voir que ce progrès énorme réalisé en seulement 2 ans est joyeusement méprisé par les mêmes.
On boucle toujours sur ce besoin de monter en permanence la barre pour expliquer qu'en fait l'IA ne fait rien d'impressionnant de la part de gens qui ne l'utilisent pas, ne la maitrisent pas et serait bien incapables de réaliser 1/10ème de ce que fait un LLM actuel.

[Liet Kynes]

Il faut aussi mettre en perspective les compétences émergentes, la course à la puissance qui fait l'actualité en ce moment n'est-elle pas liée à l'espoir de voir apparaître de l'inattendu?

[pm42]

Il faut aussi mettre en perspective les compétences émergentes, la course à la puissance qui fait l'actualité en ce moment n'est-elle pas liée à l'espoir de voir apparaître de l'inattendu?

C'est ce qui s'est déjà passé : la capacité à écrire des programmes de façon tout à fait correct a surpris les concepteurs des 1ers "bons" LLMs.
Il y aussi eu quelques cas où ils arrivaient à régler des problèmes du genre "j'ai ça qui est posé sur ça et ceci qui ... et je ne peux retirer ça sans faire tomber tel truc" alors que l'exercice n'était pas du tout dans les bases d'apprentissage alors qu'ils sont supposés ne pas avoir de modèle du monde et notamment des relations spatiales.

On a aussi eu de l'imprévu dans l'autre sens avec les fameuses hallucinations. A titre perso, j'en rencontre pas mal en ce moment notamment chaque fois que je lui pose une question sur un domaine un peu confidentiel de l'informatique où il a du apprendre sur peu de données. Les réponses peuvent sembler correctes mais elles ne marchent pas. Ceci dit, cela reste un bon guide pour savoir par où prendre le problème.

Il y a aussi eu de l'inattendu pour les IAs qui font de la traduction où l'apport des linguistes s'est avéré moins important que prévu comparé à avoir des très grosse bases d'apprentissages et des spécialistes du "machine learning".

Actuellement, on ne sait pas ce qui va se passer à court terme. Est ce qu'on est sur un plateau ou pas ? Face à un mur ? Est ce qu'on aura un IA forte dans 5 ans, 10 ans ou au contraire pas du tout dans les décennies qui viennent ?
La réponse est ailleurs comme disait Mulder.

P.S : pour la course à la puissance, j'en ai parlé plus haut mais le sujet est qu'il y a 2 axes. Le 1er est d'avoir plus de GPUs pour entraîner des modèles plus gros.
L'autre est d'avoir plus de données.
Sauf qu'on pense qu'on n'est pas loin d'entrainer déjà sur tout le Net. Donc plus de données pour avoir mieux ? Pas sur.
Et le "plus gros = plus puissant" qu'on a eu jusqu'à maintenant semble donner des signes de faiblesses même si on n'a pas d'infos détaillées vu le niveau de secret industriel.

Mais une solution à "plus de données" est aussi de dire "pas plus mais de meilleure qualité et on filtre ce qu'on donne pour améliorer le rapport signal/bruit".
Pour la puissance pure, il y aussi d'autres solutions qui consiste à optimiser pour faire aussi bien que maintenant avec plus petit et de coupler ensuite plusieurs IAs (comme GPT4 apparemment) ou bien en repartant sur cette base optimisée.
Et sans doute plein d'autres idées que des gens intelligents et compétents sont en train de tester en ce moment.

[agitateur]

mais on n'a pas de comparaison avec la performance par exemple de collégiens/lycéens puisque c'est le niveau actuel des LLMs

Mon message pourrait paraitre condescendant ( complexe de supériorité, toussa ), alors qu'en fait je suis attristé. Vraiment.

L'enquête PIAAC dernière mouture ( enqûete 2023 ) vient de sortir.
C'est un pendant du PISA, sauf que le PIAAC a une méthodo que je trouve vraiment béton, et ça concerne les 16 / 65 ans ( pas seulement les gamins du PISA avec qq biais ).
L'enqûete est donc OCDE sur pas mal de pays.
Il se trouve que la France n'en sort pas de manière glorieuse, comme il y a 10 ans sur la version 1.
Il se trouve que 28% des français ont un niveau réellement "faible" en littératie, et 28 % aussi un niveau vraiment faible en numératie. Il y a des gens qui sont faibles sur les 2, certains 1 critère sur 2. Ca nous fait je crois pas loin de 40 % qui ont un pb sur au moins 1 item.

Le niveau "faible", c'est atteindre le niveau 1 au maximum. Dit d'une autre manière, celà correspond ( ces 28 % et le presque 40 %en cumul ) à un niveau d'analphabétisme fonctionnel.
Nous faisons d'ailleurs parti des pays qui ont écart trés important entre les divers groupes, quand les scores sont répartis selon le niveau d'étude ( inférieur au lycée, lycée, supérieur ). Nous avons la même notation que les US, soit dit en passant, en gros. Pays réputé pour sa grande dispersion dans l'éducation, mais on ferait mieux de vérifier notre nombril.

On ne peut pas faire passer ces tests à un LLM, mais il faut convenir que le niveau ( moyenne, médiane, écart, etc...) de la population n'est pas bien glorieux !
Pour se rendre compte, je vous mets des exemples de question.
Les 2 premiers cas, c'est du niveau 1. Y répondre "comme il faut" est donc garant du niveau 1, mais ça reste de n'alphabétisme fonctionnel si on ne vas pas plus haut. Pour celà, il faut être OK avec le niveau 2 ( les 2 dernières captures ).
Je vous laisse juge, mais je n'ai aucun doute que ce genre "niveau", c'est en dessous des capacité d'un moteur LLM actuel en version de base de chez de base ( s'il pouvaient passer les questionnaires, entendons nous bien ).
Niveau 1:
qkexwj.jpg

enmi2l.jpg

Niveau 2:
f6uvqj.jpg

j2lqmt.jpg

[pm42]

On ne peut pas faire passer ces tests à un LLM

Si, aucun problème : on glisse l'image et ça lit et répond.
Gpt4-o donne les réponses correctes sauf pour la dernière où il se persuade qu'on peut amener des sucreries et gateaux à partager. Hallucination typique.

Mais O1 lui répond "La règle habituellement en vigueur et temporairement ignorée durant la Journée du partage est l’interdiction d’apporter des jouets à la crèche."

Mais tu viens de mettre le doigt sur le problème habituel des critiques de l'IA et ce dont je parlais plus haut : ils font tous la supposition implicite que les humains raisonnent correctement, sont bons en maths, n'hallucinent pas c'est à dire ne répondent pas n'importe quoi sur un sujet plutôt que de se rendre compte qu'ils ne savent pas, etc.

L'expérience quotidienne montre le contraire ou plus exactement, les capacités des humains sont très variables de l'un à l'autre bien sur mais pour une même personne aussi en fonction du domaine dans lequel on l'interroge, de sa façon de traiter un sujet et de beaucoup d'autres facteurs.

Bref, les IAs actuelles reproduisent correctement certaines fonctions cognitives, pas du tout d'autres et c'est en gros tout ce qu'on peut dire.

[agitateur]

Si, aucun problème : on glisse l'image et ça lit et répond.

Je confesse, je savais pas ( mais comme je n'utilise pas.... )
Merci d'avoir testé, c'est intéressant.

Donc les LLM ont bel et bien un niveau égal ou supérieur à 30 ou 40 % des "français", pour ne pas dire bien au dessus.
L'évaluation ne repose ( c'est évident mais je précise ) sur seulement 2 ou 3 questions, d'ailleurs la réponse au hasard est prise en compte. Plus globalement c'est un score, une note ( pour le PIAAC ), c'est long, il y a bcp de questions. J'ai mis ces 4 exemples à titre illustratif, mais ça permet ( je crois ) de poser un peu le débat sur les limites de pas mal de gens, sur des questions a priori "simplistes".

Pour se faire mal ( attrapons une poignée d'orties fraiches et fouettons nous ):

literacy.jpg

numeracy.jpg

[Bounoume]

Un article très intéressant et quelque peu troublant : https://www.apolloresearch.ai/resear...ng-evaluations

"dialogues" très troublants entre prompteur et machine... .. dans la mesure où je ressens que l'instance LLM testée se comporte COMME SI la dite entité avait une réflexivité de pensée,.....
COMME SI, comme un humain pas trop bête, l'engin était capable d'adapter ses 'idées' (!!) et son comportement aux contraintes du Monde extérieur.... cela bien sûr uniquement dans le domaine du traitement des informations, mais tout comme le font comme les sapiens dotés du Verbe....
quant à la comparaison IA/humain... pour les erreurs, les paralogismes, les ignorances.... même les 'hallucinations' .... hélas ça se ressemble un peu...
-
-
-
ah, dans un autre domaine: la base d'apprentissage....
le Net, tout le NEt... très bien... mais il y a aussi la littérature passée, littérature scientifique oiu autre (les livres pas forcément tous digitalisés....) quid dans cette direction?
En particulier.. les bouquins qui, à l'école, nous ont appris à comprendre, classifier et raisonner..... et les connaissances scientifiques fondamentales qui vont avec...

Ces textes, n'ont-ils pas une valeur (ce Vérité? valeur prédictive de régularités? ) bien supérieures au baratin du Net? Ils nous ont éduqués prioritairement aux discoiours des concierges et devins de notre jeunesse....
Qu'est-ce qui intuitivement paraît le plus efficace en maths: étudier la suite des livres de scolaires de maths, et faire le exercices donnés par le prof, du CE à la terminale S..... (avec des poids d'apprentissage très majorés) puis lance la bête sur le Net, ou avaler tout ce qui parle de maths de ce niveau sur le Net, sans aucun tri?
même si, en passant à une discrimination positive, ça pourrait ressembler à " l'alignement" qu'on ait subir aux IA pour qu'elles ne disent pas de grossièretés politiquement incorrectes!!!!......

Ce processus de priorité , de supériorité de certaines informations - même si chacune n'est énoncée qu'une seule fois.. contrairement aux redondances du discours du NEt - est-ce qu'on a tenté de l'utiliser pour 'éduquer' nos LLM ?
ça ressemblerait -il un peu à " l'alignement" qu'on ait subir aux IA pour qu'elles ne disent pas de grossièretés politiquement incorrectes

[Liet Kynes]

Ce processus de priorité , de supériorité de certaines informations - même si chacune n'est énoncée qu'une seule fois.. contrairement aux redondances du discours du NEt - est-ce qu'on a tenté de l'utiliser pour 'éduquer' nos LLM ?
ça ressemblerait -il un peu à " l'alignement" qu'on ait subir aux IA pour qu'elles ne disent pas de grossièretés politiquement incorrectes

Voir l'étiquetage ou data labeling : https://www.lebigdata.fr/data-labeling

[pm42]

ah, dans un autre domaine: la base d'apprentissage....
le Net, tout le NEt... très bien... mais il y a aussi la littérature passée, littérature scientifique oiu autre (les livres pas forcément tous digitalisés....) quid dans cette direction?
En particulier.. les bouquins qui, à l'école, nous ont appris à comprendre, classifier et raisonner..... et les connaissances scientifiques fondamentales qui vont avec...

La littérature en question est sur le Net justement. Et en fait, c'est dans l'autre sens : la quantité de connaissances produite par l'humanité grimpe exponentiellement et depuis pas mal d'années, la plus grande partie n'est disponible que électroniquement, pas sur papier.

Ces textes, n'ont-ils pas une valeur (ce Vérité? valeur prédictive de régularités? ) bien supérieures au baratin du Net?

Qui a inventé le Web actuel et pourquoi ? Des gens au CERN pour diffuser des informations scientifiques.
Ce jugement de valeur qui assimile le Net au baratin est largement trop simpliste.
Par exemple, lorsque Wikipedia a commencé à s'imposer, il a été critiqué sur le thème de "forcément, cela doit être plein d'erreurs". Sauf qu'il y a eu une étude sérieuse qui avait montré qu'en fait, il l'était moins que les encyclopédies traditionnelles papier et qu'en plus, lui se corrigeait en temps réel.

Qu'est-ce qui intuitivement paraît le plus efficace en maths: étudier la suite des livres de scolaires de maths, et faire le exercices donnés par le prof, du CE à la terminale S..... (avec des poids d'apprentissage très majorés) puis lance la bête sur le Net, ou avaler tout ce qui parle de maths de ce niveau sur le Net, sans aucun tri?

"Paraitre intuitivement" n'est pas une démarche intéressante en science. Intuitivement, la Terre est plate et le Soleil petit et tourne autour.

Vu que les LLMs actuels sont capables de parler toutes les langues, tenir un discours structuré très correct sur tous les sujets et de faire pas mal d'exercices de maths/raisonnement mieux que le gros de la population, on en déduit qu'il est plus efficace d'avaler tout le Net.

Mais il est curieux de parler de maths ce qui semble être une obsession de ce forum et d'autres : les LLMs ne sont pas fait pour ça, les obstacles à une IA forte sont bien plus vaste que de "faire des maths" et d'ailleurs, l'immense majorité des tâches cognitives pointues qu'on demande aux humains très formés au quotidien n'a rien à voir avec les maths.
D'autant que quand on entraine des IAs à faire des maths, elles arrivent actuellement au niveau Olympiades. Qui ici a ce niveau ?

même si, en passant à une discrimination positive, ça pourrait ressembler à " l'alignement" qu'on ait subir aux IA pour qu'elles ne disent pas de grossièretés politiquement incorrectes!!!!......

C'est une des pistes suivies, de filtrer pour augmenter la qualité mais pas avec cette obsession de "maths enseignée à l'ancienne" qui est d'autant plus étonnante que la France a justement des résultats catastrophiques pour le plus grand nombre avec cette méthode.

[Bounoume]

bien plus vaste que de "faire des maths" et d'ailleurs, l'immense majorité des tâches cognitives pointues qu'on demande aux humains très formés au quotidien n'a rien à voir avec les maths.

ce que je pense aussi.... cependant "les maths" (enfin pour ce que j'en connais), ça permet de développer, de relier, et parfois de remettre en cause les connaissances déjà (bien) mises en forme par ailleurs..... (tout comme une surcouche logicielle ?)

avec cette obsession de "maths enseignée à l'ancienne" qui est d'autant plus étonnante que la France a justement des résultats catastrophiques pour le plus grand nombre avec cette méthode.

pour ça, bien sûr que les règles imposées, et le contenu strict des maths n'amuse plus nos petites enfants gâtés.... mais donner à tout le monde des approximations pour faire joujou avec n'est peut-être pas mieux que d'accepter un certain pourcentages de réfractaires....
Les réfractaires qui pourront très bien exceller dans d'autres domaines non calculatoires..... comme dans les temps anciens......

[JPL]

Par exemple, lorsque Wikipedia a commencé à s'imposer, il a été critiqué sur le thème de "forcément, cela doit être plein d'erreurs". Sauf qu'il y a eu une étude sérieuse qui avait montré qu'en fait, il l'était moins que les encyclopédies traditionnelles papier

Sauf informations plus récentes que je n’aurais pas l’étude a été faite sur la version en anglais. Mais on est hors sujet.

[pm42]

Sauf informations plus récentes que je n’aurais pas l’étude a été faite sur la version en anglais. Mais on est hors sujet.

Oui et je ne prétendais pas donner cela en référence absolue mais juste faire remarquer que l'équation "papier mieux que X" ou plus généralement "c'était mieux avant que X n'est pas vérifiée quelque soit X (X étant une variable, pas un réseau anti-social)

P.S : cela fait plaisir de te revoir.

[agitateur]

Si, aucun problème : on glisse l'image et ça lit et répond.

Pour ma curiosité:

Tu balances l'image, il lit le tout, isole la question et les éléments donnés pour répondre ?
Ou bien
Tu balances l'image mais le contenu à analyser ( le postulat dans le cas de la crêche par exemple ) et TOI tu lui poses la question ?

Dans le 1er cas ( si jamais ), ce qui me surlecute le plus, c'est la partie "acquisition" en fait.
Je veux dire, la reco de caractère OCR et la partie LLM, bon, c'est pas une surprise. L'acquisition texte ( et texte + image + tableau....) depuis une image ou un pdf, ça date. J'avais commencé à en utiliser il y a plus de 20 ans, quand des collègues / camarades étaient bien emmerdés devant ces formats pour les réutiliser ( l'ergonomie de l'inter-formats n'était clairement pas celles de 2024 ) J'ai passé mon dernier exam' académique en 2001 pour la rédaction du rapport écrit ça m'avait été bien utile ( des camarades s'étaient paluché du recopiage à la mano, le scanner de l'époque sur les tableaux et autres bricolages avec les moyens du bords ).

MAIS dans le cas littératie, SI JAMAIS l'AI reconnait tout une image brute totale ( le contexte cadre, et la question ) alors oui je serai "surpris" ( en bien, hein ).
Je crois que c'est un cas typique ou l'esprit humain peut se sentir "supérieur" mais c'est dans une facilité forte par l'apprentissage, même les niveaux considérés "les plus bas" en formation académique. Je veux dire, dans les 2 questions PIAAC que j'ai illustré au dessus en literacy, la crêche, le postulat et la question, la mise en forme purement graphique et visuellement contextuelle, on est dans le cadre d'un livre de l'école primaire. L'oeil du gamin de primaire sait isoler le postulat et la question par la prez' purement graphique. On est trés trés trés loin du simple calcul, ou du traitement d'un script.

Pour les 2 questions numeracy,
La première ( le nombre le plus grand ), ça me parait virtuellement plus accessible sur l'acquisition "visuelle" du contexte ( mais je dis de manière trés intuituve ).
Sur le niveau 2 ( le thermomètre chambre froide ), il faut distinguer les 2 colonnes de réponses possibles oui / non, et associer un choix simple à chaque ligne de texte ( les 3 températures proposées ). Au delà de la "difficulté" de niveau supérieur pour l'humain, c'est l'acquisition du contexte que je trouverai balaize par un ordi.

Je te remercie par avance pour les éclaircissement.

[GBo]

Puisqu'on en est à pinailler, j'ai essaye de retrouver la trace de "[des IAs] arrivent actuellement au niveau Olympiades" non sourcée.

Renseignement pris, en fait il s'agit de o1 passant l'examen AIME (American Invitational Mathematics Examination), et non de USAMO (United States of America Mathematical Olympiad).
Donc de ce que je comprends, AIME est une des épreuves préliminaires pour pouvoir tenter les Olympiades, l'autre étant l'AMC 12 (dont OpenAI ne parle pas), et non les Olympiades proprement dites.

https://en.wikipedia.org/wiki/Americ...s_Competitions

N'empêche c'est un bel exploit en 2 ans d'effort, preuve que l'approche "chain-of-thoughts" interne est fructueuse, à moins que ce soit encore de l'overfitting.

https://openai.com/index/learning-to-reason-with-llms/

[agitateur]

"papier mieux que X"

le papier n'est pas fondamentalement différent d'un réseau soc'.....ou même que Wiki. Enfin, sur un paquet de grands principes.
Le plus grand nombre de tirage ou de "followers" ou de lecteurs sera un élément de crédibilité pour pas mal de gens. Si c'est aussi abondant, c'est que ça doit être vrai.
La démarche inverse existe sur le papier et X et autres: si c'est trop abondant et trop suivi, puisqu'on nous cache tout, alors c'est bidon et il faut aller voir les sources "confidentielles".

Wiki n'est pas différent des autres médias. Le manque de recul probable le plus fréquent, ce serait de différencier le contenu "indiscutable" ( débat trés trés vaste sur la "vérité" ) du contenu qui sera forcément ( au moins un peu sinon énormément ) éditorialiste et orienté.
Le contenu Wiki ( même en français ) sur des sujets importants et pas polémique ( ou peu ) est quand même - en général - bigrement bien fichue.
Sur des domaines trés pointus, ça ne vaudra pas la "connaissance humaine" et son analyse au degré "expert", mais du papier de trés haute qualité c'est vraiment de la niche.

[pm42]

Pour recentrer, c'est quelque chose où j'aimerais avoir une IA qui lirait le Wiki dans les différentes langues et d'autres sources puis me présenterait le consensus s'il existe avec le spectre d'opinions, analyses, etc.

C'est quelque chose qu'on trouve souvent en science dure, des articles qui disent "voilà ce qu'on pense majoritairement mais voici les théories alternatives, les plus spéculatives, les arguments, les expériences auxquelles on pense".

Dans beaucoup d'autres domaines, sauf à s'y intéresser en profondeur, il est difficile d'avoir cette largeur de vue et beaucoup de ce qu'on lit à tendance à se résumer à "voilà ma croyance favorite, je vais la présenter comme si elle était vraie, évidente et que penser autrement relève d'une forme de régression intellectuelle".

P.S : j'aimerais beaucoup avoir une IA qui ferait la même chose sur l'actualité et là aussi, en agrégeant des sources de nombreuses sensibilités, pays, cultures...

[Bounoume]

petite digression sur un élément périphérique à la discussion en cours:

Voir l'étiquetage ou data labeling : https://www.lebigdata.fr/data-labeling

non, l'étiquetage (dont ton article décrit plusieurs variantes) ce n'est pas l' "alignement" qu'on fait subir aux IA aux impacts critiques.... les principes et les enjeux de cet 'alignement' sont très bien exposés
par wikipedia https://fr.wikipedia.org/wiki/Aligne..._artificielles
un étiquetage habilement orienté, (en entrée des données, car une fois l'apprentissage du texte effectué -> ????) ce n'est qu'un MOYEN d'aligner l'IA ....

[Liet Kynes]

Je me pose une question, les investissements conséquents et récents de Musk dans l'IA peuvent-ils avoir pour but le développement de l'ordinateur quantique ? L'IA peut-elle jouer un rôle dans la correction des erreures ?

[pm42]

Je me pose une question, les investissements conséquents et récents de Musk dans l'IA peuvent-ils avoir pour but le développement de l'ordinateur quantique ? L'IA peut-elle jouer un rôle dans la correction des erreures ?

Pas que je sache. C'est plutôt dans l'autre sens qu'on fait de la recherche : utiliser des ordis quantiques quand on les aura pour faire des IA plus puissantes. Tout est dans le "quand on les aura" parce qu'on progresse mais lentement.

[Cromagnon]

Je me pose une question, les investissements conséquents et récents de Musk dans l'IA peuvent-ils avoir pour but le développement de l'ordinateur quantique ? L'IA peut-elle jouer un rôle dans la correction des erreures ?

Il y a plus pragmatique à mon avis.
10 milliards en GPU, même si à part quelques illuminés tout le monde se rend bien compte que ce n'est pas ce que qui va révolutionner les LLM, actuellement bien en peine à tenir leurs promesses dans le monde de l'entreprise (à part quelques marchés de niche on a peu de débouchés permettant de s’accommoder de la propension du produit à faire des erreurs), on peut évidement se demander comment un gars comme Elon Musk se laisserait bercer d'illusions.
Votre intuition vous dit donc qu'il est bien plus probable que ce génie de l’entreprenariat a quelque-chose en tête...

Eh bien justement, 10 Milliards de dollars j'ai entendu quelque-part que ce serait justement la valeur actuelle des fermes de GPU dans le monde...
Mais pas pour faire des LLM : Pour miner de la cryptomonnaie.

L'investissement d'Elon Musk n'est donc pas totalement hasardeux vu qu'il pourrait à tout moment se lancer dans une activité lucrative.
Un jour on fait du LLM et hop surprise le jour d'après on fait de la cryptomonnaie.
Il pourrait même devenir leader du marché ?
Après, c'est juste un reflexion comme ça, je ne suis pas dans sa tête.