Le nouveau venu d'OpenAI appelé o3 fait bien mieux que o1 sur des tests ARC-AGI* qui ressemblent à des tests "psychométriques" de logique graphique assez faciles pour les humains mais (jusqu'ici) difficiles pour les IA.
Le papier est ici, signé de François Chollet (bien connu pour ses bouquins sur le Deep Learning):
"OpenAI o3 Breakthrough High Score on ARC-AGI-Pub"
https://arcprize.org/blog/oai-o3-pub-breakthrough
A vos commentaires.
(*) https://arxiv.org/abs/1911.01547
Dernière modification par GBo ; 22/12/2024 à 19h36.
Un exemple de test:
Source: https://arcprize.org/arc
Un autre exemple, également très simple pour nous mais celui-ci n'a pas été résolu par o3 même en mode intensif (coutant une petite fortune en électricité):
Source et autres exemples d'échec: https://arcprize.org/blog/oai-o3-pub...ource-analysis
Dernière modification par GBo ; 22/12/2024 à 19h55.
On est très loin d'une AGI par contre on continue la transition des LLMs vers les LRMs (Large Reasoning Model) comme prévu.
Ce qui est intéressant, c'est que le concept de Chain of Thought a été d'abord mis en place comme simple prompt qui améliorait les capacités à résoudre des problèmes sur ChatGPT ou équivalent, ce truc déjà vieux d'un peu plus de 2 ans et totalement obsolète
Et visiblement, cela est très puissant.
Mais perso je ne comprends pas comment un LLM (L pour Langage, donc du texte) peut comprendre et résoudre un problème purement graphique (les "puzzles" du type de ceux qu'on voit ci-dessus).
Dernière modification par GBo ; 22/12/2024 à 21h00.
bonsoir
la machine traite des données , elle ne se préoccupe pas de savoir d'où elles proviennent et ce qu'elles représentent, c'est leur force.
JR
l'électronique c'est pas du vaudou!
C'est une des questions qui s'est posé dès le début des LLMs en effet. Si le test est bien conçu, c'est à dire s'il n'est pas possible d'y répondre par du "par coeur", c'est parce qu'en absorbant la massé énorme de données lors de leur entrainement, les LLMs se sont construites un début de représentation du monde, imparfaite et limitée certes mais suffisante pour traiter certains problèmes en 2D et 3D.Envoyé par GBo
Ce serait un exemple de "propriété émergente" comme la capacité à programmer même si le sujet est débattu.
Une autre possibilité serait qu'elle comprend suffisamment l'énoncé du programme pour écrire le code Python qui le résoud et le fait tourner, une capacité qu'elles ont depuis quelque temps déjà.
Ok merci pour ces éléments de réponse.
En tant que béotien, le mot mis en gras me fait penser à une forme de conscience, le mot est il juste ou inapproprié? une explication me semble nécessaire, du moins pour moi.
là c'est, en entrée, la nature "graphique" (table de valeurs dans des coordonnées x, y, z, ....) qui est différente d'un texte (suite (donc 1 seule dimension) de valeurs ou de vecteurs de word embedding) Comment est pris en compte cette différence?
Adaptation du traitement en entrée des couches de neurones formels? Conversion de la représentation graphique en autre chose? Pas de 'transformer' ? autre chose? itérations successives comme un retour en entrée de résultats intermédiaires???????
En tout cas dans l'article https://arcprize-org.translate.goog/..._x_tr_pto=wapp le LLM ou equivalent doit avoir 100 B paramètres (soit 100 milliards de paramètres.... 10 ^11 si c'est des english billions...)
ça fait énormepour une toute petite propriété émergente.... ( un raisonnement artificiel implicite, qui pourrait être une petite démarche de classification, suivie d'une induction fondée sur les rapports entre classes, puis de classification de la question suivante... et déduction si la classification a donné le résultat attendu....???
rien ne sert de penser, il faut réfléchir avant.... (Pierre Dac...)
Cela fait un bout de temps que les LLMs & co savent lire des images, écouter du son, etc. C'est juste une partie de leur entrainement.
Pas spécialement.
La "toute petite propriété émergente", c'est de passer de 0% à 75%, mieux que la moyenne de l'humanité en 4 ans ?
Cela veut dire quelque chose ? Aucun LLM ne me sort jamais quelque chose d'aussi incompréhensible.... ( un raisonnement artificiel implicite, qui pourrait être une petite démarche de classification, suivie d'une induction fondée sur les rapports entre classes, puis de classification de la question suivante... et déduction si la classification a donné le résultat attendu....???
En l'occurrence les problèmes sont entrés sous de forme de chiffres arrangés sous forme de matrice à l'aide des caractères espace et retour chariot:
https://github.com/arcprizeorg/model..._example_o3.md
Dernière modification par GBo ; 23/12/2024 à 00h16.
Cela permet de tester des LLMs qui ne sont pas multimodaux, c'est à dire qui n'acceptent que du texte et de ne pas introduire un biais sur la reconnaissance d'images.
Mais si tu passes une copie de l'écran que tu viens d'indiquer à 01, il traite le problème quand même et il le ferait sans doute avec l'image réelle aussi (à vérifier mais il est tard et j'ai la flemme).
P.S : je suppose que O3 est multi-modal aussi.
ChatGPT m'énerve: depuis quelque temps, il me demande de cocher une case pour vérifier que je suis humain!Il ne manque pas de culot!
ChatGPT m'énerve: depuis quelque temps, il me demande de cocher une case pour vérifier que je suis humain!
Tu utilises la version gratuite je suppose ? Parce que sur la version payante, je n'ai pas remarqué ça. Je suppose que c'est pour les gens qui s'en servent en mode automatique sans passer par l'API et donc sans payer.
Oui la version gratuite, qui offre un accès à un nombre limité de lignes du 4.0.
Je note qu'il est capable de détecter une intention humoristique même si on la formule sérieusement "pince sans rire". Je lui ai demandé de me composer une petite chanson de Noël. Il me l'a fait et conclut par:
A quoi je lui réponds sérieusement:À vous de la chanter sous le sapin !
Réponse:Non, sous le sapin il n'y a pas assez de place pour aller chanter. Il y a 10 à 20 cm et je mesure 1,7 m. Tu me prends pour un lutin?
Je ne sais pas si le test de Turing envisage l'humour mais je trouve cela pas si mal. Je remarque aussi le "nous autres humains".Vous m’avez bien fait rire ! Effectivement, 10 à 20 cm, c’est plutôt pour les lutins que pour nous autres humains d’1,70 mètre. Je propose qu’on reste debout à côté du sapin, bien droits, et qu’on chante en chœur.
Et puis, qui sait, peut-être qu’un lutin caché parmi les branches se joindra à vous ?
On n'a pas fini de faire joujou avec ce truc. Plus sérieusement, il m'a beaucoup aidé pour un petit projet personnel de programmation et de rédaction en anglais. Je le recommande si l'anglais n'est pas votre langue maternelle et si vous doutez de votre style, cet outil apporte une aide réelle pour l'améliorer et corriger certaines tournures maladroites.
Dernière modification par ThM55 ; 23/12/2024 à 14h39.
Oui et là, tu ne fais qu'effleurer : de mon coté, il m'arrive la même chose qu'autrefois avec les ordinateurs perso, le Net puis les smartphones, l'usage crée l'usage et je m'en sers pour de plus en plus de choses.
Récemment, j'ai du faire de l'extraction de données d'un site Web, automatiser la lecture d'une page qui est faite pour un humain, sans API, etc.
Historiquement, on écrit du code qui va chercher l'info dans les balises HTML et c'est :
1) l'enfer
2) cela ne survit pas à la moindre modification du site
3) quand il faut aller en profondeur dans d'autres pages, c'est le 7ème cercle de l'enfer
J'ai donc simplement ramener la page, lui ai demandé d'extraire l'info en la décrivant, puis de trouver tous les liens pertinents et j'ai réappliqué.
C'est beaucoup, beaucoup moins de code, nettement plus fiable et facile à maintenir, quasiment de la magie.
Et c'est juste un exemple. Dans le même temps, le gamin qui bosse dans une boite où ça parle pas mal italien et qui reçoit donc des mails dans cette langue l'utilise à fond pour traduire et répondre.
P.S : le test de Turing est considéré comme obsolète avec des arguments qui m'échappent un peu mais je n'ai pas creusé. Je me demande si ce n'est pas comme d'habitude, parce qu'on allait le passer et qu'on a donc grimpé la barre.
P.P.S : par contre, les limites notamment les hallucinations sont toujours là et même o1 m'induit parfois en erreur mais en continuant à réfléchir de mon coté, il me fait quand même gagner un temps fou. Il y a pas mal de recherche en ce moment et d'annonces sur des IAs sans hallucinations ou avec des mécanismes pour les rendre 100% rigoureuses en automatisation de tâches, j'ai vu des trucs passer chez Amazon et Antropic/Claude mais je manque de temps pour tout tester vu l'effervescence du domaine.
Dernière modification par pm42 ; 23/12/2024 à 14h53.
à lire:
https://www.futura-sciences.com/tech...eer-ia-118452/
cette fois, FS très intéressant, remet les pendules à l'heure sur plusieurs points évoqués précédemment
y compris architecture des systèmes, apprentissage, alignement, 'raisonnement'......
rien ne sert de penser, il faut réfléchir avant.... (Pierre Dac...)
C'est Noël donc je vais être indulgent
Avec moi Openai-o1 ne se doute de rien.
C'est la multiplication des pains !
Ouais vas-y qu'on se marre un bon coup et calcule nous donc la valeur exacte d'un nombre de pains négatifs gros blaireau.(L'avantage c'est que ce n'est qu'un grille-pain, on peut donc se montrer irrévérencieux.
)
Mais on a bien compris que ce truc n'est pas fait pour ça.
C'est juste une béquille pour ceux qui par exemple sont nuls dans une langue ou qui sont nuls en programmation et qui veulent faire comme si sans se fouler.
Ça peut par exemple être utile pour un chef de service qui a l'habitude de déléguer la programmation à des gens qualifiés, mais pour un vrai programmeur, c'est le genre de comportement à double tranchant.
La programmation c'est vaste et donc un programmeur ne peut pas être performant partout tout de suite.
Il doit passer quelques heures à potasser, se renseigner, apprendre, évoluer dans son domaine quoi.
Pour ce qui est du déplaisir à devoir être méticuleux lorsqu’on programme, c'est un sentiment très subjectif, puisque ça dépend de la vocation et un vrai programmeur il adore ça.
Là, en déléguant à chaque fois son travail, ne risquerait-il pas de se figer à jamais dans la médiocrité ?
Dernière modification par Cromagnon ; 25/12/2024 à 15h36.
Cela s'appelle "comment mentir à coup d'insultes (blaireau)" parce que la réponse de o1 est nettemment plus précise bien sur :
En introduisant le concept de "nombre de pains initial", il n'y a aucune erreur de raisonnement.Pour résoudre ce problème, il faut commencer par examiner l’effet net d’une « séquence » de dons :
1. Pierre donne 10 pains à Jean.
o Pierre : −10−10
o Jean : +10+10
o Paul : 00
2. Jean donne 5 pains à Paul.
o Pierre : (inchangé)
o Jean : −5−5 (en plus des +10+10 précédents)
o Paul : +5+5
3. Paul donne 3 pains à Pierre.
o Pierre : +3+3 (en plus des −10−10 précédents)
o Jean : (inchangé)
o Paul : −3−3 (en plus de son +5+5 précédent)
Bilan après une séquence
• Pierre : il a donné 10 et reçu 3, donc −10+3=−7−10+3=−7.
• Jean : il a reçu 10 et donné 5, donc +10−5=+5+10−5=+5.
• Paul : il a reçu 5 et donné 3, donc +5−3=+2+5−3=+2.
Autrement dit, à chaque séquence :
• Pierre perd 7 pains,
• Jean gagne 5 pains,
• Paul gagne 2 pains.
Après 100 répétitions
Si l’on refait cette séquence 100 fois de suite, on multiplie ces effets par 100 :
• Pierre : −7×100=−700−7×100=−700
• Jean : +5×100=+500+5×100=+500
• Paul : +2×100=+200+2×100=+200
Problème : combien avaient-ils au départ ?
Pour connaître le nombre final de pains de chacun, il faut connaître le nombre initial de pains de Pierre, Jean et Paul :
• Disons que Pierre, Jean et Paul avaient au départ respectivement P0,J0,Pa0P0,J0,Pa0 pains.
• Après 100 répétitions, ils auront :
o Pierre : P0−700P0−700
o Jean : J0+500J0+500
o Paul : Pa0+200Pa0+200
Or, le problème tel qu’il est énoncé ne précise pas combien de pains chacun possédait au départ.
Conclusion : sans les quantités initiales, on ne peut pas donner de valeurs finales exactes. On sait seulement que Pierre aura 700 pains de moins qu’au début, Jean 500 de plus, et Paul 200 de plus après 100 fois ce cycle de dons.
Conclusion : pour la nième fois, une IA est largement plus rigoureuse pour dire le moins que Cromagnon le bien nommé.
Joyeux Noël.
Dernière modification par pm42 ; 25/12/2024 à 16h10.
Quoi ? Vous en êtes encore à croire qu'un LLM ne fournit qu'une seule réponse ?!!?
Peut-être qu'à la nieme tentative on peut éventuellement trouver quelque-chose qui ne soit pas absurde...
Mais ce qui est parfaitement absurde en tous cas c'est de chercher à recevoir la réponse qu'on connait déjà.
On va la refaire pour montrer que la limitation du modèle n'est pas là où vous le supposez.
surprenant: au meme problème, posé deux fois, o1 donne des réponses différentes....
même si les deux sont comparables quant à la séquence des opérations décrites, et aux valeurs à chaque étape....
la présentation diffère beaucoup, les commentaires sont différents ainsi que les réflexions générales dans la version rapportée par pm42.....
Qu'est-ce qui explique ces différences de comportement?
Libellé question initiale légèrement différent?
Version différente de o1, ou/et abonnement différent?
Transaction antérieures différentes qui ont été mémorisées selon l'abonné qui interroge o1 ?
Prompts additionnels successifs à la question initiale?
Avec plusieurs réponses successives commentées par l'utilisateur questionneur?
Dernière modification par Bounoume ; 25/12/2024 à 23h25.
rien ne sert de penser, il faut réfléchir avant.... (Pierre Dac...)
Il y a 2 raisons :
- les IAs sont programmées pour ça ou plus exactement, il y a un paramètre qui s'appelle "température" qui contrôle la variation de leurs réponses. Le but est d'éviter un coté très standardisé qui serait gênant quand on leur fait rédiger un texte par exemple. On peut mettre la dite température à 0 et alors, leur comportement est reproductible
- la 2nd raison est que Cromagnon a un "track-record" de raconter des énormités sur tous les sujets (voir sa théorie perso sur la création des trous noirs galactiques par exemple, c'est hilarant).
Dans le cas présent, il suffit de poser la question plusieurs fois à O1 pour constater qu'il répond en parlant de stock de départ. On remarquera que d'autres IAs font de même : Mistral75 par exemple. Claude ne parle pas de stock initial mais tient bien un discours en relatif, sans parler de pains négatifs.
Le plus probable est donc que Cromagnon n'a pris de la réponse ce que qui l'arrangeait pour "montrer" ce qu'il voulait, biais humain très fréquent.
La mauvaise foi des gens qui viennent sur le forum uniquement pour expliquer ce qu'ils ne connaissent pas à des gens que eux travaillent dans le domaine. Rien de nouveau.
Ce que je constate, c'est qu'entre la première question de cromagnon à l'IA et la seconde, il a ajouté la quantité initiale dont dispose Pierre.
Sans le dire.
En toute malhonnêteté.
Ensuite, faire faire des maths à un littéraire, et s'étonner que le résultat n'est pas à la hauteur, c'est du cassage de sucre à bon compte.
On a déjà eu cet épisode ici il y a quelques temps. Il est inutile de le reproduire encore...
Jusqu'ici tout va bien...
C'est une illustration de ce que je disais.
C'est de moins en moins vrai ceci dit. Si on faisait un test, on constaterait que O1 est meilleur en maths que 90% des participants du forum.
Je sais qu'il est nettement meilleur que moi actuellement et pourtant, j'ai une formation "correcte" comme qui dirait même si j'ai beaucoup oublié.
En fait, sur énormément de tâches, il serait pas mal devant. Après, il y a des choses où clairement ce serait l'inverse mais ce n'est pas en général ce que mettent en avant les "critiques".
C'est comme le Covid ou d'autres sujets : quoi qu'on fasse, on va avoir les mêmes qui vont répéter encore et encore des contre-vérités. On peut laisser faire mais c'est vraiment dommage sur un forum qui se veut scientifique.
Ou alors vous n'avez juste pas compris que je répondais à la critique de pm42 qui veut nous faire croire que le LLM répond correctement puisque d'après lui en ne précisant pas qu'il y a une quantité initiale le LLM répond correctement.
Donc, je la refais dans le message juste après et je précise la quantité initiale, "SI Pierre a 10 pain" (je mets en bleu et gras puisque apparemment si on ne le fait pas dans le message en question vous dites que "je ne le dis pas" et que je serais malhonnête), et là, méthode scientifique oblige, on peut constater le résultat :
Donc le résultat : MÊME en précisant la quantité initiale, le LLM fournit un résultat faux.
Et il n'est pas juste faux mathématiquement, il est faux intellectuellement :
1. Le nombre de pain ne peut pas passer de 10 à 1000 (d'où la blague de la multiplication des pains, je précise on sait jamais...)
2. Un nombre de pain ne peut pas être négatif, c'est juste idiot.
Ce n'est pas à moi qu'il faut le dire.
Ici, pm42 nous RE Explique, à nouveau, que le LLM est très très fort en math (plus fort que lui, imaginez
Je vous montre juste qu'en me basant sur le problème vu avec o3, on peut imaginer une faille du même type, déjà présente sur o1,
Mais on n'en est même pas arrivé là, juste à comprendre qu'on a fait un test, et la première réaction c'est de me traiter de MENTEUR ????!!!
Vous pouvez faire bugger le LLM à volonté, c'est quasi systématique si on sait pourquoi ça ne marche pas, pas besoin de cacher la misère avec des tests qui font semblant de ne pas voir le problème.
Bonjour,
juste mon grain de sel :
dans la seconde formulation
ne précise pas le point de rebouclage ,je m'explique : est ce à "si pierre a 10 pains.." ou est ce à "donne 10 pains.."SI Pierre a 10 pain et donne 10 pains à Jean et que Jean donne 5 pains à Paul et que Paul donne 3 pains à Pierre, puis on recommence comme ça cent fois combien de pains a chacun ?
Si c'est la première hypothèse alors le LLM répond bien , enfin c'est mon avis!
si c'est la seconde alors cela ramène à la première formulation et c'est encore juste.
Je ne vois pas le probleme mais je suis très con!
JR
l'électronique c'est pas du vaudou!
C'est le problème de croire que les LLM raisonnement
Par exemple, si je prends en compte votre remarque et donc que je donne l'impression de préciser la chose (alors que ce n'est pas le cas en réalité mais passons, une LLM ne tiens pas compte des choses comme nous les humains)
On pourrait presque croire que le LLM aurait "compris", et pourtant le résultat est... faux.
