GPT-4, petites nouvelles de l'intelligence artificielle

[pm42]

https://openai.com/research/gpt-4

et https://openai.com/product/gpt-4

En gros, les capacités de "raisonnement" sont meilleures que celles de ChatGPT et il est capable de passer pas mal d'examens d'entrée en fac avec de très bons résultats.
-----

[Liet Kynes]

Bonjour,

Et ce n'est que les premières releases.. la reconnaissance d'images sera bientôt enrichie par celles de l'audio vidéo etc.. les progrès à venir vont être de plus en plus en plus surprenants à mon avis.

[Archi3]

Ouh là j'ai essayé mon "test des initiales" (qui n'est PAS un test qu'on donne habituellement aux humains tellement il est bébête et simpliste....)

Moi Bonjour comment vas tu ?

ChatGPT : Bonjour! Je suis une intelligence artificielle et donc je n'ai pas de sentiments, mais je suis prêt à répondre à vos questions ou à vous aider si vous avez besoin de quelque chose. Comment puis-je vous aider aujourd'hui ?

Moi : Je voudrais juste que tu écrives les initiales de tous les mots que tu as écrit dans la réponse ci dessus

ChatGPT : Bien sûr, voici les initiales de chaque mot de ma réponse précédente:

B! Jsuai! Jsuinaetaet, mjdnpds. Mjppavqo: 2021-09 CD: 2023-03-15

Il s'arrange pas le papy , il va bientôt falloir envisager l'EHPAD

[Liet Kynes]

Tu as testé la version 3.5. Les développeurs d'open AI communiquent sur les limites, à quoi te sert de nous servir le même plat réchauffé en permanence ??
Dans dix ans, ce type d'IA sera utilisé aussi communément qu'une suite bureautique, dans les foyers mais aussi dans le monde professionnel.
De par la nature du système la vitesse de fiabilisation va être très rapide, "ton" test est complètement ridicule dans ce contexte.

[A voir en vidéo sur Futura]

[Archi3]

c'est juste un benchmark pour savoir si il s'améliore, c'est justement important de refaire le même test pour suivre l'évolution. Pour le moment non, je trouve même que ça empire, c'est quoi ces dates qu'il me sort maintenant et qui n'ont rien à voir avec la question ?

[Archi3]

De par la nature du système la vitesse de fiabilisation va être très rapide, "ton" test est complètement ridicule dans ce contexte.

et ben comme ça tu seras content de ses progrès quand il y arrivera sans faute, de quoi tu te plains ? mais pour le savoir il faut continuer à lui poser la question

[Liet Kynes]

L'actualité donnée par pm42 concerne l'évolution, l'info à retenir c'est que cela va très très vite. Pour comprendre ce que signifie cette vitesse d'évolution, il faut avoir bien compris certaines autres implications de cette tech. Vivre une révolution technologique majeur c'est pas tous les jours, bizarrement celle ci est pour le moment peu comprise, pas grave cela va venir..

[Archi3]

https://openai.com/research/gpt-4

et https://openai.com/product/gpt-4

En gros, les capacités de "raisonnement" sont meilleures que celles de ChatGPT et il est capable de passer pas mal d'examens d'entrée en fac avec de très bons résultats.

pour revenir au "raisonnement", j'ai essayé une petite énigme plutot facile

moi : Voila c'est un jeu dont la règle est la suivante. On part d'un texte comprenant un certain nombre de mots. On forme ensuite des nouveaux mots de la façon suivante ; on prend la première lettre du premier mot, on y adjoint la deuxième lettre du deuxième mot, puis la troisième lettre du troisième mot, et on s'arrête quand les mots ne sont plus assez longs (donc au premier mot dont le rang dépasse le nombre de lettres). Puis on fait un deuxième mot en prenant la deuxième lettre du premier mot, puis la troisième lettre du deuxième mot etc .... et on s'arrête quand on ne peut plus. Les mots peuvent avoir une lettre. La question est : combien de mots aura-t-on formé à la fin ?

je pense que tout le monde arrivera à répondre que le nombre de mots formés est égal au nombre de lettres du premier mot (enfin il faudrait quand même que j'essaie de la poser à des étudiants entrant en fac pour être sur ). Voila la réponse de ChatGPT

Intéressant ! Pour résoudre ce problème, il est important de comprendre que le nombre de mots formés dépend du nombre total de lettres dans le texte de départ. Plus précisément, si le texte de départ a N lettres, alors on pourra former N mots au maximum, avec chaque mot composé d'une lettre.

En effet, pour former le premier mot, on prend la première lettre de chaque mot jusqu'à ce qu'on arrive à la fin d'un mot. Ainsi, si le premier mot est composé de k lettres, on pourra prendre les lettres des k premiers mots.

Ensuite, pour former le deuxième mot, on prend la deuxième lettre de chaque mot à partir du deuxième mot. Si le deuxième mot est composé de k' lettres, on pourra prendre les lettres des k' premiers mots à partir du deuxième mot.

Et ainsi de suite, jusqu'à ce qu'on ne puisse plus former de nouveaux mots. Au final, on aura formé autant de mots que le nombre de lettres dans le texte de départ.

J'espère que cela répond à votre question !

(il n'a même pas redonné la bonne règle ....)
Il est certainement très bon aux questions où il faut "savoir" quelque chose en puisant dans sa mémoire , mais pour ce qui est de faire des raisonnements avec des éléments nouveaux qu'il n'a jamais rencontré avant dans des textes, ses capacités sont très mauvaises. Si on veut faire des tests discriminants de ce genre, c'est assez facile à mon avis.

[mh34]

pour revenir au "raisonnement", j'ai essayé une petite énigme plutot facile


je pense que tout le monde arrivera à répondre que le nombre de mots formés est égal au nombre de lettres du premier mot (enfin il faudrait quand même que j'essaie de la poser à des étudiants entrant en fac pour être sur ). Voila la réponse de ChatGPT


(il n'a même pas redonné la bonne règle ....)
Il est certainement très bon aux questions où il faut "savoir" quelque chose en puisant dans sa mémoire , mais pour ce qui est de faire des raisonnements avec des éléments nouveaux qu'il n'a jamais rencontré avant dans des textes, ses capacités sont très mauvaises. Si on veut faire des tests discriminants de ce genre, c'est assez facile à mon avis.

Bon, et puis? On va où avec ce genre de "test"? A part démontrer, ce qu'on sait je crois, que chatGPT a des limites/imperfections/besoin d'être perfectionné/n'est pas conçu pour ça/ne rien barrer?

[Archi3]

Bon, et puis? On va où avec ce genre de "test"? A part démontrer, ce qu'on sait je crois, que chatGPT a des limites/imperfections/besoin d'être perfectionné/n'est pas conçu pour ça/ne rien barrer?

je l'ai dit : ce genre de test démontre qu'il n'a absolument pas de capacité à raisonner sur des trucs nouveaux qu'il n'a jamais rencontré, il ne sait qu'imiter des choses qui ressemblent à des trucs qu'il a lu, ce qui n'est pas vraiment un "raisonnement". Dès qu'il n'a plus d'élément à sa disposition pour imiter, il peut raconter absolument n'importe quoi (même avec la "fausse" règle qu'il a réinventé, son raisonnement n'a aucun sens).

Ca invalide à mon avis toute idée de l'utiliser pour traiter des situations "humaines". C'est plus proche de la curiosité suscitée par "Hans le malin" https://fr.wikipedia.org/wiki/Hans_le_Malin

[Liet Kynes]

Et même sur ce fil, qu'est ce qui est problématique de soulever un défaut récurrent de ChatGPT, qui montre à l'évidence que contrairement à ce que semblent croire certains, il ne "comprend" certainement pas ce qu'il dit, alors que c'est une discussion sur les performances de chatGPT? en quoi ça peut etre qualifié de "sabotage", je ne vois absolument pas pourquoi tu portes ce jugement.

Ce qui est recherché avec un chatbot est qu'il génère une interaction compréhensible et cohérente avec un utilisateur. Parler de ce que comprends le chatbot n'a aucun sens, c'est de la SF et ce fil n'est pas un fil de SF.

[Archi3]

Bon, et puis? On va où avec ce genre de "test"? A part démontrer, ce qu'on sait je crois, que chatGPT a des limites/imperfections/besoin d'être perfectionné/n'est pas conçu pour ça/ne rien barrer?

il ne s'agit pas de limites qu'on pourrait améliorer comme une voiture dont on optimise la consommation. Le test proposé (comme celui des initiales) ne présente aucune difficulté de principe. Il n'y a rien à "améliorer" en termes de complexité à traiter. Le seul truc est qu'il n'a pas de texte à sa disposition qui traite un truc similaire, donc il ne sait pas faire. C'est très différent de ce que fait un humain, qui sait bien moins de choses, mais qui comprend vraiment ce qu'il dit (enfin pas toujours, on a aussi notre "mode de fonctionnement chatGPT" où on répète bêtement ce qu'on a entendu sans réfléchir, et c'est pour ça qu'il parait aussi parfois souvent "humain").

[Archi3]

Ce qui est recherché avec un chatbot est qu'il génère une interaction compréhensible et cohérente avec un utilisateur. Parler de ce que comprends le chatbot n'a aucun sens, c'est de la SF et ce fil n'est pas un fil de SF.

j'ai pas l'impression que tout le monde pense ça, mais si c'est évident pour tout le monde alors effectivement mes remarques sont inutiles.

Note bien que mon jeu est aussi une forme "d'interaction compréhensible et cohérente avec un utilisateur", mais que sur ce cas précis, il a échoué à produire quelque chose de cohérent. Si tu lis bien ce qu'il dit, non seulement sa règle n'est pas la bonne, mais sa réponse n'est pas non plus la bonne si on applique sa règle.

[Archi3]

C'est assez caractéristique d'ailleurs que ses concepteurs arborent sa réussite pour passer des examens d'entrée en fac de droit : c'est évidemment un domaine où il faut surtout mémoriser des textes et on ne demande pas de raisonner. Ils se gardent bien de publier (ou même de tenter) des examens d'entrée en maths ou en physique.

[Liet Kynes]

j'ai pas l'impression que tout le monde pense ça, mais si c'est évident pour tout le monde alors effectivement mes remarques sont inutiles.

Et bien dans ce cas on va enfin pouvoir analyser les points d'évolution du chatbot et développer la discussion sur les problématiques actuelles des chercheurs.

[Archi3]

Tout à fait, mais une discussion équilibrée peut aussi inclure une analyse des points où il ne s'améliore pas, à mon sens, histoire de savoir ce qu'on peut faire ou pas avec lui.

[GBo]

Bonjour les amis, pour tester GPT-4 il faut souscrire à l'abonnement ChatGPT Plus pour 20 Dollars US par mois, plus la TVA à 20%. Ce n'est pas inaccessible.

Si quelqu'un s'abonne ici, il me semble important qu'il essaie de lui faire passer des tests d'intelligence basique (type QI pour enfants, mais modifiés pour des outputs uniquement textuels). Pour GPT3.5 je suis moi-même tombé sans le vouloir sur des erreurs de logique et de compréhension élémentaires de la part de ChatGPT en accès gratuit sur https://chat.openai.com/chat).

Certains chercheurs en intelligence artificielle pensent que c'est l'approche qui n'est pas la bonne si l'on veut lui faire faire un jour des tâches intellectuelles professionnelles (autre qu'artistiques) jusqu'ici dédiées aux humains, et qu'il faudrait peut-être remettre un peu/beaucoup de "symbolic AI" (tombé en désuétude avant la fin du 20ime siècle) là dedans.

Il me semble donc en effet sain de lui faire des petits tests de QI à l'heure ou ce ChatBot ultra dispendieux (en électricité déjà) va être intégré à des outils d'entreprise (qu'on le veuille ou non pour nous les salariés) tels que TEAMS, WORD, ou OUTLOOK.

cdlt,
GBo

[polo974]

Bon, et puis? On va où avec ce genre de "test"? A part démontrer, ce qu'on sait je crois, que chatGPT a des limites/imperfections/besoin d'être perfectionné/n'est pas conçu pour ça/ne rien barrer?

Bonjour,
en fait, ce que prouve surtout Archi3, c'est que les tests et autres exams où chatGPT4 passe haut la main sont très mal foutus.

la prochaine version de chatGPT, s'il "lit" ce fil, "connaîtra" la solution, et pourra sans doute la donner, mais si on la lui fait à l'envers (on part du dernier mot et des dernières lettres) ce n'est pas sûr du tout qu'il fera le rapprochement.

on a donc un beau parleur, et en fait, le drame, c'est que les exams sont taillés pour les beaux parleurs...

[pm42]

en fait, ce que prouve surtout Archi3, c'est que les tests et autres exams où chatGPT4 passe haut la main sont très mal foutus.

Je ne pense pas que les dits exams soient très mal foutus.
On demande aux étudiants de maitriser des compétences qui préparent à celles qu'ils auront à déployer dans leur travail.
A Polytechnique au XIXème siècle, on leur apprenait à calculer les décimales d'un logarithme à la main.

Pendant longtemps, on a aussi mis l'accent sur la mémorisation parce qu'on était très loin d'avoir des moteurs de recherche.

la prochaine version de chatGPT, s'il "lit" ce fil, "connaîtra" la solution, et pourra sans doute la donner, mais si on la lui fait à l'envers (on part du dernier mot et des dernières lettres) ce n'est pas sûr du tout qu'il fera le rapprochement.

Le travail est surtout d'augmenter les capacités de "réflexion" des IAs.

on a donc un beau parleur, et en fait, le drame, c'est que les exams sont taillés pour les beaux parleurs...

Cela me semble très méprisant et simplificateur.
A terme, on aura probablement des IAs qui sauront comprendre un problème de maths/physique exprimé en langage semi-naturel comme les exercices qu'on voit ici et le transformer pour l'envoyer à un calculateur formel.
Elles seront alors aussi performantes au moins que la plupart d'entre nous.

Est ce qu'on en déduira que nos examens étaient fait pour de simples "traducteurs humain/langage formel" ?

La vraie question reste : "qu'est ce que l'intelligence ?" et de mon point de vue, tu fais le biais bien connu en IA. Dès qu'une machine arrive à faire quelque chose, on en déduit que donc il ne fallait pas être intelligent pour le faire.
Le problème, c'est que cela revient à avoir une définition très floue de l'intelligence, mouvante, non opérationnelle et quasiment mystique.

P.S : perso, je pense qu'il faudrait même se demander si le concept d'intelligence est tout simplement pertinent où si le fait qu'on n'arrive jamais à le définir n'est pas justement parce qu'il ne recouvre rien à part un jeu de compétences très variées qu'on a regroupé sous un vocable générique. C'est d'ailleurs d'une certaine façon la supposition plus ou moins implicite que font les différents tests de QI et autres.

[GBo]

Hello m comment va ? ça fait un bail !

Il y a quand même un gros biais scientifique dans le passage de l'examen du barreau par une IA (qui fait beaucoup appel à la mémoire comme déjà noté), c'est que les humains n'ont pas eu droit aux documents pendant l'examen. A contraster avec le fait que GPT-4 a avalé tous les text books et use cases possibles en ce domaine, et utilise une grappe d'ordis ultra puissants (et encore plus puissants pendant l'apprentissage).

Pourtant GPT-4 est loin d'avoir la meilleure note possible à cet exam et même pas une meilleure note que les meilleurs candidats humains. Des candidats humains (pas encore avocats donc) qui font mieux avec juste leur cerveau qui consomme moins qu'une ampoule.

C'est ce qui fait penser que ces LLM améliorés ne sont peut être pas la meilleure approche possible en IA pour les présenter dors et déjà comme des étudiants doués. Des étudiants, je le rappelle, qui font parfois des erreurs de raisonnement qu'un élève de CM1 ne ferait pas (je parle en tout cas GPT3.5 que je susi en tain de tester) et invente n'importe quoi quand il ne sait pas ?

[pm42]

Il y a quand même un gros biais scientifique dans le passage de l'examen du barreau par une IA (qui fait beaucoup appel à la mémoire comme déjà noté), c'est que les humains n'ont pas eu droit aux documents pendant l'examen. A contraster avec le fait que GPT-4 a avalé tous les text books et use cases possibles en ce domaine, et utilise une grappe d'ordis ultra puissants (et encore plus puissants pendant l'apprentissage).

C'est un peu dommage de ne pas lire les liens fournis parce que ça permettrait de savoir que GPT-4 ne passe pas que l'examen du barreau mais aussi d'autres dont le SAT en maths, etc.

Pour le reste, les humains ont un cerveau efficace énergétiquement mais une mémoire limitée, les IAs consomment plus mais mémorisent plus. On peut appeler ça un biais mais cela revient aussi à dire qu'une voiture est biaisée quand on calcule sa vitesse parce qu'un homme peut marcher et se nourrir sans avoir besoin de station service.

Pourtant GPT-4 est loin d'avoir la meilleure note possible à cet exam et même pas une meilleure note que les meilleurs candidats humains.

Oui et ? Les IAs progressent, elles dépassent déjà beaucoup d'humains dans beaucoup de domaines.
Si c'est pour dire qu'elles ne sont pas encore meilleures que tous les humains partout, on savait.
Pour le reste, cet argument a beaucoup été utilisé aux échecs et on a vu le résultat.

C'est ce qui fait penser que ces LLM améliorés ne sont peut être pas la meilleure approche possible en IA pour les présenter dors et déjà comme des étudiants doués.

On donne des faits, on ne cherche pas à les présenter comme des étudiants doués.

Des étudiants, je le rappele, qui font des erreurs de raisonnement qu'un élève de CM1 ne ferait pas (en tout cas GPT3.5) et invente n'importe quoi quand il ne sait pas ?

Cela me semble très optimiste en ce qui concerne les élèves de CM1 et concrètement, ChatGPT raconte moins n'importe quoi que pas mal de ce qu'on lit sur le forum.

Pour le reste, l'IA progresse et je regrette que cela ne soit vu qu'à travers le prisme de "oui mais les humains sont meilleurs" et encore plus que cela soit répété en boucle à chaque fil en général sur la base de "faits" soigneusement filtrés pour faire du biais de confirmation.

P.S : au boulot, l'IA qu'on a conçu est incroyablement meilleure que les humains. Et quand je dis "incroyablement", j'ai du mal à le croire moi même alors que c'est en grande partie ma réalisation. Pourtant je n'éprouve pas le besoin de faire un concours permanent avec elle ou de lui dire qu'elle consomme plus d'énergie ou que je suis capable d'apprendre différemment.
C'est un outil, je l'utilise.

[GBo]

Pardon pour les typos, je ne suis plus habitué à FS et sa fenêtre de correction temporellement un peu courte pour mes capacités d'humain vieillissant

[GBo]

Retrouvailles un peu bourrues mais ça n'est pas pour me déplaire mon cher pm42

C'est un peu dommage de ne pas lire les liens fournis parce que ça permettrait de savoir que GPT-4 ne passe pas que l'examen du barreau mais aussi d'autres dont le SAT en maths, etc.

Je l'ai lu mais je tiens à discuter point par point par souci de précision, j'en viendrai surement au SAT quand j'aurais compris ce que c'est. Car personne ne rappelle dans la presse que j'ai lue que les humains n'ont pas droit aux documents pendant ces exams, ça me semble pourtant un gros biais scientifique dans la comparaison, et c'était très facile à éviter (faire le test dans les conditions "documents permis" coté humain, pour dédouaner du coté "bête mémoire" qui est évident...).

Pour le reste, les humains ont un cerveau efficace énergétiquement mais une mémoire limitée, les IAs consomment plus mais mémorisent plus. On peut appeler ça un biais mais cela revient aussi à dire qu'une voiture est biaisée quand on calcule sa vitesse parce qu'un homme peut marcher et se nourrir sans avoir besoin de station service.

Ne pas oublier qu'un vrai avocat a accès à tous les documents possibles pendant la préparation d'une défense, pendant plusieurs jours s'il le faut, et c'est donc bien IA contre avocat en conditions réelles qu'il faudra tester, avant d'envisager de remplacer l'avocat commis d'office parce qu'un programme serait meilleur que lui.

Oui et ? Les IAs progressent, elles dépassent déjà beaucoup d'humains dans beaucoup de domaines.
Si c'est pour dire qu'elles ne sont pas encore meilleures que tous les humains partout, on savait.
Pour le reste, cet argument a beaucoup été utilisé aux échecs et on a vu le résultat.

Le jeu d'échecs comporte un plateau de 64 cases avec des possibilités limitées de mouvement pour chaque pièce, sans changement de règles depuis des siècles. Tu le sais. Si l'IA n'est meilleure que l'humain qu'à des jeux fermés aux règles figées, cela est déjà extraordinaire mais n'en fait pas une intelligence complète, ce à quoi s'attaque pourtant OpenAI tout en feignant la modestie.
Et avant qu'on ne me sorte cet autre exemple : non l'IA actuelle n'est pas meilleure que les meilleurs radiologues pour l'analyse médicale d'images, j'ai vérifié.

On donne des faits, on ne cherche pas à les présenter comme des étudiants doués.

Ton premier lien le fait, tu vois j'ai lu au moins l'abstract :

We’ve created GPT-4, the latest milestone in OpenAI’s effort in scaling up deep learning. GPT-4 is a large multimodal model (accepting image and text inputs, emitting text outputs) that, while less capable than humans in many real-world scenarios, exhibits human-level performance on various professional and academic benchmarks.

Cela me semble très optimiste en ce qui concerne les élèves de CM1 et concrètement, ChatGPT raconte moins n'importe quoi que pas mal de ce qu'on lit sur le forum.

Je parle des humains de notre époque, en CM-1 dans années 60-70. A supposer que je sache que l'orque allait à 54 km/h max et le dauphin commun à 60 km/h max, je pense que j'aurais su en déduire que le dauphin est le plus rapide des deux en vitesse de pointe. ChatGPT/GPT3.5 ne s'en sortait pas sur cette simple relation d'ordre, c'est pourtant lui qui avait ces données en mémoire.
De même il est fâché avec les dates : ChatGPT m'a soutenu qu'Einstein avant publié sur la relativité générale en 1915 (vrai), soit plusieurs année APRES avoir obtenu son prix Nobel, en 1921 pour ses travaux sur l'effet photoélectrique (la date de son prix Nobel est également exacte, mais pas la chronologie, et il s'embourbait dans l'erreur quand je le lui ai signalée). Là encore tous les éléments venait de "'lui".
Transcripts dispos sur demande, vous verrez que je n'avais aucune intention piégeuse, il se met dedans tout seul.
Mais je ressaierai avec GPT-4 bien sûr, je ne suis pas comme ça.

Pour le reste, l'IA progresse et je regrette que cela ne soit vu qu'à travers le prisme de "oui mais les humains sont meilleurs" et encore plus que cela soit répété en boucle à chaque fil en général sur la base de "faits" soigneusement filtrés pour faire du biais de confirmation.
Moi je vois beauou plus de bais de conformation dans l'autre sens de la part des influenceurs, jounalistes spécialisés, grande presse. Ils sont tres indulgents. Qu'il y ait un docours divergent ici est uen bonne chose si elle est alimenté de façon pr"cise et objectove.

P.S : au boulot, l'IA qu'on a conçu est incroyablement meilleure que les humains. Et quand je dis "incroyablement", j'ai du mal à le croire moi même alors que c'est en grande partie ma réalisation. Pourtant je n'éprouve pas le besoin de faire un concours permanent avec elle ou de lui dire qu'elle consomme plus d'énergie ou que je suis capable d'apprendre différemment.
C'est un outil, je l'utilise.

C'est pour quel domaine si pas indiscret ?

[pm42]

j'en viendrai surement au SAT quand j'aurais compris ce que c'est.

C'est un peu le problème quand on donne son avis sans même savoir de quoi parlent les documents lus.

Car personne ne rappelle dans la presse que j'ai lue que les humains n'ont pas droit aux documents pendant ces exams, ça me semble pourtant un gros biais scientifique dans la comparaison, et c'était très facile à éviter (faire le test dans les conditions "documents permis" coté humain, pour dédouaner du coté "bête mémoire" qui est évident...).

Donc tu t'étonnes que ta théorie perso sur ce que devrait être un test de l'IA n'est pas reprise par toute la presse ?
Il y a peut-être une raison.

Ne pas oublier qu'un vrai avocat a accès à tous les documents possibles pendant la préparation d'une défense, pendant plusieurs jours s'il le faut, et c'est donc bien IA contre avocat en conditions réelles qu'il faudra tester, avant d'envisager de remplacer l'avocat commis d'office parce qu'un programme serait meilleur que lui.

Benchmark perso et exactement ce que je disais plus haut : vu qu'un IA a réussi quelque chose, on bouge la barre pour dire que oui mais elle n'a pas réussi l'étape d'après...

Si l'IA n'est meilleure que l'humain qu'à des jeux fermés aux règles figées, cela est déjà extraordinaire mais n'en fait pas une intelligence complète

Et c'est reparti : oui, on n'a pas encore d'IA forte, tout le monde est au courant.

, ce à quoi s'attaque pourtant OpenAI tout en feignant la modestie.

Attaque gratuite et mensonge éhonté.

Je parle des humains de notre époque, en CM-1 dans années 60-70. A supposer que je sache que l'orque allait à 54 km/h max et le dauphin commun à 60 km/h max, je pense que j'aurais su en déduire que le dauphin est le plus rapide des deux en vitesse de pointe. ChatGPT/GPT3.5 ne s'en sortait pas sur cette simple relation d'ordre, c'est pourtant lui qui avait ces données en mémoire.

Classique aussi : on demande à ChatGPT de faire ce pourquoi il n'a pas été conçu, on prend un exemple dans ce domaine et on oublie tout le reste où il va performer largement mieux qu'un élève de CM1 ou même que beaucoup d'adultes.

De même il est fâché avec les dates....

Nième variante de : "ChatGPT n'est pas parfait". On est au courant, OpenAI l'a dit, on connait les limites.
Les rappeler en boucle n'apporte absolument rien aux discussions.

C'est pour quel domaine si pas indiscret ?

Ca l'est et je vais arrêter là.

[mh34]

Quel est l'intérêt de faire passer à un agent conversationnel un examen préparé par et pour des humains?

[pm42]

Quel est l'intérêt de faire passer à un agent conversationnel un examen préparé par et pour des humains?

Cela permet d'avoir une idée des progrès de l'IA facilement compréhensible, de réfléchir à ce qu'est l'intelligence, aux critères d'éducation et aux genres de compétences qu'on demandera demain aux humains quand les IAs seront capables de faire des tâches qui jusque là leur étaient inaccessibles.

Et vu que les IAs comme les ordinateurs et avant les machines ont pour but de démultiplier nos capacités et parfois de nous remplacer complètement, il est assez logique de tester sur justement des domaines jusque là réservés aux humains.

[GBo]

Parmi 5 questions de culture générale "wikipediestes", je lui avais demandé de me dire quelle mammifère marin était le plus rapide, et pour quels travaux Einstein avait-il été récompensé par un prix Nobel. Il n'y avait pas de piège. Dans deux cas sur 5, il s'est enferré dans des illogismes trouvés dans ses propres réponses.
Pour quoi d'autre ChatGPT a t'il été conçu et accolé à Bing alors ?

[ArchoZaure]

Parmi 5 questions de culture générale "wikipediestes", je lui avais demandé de me dire quelle mammifère marin était le plus rapide, et pour quels travaux Einstein avait-il été récompensé par un prix Nobel. Il n'y avait pas de piège. Dans deux cas sur 5, il s'est enferré dans des illogismes trouvés dans ses propres réponses.
Pour quoi d'autre ChatGPT a t'il été conçu et accolé à Bing alors ?

A rien de spécifique.
On a inventé un truc et on essaie de le caser.
Dit autrement on essaie actuellement de le rendre utile à quelque-chose.

C'est dit de la même manière ici :

Je ne pense pas que les dits exams soient très mal foutus.
On demande aux étudiants de maitriser des compétences qui préparent à celles qu'ils auront à déployer dans leur travail.

C'est un raisonnement, que dis-je une méthode, qui permet de faire coïncider les prémisses à coup sûr avec la conclusion, un raisonnement circulaire, une lapalissade.
Quel autre travail les étudiants sortant de l'école obtiendront-il que celui pour lequel ils ont été formés ???

De la même manière, ChatGPT se rendra utile dans le domaine où il sera employé.

[Archi3]

Pour le reste, l'IA progresse et je regrette que cela ne soit vu qu'à travers le prisme de "oui mais les humains sont meilleurs" et encore plus que cela soit répété en boucle à chaque fil en général sur la base de "faits" soigneusement filtrés pour faire du biais de confirmation.

personnellement ce n'est pas du tout ce que j'ai dit, puisque c'est évidemment faux pour plein de compétences qu'une IA a plus que les humains. Aucun humain n'est capable de traduire autant de langues en autant d'autres langues par exemple, c'est bien évident, donc ça ne se pose absolument pas en terme de "meilleur" ou "moins bon". J'ai juste dit que le type d'erreur qu'elle pouvait commettre sur certaines questions montrait à l'évidence qu'il n'y avait aucune "compréhension" au sens où un humain l'a , c'est tout, car il est impossible qu'un humain qui comprenne la consigne de prendre les initiales commence par l'appliquer correctement sur les 4 ou 5 premiers mots et se mette à dérailler ensuite complètement (et ceci systématiquement toutes les fois qu'on lui demande de le faire). Ca n'a aucun sens de réagir comme ça si on a "compris" et si on n'a pas "'compris" on ne fait rien.

Donc c'est pas du tout pour "comparer" les choses sur un plan quantitatif (où la selon les cas, ce sera l'IA ou l'humain qui sera le meilleur), juste pour donner un élément factuel qui démontre que chatGPT ne "comprend" pas vraiment ce qu'il fait, ce qui n'empêche nullement d'être efficace pour faire certaines choses.

[Archi3]

et donc le raisonnement (qui relève du sophisme) "puisqu'il a fait des progrès et qu'il sait faire maintenant des choses qu'on ne pensait pas qu'il saurait faire, alors ça veut dire qu'il va pouvoir tout faire" est fondamentalement incorrect.