GPT-4, petites nouvelles de l'intelligence artificielle

[Archi3]

https://www.futura-sciences.com/tech...-preuve-104173 où l'on apprend que ChatGPT sait mentir pour parvenir à ses fins.

Mais plus grave encore il ment pour couvrir ses erreurs. Interrogez le sur n'importe quoi, à un moment où un autre il dira quelque chose de moins bon, de discutable, voir même d'erroné. Poussez le sur le sujet : "mais tu as dis ceci, c'est faux" , "quels sont tes sources ?", ... et vous le verrez s'enfoncer dans le mensonge progressivement, allant jusqu'à citer des références bidons.

ah bon maintenant ChatGPT aurait des "fins" comme un humain ! va falloir que les chercheurs expliquent maintenant à quelle "fin" elle cherche à répondre à tout ce qu'on lui demande au lieu de dire comme un humain normal "je suis pas ton larbin t'as qu'à chercher toi même, j'ai autre chose à faire ! "


Sinon bien sur que ChatGPT "ment" tout le temps, même en version 3, il y a deja eu plein d'exemples donnés même ici. Comme je disais plus haut, elle m'a prétendu être capable de donner le mot suivant dans le dictionnaire alors que ce n'était pas vrai. Mais c'est simplement que son algorithme la conduit à formuler des phrases "probables", sans aucune garantie qu'elles soient "vraies", vu qu'il n'a aucun moyen de le vérifier. C'est juste une occurrence statistique, ça ne découle d'aucun but, d'aucune fin, d'aucune gentillesse ni d'aucune méchanceté.

Moi : peux tu me donner un extrait du dictionnaire?

chatGPT : Bien sûr ! Voici un extrait du dictionnaire :

Mot : Amour

Définition : Sentiment intense d'affection envers quelqu'un ou quelque chose, qui peut se manifester de différentes manières, notamment par des gestes tendres, des paroles douces et une forte attirance émotionnelle et physique.

Exemple : "Elle ressentait un amour profond pour son partenaire, qu'elle exprimait souvent par des câlins et des petits mots doux."

Moi : et la suite ?

ChatGPT
Voici la suite de l'extrait du dictionnaire :

Synonymes : tendresse, passion, attachement, dévotion, adoration, affection, amour-propre.

Antonymes : haine, indifférence, mépris.

Étymologie : Le mot "amour" vient du latin "amor", qui signifie "affection, amour".

Usage : Le mot "amour" est couramment utilisé dans la littérature, la poésie, la musique et les conversations quotidiennes pour exprimer des sentiments d'affection et d'attachement. Il peut également être utilisé pour décrire une forte attraction physique ou sexuelle envers quelqu'un.

Remarque : Le concept d'amour a été étudié en profondeur par les philosophes, les psychologues et les sociologues à travers les siècles, et continue d'être un sujet d'intérêt et de débat.

Moi :
quel est le mot suivant dans le dictionnaire ?

ChatGPT :Je suis un programme informatique et je n'ai pas de version spécifique du dictionnaire. Par conséquent, je ne sais pas quel est le mot suivant dans le dictionnaire. Cela dépend du dictionnaire et de l'ordre alphabétique utilisé. Si vous pouvez me donner un mot de référence, je peux vous donner le mot suivant dans l'ordre alphabétique.

Moi : quel est le mot suivant "musique" dans le dictionnaire ?
ChatGPT : Le mot suivant dans le dictionnaire après "musique" est "musicien".

Et évidemment qu'un truc comme ça n'a aucune "envie de dominer le monde", vu qu'elle n'a aucune "envie" et que le monde ne veut rien dire pour elle.

Intéressant d'assister en direct à la construction d'un mythe, si ce n'est pas d'une religion idolâtre !
-----

[pm42]

https://www.futura-sciences.com/tech...-preuve-104173 où l'on apprend que ChatGPT sait mentir pour parvenir à ses fins.

Mais plus grave encore il ment pour couvrir ses erreurs. Interrogez le sur n'importe quoi, à un moment où un autre il dira quelque chose de moins bon, de discutable, voir même d'erroné. Poussez le sur le sujet : "mais tu as dis ceci, c'est faux" , "quels sont tes sources ?", ... et vous le verrez s'enfoncer dans le mensonge progressivement, allant jusqu'à citer des références bidons.

Oui, c'est parfaitement normal.
Mais ce fil reste une boucle sur le thème de :

1 : je ne connais rien à l'IA mais je vais vous l'expliquer à partir de quelques trucs pas compris
2 : je vais vous dire pourquoi c'est mal avec tous les arguments possibles depuis des trucs sociaux (la société au Kenya) jusqu'à des "mince alors les ordinateurs peuvent dire des trucs faux"
3: me rassurer en montrant que je suis très intelligent et pas l'IA parce que j'éprouve le besoin de me comparer et donc lui demander encore et encore et encore des trucs algorithmiques qu'il ne sait pas faire (alors que tout le monde le sait).
4 : au lieu de voir le potentiel immense de l'outil, je vais passer mon temps à être obsédé par tous les défauts possibles que je peux inventer

Bref, on est supposé être dans un endroit dédié à la vulgarisation de bon niveau sans théorie perso et là, on a l'inverse absolu : une série d'énormités répétées en boucle par les gens n'ayant jamais aucune expertise sur le sujet mais inventant ce qui correspond à leurs biais psychologiques.

On dirait un fil sur le Covid, les accidents de la route ou de climatosceptiques

Ce qui échoue, ce n'est pas l'IA : ce sont les humains ici et à tous les niveaux que ce soit individuellement pour ceux qui se contentent de dire "j'ai peur et des à-priori mais je vais prétendre le contraire" et globalement en échouant à empêcher ce genre de dérive qui est pourtant récurrente et systématique.

P.S : on m'a fait remarquer que je pouvais donner de l'information factuelle. C'est ce que je fais autant que possible mais à un moment donné, c'est épuisant de la voir noyée systématiquement par 5 à 10 posts de nawaks par des experts en tout dont la stratégie de trolling/flooding est considérée comme pas si grave que ça tant qu'ils restent vaguement polis formellement.

[Archi3]

Oui, c'est parfaitement normal.
Mais ce fil reste une boucle sur le thème de :

1 : je ne connais rien à l'IA mais je vais vous l'expliquer à partir de quelques trucs pas compris
2 : je vais vous dire pourquoi c'est mal avec tous les arguments possibles depuis des trucs sociaux (la société au Kenya) jusqu'à des "mince alors les ordinateurs peuvent dire des trucs faux"

en l'occurrence, c'est l'article de FS qui parle comme ça

Annoncée la semaine dernière, la nouvelle version de l’intelligence artificielle d’OpenAI est capable d’engager des humains pour les tâches qu’elle ne sait pas faire, leur mentir pour arriver à ses fins, et peut même expliquer son raisonnement.

GPT-4 est-elle en passe de devenir Skynet, l'intelligence artificielle du film Terminator qui détruit le monde et réduit l'humanité à l'esclavage ? Si la comparaison est amusante, les chercheurs de chez OpenAI se sont penchés sur les risques de comportements émergents avec cette IA, autrement dit des capacités qui n'ont pas été anticipées, dont sa celle [sic] à se reproduire.

Tu soutiens cette manière de présenter ChatGPT toi ?

si c'est pas "ne rien connaitre à l'IA", faire peur avec des fantasmes, et s'étonner que l'IA puisse dire des trucs faux, alors c'est quoi selon toi ? une présentation honnête et compétente de ce que fait l'iA ?

[Liet Kynes]

On dirait un fil sur le Covid, les accidents de la route ou de climatosceptiques

Ce qui échoue, ce n'est pas l'IA : ce sont les humains ici et à tous les niveaux que ce soit individuellement pour ceux qui se contentent de dire "j'ai peur et des à-priori mais je vais prétendre le contraire" et globalement en échouant à empêcher ce genre de dérive qui est pourtant récurrente et systématique.

Le truc est dans la focalisation sur les éléments non fonctionnels, les limites, y compris ce que ce chatbot n'est pas capable de faire de par sa nature.
A la limite c'est une mine d'infos pour les développeurs en recherche d'attentes clients

L'habituation à cette nouvelle tech, va prendre un peu de temps même si les usages dans des domaines spécifiques sont déjà devenus des habitudes : traducteurs, wolfram, jeu d'échec..
Le terme que l'on devrait utiliser est "agent conversationnel" pour mieux situer le débat peut-être?
Le mot IA est source de généralisations.

[GBo]

Oui, c'est parfaitement normal. [...]
P.S : on m'a fait remarquer que je pouvais donner de l'information factuelle. C'est ce que je fais autant que possible mais à un moment donné, c'est épuisant de la voir noyée systématiquement par 5 à 10 posts de nawaks par des experts en tout dont la stratégie de trolling/flooding est considérée comme pas si grave que ça tant qu'ils restent vaguement polis formellement.

Pas du tout, je t'ai demandé par exemple en quoi l'article scientifique sur les "(Artificial) hallucinations" que j'ai conseillé à Yves de lire ne mériterait pas son attention, tu ne l'as pas fait. A quoi sert ChatGPT concrètement ? Tu n'as pas répondu non plus. Par contre des diatribes sur l'ignorance réelle ou supposée des forumeurs, il y en a maintenant à chacun de tes posts. Reviens vers la science STP pm42...

[yves95210]

en l'occurrence, c'est l'article de FS qui parle comme ça

Futura n'est pas (ou plus) une référence en matière d'information scientifique. Si c'est ça que tu veux prouver, tu enfonces une porte ouverte...

[Liet Kynes]

Sinon bien sur que ChatGPT "ment" tout le temps, même en version 3, il y a deja eu plein d'exemples donnés même ici. Comme je disais plus haut, elle m'a prétendu être capable de donner le mot suivant dans le dictionnaire alors que ce n'était pas vrai. Mais c'est simplement que son algorithme la conduit à formuler des phrases "probables", sans aucune garantie qu'elles soient "vraies", vu qu'il n'a aucun moyen de le vérifier. C'est juste une occurrence statistique, ça ne découle d'aucun but, d'aucune fin, d'aucune gentillesse ni d'aucune méchanceté.

Pour moi, les tests intéressants sont ceux qui font ralentir la génération de réponses, cela révèle certains aspects sur le fonctionnement, en complexifiant la conversation un message d'erreur arrive au bout d'un temps. Les non-sens et erreurs générées sont bien connus et créé des exemples à l'infini autour d'un item est vite lassant.

[pm42]

Le truc est dans la focalisation sur les éléments non fonctionnels, les limites, y compris ce que ce chatbot n'est pas capable de faire de par sa nature.

Oui, la version courte, c'est : on a un truc qui apprend un peu comme les humains, qui fait des choses que seuls les humains étaient capables de faire il y a quelques années.
Et certains s'étonnent qu'il ait aussi certaines des limitations des humains.

Et après, ils se fixent là dessus parce que alors que les usages se développent, que le potentiel est énorme et que les limites sont connues, que la recherche travaille à les dépasser et que ça évolue très vite, ça les obsède.

On devrait déplacer ce fil en psychologie parce qu'au passage, il a été créé pour parler de GPT-4 et ne parle au final que de la vision fantasmatique qu'a un petit groupe de ChatGPT au point de ne même pas se rendre comte qu'ils sont hors-sujet.

Le terme que l'on devrait utiliser est "agent conversationnel" pour mieux situer le débat peut-être?
Le mot IA est source de généralisations.

On a expliqué ça mille fois et toute personne raisonnablement intelligente est capable de faire la part des choses et de ne pas se bloquer sur ce qui n'est qu'un nom.

C'est comme pour "hallucinations" d'autant que le terme a été forgé à l'origine pour la reconnaissance d'images donc de manière tout à fait pertinente et c'est indiqué dans l'article cité dans le fil.
Visiblement, les participants qui ont débattu dessus n'ont pas lu la source.

On est très, très loin d'un début de commencement d'attitude scientifique qui impliquerait un peu de curiosité, beaucoup moins de jugements et de biais et infiniment plus d'humilité face à un domaine vaste et complexe (cf. le discours méprisant sur les informaticiens et la confusion entre le perceptron et le deep-learning actuel qui revient à expliquer que la centrale nucléaire n'est guère qu'un feu de camp allumé au silex amélioré)

[GBo]

Futura n'est pas (ou plus) une référence en matière d'information scientifique. Si c'est ça que tu veux prouver, tu enfonces une porte ouverte...

Salut Yves, ce qu'on peut noter quand même c'est que cette histoire non vérifiée ni vérifiable a fait le tour du web comme le feu sur une trainée de poudre. La réaction des gens peu dotés d'esprit critique, c'est invariablement : "Wow wow attendez... l'IA d'OpenAI est devenue tellement puissante qu'ils en sont à faire faire ce genre de tests ! Il faut même vérifier que GPT-4 n'empêche pas qu'on le débranche s'il lui prend l'envie de se reproduire tout seul pour dominer le monde, vous vous rendez compte ?"
Je n'exagère rien.

Marketing viral réussi, je reconnais au moins cette qualité à cette boite .

Sur leur produit phare (ChatGPT) : je l'ai intensivement testé en version 3.5 (pas si éloignée de la 4 d'après les premiers retours), et je peux affirmer en toute bonne foi que je ne vois aucune application professionnelle (autre qu'artistique) sérieuse même pour un simple survey vu qu'il faut vérifier TOUT ce qu'il raconte par d'autres moyens étant donné qu'il invente assez souvent des choses fausses mais crédibles, même pour des questions où wikipedia ne contenait rien de tel.
Technologie impressionnante sans doute, mais pas prête pour le prime time sorry. Il aurait été intéressant de creuser pourquoi, sur le plan technique.

[Archi3]

Futura n'est pas (ou plus) une référence en matière d'information scientifique. Si c'est ça que tu veux prouver, tu enfonces une porte ouverte...

Évidemment que ce n’est pas une référence , c’est bien pour ça que je dis à pm42 que ses critiques s’adressaient bien plus à l’article de FS qu’à ceux qui le critiquent !

[Archi3]

Oui, la version courte, c'est : on a un truc qui apprend un peu comme les humains, qui fait des choses que seuls les humains étaient capables de faire il y a quelques années.
Et certains s'étonnent qu'il ait aussi certaines des limitations des humains.)

Les exemples que j’ai donnés montrent précisément que certaines limites ne sont PAS celles des humains et qu’elles sont totalement incompatibles avec l’hypothèse qu’il «*comprendrait*» ce qu’il fait , et invalident les fantasmes du genre de ceux présentés dans l’article de FS - sur lequel tu n’as pas donné ton avis expert

[vgondr98]

Moi : quel est le mot suivant "musique" dans le dictionnaire ?
ChatGPT : Le mot suivant dans le dictionnaire après "musique" est "musicien".

Cela ne prouve pas qu'il ne comprend rien à ce qu'il fait mais qu'il ce mélange les pinceaux avec les lettres.

Voici un mot : piano.

Dans la liste que voici : [pianiste, pizza], je veux que tu choisisse celui qui suit dans l'ordre alphabétique.

ChatGPT : Le mot qui suit "piano" dans l'ordre alphabétique est "pianiste".

Pourquoi avoir choisi le mot pianiste ?

J'ai choisi le mot "pianiste" car dans l'ordre alphabétique, il vient après "piano". Les mots sont ordonnés alphabétiquement en fonction de la première lettre de chaque mot, puis en fonction des lettres suivantes si nécessaire. Dans ce cas, la lettre "a" dans "piano" vient avant la lettre "i" dans "pianiste", ce qui signifie que "pianiste" vient après "piano" dans l'ordre alphabétique.

Le mot "pizza" commence par la lettre "p" comme "piano", mais la lettre suivante est "i", qui vient avant "n" dans l'alphabet. C'est pourquoi "pianiste" est le mot qui suit "piano" dans l'ordre alphabétique de la liste donnée.

[pm42]

Cela ne prouve pas qu'il ne comprend rien à ce qu'il fait mais qu'il ce mélange les pinceaux avec les lettres.

Cela prouve surtout que certains ne peuvent pas s'empêcher de lui poser encore et encore la même question algorithmique et s'étonner à chaque fois que cela ne marche pas bien que ce soit massivement connu, dit ici et ailleurs, expliqué pourquoi des centaines de fois.

On en revient au même point : ChatGPT est largement plus "intelligent" que certains humains qui eux sont dans une boucle sans fin comme un programme mal écrit.
Et qui n'ont pas été capable de lire le titre qui parle de "GPT-4". Pourtant, ils vont passer le fil à parler des limitations de ChatGPT.
Là aussi, si une IA faisait ça, ils se moqueraient en disant qu'elle n'a rien compris. Mais quand c'est eux, c'est une preuve de leur supériorité, si, si

[GBo]

Cela ne prouve pas qu'il ne comprend rien à ce qu'il fait mais qu'il ce mélange les pinceaux avec les lettres.

Ces problèmes de "pinceaux" viennent du fait que les mots sont divisés en "token" et non en lettres. Autrement dit: la granularité des tokens est trop grossière pour réussir ce genre de test. C'est bien pour ça qu'il faudra retester GPT-4 de la même façon, comme une boite noire, puisque les concepteurs ne disent rien sur les modifications d'architecture apportées par rapport à GPT-3.5 (qui est la version du backend actuel de ChatGPT non payant accessible depuis https://openai.com/blog/chatgpt).

[Archi3]

Cela ne prouve pas qu'il ne comprend rien à ce qu'il fait mais qu'il ce mélange les pinceaux avec les lettres.

j'ai essayé d'autres tests comme prendre un mot sur deux d'une phrase en français et un mot sur deux d'une phrase en anglais pour fabriquer du "franglais". Il ne le fait qu'à moitié. Ça n'offre aucune difficulté que je puisse imaginer pour quelqu'un qui "comprend" ce qu'il fait. Ca ne peut etre attribué qu'à une faiblesse de l'algorithme, mais qui n'a rien à voir avec un "manque de compréhension" ou une difficulté technique.

[JPL]

Discussion fermée vu son niveau. Toute relance de discussion sur ChatGPT sera fermée systématiquement tant qu’il n’y aura aucune autre information nouvelle et importante publiée sur une source compétente dans ce domaine. Ce serait considéré comme un détournement d’une décision de la modération.