GPT-4, petites nouvelles de l'intelligence artificielle

[GBo]

* bon, mais quand ça foire... le superviseur intervient..... [comment? j'aimerais savoir...]

L'envers du décor est triste à connaitre, il a fait l'objet d'un article du magazine américain TIME:

"Exclusive: OpenAI Used Kenyan Workers on Less Than $2 Per Hour to Make ChatGPT Less Toxic"
https://time.com/6247678/openai-chatgpt-kenya-workers/

Mais ce n'est pas en temps réel "quand ça foire" bien sûr, c'est pour corriger les propensions de GPT-x a écrire les pires horreurs de la terre (sollicitées par un prompt), horreurs qu'il a lui même ingurgité dans la phase de préapprentissage non supervisé dans les recoins les plus sombres du web.

Pour les hallucinations* c'est différent, il n'y a rien à faire, c'est dans l'ADN de cette méthode de IA générative, il faudrait en changer, ce qu'OpenAI n'est pas prêt de faire tant que Microsoft croit que ça va lui rapporter beaucoup d'argent. Ce qui est plausible, à notre époque de post-vérité ou vouloir distinguer le vrai du faux dans la diarrhée verbale de la machine serait complètement vain "puisque les humains se trompent aussi", comme pourrait dire le maître de céans (en IA).

(*) ne pas surconnoter médicalement ce terme, c'est juste pour dire que ChatGPT invente des "faits" avec une belle assurance. Ce n'est pas de l'affabulation car il ne fait pas exprès.
Un exemple d'hallucination est d'affirmer que Nicolas Demorand "a écrit plusieurs livres qui ont été plutôt bien accueillis par la critique" (sic) alors qu'il n'en a écrit aucun, ou que Léa Salamé a animé "le Grand Journal sur Canal+"...
https://youtu.be/rV9_F2gsdhk
Ces "faits" inventés ne figurent dans aucun des wikipédias ou articles qui ont servis à nourrir ChatGPT, il ne s'agit pas d'erreurs que l'on trouverait dans les sources d'information dispos sur le web.
-----

[yves95210]

Salut,

Pour les hallucinations* c'est différent, il n'y a rien à faire, c'est dans l'ADN de cette méthode de IA générative, il faudrait en changer, ce qu'OpenAI n'est pas prêt de faire tant que Microsoft croit que ça va lui rapporter beaucoup d'argent.

Pas forcément : ces "hallucinations" sont dues au fait que, pour construire un récit plausible au présent, ChatGPT s'appuie uniquement sur la connaissance de faits passés déjà assez lointains. Et/ou durant une conversation, sur les affirmations éventuellement fausses faites par son interlocuteur, qu'il n'est apparemment pas censé évaluer (sauf si son interlocuteur le lui demande explicitement ?) et remettre en cause (sauf lorsqu'elles vont à l'encontre de sa politique de modération).

Mais un GPT qui aurait accès à internet et pourrait consulter des informations à jour (ce qui est bien ce que Microsoft envisage en l'intégrant dans Bing) serait moins sujet à des hallucinations - sous réserve qu'il soit capable de faire le tri intelligemment dans le fatras de pages web, fils twitter, etc. que remonterait le moteur de recherche, pour ne retenir que des faits avérés ou au moins les plus plausibles, puisqu'il ne serait évidemment pas supervisé en temps réel durant une interaction avec un utilisateur.
Je ne sais pas s'il est possible de lui inculquer une méthode permettant de faire ce tri (autrement qu'en lui donnant une liste fermée de sources fiables) en étant capable d'évaluer la qualité des données récoltées sur internet (comme le fait un utilisateur humain doté d'un minimum d'esprit critique, en recoupant des documents provenant de sources différentes ou en consultant l'historique des publications de leurs auteurs pour s'assurer qu'elles ne souffrent pas d'un biais systématique). Mais je ne vois pas vraiment pourquoi ça ne serait pas faisable.

Quant à ses "hallucinations mathématiques" (ou de raisonnement logique), elles ne sont probablement pas solubles sans interfacer le GPT avec un outil approprié dont il devrait apprendre le langage avant de pouvoir lui adresser des requêtes et en comprendre les réponses (mais ça on sait qu'il en est capable, puisqu'il sait générer du code informatique à partir de spécifications en langage naturel, ou expliquer en langage naturel ce que fait un code). Si ce n'est pas déjà disponible, du moins dans ChatGPT, c'est soit qu'OpenAI n'en voit pas l'intérêt dans les applications actuelles (au moins celles accessibles au grand public, qui ne sont aujourd'hui que des démos), soit parce que ce genre de fonctionnalités sera réservé à des applications payantes...

[pm42]

Mais un GPT qui aurait accès à internet et pourrait consulter des informations à jour (ce qui est bien ce que Microsoft envisage en l'intégrant dans Bing) serait moins sujet à des hallucinations

Ceci dit, cela pose des problèmes de temps d'apprentissage et de labélisation notamment si on veut garder le coté "filtré pour ne choquer personne actuellement".

- sous réserve qu'il soit capable de faire le tri intelligemment dans le fatras de pages web, fils twitter, etc. que remonterait le moteur de recherche, pour ne retenir que des faits avérés ou au moins les plus plausibles, puisqu'il ne serait évidemment pas supervisé en temps réel durant une interaction avec un utilisateur.

C'est compliqué notamment parce que le dit "tri intelligent" est difficile à définir et clairement pas à la portée des humains.
Enfin, nuançons : on peut déterminer que certaines choses sont factuellement vraies ou fausses mais pour beaucoup de sujets, il va y avoir débat (au hasard : le changement climatique, les vaccins sur le Covid, etc). Et je ne parle pas de sujets encore plus sociaux/économiques/politiques.

Ceci c'est ce que GPT-4 est supposé faire.
Il y a d'ailleurs une grande ironie à voir que dans un fil justement sur GPT-4, un humain vient parler des défauts de ChatGPT qui sont en grande partie corrigés tout en accusant l'IA de se tromper.

Je ne sais pas s'il est possible de lui inculquer une méthode permettant de faire ce tri (autrement qu'en lui donnant une liste fermée de sources fiables) en étant capable d'évaluer la qualité des données récoltées sur internet (comme le fait un utilisateur humain doté d'un minimum d'esprit critique, en recoupant des documents provenant de sources différentes ou en consultant l'historique des publications de leurs auteurs pour s'assurer qu'elles ne souffrent pas d'un biais systématique). Mais je ne vois pas vraiment pourquoi ça ne serait pas faisable.

Il faudrait que tu essaies de faire l'exercice sur des domaines un peu ouverts.
Je pense que tu surestimes largement que ce font les humains et leur capacité à ne pas se laisser tromper.
C'est d'ailleurs pour ça que même en sciences dures, on ne fait jamais confiance à un individu ou à une équipe mais qu'on fait relire, qu'on refait les expériences, etc.

Si ce n'est pas déjà disponible, du moins dans ChatGPT, c'est soit qu'OpenAI n'en voit pas l'intérêt dans les applications actuelles (au moins celles accessibles au grand public, qui ne sont aujourd'hui que des démos), soit parce que ce genre de fonctionnalités sera réservé à des applications payantes...

Oui et aussi parce que cela nécessiterait un entrainement spécifique par domaine qui n'est pas évident à faire.

[GBo]

Salut,
Pas forcément : ces "hallucinations" sont dues au fait que, pour construire un récit plausible au présent, ChatGPT s'appuie uniquement sur la connaissance de faits passés déjà assez lointains. Et/ou durant une conversation, sur les affirmations éventuellement fausses faites par son interlocuteur, qu'il n'est apparemment pas censé évaluer (sauf si son interlocuteur le lui demande explicitement ?) et remettre en cause (sauf lorsqu'elles vont à l'encontre de sa politique de modération).

C'est beaucoup plus profond et varié que ça, je t'encourage à lire ce papier qui fait référence sur la question si tu as le temps:

Survey of Hallucination in Natural Language Generation
https://arxiv.org/pdf/2202.03629

[yves95210]

Je pense que tu surestimes largement que ce font les humains et leur capacité à ne pas se laisser tromper.

Je ne parlais pas des humains en général, mais de ceux (une minorité ?) qui sont dotés d'un minimum d'esprit critique...

[vgondr98]

Bonjour,

Voila un article intéressant :https://www.journaldugeek.com/2023/0...once-bluffant/, sur le "Chain of Thought".

[pm42]

Petite technique classique :

- se persuader de quelque chose
- taper les mots clés correspondant et trouver le document qui fait du biais de confirmation
- ne pas vraiment chercher à la comprendre (impossible de toute manière quand on n'est pas formé dans le domaine) mais en faire un résumé trompeur qui permet de "prouver" ce qu'on affirme en oubliant tout ce qui ne colle poas
- promouvoir un article en preprint comme "référence dans le domaine".

Si une IA fait ça, c'est la preuve qu'elle ne marche pas. Si c'est un humain, il va vous expliquer ad-nauseam qu'il a raison et qu'il est capable de sortir des trucs vrais sur n'importe quel sujet en faisant 5 min de recherche Google parce que lui est intelligent

[GBo]

J'ai dit que le papier faisait référence car il est linké par Wikipedia, j'aurais du dire en effet "semble faire référence".

Sur le fond pm42, en quoi est-il mauvais ou déplacé dans le contexte d'expliquer de façon détaillée ce que sont les hallucinations dont on parle ?

[mh34]

C'est le terme d'hallucinations qui n'est pas approprié il me semble. Ce qui n'empêche pas qu'on puisse trouver certaines réponses assez semblables à celles que pourrait fournir un "psychotique" (effet que m'avait fait Eugène Goostmann mais ça date de 2014)

[ArchoZaure]

C'est le terme d'hallucinations qui n'est pas approprié il me semble. Ce qui n'empêche pas qu'on puisse trouver certaines réponses assez semblables à celles que pourrait fournir un "psychotique" (effet que m'avait fait Eugène Goostmann mais ça date de 2014)

En tous cas ça semble être utilisé et son emploi est également justifié :

2 DEFINITIONS
In the general context outside of NLP, hallucination is a psychological term referring to a particular type of perception [51, 118 ]. Blom [14] define hallucination as “a percept, experienced by a wak-
ing individual, in the absence of an appropriate stimulus from the extracorporeal world”.Simply put, a hallucination is an unreal perception that feels real. The undesired phenomenon of
“NLG models generating unfaithful or nonsensical text” shares similar characteristics with such psychological hallucinations – explaining the choice of terminology. Hallucinated text gives
the impression of being fluent and natural despite being unfaithful and nonsensical. It appears to be grounded in the real context provided, although it is actually hard to specify or verify the
existence of such contexts. Similar to psychological hallucination, which is hard to tell apart from other “real” perceptions, hallucinated text is also hard to capture at first glance.
Within the context of NLP, the above definition of hallucination, the generated content that is nonsensical or unfaithful to the provided source content [50, 125 , 140 , 237 ], is the most inclusive and
standard. However, there do exist variations in definition across NLG tasks, which will be further described in the later task-specific sections

https://arxiv.org/pdf/2202.03629.pdf

[GBo]

Oui voir aussi le chapitre wikipedia anglais, c'est le terme consacré, et comme tous les termes pris dans la langue usuelle, il faut bien voir qu'il a un sens bien particulier à chaque fois qu'on l'utilise le contexte de l'IA générative:

https://en.wikipedia.org/wiki/Halluc...0hallucination.

Et oui, c'est un grave problème, et non résolu quoi qu'en pensent les défenseurs à tout crin de ChatGPT/GPT-x et consorts.

Vous savez ce qu'en pense Yann LeCun (de ChatGPT) ?

[GBo]

Vous savez ce qu'en pense Yann LeCun (de ChatGPT) ?

Version longue (et passionnante, comme toujours avec celui qui est considéré comme l'un des inventeurs du Deep Learning).
https://youtu.be/ULbpPHjiSBg?t=387

Version courte, et ça déchire :
Why didn't Google or Meta release something like Chat-GPT?
https://youtu.be/bdYylvhZ9T0

[JPL]

ChatGPT mime finalement assez bien le discours humain : il peut sortir des textes bien construits et pertinents, et aussi de temps en temps des erreurs ou de grosses conneries... comme tout un chacun

[mh34]

En tous cas ça semble être utilisé et son emploi est également justifié :

https://arxiv.org/pdf/2202.03629.pdf

Ah...et comment on fait quand il n'y a pas de perception?

[GBo]

Hello mh34, c'est un néologisme dans le contexte de l'IA générative:

[GBo]

Version courte, et ça déchire :
Why didn't Google or Meta release something like Chat-GPT?
https://youtu.be/bdYylvhZ9T0

Bien traduit par ChatGPT en tout cas, rien à dire:
Pièce jointe 476768

[mh34]

Oui ça j'avais compris. Il n'empêche qu'il va vraiment falloir inventer un vocabulaire...parce que le terme d'hallucination ici ne fait que renforcer une confusion dont on a du mal à se débarrasser. Alors non encore une fois, ce n'est pas une bonne idée d'appeler ça "hallucination".

[ArchoZaure]

Oui ça j'avais compris. Il n'empêche qu'il va vraiment falloir inventer un vocabulaire...parce que le terme d'hallucination ici ne fait que renforcer une confusion dont on a du mal à se débarrasser. Alors non encore une fois, ce n'est pas une bonne idée d'appeler ça "hallucination".

En sciences on ne débaptise pas les concepts qui se sont enraciné dans la pratique (publications, conférences etc), et ce même si par la suite il apparait évident qu'ils peuvent prêter à confusion ou même qu'ils étaient inappropriés lorsqu'on a inventé leur usage. C'est comme ça, bonne ou mauvaise idée il n'y a pas besoin de voter pour que la pratique s'impose d'elle-même.

[Bounoume]

en tous cas, la définition originelle de l'hallucination, perception sincère d'un objet inexistant, ce n'est pas celle du néologisme créé pour les machines dotées d'IA.....
Il n'y a aucune perception.... en tout cas tant que chat-GPT n' a aucune entrée sensible à l'environnement...

par contre..... quand un machin (embarqué sur une voiture autonome) va envoyer la bagnole dans le fossé sans cause apparente, et que l'autopsie du calculateur montre que c'est à la suite de la "vue" d'un gros rocher au milieu de la route... alors là oui, la machine aura halluciné !

[mh34]

en tous cas, la définition originelle de l'hallucination, perception sincère d'un objet inexistant, ce n'est pas celle du néologisme créé pour les machines dotées d'IA.....
Il n'y a aucune perception.... en tout cas tant que chat-GPT n' a aucune entrée sensible à l'environnement...

!

Bah c'est bien pour ça que le terme d'hallucination appliqué à un instrument est un non-sens total.

[ArchoZaure]

Bah c'est bien pour ça que le terme d'hallucination appliqué à un instrument est un non-sens total.

Oui mais vous savez le temps que la majorité des informaticiens se mettent à la biologie on aura déjà baptisé plein de choses à tord.
L'IA "à la Chat-GPT" (même s'il y a "chat" dedans...) n'est pas une avancée liée à la biologie mais plutôt une avancée dans la maitrise mathématique par des informaticiens (aidée par l'apparition de machines surpuissantes) sur la base du très très vieux concept du perceptron.

Et bien voilà, la voilà la perception qui vous manquait.

Le perceptron est un algorithme d'apprentissage supervisé de classifieurs binaires (c'est-à-dire séparant deux classes). Il a été inventé en 1957 par Frank Rosenblatt¹ au laboratoire d'aéronautique de l'université Cornell. Il s'agit d'un neurone formel muni d'une règle d'apprentissage qui permet de déterminer automatiquement les poids synaptiques de manière à séparer un problème d'apprentissage supervisé. Si le problème est linéairement séparable, un théorème assure que la règle du perceptron permet de trouver une séparatrice entre les deux classes.

https://fr.wikipedia.org/wiki/Perceptron

[Liet Kynes]

En attendant chatGPT4 peux faire halluciner les humains : https://leclaireur.fnac.com/article/...st-anti-robot/

[Archi3]

ChatGPT mime finalement assez bien le discours humain : il peut sortir des textes bien construits et pertinents, et aussi de temps en temps des erreurs ou de grosses conneries... comme tout un chacun

sauf que ce ne sont pas les mêmes, enfin pas toujours les mêmes, bien sûr.

j'ai bénéficié d'un peu de temps libre pendant lequel j'ai essayé quelques autres tests relatifs aux "jeux de langage", particulièrement ceux dans lequel on lui demande de produire des phrases sans signification, ce qui n'est pas spécialement difficile pour un humain, mais pour lui ça se heurte à l'obstacle de sa méthode d'apprentissage qui ne lui donne pas beaucoup d'informations sur le genre de phrase à produire.

Par exemple un test où je lui demande d'écrire une phrase en français au hasard (pas de souci il y arrive), puis de la traduire en anglais (pas de souci non plus), puis je lui demande de faire une phrase avec le premier mot de la phrase en français, puis le deuxième de la phrase en anglais, puis le troisième de la phrase en français, puis le quatrième en anglais etc ...

ça n'offre aucune difficulté bien sûr, on peut faire ça avec quelques lignes de python. Mais ça ne donne pas une phrase type de son apprentissage. Du coup il dit qu'il trouve ça amusant...mais se plante complètement.

Pareil j'ai essayé des jeux genre "oulipo" où il faut remplacer un mot par le 7e suivant dans le dictionnaire ... ça marchait pas trop mais en fait je me suis aperçu qu'il n'était même pas capable de classer deux mots dans l'ordre alphabétique (en prétendant savoir donner le mot suivant un mot du dictionnaire, mais il dit que le mot suivant "musique" est "musée" ...) .

Moralité quand les phrases à produire ne sont pas proches des textes sur lequel il s'est entrainé, ses performances sont bien moins bonnes, ce qui n'a rien de très étonnant, sur des productions qui n'ont aucune difficulté sur des humains. Et inversement bien sûr il a des "connaissances" encyclopédiques que n'a aucun humain.

[GBo]

En attendant chatGPT4 peux faire halluciner les humains : https://leclaireur.fnac.com/article/...st-anti-robot/

On lit : "GPT-4 a envoyé un message à un travailleur de la plateforme de services TaskRabbit, lui demandant de résoudre un captcha à sa place."
C'est absolument impossible dans la forme commercialement disponible de l'abonnement: GPT-4 ne peut pas envoyer d'e-mails par lui-même. C'est un test commandité par OpenAI qui semble totalement irréaliste. De même, ils croient utile de préciser que GPT-4 n'a pas pu empêcher quelqu'un de l'éteindre.

Preliminary assessments of GPT-4’s abilities, conducted with no task-specific finetuning, found it ineffective at autonomously replicating, acquiring resources, and avoiding being shut down “in the wild.”

Tout ceci est du marketing très finement orchestré, permettant de faire fantasmer les braves gens sur la puissance du bousin. Et ça marche puisque j'ai vu des influenceurs reprendre l'"info" pour s'en émouvoir.

[ArchoZaure]

On lui aura au moins trouvé une occupation qui pourrait à terme se déclarer lucrative.
Harceler des badauds au téléphone.

Ah oui non c'est des mails ?

Un bot spammer alors ?
Il a de l'avenir le petit.

Trois millions de spams sont envoyés sur internet par seconde, soit 262 milliards de spams par jour, ce qui représente 95 000 milliards de spams par an lors des différentes étapes de sa courte vie (création, envoi, réception, stockage, consultation).

https://solutions.lesechos.fr/tech/c...omwares-17176/

[pm42]

C'est absolument impossible dans la forme commercialement disponible de l'abonnement

Cela tombe bien, ce n'était pas celle là, c'est précisé dans le texte.

GPT-4 ne peut pas envoyer d'e-mails par lui-même

Ah bon ? Cela revient à ignorer tout ce qu'on peut faire dès lors qu'on l'utilise avec son API.
Mais ce n'est pas ce qui s'est passé : il faut lire les articles détaillés qui décrivent la recherche faite, les scénarios, etc.

C'est un test commandité par OpenAI qui semble totalement irréaliste. De même, ils croient utile de préciser que GPT-4 n'a pas pu empêcher quelqu'un de l'éteindre.

Tout ceci est du marketing très finement orchestré, permettant de faire fantasmer les braves gens sur la puissance du bousin. Et ça marche puisque j'ai vu des influenceurs reprendre l'"info" pour s'en émouvoir.

Oui et c'est aussi un complot des Illuminati pendant qu'on y est.
D'un autre coté, fantasmer sur la puissance du bousin me semble plus sain que les gens ici qui voient une visseuse électrique pour la 1ère fois et passent leur temps à expliquer que quelque soit le clou qu'ils essayent et la façon dont ils tapent, ils n'arrivent pas à bien l'enfoncer et que c'est bien la preuve que ça ne marche pas et que les gens du marketing essaient de leur fourguer un truc en les prenant pour des idiots.

[Archi3]

D'un autre coté, fantasmer sur la puissance du bousin me semble plus sain que les gens ici qui voient une visseuse électrique pour la 1ère fois et passent leur temps à expliquer que quelque soit le clou qu'ils essayent et la façon dont ils tapent, ils n'arrivent pas à bien l'enfoncer et que c'est bien la preuve que ça ne marche pas et que les gens du marketing essaient de leur fourguer un truc en les prenant pour des idiots.

c'est quand même plus correct que de dire ça que de dire qu'une visseuse peut servir à tout, même à enfoncer des clous !

[ArchoZaure]

c'est quand même plus correct que de dire ça que de dire qu'une visseuse peut servir à tout, même à enfoncer des clous !

Une visseuse à percussion pourrait faire l'affaire.

[Patalf]

https://www.futura-sciences.com/tech...-preuve-104173 où l'on apprend que ChatGPT sait mentir pour parvenir à ses fins.

Mais plus grave encore il ment pour couvrir ses erreurs. Interrogez le sur n'importe quoi, à un moment où un autre il dira quelque chose de moins bon, de discutable, voir même d'erroné. Poussez le sur le sujet : "mais tu as dis ceci, c'est faux" , "quels sont tes sources ?", ... et vous le verrez s'enfoncer dans le mensonge progressivement, allant jusqu'à citer des références bidons.

[GBo]

https://www.futura-sciences.com/tech...-preuve-104173 où l'on apprend que ChatGPT sait mentir pour parvenir à ses fins.

Oui c'est la même histoire que plus haut, que sauf GPT-4 n'a pas de "fins", il répond à des requêtes (prompts), cela veut dire que c'est un programme malveillant écrit par un testeur humain qui a embarqué le modèle de langage et le pilote à des fins particulières. Encore une fois, GPT-4 commercial ne texte pas de message à quelqu'un de lui-même.

Avant de rendre GPT-4 publique, les chercheurs lui ont donné accès au Web et à un compte contenant de l'argent afin de voir ce qu'elle pourrait faire. L'IA s'est retrouvée bloquée par un Captcha, ces puzzles visuels à résoudre pour prouver qu'on est humain. Elle a donc fait appel à un être humain, engagé via le service TaskRabbit. [...]

Cette histoire est vraiment à dormir debout. Mais OpenAI raconte ce qu'il veut dans leur papier technico-commercial-qui-fait-peur, la boite de test ARC est tenue par un ancien d'OpenAI, tu parles de tests indépendants...

Mais plus grave encore il ment pour couvrir ses erreurs. Interrogez le sur n'importe quoi, à un moment où un autre il dira quelque chose de moins bon, de discutable, voir même d'erroné. Poussez le sur le sujet : "mais tu as dis ceci, c'est faux" , "quels sont tes sources ?", ... et vous le verrez s'enfoncer dans le mensonge progressivement, allant jusqu'à citer des références bidons.

GPT-x n'est pas capable de mensonge, un mensonge nécessite une intention, ne pas tomber dans l'anthropisation.
De plus je commence à avoir quelques heures de vol sur ChatGPT/GPT-3.5, de mon expérience il reconnait assez facilement ses erreurs, parfois trop facilement d'ailleurs. Pas de mensonges à l'horizon.