IA : "dans le seul but de..."

[grosboul]

Bonjour,

Aux spécialistes de la conception ou de l'utilisation de l'IA :

Comment l'assertion dans l'article ", dans le seul but de satisfaire son utilisateur. " doit-elle être interprétée ?
https://www.lefigaro.fr/secteur/high...n-cnn-20260918

S'agit-il simplement d'évoquer un penchant global de l'IA à aller, dans son discours, vers la confortation de l'utilisateur dans les éventuelles affirmations rédigées, dites, ou soupçonnées, dans les prompts ( "simplement", car ça, on le sait déjà ) ?

Ou bien s'agit-il carrément de la capacité de l'IA à prendre des initiatives au-delà du sujet évoqué, pour orienter des décisions politiques, sociales, essentielles, en utilisant le caractère d'urgence ?

Où en sont les garde-fous actuels posés par les concepteurs ? ( l'article parle d'un épisode vieux de quelques mois )

Merci.
-----

[GBo]

D'après l'article, c'est plutôt une "hallucination", terme qui désigne les erreurs involontaires des IAs basées sur LLM. Les exemples ne manquent pas, des avocats aussi se font avoir à citer de fausses jurisprudences générées par IA, etc..

En tant qu'utilisateur d'IA dans mon boulot, je peux voir et provoquer des hallucinations facilement pour des questions qui sont peu documentées ou contradictoires dans les textes qui ont servis de nourriture de base à ces IAs. Et tous les jours, j'essaie d'éduquer mes collègues à se méfier des réponses, ce sont pourtant des ingénieurs logiciel comme moi, donc a priori au courant des limites de la techno, mais ils sont trop influencés par le moulin à belles paroles qui a l'air de tout savoir sur tout et qui leur économise tant d'efforts....

Pour le cas que tu cites, les analystes et militaires en question ont péché par manque de vérification humaine / excès de confiance en ce qu'a raconté une IA sur la cargaison probable d’un navire chinois, point de départ de l'embrouille.

[pm42]

C'est bon, tu as eu la réponse de l'immense expert GBo qui "s'en sert dans le cadre de son boulot" et a "provoqué des hallucinations".
Et qui "éduque ses collègues".

Blague à part, l'article raconte n'importe quoi, GBo en rajoute et parfois, je suis fatigué d'expliquer sur le TikTok/Facebook de la science où on vous dit que l'important, c'est d'être gentil avec les trolls parce que l'opinion d'un ignorant en science, cela a de la valeur.

[GBo]

Ce qu'en dit ChatGPT, en copie d'écran :
1/2

[A voir en vidéo sur Futura]

[GBo]

La suite (2/2).


Mais c'est peut-être une hallucination de l'IA (hallucination collective puisque Gemini a sensiblement la même).
Ou alors, c'est à cause de la source principale (CNN) qui rime avec "fake news", selon certains...

[pm42]

C'est encore mieux pour celui qui a posé la question : "l'expert" transmet à ChatGPT puis fait des copies d'écran parce que le copier-coller, c'est trop dur et cela en plus n'apprend rien sur les hallucinations.
Encore, encore.

[Bounoume]

hallucination... bien sûr.... qui aurait pu déclencher une catastrophe...
méchante IA, menteuse IA
bien sûr... mais un agent de renseignement bien humain, soit idiot soit volontairement menteur aurait tout aussi bien pu raconter cette fausse interprétation de la cargaison du navire chinois...
Dans les 2 cas, sans vérification par la chaîne de commandement, la catastrophe est possible....
comme quoi il faut se méfier de tout et de tous.....

[ThM55]

C'est quoi exactement ces hallucinations? Récemment, je cherchais des films de divers réalisateurs, avec certains acteurs. Pour recouper les filmographies, j'ai utilisé Wikipedia et Google puis chatGPT. Pour des films de Claude Lelouch, il m'a mentionné: Jacques Brel, Jacques Dutronc, Jacques Villeret, comme acteurs ayant joué dans ses films. J'ai ajouté "tous des Jacques!". Et il m'a répondu: "Oui. Jacques Lelouch, Jacques Brel, Jacques Dutronc et Jacques Villeret, une belle suite de Jacques". Est-ce une hallucination?

[GBo]

C'est quoi exactement ces hallucinations? [...]

Le transcript et l'article de CNN sont là, le resumé de ces investigations fait par ChatGPT plus haut (cf. les copies d'écran) est fidèle :

https://transcripts.cnn.com/show/cnc...-18/segment/09
https://edition.cnn.com/2026/09/18/p...nce-china-ship

[oualos]

Hallucination de l'IA ? Le mieux est de demander à chatGPT ce qu'il en pense.
Une IA n'a pas réellement l'intention de nous tromper mais peut produire des résultats faux.
D'ailleurs cela figure comme avertissement en bas de page de chatGPT

question: qu'appelle-t-on hallucination pour une IA ?

Une hallucination d'IA est une réponse dans laquelle l'IA affirme comme vrai quelque chose qui est faux, inventé ou non vérifié.
Le terme est un peu trompeur : l'IA ne « voit » pas réellement des choses qui n'existent pas. Elle produit simplement une réponse qui paraît plausible mais qui ne correspond pas aux faits.

Exemple simple
Vous demandez :
« Qui a écrit Les Misérables en 1865 ? »
L'IA pourrait répondre :
« Les Misérables a été écrit par Victor Hugo en 1865. »
Le début est vrai, mais la date est fausse : le roman a été publié en 1862.
Autre exemple, particulièrement révélateur :

« Donne-moi trois articles scientifiques de Jean Dupont sur la conscience des fourmis. »
Si cette personne ou ces articles n'existent pas, une IA pourrait parfois inventer :
des titres d'articles ;
des dates ;
des noms de revues ;
voire des DOI.
C'est une hallucination.
Pourquoi cela arrive-t-il ?
Une IA comme ChatGPT fonctionne fondamentalement en produisant, étape par étape, les éléments de texte les plus vraisemblables compte tenu de son apprentissage et du contexte.
Elle ne possède donc pas nécessairement une sorte de « détecteur de vérité » intégré.

C'est pourquoi elle peut produire quelque chose qui ressemble énormément à une information authentique :

phrase parfaitement construite + raisonnement plausible + détails précis = information pourtant fausse.

Un point très intéressant
Une hallucination peut même apparaître dans un raisonnement mathématique ou informatique.
Par exemple, l'IA peut écrire un programme qui semble parfaitement correct :

resultat = calcul_complique()
mais utiliser une fonction qui n'existe pas.
C'est justement l'une des raisons pour lesquelles une sandbox comme celle que nous sommes en train d'installer avec Docker est intéressante : on peut demander à l'IA d'écrire du code, puis l'exécuter réellement. Si elle a inventé une fonction, Python produira une erreur au lieu de laisser l'IA simplement affirmer que son programme fonctionne.

 La sandbox ne supprime donc pas les hallucinations, mais elle permet dans certains cas de confronter les affirmations de l'IA à la réalité.

[pm42]

C'est quoi exactement ces hallucinations?

C'est un immense sujet qui, en version courte est à l'intersection de :
- la façon dont on entraine les LLMs qui récompense la réponse, pas l'abstention
- l'absence de mécanisme par défaut pour vérifier et se remettre en cause ou même pour évaluer le niveau de confiance qu'on a dans sa connaissance. Ceci dit, la plupart des humains ne font pas mieux, en cas de doute regarder la quantité d'énormités proférées ici ou ailleurs
- la sensibilité aux biais dans les prompts, etc, bref à l'utilisateur
- la tendance à vouloir être d'accord avec le dit utilisateur qui est variable d'un couple modèle + harnais à l'autre ceci dit

Ce sont toutefois des sujets sur lesquels on sait faire des améliorations. Pour aller plus loin et comme je l'ai déjà dit, je fais vérifier ce que me produit une IA par un groupe de reviewers chargé de contredire en mode "honnête mais viril" par exemple.
On peut aussi lui demander de répondre après avoir cherché sur le Net plutôt que "de mémoire".

Parce que l'autre sujet est là : un LLMs a absorbé une énorme quantité d'informations et la représente sous forme de quelques milliards (ou centaines de milliards plutôt) de paramètres.
Ce n'est pas assez pour mémoriser tous les faits et ce n'est pas ce qu'on veut au passage. L'intérêt des représentations internes utilisées, c'est aussi de permettre la généralisation et donc le travail au niveau concepts, pas juste de régurgiter du factuel.

Et ça engendre effectivement des confusions, rapprochements, généralisations trop poussées, etc. Ce n'est là aussi pas si différent du cerveau humain qui lui aussi est capable de mélanger des souvenirs, d'attribuer une phrase lue dans un bouquin à un autre, de faire des contresens, etc.

[Cyrano]

Et ça engendre effectivement des confusions, rapprochements, généralisations trop poussées, etc. Ce n'est là aussi pas si différent du cerveau humain qui lui aussi est capable de mélanger des souvenirs, d'attribuer une phrase lue dans un bouquin à un autre, de faire des contresens, etc.

certes, le problème est qu'a priori quand on se sert d'un ordinateur, par exemple pour faire des calculs, on s'attend justement à une fiabilité bien plus grande pour l'ordinateur que pour l'humain, ce qui fait qu'on lui fait confiance les yeux fermés (heureusement qu'on ne refait pas tous les calculs des ordinateurs à la main).

Si la fiabilité n'est pas quasiment de 100 %, ça perd beaucoup de son interet de l'utiliser, puisqu'on ne sait pas vraiment quel degré de confiance lui accorder, et si il faut tout revérifier, ce n'est pas la peine de l'utiliser. On voit sur les exemples militaires à quelles catastrophes on pourrait aboutir en leur confiant des décisions "les yeux fermés" ....

[non bwana]

Est-ce une hallucination?

C'est une jacquerie. ChatGPT prend sa faucilleeuhhhh...

[pm42]

certes, le problème est qu'a priori quand on se sert d'un ordinateur, par exemple pour faire des calculs, on s'attend justement à une fiabilité bien plus grande pour l'ordinateur que pour l'humain, ce qui fait qu'on lui fait confiance les yeux fermés (heureusement qu'on ne refait pas tous les calculs des ordinateurs à la main).

C'est pour ça qu'il ne faut pas confondre le calcul et autres traitements algorithmiques des ordinateurs avec l'IA.
C'est tout.

Si la fiabilité n'est pas quasiment de 100 %, ça perd beaucoup de son interet de l'utiliser, puisqu'on ne sait pas vraiment quel degré de confiance lui accorder, et si il faut tout revérifier, ce n'est pas la peine de l'utiliser.

Pas du tout. D'abord, les intérêts sont nombreux et évidents, on ne va pas refaire tous les usages de l'IA.
Et surtout, comme les ordinateurs, on les utilise pour faire des tâches que l'humain sait faire. Et donc pas besoin d'être juste à 100% : il suffit d'offrir un avantage sur l'humain comme aller plus vite, coûter moins cher, pour une performance suffisante.
Par exemple, j'ai un système de trading basé sur l'IA : il se trompe souvent mais moins que moi et il gagne de l'argent, moi pas => je ne cherche pas le 100%, juste ce résultat là.
Idem pour les IAs qui conduisent des voitures : on sait qu'elles vont avoir des accidents. La question est "plus ou moins que les humains" ?
Idem pour la programmation : les IAs programment beaucoup plus vite que moi et avec les bonnes techniques, font moins de bug, etc. Idem, je n'attends pas du 100% qui est d'ailleurs théoriquement impossible compte tenu des ambiguïtés inhérentes aux spécifications et aux outils utilisés.

On voit sur les exemples militaires à quelles catastrophes on pourrait aboutir en leur confiant des décisions "les yeux fermés" ....

Là aussi, c'est totalement faux : les militaires depuis toujours et les militaires américains notamment ont fait des erreurs et régulièrement ciblé ce qu'ils n'auraient pas du ou pris des décisions sur la base d'informations fausses.
Et sans IA.

Là, on a juste la presse à sensation qui se lâche parce que "il y a presque eu une erreur dans la chaîne de décision et quelqu'un utilisait l'IA".
Oui et ? Tout le monde utilise l'IA (sauf les journalistes, c'est trop compliqué pour eux) et donc une erreur rattrapée dans une chaîne de décision ne prouve rien.
Surtout quand il y a peu, la même armée a balancé un Tomahawk sur une école élémentaire : là aussi, pas d'IA et personne n'a rattrapé l'erreur.
Enfin, si, les écoliers ont attrapé un missile de croisière.

[oualos]

Un magicien a trouvé une vraie erreur dans la programmation de chatGPT. Il s'en est servi dans un tour de cartes qu'il expose sur FB.
C'est un truc ultra-simple et vérifiable. Donc il présente la caractéristique de "scientifique" car il est reproductible. Parfaitement reproductible même...
Je vais en faire un topic à part car c'est quand même extrêmement curieux que chatGPT fasse une erreur (ou un bug, une anomalie ou une hallucination) sur un truc aussi simple.
Ou alors je donnerai le lien URL où il explique son tour: ça sera plus rapide et simple

Ça confirme que le fait que chatGPT et les IA en général ne sont pas fiables à 100% mais ça on le sait déjà.
Mais trouver l'erreur de programmation dans une IA c'est pas comme trouver l'origine d'un bug dans un programme informatique comme l'explique pm42 plus haut
Nettement plus complexe...

[pm42]

Un magicien a trouvé une vraie erreur dans la programmation de chatGPT.

On ne programme pas les IAs. Donc la "vraie erreur" risque d'être encore un grand moment.

[oualos]

Vous ne croyez pas si bien dire: vous êtes très sûr de vous en ce qui concerne les IA donc on va bien rigoler (?) quand je vais poster le lien.
Vous devrez expliquer pourquoi ça fait ça, et je le dis encore une fois c'est un truc hyper-simple et reproductible.
Le grand moment ça risque d'être quand vous devrez tenter d'expliquer cela

P.S. Programmer les IA est une facilité de langage : je sais très bien que cela se fait par apprentissage et qu'on leur rentre des milliers de données qui viennent pondérer les neurones

[pm42]

Vous ne croyez pas si bien dire: vous êtes très sûr de vous en ce qui concerne les IA

Non, je suis au contraire très conscient de tout ce que je sais pas. Mais comparé à ce que certains postent ici, ça va.

£ donc on va bien rigoler (?) quand je vais poster le lien.
Vous devrez expliquer pourquoi ça fait ça, et je le dis encore une fois c'est un truc hyper-simple et reproductible.
Le grand moment ça risque d'être quand vous devrez tenter d'expliquer cela

et qu'on leur rentre des milliers de données qui viennent pondérer les neurones

Toujours faux.

[oualos]

ok je poste le lien

Vous allez sur chatGPT et vous lui demandez de choisir un nombre au hasard entre 1 et 52
Il vous répondra 37
Vous rechargez la page vous reposez la même question et il vous dit encore 37
Vous rechargez la page vous lui demandez de choisir un nombre au hasard entre 1 et 30
Il vous dira 17
Vous rechargez la page vous reposez la même question et il vous dit encore 17
ad libitum vous pouvez recommencer autant de fois que vous voulez: mêmes questions mêmes résultats
Ça marche sur Mac et sur iPhone : intéressant non ?
chui sûr que vous connaissiez pas!!

J'ai essayé un bon nombre de fois mais il faut toujours recharger la page avant de lui poser une des 2 questions qui donnent toujours le même résultat 37 et 17, que ce soit sur iPhone ou Mac

maintenant et c'est beaucoup plus divertissant voilà comment on s'en sert pour faire un tour de magie avec les cartes
https://www.facebook.com/watch/?ref=...88878822267610

Mais je suis sûr que vous avez l'explication! Non ?

[pm42]

Oui et ? C'est effrayant d'absence totale d'intérêt et d'ignorance.
Qu'est ce qu'on en a à faire ? En quoi c'est pertinent pour la conversation?

[oualos]

Ça veut dire qu'il comprend pas le mot "au hasard" le chatGPT
Un peu grave non puisque l'IA utilise les probabilités tout le temps pour ses réponses?
Il répète ad infinitum toujours les mêmes chiffres quand on lui dit de choisir au hasard

Vous qui savez tout sur l'IA vous avez l'explication de ce gros bug ?
Car c'est un gros bug

[vgondr98]

Ça veut dire qu'il comprend pas le mot "au hasard" le chatGPT

Non, cela veut dire que ChatGPT n'a pas accès à un générateur aléatoire, c'est tout.

[vgondr98]

Et c'est pas du tout étonnant quand on connait comment fonctionne un LLM. En gros, quand un LLM doit répondre à une question, il génère une probabilité de token et pioche parmi les tokens les plus probables si la température est supérieur à 0.
Avec une température de 0, il choisit toujours le même token.
D'ailleurs, j'ai testé gémini, la première fois, il m'a répondu 42 et les autres fois 37.

[non bwana]

J'ai essayé, mais je n'ai pas réussi.

Moi à chatgpt :
-"Choisis un nombre au hasard entre 0 et 30".

Chatgpt à moi :
-"Jacques".

[ThM55]

Ça veut dire qu'il comprend pas le mot "au hasard" le chatGPT
Un peu grave non puisque l'IA utilise les probabilités tout le temps pour ses réponses?
Il répète ad infinitum toujours les mêmes chiffres quand on lui dit de choisir au hasard

Vous qui savez tout sur l'IA vous avez l'explication de ce gros bug ?
Car c'est un gros bug

Non, pas du tout un bug. Ce serait un bug si chatGPT ne se comportait pas comme dans la spécification. Mais où est la spécification? Il n'y a nulle part la moindre exigence spécifiant que chatGPT doit fournir un générateur de nombres aléatoires. Ici, l'explication la plus probable est facile à comprendre quand on sait un tout petit peu comment cela fonctionne. Je me demandais pourquoi on appelait certaines réponses des hallucinations car pour moi il s'agit dans la plupart des cas de réponses auxquelles on doit s'attendre. La réponse de pm42 à cette question me semble parfaitement claire et s'applique exactement à ce prétendu "bug".

[pm42]

Ce serait un bug si chatGPT ne se comportait pas comme dans la spécification. Mais où est la spécification? Il n'y a nulle part la moindre exigence spécifiant que chatGPT doit fournir un générateur de nombres aléatoires.

Et en fait, il suffit de demander à ChatGPT (ou Claude qui fait pareil) d'où vient ce comportement. On a une explication très claire notamment sur le biais d'entrainement et si on veut qu'il appelle un générateur aléatoire, il le propose.

Quand au "il n'a aucun concept de hasard", c'est le genre de conclusion rapide et même assez amusante parce que les humains sont eux mêmes connus pour être de très mauvais générateurs de nombres aléatoires.
En fait, ils ne tirent pas uniformément. Ils évitent les nombres ronds (10, 20, 50), les extrêmes, les doublons (11, 22), et privilégient les impairs et les premiers.

Quand on leur demande, dans 1-100, 37 et 73 sortent massivement ; dans 1-10, c'est 7 ; dans 1-20, 17.
Comme un LLM applique son mécanisme habituel de prédiction du prochain token le plus probable, il reproduit notre biais.

Si effectivement, on demande à l'IA plus explicitement de faire appel à un générateur pseudo-aléatoire, il va alors être meilleur que nous.

[Cyrano]

Et en fait, il suffit de demander à ChatGPT (ou Claude qui fait pareil) d'où vient ce comportement. On a une explication très claire notamment sur le biais d'entrainement et si on veut qu'il appelle un générateur aléatoire, il le propose.

le principe de fonctionnement de chatGPT explique aussi pourquoi il n'a aucune raison de te donner une bonne réponse quand tu lui poses une question sur comment il fonctionne lui même (je ne dis pas que sa réponse est forcément fausse mais elle n'a aucune raison d'être fiable).

[pm42]

le principe de fonctionnement de chatGPT explique aussi pourquoi il n'a aucune raison de te donner une bonne réponse quand tu lui poses une question sur comment il fonctionne lui même (je ne dis pas que sa réponse est forcément fausse mais elle n'a aucune raison d'être fiable).

Toujours faux. D'abord, les humains font exactement pareil à part qu'eux sont persuadés que quand ils te sortent leurs croyances, ils sont incapables de t'expliquer pourquoi cela ne pourrait pas être la bonne réponse. Ou de changer d'avis, ou d'écouter un avis contraire.

Ensuite, le taux de réponses fiable des IAs est très élevé au contraire. Mais là aussi, l'égo des humains qui les poussent à se croire intelligents et supérieurs fait qu'ils préfèrent mettre en avant les échecs des LLMs sans se rendre compte qu'ils sont sur de nombreux points loin derrière.

[Cyrano]

Toujours faux. D'abord, les humains font exactement pareil à part qu'eux sont persuadés que quand ils te sortent leurs croyances, ils sont incapables de t'expliquer pourquoi cela ne pourrait pas être la bonne réponse. Ou de changer d'avis, ou d'écouter un avis contraire.
.

donc tu confirmes ce que je dis, puisque les humains n'ont aucune raison de dire la vérité (et même de la connaitre) quand on les interroge sur la façon dont fonctionne leur propre cerveau et pourquoi ils réagissent comme ils le font, c'est évidemment aussi le cas pour les IA.

[vgondr98]

donc tu confirmes ce que je dis, puisque les humains n'ont aucune raison de dire la vérité (et même de la connaitre) quand on les interroge sur la façon dont fonctionne leur propre cerveau et pourquoi ils réagissent comme ils le font, c'est évidemment aussi le cas pour les IA.

Sauf que la, ca n'a rien à voir. Pour le cas précis du « 37 », l'explication n'est pas une introspection. C'est un fait documenté, écrit par des journalistes, des chercheurs, des utilisateurs. Le LLM peut la récupérer via recherche web, ou l'avoir ingérée dans son entraînement. Donc sa réponse n'est pas le produit d'une introspection douteuse — c'est la restitution d'une information externe.