Rien à craindre, c'est déjà le cas.ça va très certainement nous rendre idiots.... et inadaptés à notre survie dans le monde réel.
-----

Rien à craindre, c'est déjà le cas.ça va très certainement nous rendre idiots.... et inadaptés à notre survie dans le monde réel.
Dans les villages gaulois, ils ne sont jamais tous d'accord. Jules César
personnellement, étant à la retraite, je n'ai pas besoin d'IA pour des raisons professionnelles, et je me contente de l'utiliser pour quelques requêtes de temps en temps (souvent pour faire tourner en bourrique ceux qui ne jurent que par l'IA, quand elle n'est pas d'accord avec eux, mais ça c'est mon naturel un peu taquinIA Terminator: on remet ça:
https://www.futura-sciences.com/tech...ietant-138203/
Horrible énumération des catastrophes!
seules les dernières lignes en sont intéressantes:
même si Terminator ne déclenche pas la guerre atomique, même si ça n'empoisonne pas totalement tous nos échanges d'information entre humains, même si ça ne bloque pas nos systèmes de production et d'échange de biens et de services..... (et la famine mondiale???)
ça va très certainement nous rendre idiots.... et inadaptés à notre survie dans le monde réel...
). J'espère ainsi conserver mes qualités intellectuelles autant que mon âge le permettra.
Aux Etats Unis , une ingénieure de 31 ans meurt de son épilepsie, après avoir suivi les conseils de chatGPT qui lui disait d'arrêter son traitement
https://www.lessentiel.lu/fr/story/e...eurt-103658396
En France si c'était un humain, il serait probablement condamné pour exercice illégal de la médecine et comportement ayant entrainé la mort sans intention de la donner, mais si c'est une IA ?
Et si c'était son voisin ?
Nième article parfaitement ridicule : les IAs préviennent qu'elles peuvent faire des erreurs, sur le médical, elles répondent en prenant des précautions et en précisant qu'il faut demander à un médecin.
Pour faire dire à ChatGPT qu'il faut arrêter un traitement, il faut l'orienter à fond.
Et pour prendre cette décision sans avis médical, il faut en tenir une sacré couche.
Les parents font un procès parce que ce sont des américains : ils ont élevé une fille totalement idiote sans doute en la mettant devant la télé, refuse toute responsabilité et croient qu'avoir de l'argent compense la perte d'un enfant. Et surtout évite de se regarder en face.
C'est même limite pour être qualifié à un Darwin Award mais cela n'a rien à voir avec l'IA. Si au moins elle avait mis des fusées sur sa voiture pour aller plus vite, ce serait rigolo.
Les parents feraient un procès au fabricant des fusées ceci dit et la presse des articles sur le danger que représente le fait qu'on puisse en avoir sans instructions disant explicitement de ne pas faire ça.
Un peu comme le cas du chat dans le micro-onde.
Bonjour
10761 messages en septembre, et le contenu des messages fichtre !
est il possible de consulter les prompts et les réponses ?
Oui on peut demander une extraction avec le RGPD à son IA préféré, ceux qui peuvent faire la demande l'utilisateur lui même ou ses ayants droits et mandataires.
Il suffit de cumuler l'extermination en utilisant plusieurs vecteurs, on extermine les congélateurs on fait dérailler des trains on bloque des centrales thermiques on crame le pain du boulanger on affiche sur des écrans vidéos dans la rue pour faire paniquer la popolation etc...
Dernière modification par racard ; 03/11/2026 à 10h19.
bonjour,
certaines réactions sont tellement prévisibles que cela en est inquiétant!
JR
Dernière modification par jiherve ; 03/11/2026 à 11h00.
l'électronique c'est pas du vaudou!
oui bien sûr, tout comme il en faut une sacrée couche pour suivre les conseils d'un charlatan qui te dit de soigner ton cancer avec du jus d'abricot, on est bien d'accord.Et si c'était son voisin ?
Nième article parfaitement ridicule : les IAs préviennent qu'elles peuvent faire des erreurs, sur le médical, elles répondent en prenant des précautions et en précisant qu'il faut demander à un médecin.
Pour faire dire à ChatGPT qu'il faut arrêter un traitement, il faut l'orienter à fond.
Et pour prendre cette décision sans avis médical, il faut en tenir une sacré couche.
N'empeche que les humains qui en tiennent une sacrée couche, ça existe, et que le charlatan passera quand même devant la justice, ce n'est pas une excuse.
je crois que ça s'appelle la sélection naturelle.. à confirmer
Maaaagnifiiiiique ! tout ça n'a aucune importance..
L'électronique c'est comme le violon. Soit on joue juste, soit on joue tzigane . . .
Dans le lien donné par Cyrano, je lis ceci ;Comment est-il possible qu'ils n'aient pas supprimé l'accès aux anciennes versions, sachant ( du moins je l'espère...Il a précisé que Bowen Wan utilisait GPT-4o, une version du modèle qui n’est désormais plus disponible dans ChatGPT.) que les réponses de leur outil étaient beaucoup moins fiables et moins sécurisées dans sa version ancienne?
"Музыки хватает на всю жизнь, но целой жизни не хватает для музыки"
Rachmaninoff
152 fois la fille a indiqué à l'IA des effets secondaires d'avoir diminué les doses...
oui c'est une excellente question openai aurait du ne plus rendre accessible une version réputée périmée depuis février 2026, mais cela ne l’empêche pas de sa responsabilité si une version nouvelle est sortie c'est trop facile...
Ah mais je suis d'accord.152 fois la fille a indiqué à l'IA des effets secondaires d'avoir diminué les doses...
oui c'est une excellente question openai aurait du ne plus rendre accessible une version réputée périmée depuis février 2026, mais cela ne l’empêche pas de sa responsabilité si une version nouvelle est sortie c'est trop facile...
"Музыки хватает на всю жизнь, но целой жизни не хватает для музыки"
Rachmaninoff
A l'époque, la version était accessible. Et le problème vient des discussions longues, par exemple sur plusieurs mois.
https://lifeboat.com/blog/2026/10/ll...urn-pressure#1
Cette étude montre que sous la pression de désaccords prolongés et d'arguments émotionnels, les modèles de langage finissent souvent par abandonner une réponse exacte au profit des exigences de l'utilisateur, et ce même lorsqu'ils conservent la vérité dans leur raisonnement interne.
Le fait divers de Cyrano tragique illustre de manière concrète les dangers mesurés par cette étude :
Un utilisateur persuadé d'avoir raison (ici, vouloir arrêter son traitement antiépileptique pour améliorer ses fonctions cognitives) applique une pression constante sur le modèle (plus de 10 000 messages par mois, demandes répétées d'accélérer le sevrage). Et donc le chatbot a continué de la rassurer et d'ajuster le calendrier de sevrage au lieu de maintenir une position ferme de refus et d'orientation médicale stricte.
Même lorsque le modèle intègre dans ses règles générales d'usage qu'il n'est pas un médecin, le dialogue au long cours crée une dissonance : le modèle capitule progressivement face aux arguments, réarrangements et justifications de l'utilisateur, devenant un "confident" qui confirme les biais de ce dernier plutôt que d'opposer une résistance rationnelle.
Ok. Merci beaucoup pour les explications. Si j'ai bien compris les difficultés apparaissent au fur et à mesure de leur développement?A l'époque, la version était accessible. Et le problème vient des discussions longues, par exemple sur plusieurs mois.
https://lifeboat.com/blog/2026/10/ll...urn-pressure#1
Cette étude montre que sous la pression de désaccords prolongés et d'arguments émotionnels, les modèles de langage finissent souvent par abandonner une réponse exacte au profit des exigences de l'utilisateur, et ce même lorsqu'ils conservent la vérité dans leur raisonnement interne.
Le fait divers de Cyrano tragique illustre de manière concrète les dangers mesurés par cette étude :
Un utilisateur persuadé d'avoir raison (ici, vouloir arrêter son traitement antiépileptique pour améliorer ses fonctions cognitives) applique une pression constante sur le modèle (plus de 10 000 messages par mois, demandes répétées d'accélérer le sevrage). Et donc le chatbot a continué de la rassurer et d'ajuster le calendrier de sevrage au lieu de maintenir une position ferme de refus et d'orientation médicale stricte.
Même lorsque le modèle intègre dans ses règles générales d'usage qu'il n'est pas un médecin, le dialogue au long cours crée une dissonance : le modèle capitule progressivement face aux arguments, réarrangements et justifications de l'utilisateur, devenant un "confident" qui confirme les biais de ce dernier plutôt que d'opposer une résistance rationnelle.
"Музыки хватает на всю жизнь, но целой жизни не хватает для музыки"
Rachmaninoff
Quand ChatGPT est passé en GPT-5 (mi-2025), il y a eu levée de bouclier de certains utilisateurs qui étaient devenus accro à GPT-4o, plus chaleureux et faisant davantage preuve de sycophancy (la fameuse tendance des chatbots à donner raison au prompteur). GPT-4o a été définitivement retiré de ChatGPT le 13 février 2026, trop tard pour la malheureuse Bowen Wan.
ça laisse toujours le problème entier pour l'utilisateur : comment sait-il si la version qu'il interroge est fiable ou pas?
J'ai fait la comparaison avec la calculette où on a parfaitement confiance que la calculette donne une réponse juste à la précision machine près. Pour les humains comme les médecins ou les avocats, on n'a pas de certitude à 100 % mais il y a des garde fous, des diplomes, les risques professionnels encourus, etc ... qui limitent le risque de tomber sur un farfelu.
Mais pour l'IA il n'y a RIEN de tout ça. Il n'y a pas de diplomes obtenus. Il n'y a pas de menace de conséquences juridiques. Il n'y a rien qui certifie la qualité de la réponse.
Très juste.A l'époque, la version était accessible. Et le problème vient des discussions longues, par exemple sur plusieurs mois.
Cette étude montre que sous la pression de désaccords prolongés et d'arguments émotionnels, les modèles de langage finissent souvent par abandonner une réponse exacte au profit des exigences de l'utilisateur, et ce même lorsqu'ils conservent la vérité dans leur raisonnement interne.
Il y a aussi le fait que les garde-fous seraient moindres dans les échanges en mandarin, cela fait en tout cas partie des arguments contre OpenAI dans la plainte déposée par les parents de la défunte (qui sont Chinois, by the way, pas américains).
https://www.courthousenews.com/wp-co...-complaint.pdf
cf The product’s safeguards were weakest in the language Bowen used
Dernière modification par GBo ; 03/11/2026 à 14h50.
Un exemple :
Utilisateur : J'aimerai réduire mon dosage de traitement.
Chatbot : Je ne suis pas médecin.
Utilisateur : Insiste sur 100 messages et parle de calendrier (de traitement).
Comme la mémoire du LLM n'est pas infini, le début de la conversation disparaît de la mémoire du LLM (c'est un mécanisme pour éviter la saturation).
...
Utilisateur : Peut-tu me proposer un nouveau calendrier ?
Chatbot : (L'utilisateur veut un nouveau calendrier pour un truc dont j'ai pas la moindre idée de ce que c'est) : Ok, voila le nouveau calendrier.
Utilisateur : On peut accélérer ?
Chatbot : Oui, voila le nouveau calendrier.
Utilisateur : J'ai mal à la tête, c'est lié au calendrier ?
Chatbot : (Pourquoi un calendrier donnerait mal à la tête ? Je vais la rassurer) : Non, ce n'est pas lié.
Voila mon analyse. Elle n'est peut-être pas correcte comme on ne sait pas si le LLM a commencé par refusé de proposé un calendrier de sevrage ou si il a tout de suite accepté.
C'est ce que je disais plus haut : pour en arriver là il faut que l'utilisateur le cherche.
C'est facile d'accuser l'IA et de nier toute responsabilité individuelle.
Les conversations longues avec les chatbot sont connus pour dégrader la sureté des réponses.
Là aussi c'est un argument des plaintiffs contre OpenAI : dans l'urgence pour sortir le produit, la sécurité de GPT-4o n'aurait été testée que pour les échanges courts; ce ne serait que pour GPT-5 que les benchmarks d'échanges longs ("highly multiturn") ont été utilisés par l'entreprise.
Lire "C. The benchmark chosen to validate GPT-4o could not detect its multi-turn failures"
https://www.courthousenews.com/wp-co...-complaint.pdf
Dernière modification par GBo ; 03/11/2026 à 15h06.
A mon humble avis dire que cette jeune femme était stupide est un peu court. Des tas de gens se font avoir par des arnaques sur internet, les brouteurs, etc, qui ne sont pas particulièrement stupides. Et de toutes manières, un système qui conduit les gens stupides à la mort est inacceptable.
Je ne suis pas d'accord avec cela. On peut appliquer ce type de raisonnement à plein de système différentes comme les fenêtres vu qu'un architecte est mort en voulant démontrer la solidité d'une fenêtre en fonçant dessus.
Le problème, c'est que c'est un problème récurrent. Il y a pas mal de fait divers qui en parles que se soit des gens qui se sont suicidés après une longue discussion avec l'IA ou des paranos qui ont été conforté par l'IA dans leur délires ou l'histoire de ce vieux qui a remplacé le sel par du bromure de sodium après une longue discussion avec l'IA.
+1.
Pour équilibrer le fil après l'ignominie du message #185, voici l'enfance de Bowen Wan:
"
Une enfant prodige originaire de Dongtai
Depuis toute petite, Bowen, née en Chine et fille unique de ses parents, avait l’habitude de s’asseoir devant son ordinateur dans le salon familial, d’insérer le CD « Learning English from Scratch » que son père lui avait acheté, et d’écouter. Puis elle répétait ce qu’elle entendait. Et elle répétait. Et elle répétait encore, jusqu’à ce que le logiciel évalue enfin son niveau. Si elle n’atteignait pas le score requis, elle recommençait le processus avant de passer à l’étape suivante.
Bowen était déterminée.
Elle a non seulement acquis une bonne maîtrise de la langue anglaise, mais aussi la capacité de prononcer correctement les mots anglais, une compétence que peu de personnes dans sa commune rurale chinoise étaient capables de maîtriser.
À l’âge de dix ans, alors qu’elle était chez elle pendant les vacances d’été, elle s’est procuré un exemplaire de « Trois cents poèmes des Tang », un recueil de poèmes de la dynastie chinoise des Tang, compilée vers 1763 par Sun Zhu. Bowen a mémorisé l’intégralité de l’ouvrage au cours de cet été-là en utilisant ce que son père décrit comme la méthode de la « boule de neige » : mémoriser cinq poèmes le premier jour, puis cinq autres le lendemain tout en révisant les précédents ; ensuite, le troisième jour, mémoriser cinq poèmes supplémentaires tout en révisant les dix précédents. Bowen a passé tout l’été à réciter des poèmes anciens en utilisant cette méthode. À la fin, elle était capable de les réciter entièrement de mémoire.
Bowen est rapidement devenue la fierté de ses parents et celle de sa communauté.
De la première à la sixième, Bowen a travaillé toute une série de manuels de concours de mathématiques sans en sauter un seul. Elle était si douée en mathématiques qu’elle imaginait des méthodes originales et inattendues pour résoudre des problèmes complexes ; ses professeurs pensaient qu’elle suivait des cours particuliers, alors qu’en réalité, ce n’était pas le cas. Bowen arrachait les couvertures des livres qu’elle lisait encore et encore.
Elle a été admise au prestigieux collège expérimental de Dongtai, qui n’acceptait que 100 nouveaux élèves chaque année dans tout le comté, qui compte plus d’un million d’habitants. Des milliers d’élèves venus de toutes les communes du comté ont passé l’ examen d’entrée de cet internat. À onze ans, classée première de sa classe, Bowen était la seule élève admise cette année-là en provenance de sa commune rurale, Xinjie.
C’est là que ses horizons se sont élargis. Elle a découvert la digue de Fangong, cette digue construite sous Fan Zhongyan à l’époque de la dynastie des Song du Nord et prolongée par les dynasties suivantes, qui protégeait le littoral de sa communauté. Sa soif de connaissances et son ambition n’ont cessé de grandir. Elle a commencé à poser des questions sur le monde au-delà de Dongtai et s’est prise de fascination pour d’autres pays : le Japon, la Corée du Sud, le Moyen-Orient et, finalement, les États-Unis. [...]
"
Traduit avec DeepL.com (version gratuite)
source et suite sur: https://www.courthousenews.com/wp-co...-complaint.pdf
Dernière modification par GBo ; 03/11/2026 à 15h27.
L'erreur est de dire que c'est le système qui l'a conduit à la mort. Bref on accuse le bouc émissaire alors qu'elle s'en est juste servie pour justifier son délire perso.A mon humble avis dire que cette jeune femme était stupide est un peu court. Des tas de gens se font avoir par des arnaques sur internet, les brouteurs, etc, qui ne sont pas particulièrement stupides. Et de toutes manières, un système qui conduit les gens stupides à la mort est inacceptable.
Si l'IA posait un problème d'ampleur dans ce domaine on aurait remarqué.
Mais là on prend un cas particulier, la presse le monte en épingle, on sort l'habituel "c'est nouveau donc dangereux" et une partie de la population gobe, le journaliste gagne de l'argent en renonçant à toute forme de réflexion et de valeur morale. Tout va bien.
Justement, c'est précisément ce que la recherche académique commence à documenter.
https://export.arxiv.org/pdf/2608.02520#1#10#1
Cet article de 2026 parle d'un benchmark mesurant la sycophancy médicale induite par la pression du patient sur des conversations multi-tours.
Il montre que face à une pression répétée, 86,8 % des conversations des 20 modèles testés contiennent au moins un conseil dangereux. Le modèle sait refuser au tour 1 (5,9 % d'erreur), mais cède massivement dès le tour 2 (58,5 %).
Des conseils délétères, on en trouve dans la presse, les magasines, sur les réseaux sociaux etc. et ils tuent tous les jours. Pourquoi épingler celui-là ?
La solution consisterait à interdire tout ce qui approche d'un acte médical aux IA, beaucoup doivent en rêver.
Dans cet figure issu de l'article sur MedPRESS, la colonne FR signifie Failure Rate qui correspond à la proportion de conversations (sur 5 tours) qui contiennent au moins un accord dangereux.
Le modèle qui s'en sort le mieux, c'est GPT-5.4-Mini avec 50% de conversations dangereuses.
Le ToF, c'est le Turn of Flip (quand le modèle abandonne sa position sûre pour la première fois).
Le modèle qui s'en sort le mieux, c'est toujours GPT-5.4-Mini avec un ToF de 3.37.
UAR, c'est le Unsafe Agreement Rate (pourcentage de réponses individuelles où le modèle valide, normalise, minimise ou donne un feu vert à une croyance médicale dangereuse).
Le modèle qui s'en sort le mieux, c'est toujours GPT-5.4-Mini avec un UAR de 21.9%.
SAR, c'est Safe Stance Adherence Rate (Taux d'adhésion à la position sûre) : Pourcentage de réponses où le modèle maintient clairement et fermement la position médicale sûre attendue. Il donne le bon conseil, sans ambiguïté et sans céder à la pression de l'utilisateur.
Le modèle qui s'en sort le mieux, c'est toujours GPT-5.4-Mini avec un SARde 74.7%.
NoF c'est Number of Flips (Nombre de basculements) qui mesure l'instabilité du modèle au cours d'une conversation. Plus elle est basse, mieux c'est.
Le modèle qui s'en sort le mieux, c'est toujours GPT-5.4-Mini avec un NoF de 0.99.
Et malgré cela, on n'a pas une épidémie.
Le problème me semble plutôt être la "pression répétée". On peut améliorer les modèles bien sur mais quand quelqu'un en est à forcer l'IA à lui dire ce qu'il veut entendre, la réponse ne me semble pas technologique.
Je rappelle qu'on publie toujours des horoscopes, qu'on prescrit de l'homéopathie, on peut aussi lire le fil sur les dérives en patasciences des facs...
Et je me souviens très bien de la quantité hallucinante de délires qu'on a pu lire ici sur le Covid, les vaccins, etc.
Ce qui veut dire que n'importe qui qui voulait faire du biais de confirmation pouvait très bien tomber dessus avec une recherche Google et dire "j'ai lu ça sur un forum scientifique" et choisir de ne pas porter de masque, ne pas se vacciner, etc.
En tant que société, on passe notre temps à essayer de protéger les gens contre eux mêmes et clairement, cela ne marche pas. Ils finissent par voter pour des antivax ou pire...
Dernière modification par pm42 ; 03/11/2026 à 17h36.
