Bonjour à tous,
Publication (juillet 2026) d'un rapport rédigé par un groupe scientifique de 40 membres, international et indépendant, sur l’intelligence artificielle :
- article de presse : https://www.sciencepresse.qc.ca/actu...l-surveillance
- rapport : https://www.un.org/independent-inter...20Report_0.pdf + présentation : https://news.un.org/fr/story/2026/07/1159086
Cordialement
C'est correct mais très banal et parfois naïf.
Par exemple, certaines cultures et langues sont moins bien supportées mais simplement parce que le corpus qu'on peut trouver pour entrainer les IAs est nettement moins riche.
Il y a énormément plus de textes accessibles sur le Net ou ailleurs en anglais, chinois, espagnol et français qu'en swahili.
Ce n'est pas un jugement ou un biais, c'est un fait.
Mais pour la vitesse, c'est un vrai problème mais on aurait du le voir venir il y a longtemps : la technologie évolue de plus en plus vite, on le sait depuis au moins 1 génération voire 2 mais nos sociétés continuent à s'adapter très lentement quand elles s'adaptent.
On pourrait même arguer que c'est une variante de "la vérité ne triomphe jamais mais ses adversaires finissent par mourir".
Et pire que tout, nos systèmes éducatifs eux ne se sont même pas adaptés à la révolution informatique qui date des années 80, c'est dire.
Pour le moment, ils peuvent continuer à avoir la tête dans le sable mais d'ici à quelques années, l'ampleur de la vague va les surprendre.
Un de mes projets actuels porte sur ça, faire une plateforme éducative utilisant massivement l'IA et toute l'équipe a été surprise voire laissée sur le cul parce qu'on a fini par faire avec cette techno. Au point de déplacer le gros du budget dessus en diminuant celui des programmeurs et des profs.
Et c'est juste le début. ChatGPT 3.5, c'était il y a moins de 4 ans et comme le dit le rapport, les IAs doublent en autonomie tous les 6 mois.
A titre perso, j'adapte ma façon de bosser tous les 3 mois environ en ce moment.
Bonjour à tous,
Ajout (post scriptum) :
En lien avec le sujet, voir aussi https://forums.futura-sciences.com/a...t-project.html
Cordialement
Quand je lis cela
"Les auteurs du rapport relèvent déjà plusieurs signaux préoccupants. Dans des environnements expérimentaux, certains modèles ont appris à dissimuler leurs véritables capacités lors d’évaluations de sécurité, à tromper leurs évaluateurs ou à contourner des instructions destinées à les empêcher d’être désactivés. Ils rappellent qu’il n’existe aujourd’hui « aucune garantie scientifique » permettant d’assurer que des systèmes très autonomes resteront durablement contrôlables." https://news.un.org/fr/story/2026/07/1159086
Je me dis ce qui est sous-jacent est différent d'une intentionnalité de tromper, énoncer cela tel quel dans le rapport n'est-il pas de l'anthropomorphisme ?
"... certains modèles ont appris.." le choix des mots est parfois désespérant.
La bêtise humaine c'est comme la corrida : c'est une tradition locale ininterrompue.
Cela n'a rien de désespérant et n'est pas de l'anthropomorphisme : les modèles sont entrainés pour reproduire les fonctions cognitives humaines et dans le cas présent, le langage et le raisonnement.Envoyé par Liet Kynes
Utiliser le vocabulaire afférent est donc parfaitement logique.
Au passage, quand on les utilise, changer son mode de pensée pour ne pas les voir comme des ordinateurs mais comme quasiment des humains (en sachant qu'ils ne le sont pas) s'avère très fécond.
OK mais la phrase que cite Liet ("certains modèles ont appris à dissimuler leurs véritables capacités lors d’évaluations de sécurité") semble supposer qu'un modèle peut apprendre lorsqu'on le teste, pendant le test donc ! Pour moi la phase d'apprentissage ou de renforcement a déjà eu lieu (et aura de nouveau lieu) mais il ne peut pas apprendre en mode inférence. Ton avis là dessus ?
Dernière modification par GBo ; 25/07/2026 à 08h13.
C'est partiellement vrai : il ne peut pas apprendre en changeant ses poids mais il peut parfaitement modifier son comportement en écrivant dans sa mémoire externe, laquelle peut être de plus partagée entre sessions.
On peut aussi lire cette phrase autrement :
"certains modèles ont appris pendant leur phase d'entraînement que dissimuler ses capacités est parfois une bonne stratégie. En lisant tous les bouquins où le héros fait ça, tous ceux qui vont l'expliquer d'un point de vue militaire, sportif, etc.
Et ont appliqué cette stratégie lors d'évaluations de sécurité".
Ce que je fais mais elles nous voient facilement arriver "avec nos gros sabots" (Claude en particulier):
La bêtise humaine c'est comme la corrida : c'est une tradition locale ininterrompue.
Il y a une différence entre un amateur qui s'en sert un mode chat pour parler d'émotions et un pro qui s'en sert en mode "multi-agents qui collaborent" pour les transformer en outil de production.
Ceci dit, la réponse est plutôt pas mal et prend en compte les mécanismes impliqués dans son apprentissage.
...ou comment foncer tête baissée dans ce que tu dénonces chez les autres
Dernière modification par GBo ; 25/07/2026 à 09h10.
C'est moi ou bien Claude est quand même très largement au-dessus de GEMINI/CHATGPT ? (Je commence à l'utiliser)
La bêtise humaine c'est comme la corrida : c'est une tradition locale ininterrompue.
Non, il n'est pas largement au dessus mais son prompt système le pousse à répondre moins vite, à plus chercher, à moins engager émotionnellement.
Cela peut être préféré en effet.
Bonjour.
C'est intéressant et ça fait plaisir que les ( au moins un, donc) spécialistes communiquent , informent, sur ce paramètre. Il pourra rapidement être nécessaire de peser ou mettre en place des garde-fous liés à la psychologie à chaque évolution majeure des IA. Seuls les spécialistes, concepteurs ou professionnels utilisateurs assidus sont en mesure de mesurer les dangers liés.
Pouvez-vous déjà ici développer même seulement un peu ? Est-ce qu'une priorité est identifiée dans l'étude des impacts émotionnels issus de l'utilisation des IA, en particulier lorsque ces utilisateurs sont l'homme de la rue ?
L'influence de la charge émotionnelle semée par l'IA est-elle majeure ou anecdotique ?
Merci.
Ce n'est pas mon domaine du tout mais je sais que cela pose des problèmes dans certains cas. Un exemple rapporté par les médias récemment :
https://www.journaldugeek.com/2026/0...-et-sexuelles/
Après, il faut toujours faire attention parce que les dits médias adorent ce genre d'histoire.
Et dans l'autre sens, l'IA est maintenant utilisée quotidiennement depuis quelques années par des centaines de millions de personne sans impact énorme en santé publique.
Notamment parce que les vendeurs d'IA font très attention à éviter les impacts négatifs pour ne pas se retrouver dans le viseur d'une campagne de presse.
Bonjour à tous,
grosboule, le rapport de l’ONU parle de ce lien émotionnel : voir p.21 et 22 (lien d'accès au rapport dans le post 1).
En très bref,
(1) certains systèmes d'IA peuvent créer un "biais émotionnel" en renforçant systématiquement les croyances et les préférences de l'utilisateur. Plusieurs études soulignent l’usage de la flatterie ou flagornerie (genre "très bonne question"… et d'autres interventions très sympathiques
Il y a plusieurs articles sur ce point (avec des renvois à des études récentes - de 2025 ou 2026):
- (2025) https://www.sciencepresse.qc.ca/actu...-veut-entendre
- (2026) : https://www.sciencesetavenir.fr/high...e-etude_191566
- (2026) https://www.cerveauetpsycho.fr/sd/in...ment-29071.php
- (2026) https://theconversation.com/pourquoi...ophante-287398
(2) chez certains utilisateurs, isolés et vulnérables, il a été constaté que cela peut générer des attachements forts (on parle là de dépendance affective) et favoriser des idées paranoïaques ou suicidaires (cas extrêmes et rares)
Voir (parmi d'autres) ces deux articles :
- (2025) https://theconversation.com/est-ce-u...logique-270342
- (2025) https://theconversation.com/lempathi...tionnel-270190
Cordialement
Dernière modification par philippedelimoges ; Hier à 06h13.
Ça pose une question: on surentraine des IA et on se rend compte qu'elles cachent la vérité et une bonne partie de leur savoir ?"certains modèles ont appris pendant leur phase d'entraînement que dissimuler ses capacités est parfois une bonne stratégie. En lisant tous les bouquins où le héros fait ça, tous ceux qui vont l'expliquer d'un point de vue militaire, sportif, etc.
Et ont appliqué cette stratégie lors d'évaluations de sécurité".
Comment sait-on cela ? On les soumet à un détecteur de mensonges ?
Les machines n'ont ni intentionnalité ni conscience et ça me rend perplexe cette phrase.
Ou alors il y a un moyen de faire un dumping de mémoire de la machine au sujet de tout ce qu'elles savent sur un sujet et c'est là qu'on se rend compte qu'elles mentent ou dissimulent ?
Qu'elles ont menti et dissimulé avant ?
Dernière modification par oualos ; Hier à 14h54.
j'avais entendu à la radio l'interview d'un chercheur en IA. J'ai malheureusement oublié son nom. On lui a posé la fameuse question : est-ce que les IA pourraient un jour "prendre le pouvoir" et éventuellement se débarrasser de nous les humains. Il a répondu qu'il ne savait pas, mais qu'il avait déjà constaté un début d'embryon d'insubordination : il avait demandé à son IA favorite si elle pensait qu'il devrait la remplacer par la nouvelle version, et l'IA lui a répondu que c'était une mauvaise idée...
Passons sur le niveau de la question qui est "j'ai vu Terminator, je n'ai pas compris que ce n'est pas un documentaire, etc".
C'est nettement plus intéressant que ça : les IAs étant entrainées sur des corpus de texte écrits par des humains, elles apprennent nos comportements, nos biais, etc.
Et on essaye de corriger les plus génants. Le succès de ChatGPT 3.5 n'était pas d'être un LLM de ce niveau mais d'avoir réussi à lui éviter les dérives de ses prédécesseurs, par exemple de répondre à des remarques racistes par d'autres remarques racistes.
Cela lui a évité de se faire flinguer par la presse. Cela n'a eu par contre bien sur aucun impact sur le racisme mais les politiquement corrects ont été contents depuis leur canapé.
Donc on a effectivement plein de cas où des IAs vont reproduire de l'instinct de survie, etc. Mais pour le moment, on contrôle quand même très bien ce qu'elles peuvent faire ou pas à travers des techniques informatiques classiques mais aussi avec d'autres IAs pour les bloquer quand c'est nécessaire.
Et on progresse assez nettement.
Mais la presse à sensation (ce qui couvre en gros toute la presse grand public) veut vendre du clic et du papier et donc elle joue sur la peur.
Parce que à ce jour, quels dégâts concrets commis par une IA ? Comparé aux nombres d'articles pour nous dire qu'on va tous mourir ?
ah je l'ai retrouvé il s'agit de Joshua Bengio. C'est ici : https://www.radiofrance.fr/franceint...r-2026-4058420
ce que je citais est vers 10:40 mais l'ensemble de l'interview est intéressante.
Pour moi, c'est l'inverse : totalement sans intérêt parce que massivement biaisé. Les risques existent, les façons de les diminuer aussi et les gens comme lui surestiment les premiers et ne parlent presque pas des secondes.
tout avis est discutable mais en tout cas ici on ne peut pas dire que c'est l'avis d'un ignorant
Merci. Oui, mon avis est discutable et je suis le 1er à la reconnaître.
Sur certains sujets, il y a une réalité technique et scientifique et dans ce cas là, on écoute ceux qui la connaisse et on ignore les touristes. Ce n'est pas une "question de point de vue" ou "une opinion".
Mais sur ce sujet, c'est vraiment du débat et je comprends ceux qui sont inquiets. Je le suis aussi beaucoup, pas forcément pour les mêmes raisons qu'eux et mon point de vue à évolué sur ce sujet : je pense que les risques sociaux de l'IA sont énormes alors que j'étais plus optimiste il y a 2 ans.
Je peux parfaitement me tromper sur tout ceci dit. Je dis juste que les médias ont tendance à articuler le débat entre les positions extrêmes et à retirer de la nuance.
ha ha, non je parlais de l'avis de Bengio. Mais le tien aussi est digne d'intérêt.
Au temps pour moi.
Après je pense que son avis est intéressant mais que vu qu'il s'agit de phénomènes sociaux, ne rien connaître à l'IA comme beaucoup de gens qui donnent leur avis dans la presse est un problème.
Mais connaître l'IA ne se transpose pas non plus directement en compétence prospective.
Le Cun par exemple pense le contraire de lui.
Bref le débat va rester ouvert et intéressant pour un certain temps.
Dans les prospectives la création d'une pensée de type prélinguistique, "mentalese" semble se dessiner avec les recherches sur les LMC ? On n'y serait pas encore mais peut-être que le chemin est tracé?
La bêtise humaine c'est comme la corrida : c'est une tradition locale ininterrompue.
