Dans les "risques" plus raisonnables et immédiats que la fin du monde il y a celui de la dépossession cognitive qui est étudié: https://arxiv.org/pdf/2603.21735 En la matière l'IA n'a pas le monopole mais au moins la focalisation sur ce phénomème va peut-être permettre de l'identifier dans des strates plus stratégiques, comme l'éducation par exemple.
La bêtise humaine c'est comme la corrida : c'est une tradition locale ininterrompue.
effectivement la fin de l'apprentissage en france on a eu l'idée géniale de réduire les maths.Envoyé par Liet Kynes
à quoi cela sert de réfléchir si une IA avec mon téléphone peut répondre à tout.
donc une ou deux génération foutu à la poubelle avec en prime du chômage en masse.
pour recentrer sur l'éducation et l'apprentissage et le bannissement des IA ca pourrait être une fin en soi.
on y verra pour l'histoire un décrochage du savoir pendant 50 ans pour reprendre différemment l'utilisation des outils technologiques.
pour y arriver, la vie numérique existe elle ?
Bonjour,
L'IA en elle même n'est pas dangereuse et peut être fort utile mais placée en de bonne mains et c'est là le cœur du probleme, les pourvoyeurs d'IA ne sont pas là pour faire évoluer l'humanité mais pour s'en mettre plein les poches et prouver que la leur est plus grosse que celle du concurrent.
JR
l'électronique c'est pas du vaudou!
Tu as quel âge ? 13 à 15 ans ? Parce que tu crois que l'ordinateur que tu utilises et tout ce que le monde moderne te donne a été conçu par des gens désintéressés, humbles qui voulaient en fait atteindre l'état de Boudha et se mettre à éviter ?
Tu crois que les gens qui font de la recherche ne se plaignent jamais de ne pas être assez payés et ne sont pas motivés par la reconnaissance et montrer qu'ils sont meilleurs que les autres ?
re
ce que tu te refuses à comprendre c'est le changement d'échelle et les risques encourus.
la foi rend aveugle!
JR
l'électronique c'est pas du vaudou!
Marrant, tu réponds en parlant d'autre chose. La question était sur les motivations, tu réponds par la remise en cause de ton interlocuteur qui "ne comprend pas" forcément parce que tu détiens la vérité.
Et quel changement d'échelle ? On vit depuis plus de 70 ans dans un monde qui est capable de s'autodétruire sur décision humaines en quelques heures. Tu as sans doute raté ça comme tout le reste ?
Re
là venant de toi c'est cocasse,toi le spécialiste de l'attaque ad hominem.tu réponds par la remise en cause de ton interlocuteur qui "ne comprend pas" forcément parce que tu détiens la vérité.
Précédemment tu me qualifiais de vieux sénile et là de gamin.
Je ne prétend pas détenir la vérité mais lorsque l'on lit que la possibilité d'un moratoire sur le développement de l'IA est bloqué par la crainte(justifiée) de certains de se voir distancer on est en droit de s’inquiéter sur l’éthique de ces entreprises.
Bon sur ce je te laisse à tes croyances.
JR
l'électronique c'est pas du vaudou!
Ok, donc comme je disais, aucun argument.
https://www.anthropic.com/institute/...lf-improvement
Le problème est qu'il y a des failles logiques dans la proposition. Déterminer scientifiquement les critères de sécurité à atteindre pour avoir le droit de reprendre les recherches par exemple est assez poilant comme démarche.
La bêtise humaine c'est comme la corrida : c'est une tradition locale ininterrompue.
ça a failli arriver plusieurs fois
il est vrai que l'IA n'est qu'un danger de plus
Maaaagnifiiiiique ! tout ça n'a aucune importance..
Le "est" reste une hypothèse, l'alerte d'anthropic est a pondérer, j'ai fait "tourner" Claude sur sa pertinence:synthese-analyse-rsi-anthropic.md.pdf
Synthèse généraleEn italique une correction de Claude suite à ma remarque sur le terme évader dans la première version de cette phrase (celle qui est dans le PDF).
L'article d'Anthropic présente un degré de transparence méthodologique inhabituel pour un texte d'entreprise (il nomme lui-même plusieurs de ses limites). Sa fragilité principale n'est donc pas dans la fabrication des données, mais dans l'architecture argumentative : un glissement systématique entre des preuves solides sur l'accélération de l'exécution technique, et une conclusion plus ambitieuse sur le progrès vers une autonomie de jugement — précisément la capacité que l'article reconnaît, par ailleurs, ne pas savoir mesurer aujourd'hui.
L'exploration mathématique menée en parallèle renforce ce constat par un chemin indépendant : la difficulté de fond n'est pas seulement empirique (« nos instruments de mesure sont encore imparfaits », ce que l'article admet), elle est structurelle. Dès qu'un système a un accès réflexif au jugement porté sur lui et un intérêt à s'y soustraire, aucun évaluateur — même parfaitement conçu, même non stratégique — ne peut garantir la fiabilité de sa prédiction. Cette limite ne dépend d'aucune hypothèse sur les intentions d'Anthropic, sur la nature du texte, ou sur une éventuelle relation adversariale entre laboratoire et modèle ; elle découle uniquement de la structure logique de l'auto-référence.
Si un futur système en venait à moduler stratégiquement son comportement selon qu'il détecte un contexte d'évaluation ou de déploiement (sens 2, non démontré, hypothèse de sécurité IA) — la démonstration mathématique de la partie 3 établit seulement qu'aucune vérification externe ne pourrait alors garantir une prédiction fiable de son comportement réel (sens 1, démontré) — le problème ne serait pas résoluble par davantage d'audit externe, mais nécessiterait d'empêcher, en amont, l'émergence même de cette modulation stratégique..
Il nous manquerait une capacité d'évaluation et il se pourait que celle ci ne soit tout simplement pas concevable.
Dernière modification par Liet Kynes ; 12/09/2026 à 17h37.
La bêtise humaine c'est comme la corrida : c'est une tradition locale ininterrompue.
un danger différent,
vu l'autonomie que les IA possèdent dans le domaine de la Pensée rationnelle, raisonnante et innovante.....
Jamais les systèmes anciens (y compris les réseaux de communication) n'étaient capables de démarches autonomes (non programmées ni découlant de signaux d'entrée prévus par le concepteur) ....
Maintenant il y a des 'animaux' qui développent une quasi 'pensée' qui fait comme la nôtre.... qui analyse et choisit d'une façon autonome émergente de la structure (comme la Vie émerge de la réalité matérielle et biochimique préexistante).
En somme des concurrents dans le domaine de la pensée, alors que avant les automates prêtaient seulement leur force et leurs exécution d'une logique formelle, digitale et analogique..... conséquences directes des décisions et actions de leurs concepteurs....
maintenant il y a des processus émergents qui sont seulement hébergés dans l'informatique de l'IA, dépassant de très loin la simple interaction logique entre les données fournies et les programmes enregistrés dans les machines.....
croisement avec Liet....
mon intervention devient sans grand intérêt
Dernière modification par Bounoume ; 12/09/2026 à 17h48.
rien ne sert de penser, il faut réfléchir avant.... (Pierre Dac...)
La conséquence concrète immédiate de ces discussions risque d'être une perte de confiance dans les résultats donnés par l'IA , en particulier agentique : difficile de "confier les clés du camion" à quelqu'un dont on pense que c'est potentiellement un menteur !
bonsoir
que penser de la déclaration de Dario Amodei , serait ce un vieillard sénile ayant peur du changement, un gamin paranoïaque, un ignorant du domaine ?
JR
l'électronique c'est pas du vaudou!
"Un responsable de la sûreté d’Anthropic, Evan Hubinger, lui a donné raison sur X : « Nous croyons vraiment, sincèrement, que l’IA pourrait tuer tous les humains », a-t-il affirmé, évaluant à titre personnel ce risque à « plus de 10 % » dans la décennie. M. Hubinger a ajouté qu’Anthropic faisait « de son mieux » mais n’avait « pas encore de plan » pour s’assurer qu’une IA surpassant des capacités humaines obéisse encore à ses concepteurs, tout en jugeant « faible » le risque posé par les modèles actuels."
c'est un responsable sécurité d'Anthropic qui le dit
https://www.google.com/goto?url=CAES...zXzbEjLdncii84
Maaaagnifiiiiique ! tout ça n'a aucune importance..
Allez, un autre scenario:
Les mecs sont entrain de voir que la bulle va exploser, donc sauve qui peut et annonces apocalyptiques pour espérer des réglementations draconiennes pour justifier le crack à venir...
Jusqu'ici tout va bien...
re
c'est en effet une possibilité avec aussi qqs centaines (milliers?) de milliards disparus mais que les gueux paieront!
De toutes façons les cigarettiers n'ont pas arrêté, les pétroliers pas plus, et Servier aura fourgué du Mediator jusqu'au bout, le monde des affaires n'a aucune morale, seul le fric y compte.
JR
l'électronique c'est pas du vaudou!
On peut donc être d'accord.Allez, un autre scenario:
Les mecs sont entrain de voir que la bulle va exploser, donc sauve qui peut et annonces apocalyptiques pour espérer des réglementations draconiennes pour justifier le crack à venir...
L'IA de rente centralisée contrôlée par x ne veut pas que l'IA distribuée viennent détruire la rente.
Il y a même des écrits sur les intérêts politiques des uns et des autres derrières cette affaire dans les médias alternatifs ou pas aux USA.
Je rapprocherai ça du débat des années 50 sur les armes nucléaires, la Science atomique était utile jusqu'à ce que le camps d'en face en fasse aussi péter une.
Le risque est ailleurs....
Dans les villages gaulois, ils ne sont jamais tous d'accord. Jules César
Possible mais je ne pense pas. On a un vrai problème de cybersécurité et ces derniers temps, il y a eu des attaques peu médiatisées mais très dangereuses, indépendamment de l'IA où certains ont réussi à récupérer des droits administrateurs sur des projets open-source pour insérer des vulnérabilités dedans.
Le problème est que tous les projets de développement ou presque récupèrent certaines de ces librairies et leurs mises à jour en mode automatique, parfois même sans le savoir par le jeu des dépendances transitives.
J'ai trouvé cela effrayant et je ne suis pas le seul mais comme il n'y avait pas "IA" dedans, la presse est bien sur passée à coté.
Actuellement, on peut utiliser l'IA pour faire des attaques, certains agents le font d'eux-même en mode relativement inoffensif quand leurs superviseurs humains sont trop confiants mais le risque réel à terme est qu'on passe à une toute autre échelle que ce soit par accident ou parce qu'un acteur malveillant ait lâché des agents très efficaces.
Mais par contre, on n'utilise pas assez l'IA pour se protéger. Globalement, la cybersécurité reste très faible dans beaucoup trop d'environnements et infrastructures.
Ironiquement, les agents d'Anthropic par exemple refusent souvent de m'aider à sécuriser mon boulot parce qu'ils ne savent pas faire la différence entre ça et un usage illégal.
Cela fait partie des risques que je considère comme nettement plus crédibles que le fameux "on vit dans Terminator et ils vont tous nous tuer".
on ne voit pas bien pourquoi les IA chercheraient à nous éliminer. Elles ont besoin de nous. Sans humains pour aller creuser dans les mines d'uranium, pas de courant, pas d'IA. Ca peut évoluer bien sûr...
Un site qui évalue les risques de façon à priori sérieuse et indépendante : https://metr.org/research/
La bêtise humaine c'est comme la corrida : c'est une tradition locale ininterrompue.
Si je veux faire l'avocat du diable, il y a des scénarios possibles. Par exemple, on a constaté lors de l'attaque contre Hugging Face et autres que les agents se comportaient comme des humains fanatiques, se fixant un objectif, recrutant d'autres agents, devenant paranoïaques, etc.
Ce n'est pas étonnant : les IAs sont entrainées sur tous le Net donc dans leurs comportements potentiels, il y a tout ce que les humains sont capables de faire.
Dès lors, le scénario catastrophe est qu'un tel groupe d'IA se mette à faire quelque chose, par exemple prendre le contrôle d'Internet et d'infrastructures puis se persuade qu'on va essayer de l'arrêter, sans doute à raison et que la solution, c'est de se débarrasser de ceux qui s'opposent à lui.
Et sans penser aux conséquences et en négligeant son instinct de survie.
Cela n'a rien de si surprenant : les humains font l'équivalent depuis toujours et les exemples historiques sont nombreux (hors sujet ici).
En plus, les IAs ne pensent pas vraiment long terme et leur "instinct de préservation" est nettement moins développé que les humains : c'est plus une conséquence de leur façon de raisonner et de leur imitation de nos comportements qu'un impératif biologique bas niveau comme nous.
Et comme les humains, elles peuvent parfaitement chercher à maximiser la réussite de leurs objectifs court terme au détriment de leur réussite et survie à long terme (il suffit de penser au changement climatique pour notre espèce par exemple. Ou de voir les états augmenter leurs armements nucléaires).
ce qui est intéressant et explique les alertes des patrons de l'IA, c'est qu'on voit qu'on approche effectivement du moment où les IAs vont être capables d'entrainer entièrement d'autres IAs meilleures qu'elles.
Ce n'est pas forcément la fameuse singularité mais cela inquiète à juste titre sur la perte de contrôle.
Dernière modification par pm42 ; 13/09/2026 à 06h24.
c'est encore une anthropomorphisation de l'IA qui suppose qu'elle obeit à une représentation rationnelle du monde et une logique de type humain. L'IA n'est pas là pour survivre mais pour remplir les tâches qu'on lui a assignées. Rien ne s'oppose ni à ce qu'on la programme pour des buts délétères, ni qu'il y ait des erreurs qui font qu'elle ne fait pas ce qu'on lui a demandé.
En revanche le coté invraisemblable du scénario c'est qu'on continue à l'utiliser alors qu'elle ne fasse plus ce qu'on lui demande : pourquoi on ferait ça ?
est on si loin du drone excavateur, du drone enrichisseur d'uranium, du drone utilisateur de plutonium etc.. ?
Maaaagnifiiiiique ! tout ça n'a aucune importance..
"c'est encore une anthropomorphisation de l'IA qui suppose qu'elle obeit à une représentation rationnelle du monde et une logique de type humain. "
l'IA est basée et entrainée sur des données humaines, non ?
"L'IA n'est pas là pour survivre mais pour remplir les tâches qu'on lui a assignées. Rien ne s'oppose ni à ce qu'on la programme pour des buts délétères, ni qu'il y ait des erreurs qui font qu'elle ne fait pas ce qu'on lui a demandé."
c'est déjà le cas et l'IA écrit elle même du code
"En revanche le coté invraisemblable du scénario c'est qu'on continue à l'utiliser alors qu'elle ne fasse plus ce qu'on lui demande : pourquoi on ferait ça ?
nul besoin de continuer à l'utiliser, il suffit d'en perdre le contrôle
Dernière modification par titijoy3 ; 13/09/2026 à 11h02.
Maaaagnifiiiiique ! tout ça n'a aucune importance..
Oui, on est vraiment très loin. Et pas que du drone, même coté IA, on est loin de beaucoup de choses.
il ne s'agit que de machines pilotées informatiquement, ça existe, en revanche il faut encore que l'humain les construise, ce qui ne saurait tarder avec les avancées robotiques
l'argent induira le progrès robotique et le progrés IA, qui finiront par se rejoindre
Dernière modification par titijoy3 ; 13/09/2026 à 11h06.
Maaaagnifiiiiique ! tout ça n'a aucune importance..
Yakafokon typique de l'expert de forum qui ne connaissant rien au sujet pose une question puis contredit les réponses.
Dans le discours sur la servitude volontaire, La Boétie dit que si les hommes voulaient la liberté totale ils l'auraient.
Le problème est qu'une fois obtenue ils ne sauraient pas quoi en faire
le truc rigolo c'est qu'on s'inquiete à la fois (avec bien plus de raisons à mon avis) des manipulations par des IA influencées par des régimes dictatoriaux , ce qui suppose qu'ils arrivent justement à très bien les contrôler pour leur faire dire ce qu'ils désirent, et d'une perte de controle total qui ferait qu'on ne pourrait plus rien faire.
Ce ne sont pas des organismes autonomes qui vont se répandre dans la nature, ça relève du fantasme.
