Concepteurs d'IA : Pompiers pyromanes ? Je ne comprends pas...
Bonjour,
Il y aurait eu une tribune à laquelle participait
le patron d'Open-IA, et d'autres patrons de la Tech. pour avertir du danger d'extinction de notre espèce du fait de l'utilisation d'IA.
D'où l'expression employée dans le titre "pompier pyromane".
Quelqu'un peut-il m'expliquer le sens de tout ceci ?
Je ne comprends pas...
Cordialement
Dernière modification par sunyata ; 31/05/2023 à 21h35.
Voir ici un des articles qui parle de cet avertissement du style :
"Je vous donne une Kalachnikov mais faite attention, c'est trés dangereux.
Cela pourrait vous blesser gravement, voir vous tuer vous ou vos proches."
..N'est-ce pas digne d'une tragédie grecque ?
Dernière modification par sunyata ; 31/05/2023 à 21h45.
Bonjour.
C'est vrai que ça parait curieux étant donné le juteux pactole qui attend les entreprises qui fourniront les IA.
Mais c'est aussi vrai pour les armes.
On a règlementé et seules les société accréditées (vu le risque) peuvent produire de l'armement.
Faire pareil pour de l'IA permettrait probablement aux grandes sociétés déjà implanté sur le marché d'interdire la survenue d'une concurrence.
C'est un stratégie publicitaire "hystérique" et ça marche, la preuve on en parle. Des sectes apocalyptiques marchent exactemennt sur ce principe.
Par contre les vrais pb de l'IA actuelle à la mode, ça les fait moins causer, ils (OpenAI) menacent de se retirer de l'europe et de ses futures lois si trop difficiles à appliquer, techniquement parlant... Et Bard de Google n'est toujours pas accessible en UE.
Dernière modification par GBo ; 31/05/2023 à 21h54.
très bien, ils disent que ce qu'ils fabriquent, ça comporte des risques.... des risques majeurs.............
ça, on le savait déjà!
par contre eux qui conçoivent les engins, ils devraient être bien placés pour en deviner les mécanismes de nuisance possibles, les domaines impactés etc.....
le Diable est dans les détails....
D'après eux....... Comment arrivera l'Apocalypse made by the AI ?C'est cela que j'aimerais connaître.....
Dernière modification par Bounoume ; 31/05/2023 à 23h03.
rien ne sert de penser, il faut réfléchir avant.... (Pierre Dac...)
Envoyé par sunyata
Les tragédies grecques sont d'un autre niveau ; il suffit d'en lire une pour s'en rendre compte...
Bon ceci dit, on peut avoir un lien vers cet "échange"?
Edit ; Ok je viens de le voir. merci.
Dernière modification par mh34 ; 01/06/2023 à 08h30.
"mal nommer un objet, c'est ajouter au malheur de ce monde". Albert Camus
Discussion rouverte après nettoyage
Merci d'être constructifs et respectueux, ou de vous abstenir de participer. Il n'y aura pas d'avertissement
La vie trouve toujours un chemin
Une question, est il pensable qu'un jour n'importe qui puisse fabriquer une IA? tout comme on peut grâce à des tutos écrire un programme même si on y connait rien.
Si tu penses à une IA langageuse capable de concurrencer ChatGPT, non, il faudra que tu embauches des top guns en IA et avoir quelques xx millions en matos NVIDIA (ou en location de temps GPU en cloud) pour entrainer la bête, et accès aux divers corpus; C'est exactement ce que fait Elon Musk depuis Avril, il a embauché des anciens de DeepMind et commandé le hard.
Sinon il y a des modèles en open source, ça oui, comme une verson de LLaMA de Meta (Facebook):
https://the-decoder.com/openllama-is...those%20models.
Dernière modification par GBo ; 01/06/2023 à 09h17.
Ce qui est faux et préoccupe justement les grosses boites du domaine : https://www.semianalysis.com/p/googl...at-and-neither
Ce qui est compliqué et coûte cher, c'est d'ouvrir la voie et d'être à la pointe de la recherche. Mais après quelques années, la même technologie devient accessible surtout en informatique.
Il y a des exemples d'IA "langagières" pas ridicules du tout face à ChatGPT même si moins bonnes qui ont été entrainées pour des montants ridicules, en milliers de dollars.
Voici l'information source à l'origine de cette discussion :
"La réduction du risque d'extinction dû à l'intelligence artificielle devrait être une priorité mondiale, au même titre que d'autres risques à l'échelle de la société comme les pandémies et la guerre nucléaire".Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war.
On aurait aimé de la part des promoteurs et concepteurs d'IA une analyse de risques plus fouillée et plus structurée qu'une phase d'avertissement sibylline.
Un chercheur formule le risque de la manière suivante :
CordialementDes canaux d’information inondés de propagande et de mensonges, une automatisation totale des tâches, un risque de perte de contrôle de notre civilisation... les risques sont réels et s’accentuent de jour en jour au vu de la rapidité du développement de l'IA. Le chercheur explique que GPT 4, développé par la société Open IA, est en train de mémoriser notre fonctionnement de pensée, notre idéologie.
D’après l’expert, la recherche, le temps et la régulation doivent primer sur les impératifs économiques. Les systèmes d’IA ne devraient être développés que quand l’humain pourra garantir des effets positifs et des risques contrôlables.
Dernière modification par sunyata ; 01/06/2023 à 09h56.
Comme dirait Lapalisse si elles sont moins bonnes, c'est qu'elles ne sont pas capable de concurrencer ChatGPT. Même Google est un peu en retard avec PaLM 2 face à GPT-4 (sauf sur un ou 2 critères), tout le monde le dit : tu devrais le savoir, tu le sais sûrement mais tu veux garder le plaisir triste de contredire tout ce que je dis sur "ton" domaine.
Oui et tu viens nous expliquer le contraire ce que pense Google sans aucune référence. La valeur de ce genre d'affirmation est assez faible.
P.S : et normalement effectivement, on considère que les gens qui ont fait des études dans un domaine et y travaillent disent en général des choses plus pertinentes que ceux qui se contentent de lire la presse grand public. Je suis étonné de te voir défendre le point de vue inverse et de passer en attaque perso uniquement parce qu'on t'a contredit, document à l'appui et en oubliant le concept de "dans quelques années".
Avatar10 demandait si "un jour". Tu as dit non, j'ai donné les preuves du contraire et tu réponds sur "oui mais maintenant" ? J'ai du mal à suivre la logique parfois.
P.P.S : une grande partie des corpus sont déjà en accès libre et cela ne fait qu'augmenter. Ta réponse était fausse sur ce point aussi.
Dernière modification par pm42 ; 01/06/2023 à 10h06.
Concernant des choses bien concrètes sur la notion de risque qui se sont déjà produites on peut citer cet évènement.
Un autre risque concerne la manipulation des élections. et de manière plus générale une perte de confiance dans la validité des informations.
En mars, de fausses images – générées par l’IA – le montrant interpellé par des policiers sont devenues virales, offrant un aperçu de ce à quoi pourrait ressembler la campagne de 2024. Le mois dernier, en réponse à l’annonce de candidature de Joe Biden, le Parti républicain a publié une vidéo, également réalisée via une IA, prédisant un futur cauchemardesque s’il était réélu. Les images réalistes, bien que fausses, montraient l’invasion de Taïwan par la Chine ou un effondrement des marchés financiers.Plus tôt cette année, un enregistrement audio dans lequel Donald Trump et Joe Biden s’insultent copieusement a fait le tour de TikTok. Il était bien entendu faux et, là encore, produit grâce à l’IA.
Pour Joe Rospars, fondateur de l’agence digitale Blue State, les personnes malintentionnées disposent, avec cette technologie, «de nouveaux outils pour alimenter la haine» et «embobiner la presse et le public». Les combattre «demandera de la vigilance aux médias, aux entreprises technologiques et aux électeurs eux-mêmes».
On peut se demander "quoi de nouveau", remarquer que la technologie depuis l'imprimerie jusqu'à Internet n'a pas spécialement créé un monde plus désinformé ou haineux que le passé (où on allait brûler les sorcières), que les pays où la technologie est la plus développée sont en général classés loin devant les autres en terme de liberté de la presse, démocratie, etc.
Et on peut aussi se demander pourquoi on suppose les humains si bêtes : si demain, il devient très facile de falsifier de l'information, ça marchera dans tous les sens et on apprendra à aller la chercher aux sources de confiance.
Là encore, on est dans le grand classique : on suppose qu'une nouveauté va avoir des effets néfastes parce qu'on ne pense pas que la société va s'adapter bien qu'il y ait des milliers d'années de contre-exemples.
Et on se demande vraiment quelle est la part de science dans tout ça.
On a dit la même chose d'Internet au début et c'est vrai que des plaies sont arrivés et ces plaies paraissent être là pour durer: nombreuses et de plusieurs ordres comme piratage, fausses informations, propagande sur les réseaux au point qu'une brigade spéciale de gendarmes traquent les indésirables ou les dangereux sur Internet.
Donald Trump a rameuté ses partisans après sa défaite via les réseaux sociaux pour prendre d'assaut le Capitole.
Je trouve qu'Internet présente beaucoup plus de risques que l'IA personnellement.
Dernière modification par oualos ; 01/06/2023 à 10h47.
Et pourtant tu l'utilises et tu ne fais pas d'analyse bénéfice/risque.
Parce qu'on peut dire ça de toute technologie : le silex taillé, le feu, le couteau...
je suppose qu'il s'agit de l'extinction de l'espèce humaine?
"mal nommer un objet, c'est ajouter au malheur de ce monde". Albert Camus
Bonjour,
J'étais en train de rédiger un message à ce sujet lorsque le fil a été temporairement fermé. Il faut au moins ouvrir la page "AI Risk" du site du Center for AI Safety pour y trouver une explication un peu plus fouillée et structurée de ce que sont ces risques. Cette page est structurée de la manière suivante, chaque (courte) partie ne faisant que des affirmations très générales mais certaines renvoient à des références de publications :
Chacun de ces points mériterait une discussion séparée.What is AI risk?
1. Weaponization
2. Misinformation
3. Proxy Gaming
4. Enfeeblement
5. Value Lock-in
6. Emergent Goals
7. Deception
8. Power-Seeking Behavior
Il y en avait d'ailleurs une ouverte sur le premier, je ne sais pas si elle a été fermée. Et il me semble qu'au fil des diverses discussions sur l'IA on a largement évoqué le deuxième, voire le quatrième et le cinquième (de manière peu scientifique certes, mais le sujet ne doit pas trop s'y prêter puisque sur ces points le Center for AI Safety ne cite aucune publication).
Je suggère qu'on évite de revenir sur les points 2, 4 et 5 (qui sont plutôt des problématiques sociétales déjà existantes, même si elles sont ou seront potentiellement accentuées par la mise en œuvre d'IA), et qu'on s'en tienne aux 3, 6, 7, 8, pour lesquels (sauf le 7) la page mentionne des références de publications :
3. Proxy Gaming
Trained with faulty objectives, AI systems could find novel ways to pursue their goals at the expense of individual and societal values.
(...)
6. Emergent Goals
Models demonstrate unexpected, qualitatively different behavior as they become more competent. The sudden emergence of capabilities or goals could increase the risk that people lose control over advanced AI systems.
(...)
7. Deception
We want to understand what powerful AI systems are doing and why they are doing what they are doing. One way to accomplish this is to have the systems themselves accurately report this information. This may be non-trivial however since being deceptive is useful for accomplishing a variety of goals.
(...)
8. Power-Seeking Behavior
Companies and governments have strong economic incentives to create agents that can accomplish a broad set of goals. Such agents have instrumental incentives to acquire power, potentially making them harder to control (Turner et al., 2021, Carlsmith 2021).
(...)
pour éteindre l'espèce humaine, il faut faire mourir plus de 8 milliards d'individus. Les seules choses efficaces pour ça sont les priver de nourriture, d'eau, ou un virus mortel, et encore pour les deux premiers ça prend un certain temps. Je ne vois pas très bien comment une IA pourrait arriver à ce résultat....donc faut arrêter de délirer. Il y a certes des problèmes potentiels liés à la généralisation des IA, comme il y en a liés à la généralisation des téléphones portables ou des réseaux sociaux. Mais ça n'empêche pas l'humanité de vivre.
Je suis bien d'accord. C'est pour ça que je posais la question... ( et je pense qu'un virus n'y arriverait pas...)
Dernière modification par mh34 ; 01/06/2023 à 11h08.
"mal nommer un objet, c'est ajouter au malheur de ce monde". Albert Camus
Encore une fois, c'est un peu bizarre de parler du sujet sans se renseigner.
On parle "d'extinction event" c'est à dire d'une chute brutale de la biodiversité : https://en.wikipedia.org/wiki/Extinction_event
Et pour ça, il y a une solution assez simple qui s'appelle la guerre nucléaire totale suivi d'un hiver nucléaire.
Il se trouve que c'est justement une des préoccupations des militaires en ce moment : que pour contrer le fait que des armes dirigées par IAs soient au delà des capacités de réactions des humains, on soit obligé de mettre en place des mécanismes de défense automatiques où les IAs décident.
Là aussi, on parle de réflexion très concrète au DoD et ailleurs.
Donc dans la phrase citée, il ne s'agit pas de l'extinction de l'humanité...merci de la précision, parce que pour le lecteur lambda ce n'est pas clair du tout.
edit ; il aurait pu s'agir de l'extinction de notre civilisation aussi...sans autre précision c'est également une interprétation possible.
Dernière modification par mh34 ; 01/06/2023 à 11h20.
"mal nommer un objet, c'est ajouter au malheur de ce monde". Albert Camus
du coup on se demande comment on va bien pouvoir faire pour éviter que le déclenchement d'une arme nucléaire ne soit confiée à une IA, alors qu'il suffit de ne pas le faire ?
comme déjà dit plusieurs fois, par moi et d'autres, les dangers d'une IA ne sont pas liés à ses capacités, mais aux pouvoirs qu'on lui laisse en se dessaisissant des nôtres. Ce n'est donc pas lié à des performances exceptionnelles de l'IA mais à ce qu'on décide d'en faire : évidemment que si on décide de laisser des armes nucléaires à une IA primitive , elle est tout aussi dangereuse et même encore plus qu'une IA évoluée.
C'était pourtant expliqué de façon très claire. Si une nation commence à automatiser à coup d'IA ses capacités d'attaque parce qu'elle pense que cela va lui donner un avantage, les autres vont devoir la suivre dans cette voie pour ne pas être vulnérables.du coup on se demande comment on va bien pouvoir faire pour éviter que le déclenchement d'une arme nucléaire ne soit confiée à une IA, alors qu'il suffit de ne pas le faire ?
C'est l'histoire de l'humanité et "yakafokon" n'a jamais permis d'éviter cela.
Je suggère que tu ailles faire part de tes réflexions au DoD et ailleurs : ils trouveront sans doute l'argument "il suffit de ne pas le faire" très convaincant.
Cela s'applique d'ailleurs à la guerre : "il suffit de ne pas la faire". Tu peux aller essayer dire ça à Kiev et à Moscou.
Ou à la drogue ce qui avait donné une campagne "just say no" dont on a pu mesurer l'efficacité.
Les affirmations gratuites de gens qui n'ont aucune connaissance d'un domaine au point d'oublier la guerre nucléaire comme risque et même répétées ad nauseam n'en ont pas moins aucune valeur.
Je trouve aussi que ce qu'on lit dans la presse actuellement engendre de la confusion.
C'est également une possibilité.
Les auteurs de la dite lettre précisent d'ailleurs qu'ils ne considèrent pas que le risque soit déjà présent. Ils disent juste que la technologie apparait, qu'on ne peut pas l'arrêter (notamment parce qu'elle est mondiale) et qu'ils pensent que ce serait bien d'anticiper.
Les exemples historiques sont évidemment le nucléaire où les physiciens se sont retrouvés à développer la bombe A dans une course avec l'Allemagne sans avoir le choix malgré les nombreuses réticences morales exprimées, les avertissements sur le changement climatique dès les années 70 ignorées, les dérives des réseaux sociaux non anticipés, etc.
Ce qu'ils disent est : "on a toute une palette de risques, des plus anodins aux plus terrifiants et il serait bien qu'on en soit conscient à l'avance pour les éviter plutôt que de se contenter de réagir à postériori".
Ca a l'air d'être un bon résumé de la situation.
Mais comme d'habitude, on n'aura la réponse que dans plusieurs dizaines d'années.
"mal nommer un objet, c'est ajouter au malheur de ce monde". Albert Camus
nous sommes dans ce qu'on pourrait appeler un syndrome civilisationnel profond, celui de la compétition.
Aspects bénéfiques et d'autres moins comme la course aux armements évidemment, où l'on voit ce que la nouvelle technologie des drones représente comme aubaine pour l'armement.
Le problème est que la pluralité est une richesse en soi comme celle des cultures, des langues, des esthétiques etc. et qu'on essaie d'aller dans une direction le plus possible "raisonnable".
tout en sachant que... Avec des questions profondément insolubles comme celle des pouvoirs: quelle est ou serait un pouvoir "juste" ?
tout pouvoir met en place ou profite d'une verticalité déjà existante et d'autre part le pouvoir est nécessaire pour garantir un confort et une sécurité dans toute société. Question à mille francs!
La question est que ce "pouvoir juste" reste une utopie bien que depuis Platon et avant lui on ait essayé d'y remédier comme lorsque Platon a proposé à un tyran grec que ce soit des philosophes qui dirigent... Et ça a mal fini.
Dernière modification par oualos ; 01/06/2023 à 11h49.
bah et les gens qui vont mourir parce que les trains vont trop vite alors, tu en fais quoi ?
ce qui est rigolo ce que tu sors exactement les mêmes phrases quand on dit que l'IA peut présenter des dangers que quand on en doute
mais ok, oui, on peut faire rentrer le risque d'une guerre nucléaire dans les dangers potentiels, tout comme le fait qu'on confie à une IA le système de gestion des sas de labos P4 cultivant des virus mortels. Mais ça rentre bien dans ce que je disais : le danger réside bien dans ce qu'on décide de lui confier, plus que dans ses capacités propres.
C'est plutôt à ça que je pensais, plus que le nucléaire, le fait qu'il y a toujours eu (et aura toujours) des tarés, si un jour, même lointain (décennies?) ils peuvent utiliser cet outil pour mettre en œuvre des actes malveillants, il faut bien y penser pour se préserver, un moyen serait de rendre la fabrication d'IA impossible aux citoyens (comme pour d'autres activités, ce n'est pas parfait mais ça réduit fortement les risques), d’où ces histoires de moratoire et autres, irréalisables, pourtant il va bien falloir.
