Pour ou contre un moratoire sur l'intelligence artificielle ?

[Liet Kynes]

non il n'apprend pas de ses erreurs... c'est bien le problème.

Bien sûr qu'on pourrait faire une IA conversationnelle qui se corrige, le problème alors comme j'ai dit est qu'on pourrait l'entrainer à dire n'importe quoi.

Il est possible que savoir dire n'importe quoi soit une compétence humaine.
-----

[pm42]

Il est possible que savoir dire n'importe quoi soit une compétence humaine.

Tout comme ne pas apprendre de ses erreurs dont ce fil est une illustration assez impressionnante. Par contre, les IAs ne font pas encore dans l'ironie involontaire comme certains messages mais on devrait pouvoir y arriver

[Archi3]

Personne n'a de doute à ce sujet, mais justement, du coup, on n'avale pas ce que disent les autres humains sans regard critique . Si on accepte que l'IA peut dire autant de bêtises qu'un humain, c'est un grand progrès déjà.

[GBo]

euh .. déjà l'article de FS démarre par "GPT-4, l'IA qui anime le célèbre chatbot ChatGPT ", ça part mal, et ensuite l'article d'ArXiv ne cite même pas ChatGPT... évidemment les IA ont des proies faciles chez tous les humains qui avalent l'information sans la critiquer ou la vérifier. Bien sûr qu'on pourrait faire une IA conversationnelle qui se corrige, le problème alors comme j'ai dit est qu'on pourrait l'entrainer à dire n'importe quoi.

Oui, l'article de FS devrait rejoindre la corbeille (qui lit encore ces torchons en vitrine de FUTURA ? faut lire forums.futura-sciences, ne pas confondre !) car ni ChatGPT ni GPT-4 ne peuvent apprendre d'eux-mêmes de façon durable des interactions avec les utilisateurs lambda, ils oublient tout dès qu'on ferme la session, qui est limitée par construction.

En contr'exmple, un bot qui ne fonctionnait pas comme ça est Tay, mais il a vite été fermé car des petits malins l'ont entrainé à être abject.

Lire https://fr.wikipedia.org/wiki/Tay_(i..._artificielle)

Le chercheur en intelligence artificielle Roman Yampolskiy (en) estime que cette dérive est compréhensible, car, en tant que bot, Tay était programmée pour apprendre des humains : étant confrontée à des propos délibérément outranciers d'autres utilisateurs de Twitter, alors que Microsoft ne lui avait pas inculqué de reconnaissance du comportement inapproprié, elle a réagi en les reproduisant. Il compare ce problème à celui de Watson, un programme informatique d'intelligence artificielle conçu par la société IBM pour répondre à des questions formulées en langage naturel, qui s'était mis à proférer des jurons après avoir lu des entrées du site Web Urban Dictionary15.

[Archi3]

eh ben oui je ne me rappelais plus du nom du bot de Microsoft qui était devenu raciste, mysogyne etc... après avoir été "entrainé" par les internautes mais c'est à lui que je pensais. C'est évidemment un problème de taille : soit l'IA est figée et elle est incapable de corriger ses erreurs, soit elle est adaptable et on peut la manipuler pour qu'elle dise à peu près n'importe quoi.

Evidemment on dira que c'est un peu pareil pour l'humain, mais justement il faut se rendre compte qu'elle ne résout pas les problèmes de fond de l'humain.

[jiherve]

Bonjour,
dans un interview publié dans PLS il y a l'opinion de Demis Hassabis sur les IA conversationnelles c'est le concepteur d'AlphaGO et d'Alphafold donc un perdreau de l'année en IA ; j'en conseille la lecture à ceux qui pensent que DK ne concerne que les autres!
JR

[oualos]

eh ben oui je ne me rappelais plus du nom du bot de Microsoft qui était devenu raciste, mysogyne etc... après avoir été "entrainé" par les internautes mais c'est à lui que je pensais.

C'est là dedans ; de toute façon cette conférence dont le lien a été donné ailleurs est très instructive
https://www.youtube.com/watch?v=z6eY1QME-F0

[mh34]

Bonjour,
dans un interview publié dans PLS il y a l'opinion de Demis Hassabis sur les IA conversationnelles c'est le concepteur d'AlphaGO et d'Alphafold donc un perdreau de l'année en IA ; j'en conseille la lecture à ceux qui pensent que DK ne concerne que les autres!
JR

Bonsoir.
Je n'ai pas accès à l'article de PLS mais j'ai trouvé ceci ; https://www.msn.com/fr-be/actualite/...es/ar-AA1aHaEq

Et en particulier cette phrase ;

Ils craignent que l’IA ne devienne autonome si son développement n’est pas effectué de manière contrôlée et prudente.

. C'est quoi, une IA autonome?

[pm42]

Je n'ai pas accès à l'article de PLS mais j'ai trouvé ceci ; https://www.msn.com/fr-be/actualite/...es/ar-AA1aHaEq

C'est dommage parce que cet article est de très mauvaise qualité :
- Goldman Sachs n'a pas dit que 300 millions d'emplois allaient disparaitre mais qu'ils allaient être "impactés" en précisant bien que cela pouvait recouvrir des réalités très variées. Notamment que pour certains métiers, 30 à 50% de la charge de travail pourrait être automatisée.
Dans certains cas, cela voudra dire "super, je peux me consacrer aux choses importantes et mon IA assistante fait toutes les tâches mécaniques" ou "oups, l'IA fait mieux que moi et mon patron se demande à quoi je sers".

- Dans PLS, Demis Hammabis explique qu'ils ont commencé par les jeux parce que c'était le plus simple mais que le but a toujours été de faire des IAs "utiles" et qu'actuellement, celle qui trouve les repliements de protéines est massivement utilisée. Il explique aussi que la recherche scientifique devrait profiter massivement de l'IA

- il n'aborde pratiquement pas les aspects sociaux sauf pour répondre à une question sur les réseaux sociaux en indiquant que les algorithmes de recommandation qui ont posé problème n'étaient pas de l'IA.

Et en particulier cette phrase ;. C'est quoi, une IA autonome?

Un fantasme tiré de la SF qui permet aux journalistes de vendre de l'anxiété plutôt que de l'information...
Sinon plus concrètement il y a le sujet des armes autonomes en effet mais c'est une toute autre histoire.

[jiherve]

bonsoir
le paragraphe précédent de l'article est plus intéressant mais il ne doit pas trop te plaire!
JR

[Liet Kynes]

- il n'aborde pratiquement pas les aspects sociaux sauf pour répondre à une question sur les réseaux sociaux en indiquant que les algorithmes de recommandation qui ont posé problème n'étaient pas de l'IA.

Il y a un message de prudence dans de l'idée du principe de précaution au regard de l'expérience d'autres technologies (CRISPR-Cas) qui se sont confrontées à des problèmes éthiques.

[pm42]

Il y a un message de prudence dans de l'idée du principe de précaution au regard de l'expérience d'autres technologies (CRISPR-Cas) qui se sont confrontées à des problèmes éthiques.

En effet mais c'est tellement "standard" que je n'y pas accordé plus d'attention et cela correspond à ce que j'ai déjà dit dans pas mal de messages notamment sur les régulations en cours de préparation.
Il y a une énorme différence entre être conscient que toute technologie doit être régulée (on le fait même pu€our une aussi ancienne que les couteaux) et dire 'l'apocalypse est proche" sans proposer de scénario crédible ou même pas du tout.
Mais effectivement ce genre de nuance peut échapper à certains je suppose.

Cela rejoint ce que je disais plus haut sur l'étude de Goldman Sachs citée complètement déformée sur msn.

[Liet Kynes]

Le paragraphe d'avant est purement dans la veine des phénomènes de peurs face à l'inconnu .. philo. Perso j'aime bien la lithanie sur la peur Bene gesserit étant donné mon pseudo

[jiherve]

re
Donc cet individu, sommité de l'IA, aurait des peurs/craintes infondées/irrationnelles ?
DK n'est vraiment pas loin.
JR

[Liet Kynes]

re
Donc cet individu, sommité de l'IA, aurait des peurs/craintes infondées/irrationnelles ?
DK n'est vraiment pas loin.
JR

Oui tu as raison.

[oualos]

Moi je méfierais de trop mettre d'IA à la place de gens qui travaillent: des fois que les IA fassent grève un jour, puis forment un syndicat pour demander des améliorations de conditions de travail et de salaire...

[Archi3]

si c'est le cas, on n'aura qu'à les menacer de les remplacer à nouveau par des humains

[mh34]

C'est dommage parce que cet article est de très mauvaise qualité :
- Goldman Sachs n'a pas dit que 300 millions d'emplois allaient disparaitre mais qu'ils allaient être "impactés" en précisant bien que cela pouvait recouvrir des réalités très variées. Notamment que pour certains métiers, 30 à 50% de la charge de travail pourrait être automatisée.
Dans certains cas, cela voudra dire "super, je peux me consacrer aux choses importantes et mon IA assistante fait toutes les tâches mécaniques" ou "oups, l'IA fait mieux que moi et mon patron se demande à quoi je sers".

- Dans PLS, Demis Hammabis explique qu'ils ont commencé par les jeux parce que c'était le plus simple mais que le but a toujours été de faire des IAs "utiles" et qu'actuellement, celle qui trouve les repliements de protéines est massivement utilisée. Il explique aussi que la recherche scientifique devrait profiter massivement de l'IA

- il n'aborde pratiquement pas les aspects sociaux sauf pour répondre à une question sur les réseaux sociaux en indiquant que les algorithmes de recommandation qui ont posé problème n'étaient pas de l'IA.


Un fantasme tiré de la SF qui permet aux journalistes de vendre de l'anxiété plutôt que de l'information...
Sinon plus concrètement il y a le sujet des armes autonomes en effet mais c'est une toute autre histoire.

OK merci pour l'analyse.

Sinon l'INSERM a publié ceci ; https://presse.inserm.fr/canal-detox...cins-vraiment/
ON en revient toujours au même point ; la qualité des données qu'on fournit à l'IA. Et c'est valable quel que soit le sujet.
C'est pour ça que le nom de ceux qui sélectionnent ces données devrait être consultable par tous.

[oualos]

si c'est le cas, on n'aura qu'à les menacer de les remplacer à nouveau par des humains

Les dégâts que pourrait provoquer une ou des IA dirigeant le monde -voire quelques pays seulement- seraient bien plus graves que ces manifestations qui tournent mal en ce moment.
Mais on en est pas là!

[GBo]

Les dégâts que pourrait provoquer une ou des IA dirigeant le monde -voire quelques pays seulement- seraient bien plus graves que ces manifestations qui tournent mal en ce moment.Mais on en est pas là!

Il n'y a rien de plus facile que de débrancher un cluster de GPUs ou de bombarder un data center, donc on n'en sera JAMAIS là. Il faut raison garder et ne pas se faire influencer par les termes du moratoire (je ne parle pas de tous les signataires dont certains ont pris le wagon de bonne foi), dont on a déjà expliqué le coté pernicieux (mouvance sectaire dite "long-termiste" de quelques entrepreneurs manipulateurs - dont Musk qui vient de fonder X.AI pour concurrencer OpenAI au moment même où il demande à ce qu'on arrête tout développement sur GTP-5...).

[oualos]

Il n'y a rien de plus facile que de débrancher un cluster de GPUs ou de bombarder un data center, donc on n'en sera JAMAIS là.

Tu l'as déjà fait ?
En admettant -ce que je crois vraiment très peu probable- qu'une IA dirige le monde, elle aura bien évidemment pris toutes les précautions nécessaires pour assurer sa survie en cas de guerre ou de cataclysme.
Ou de sabotage...
Mais là on est dans la SF et je crois que Stephen Hawkins a exagéré en disant que l'IA c'était la pire menace que l'humanité devait affronter depuis sa naissance!

[GBo]

Tu l'as déjà fait ?

Tous les jours quand j'éteins mon ordi, ça éteint aussi ma carte graphique NVIDIA, ça marche à l'électricité

En admettant ce que je crois vraiment très peu probable qu'une IA dirige le monde, elle aura bien évidemment pris toutes les précautions nécessaires pour assurer sa survie en cas de guerre ou de cataclysme.
Mais là on est dans la SF!

Oui on est dans la SF, c'est ton kif, le mien aussi à l'occasion mais là on est sur un forum scientifique, perso je fais la part des choses en participant sur les sujets que je connais avec une casquette d'ingénieur, pas de scénariste amateur.

[oualos]

Oui on est dans la SF, c'est ton kif, le mien aussi à l'occasion mais là on est sur un forum scientifique,
perso je fais la part des choses en participant sur les sujets que je connais avec une casquette d'ingénieur, pas de scénariste amateur.

Sympa! Ça matraque dis donc... bon ils disent qu'il faut 10 caractères minimum pour poster un message donc là ça doit y être

[GBo]

Bah ce n'était pas méchant, désolé si tu l'as pris comme ça. Mais le pb des scénarios catastrophe ou dystopiques complètement improbables (voir impossibles en l'état actuel des connaissances), outre qu'ils ne sont pas admis sur FS - mais je ne suis pas modo - c'est qu'ils font oublier les VRAIS problèmes des IA génératives qui ont commencé à pulluler à partir de fin 2022, et qui engendrent une pollution du web par des photos réalistes mais fakes et autre blogs d'"info" erronées (même pas volontairement, vu la propension des chatbots actuels à halluciner) à une échelle de grandeur (que l'on peut craindre, de façon rationnelle) sans précédent.
Qui va nettoyer ? comment ?
Ce que je veux dire : pas besoin d'AGI "plus intelligente que l'Homme" pour se faire mal (ce qui ne veut rien dire car l'Homme aussi est plus intelligent que l'Homme lorsqu'on se met à plusieurs dans un but commun, qui plus est aidé de machines).

[ArchoZaure]

Mais là on est dans la SF et je crois que Stephen Hawkins a exagéré en disant que l'IA c'était la pire menace que l'humanité devait affronter depuis sa naissance!

Ça dépend du scénario envisagé.
En partant de la contrainte initiale : On a enfin réussi à produire une IA qu'on est capable de contrôler et celle-ci est capable de remplacer un être humain (en mieux peut-être même) du point de vue du travail qu'elle est capable de produire (on a donc affaire à une IA robotique et pas juste du logiciel).
Si on considère le problème d'un point de vue sociologique, on constate au cours de l'histoire que la tendance humaine est de produite une organisation qui tend à l'asservissement des autres humains à l'avantage de quelques privilégiés.
Donc de ce point de vue, les humains de classe "inférieure" cessent de présenter un quelconque intérêt pour la classe dirigeante.
On peut donc imaginer (bon je dis pas que c'est une certitude, mais néanmoins une hypothèse plausible) que la classe dirigeante se "sépare" de ses "sujets" et se partage le monde, d'où danger (enfin ça dépend pour qui ).
La réduction du nombre d'individus présente par ailleurs l'avantage de réduire l'impact de l'humain sur la planète.

[oualos]

Si on considère le problème d'un point de vue sociologique, on constate au cours de l'histoire que la tendance humaine est de produire une organisation qui tend à l'asservissement des autres humains à l'avantage de quelques privilégiés.
Donc de ce point de vue, les humains de classe "inférieure" cessent de présenter un quelconque intérêt pour la classe dirigeante.
On peut donc imaginer (bon je dis pas que c'est une certitude, mais néanmoins une hypothèse plausible) que la classe dirigeante se "sépare" de ses "sujets" et se partage le monde, d'où danger (enfin ça dépend pour qui ).
La réduction du nombre d'individus présente par ailleurs l'avantage de réduire l'impact de l'humain sur la planète.

On doit diverger légèrement d'opinion et je prendrais les choses à l'envers... ou dans l'autre sens si tu préfères: je dirais plutôt que ceux qui ont promu des théories voire des théologies de libération de l'homme ont échoué et ont réussi le plus souvent à créer l'instrument de leur propre asservissement. Une autre domination... Mis à part la Révolution française bien entendu!
Là je dirais qu'on est dans une sorte de pragmatisme théorique ou de pragmatisme que l'on essaie de théoriser afin de ne pas se laisser asservir de nouveau, en l'occurrence là par une voire plusieurs machines.

difficile d'apprendre à une machine ce que sont les droits de l'homme, plus les libertés fondamentales!

Cette discussion nous entrainerait trop loin je pense

[pm42]

Histoire de rigoler un peu :

https://www.theguardian.com/technolo...s-for-humanity

On aura appris :
- que les IAs sont immortelles. On ne savait pas qu'elles étaient vivantes mais bon, il faut se tenir au courant
- les opinions politiques du monsieur
- que les IAs vont bientôt être beaucoup, beaucoup plus intelligentes que nous (tout le monde n'est pas d'accord) et que quand ce sera le cas, elles auront lu tous les livres sur la manipulation donc elles sauront nous manipuler. Sans doute avec un rire sardonique de méchant de James Bond. On peut se demander pourquoi mécaniquement des entités beaucoup plus intelligentes auraient nos défauts, aucunes de nos qualités, seraient forcément malveillantes et chercheraient à nous manipuler. Mais bon, c'est un "grand-père" donc il doit savoir.
- on peut aussi se demander pourquoi on ne mettrait pas en place des garde-fous comme on l'a fait pour toutes les technologies qu'on a inventé et pourquoi on devrait forcément vivre dans Terminator mais bon, comme il dit, il n'a plus tout à fait les mêmes capacités cognitives que plus jeune.
- on n'a toujours aucun scénario détaillé et crédible qui explique le vrai danger
- on peut remarquer qu'à ce jour, des millions de personnes utilisent ChatGPT et qu'en dehors de 2 ou 3 anecdotes, on n'a pas encore vu de vrais dégâts. Pendant ce temps, les voitures ont tués 1 personne toutes les 21 secondes. Je propose un moratoire. Et d'ailleurs, il y a eu un accident mortel de vélo par jour ouvré aussi : là aussi, vite un moratoire.

Pour les vrais problèmes, il est plus intéressant de lire https://www.nytimes.com/2023/05/05/u...sia-china.html

[Liet Kynes]

Le M. de chez google, parle t-il vraiment en son nom propre? J'ai un doute, un discours provenant d'une éminence n'est pas forcément libre, surtout lorsqu'il est peu convaincant.

Pour les histoires d'armes, il n'y a pas de solutions, les gains de temps en matière de développement, jouer sur "l'avance", est relatif dans le sens ou l'open source est en train de dépasser les acteurs classiques. Il est possible aussi que les "dangers" soient l'occasion de brider l'open source. La technologie rebat les cartes des positions de pouvoir, rien de nouveau, rien d'intéressant, rien d'inquiétant.

[GBo]

Le M. de chez google, parle t-il vraiment en son nom propre? J'ai un doute, un discours provenant d'une éminence n'est pas forcément libre, surtout lorsqu'il est peu convaincant.

Il dit qu'il a quitté Google pour avoir la parole libre. C'est dans le sous-titre et répété dès le 1er paragraphe, réexpliqué en détail ensuite...
Le "M. de chez google", c'est Geoffrey Hinton, a.k.a. "the godfather of AI".

[Liet Kynes]

Il dit qu'il a quitté Google pour avoir la parole libre.

La raison qu'il invoque semble libre effectivement. Cela reste une raison parmi d'autres possibles...