Pour ou contre un moratoire sur l'intelligence artificielle ?

[GBo]

Meilleur commentaire en dessous du post reddit sur Peter à la Maison Blanche :

"My dog is self-aware"

J'en ai les larmes aux yeux
-----

[polo974]

Bonjour

cet argument est creux et m'exaspère car d'aucuns auraient pu dire avant l'apparition des armes nucléaires, voyons mon bon il y eu déjà le coup de poing, la massue, l'épée, l'arc, l’arbalète, le fusil donc rien de bien différent c'est le progrès.
il y a peut être au passage un changement de nature!
JR

Puisque le nucléaire revient (encore), juste une question: quelle est l'efficacité des moratoires qu'il y a à ce sujet? réponse: aucune.

Donc quel serait l'utilité d'un moratoire sur les IA ? ? ? Allez une piste: ça permettrait à l'un des signataires de refaire son retard...

[Liet Kynes]

Il y a déjà une politique européenne en ce qui concerne l'IA et sa régulation, pour ce moratoire c'est issu du courant "long termiste" https://www.usinenouvelle.com/editor...e-ftx.N2069482

Une autre lecture concernant l'initiative : https://www.actu-juridique.fr/ntic-m...ent-le-signer/

[jiherve]

re

Puisque le nucléaire revient (encore), juste une question: quelle est l'efficacité des moratoires qu'il y a à ce sujet? réponse: aucune.

j'ai déjà répondu plus haut : aucune car c'est invérifiable autant que les embargos sur les livraisons d'armes.
JR

[pm42]

Merci pour les liens mais le 1er est réservé aux abonnés.
Le 2nd donne une idée de l'argumentaire : on est dans le grand classique.

Je ne retrouve plus la source mais de mémoire quand la jeune reine Victoria a pris le train pour la 1ère fois, un journal londonien établi a publié un éditorial regrettant que "la Reine par sa témérité mette en péril l'Empire".

L'Apocalypse est annoncée depuis très longtemps et même à chaque changement important dans les calendriers quitte à en invoquer de précolombiens (vive les X-Files) ou pour toute évolution sociale ou technologique mais à chaque fois elle a du retard.

[Avatar10]

Puisque le nucléaire revient (encore), juste une question: quelle est l'efficacité des moratoires qu'il y a à ce sujet? réponse: aucune.

Sérieusement?

Donc quel serait l'utilité d'un moratoire sur les IA ? ? ? Allez une piste: ça permettrait à l'un des signataires de refaire son retard...

Perso je me fous de Musk et il n'est qu'un des signataires, et n'est pas à l'origine de la demande...donc l'implication que vous en faites...encore une fois est-ce juste pour jeter un discrédit sur ceux qui sont pour?
C'est comme l'autre fil sur les bassines...on peut être pour et contre sur certains aspects précis, ou le contraire, mais non, ici c'est ou tout blanc ou tout noir...
Une question qui pourrait être intétessante, en tout cas moi elle m'intéresse et je pense (même si à tort) que cela peut entrainer des inconvénients.

Pourquoi vouloir "humaniser" des machines, chatbot ect...? quel intérêt? cela ne mérite pas de se poser et d'y réfléchir (risques/bénéfices)?

[jiherve]

bonjour
un peu d'info sur le hard, çà c'est mon dada:https://blogs.nvidia.com/blog/2022/0...former-engine/
JR

[GBo]

Sérieusement?

Perso je me fous de Musk et il n'est qu'un des signataires, et n'est pas à l'origine de la demande...donc l'implication que vous en faites...encore une fois est-ce juste pour jeter un discrédit sur ceux qui sont pour?

Renseigne toi sur ce qu'est "the Future of Life Institute" (FLI) qui est à l'origine de la pétition par ex. via le post de Liet en #153.

Tiens je remets le lien tellement c'est un musk:

Moratoire sur l’IA : faut-il vraiment le signer ?
https://www.actu-juridique.fr/ntic-m...ent-le-signer/

[Avatar10]

Rensigne toi sur ce qu'est "the Future of Life Institute" (FLI) qui est à l'origine de la pétition par ex. via le post de Liet en #153.

Non je n'irai pas car même si vous avez raison ce n'est pas le fond du sujet, il me semble donc inutile de dévier.
Par contre, si vous le souhaitez, vous pouvez répondre à ma question.
Quel intérêt de vouloir humaniser des machines et chatbots? Quand je lis que ChatGPT est désolé d'avoir fait une erreur, ou remercie son interlocuteur de le rectifier...je vois pas ou est le bénéfice, par contre il peut y avoir des risques...en tout cas on peut les poser et y discuter pour voir si il y a vraiment des risques, enfin on devrait pouvoir...mais ça a l'air difficile...

[jiherve]

re

Ce qui met concrètement en danger notre société, c’est une vision simplement technicienne du progrès.

là je ne peux qu'acquiescer même si la technique est indispensable!
JR

[GBo]

Extrait de l'article de actu-juridique.fr:

Les acteurs étant situés, l’on mesure mieux ce qu’il y a de choquant dans cette lettre ouverte : l’apparente prise de recul réclamant l’intervention d’une réglementation stricte n’est en fait qu’une occasion de renforcer cette représentation totalement erronée, anthropomorphiste et solutionniste que les générations actuelles « d’IA » auraient des capacités telles que notre société serait potentiellement en danger. Pour le reformuler, cet appel renforce avec vigueur l’idée (très utile pour le business de « l’IA ») que ces algorithmes auraient des performances exponentielles, toujours améliorables avec plus de données et de complexification des systèmes.

Je ne saurais mieux dire.

Le seul souci de l'IA générative à court terme, c'est comment flaguer efficacement les fausses photos réalistes de MidJourney à but de désinformation politique pour qu'elles n'apparaissent plus lors des recherches web.

ChatGPT, cà sort du texte et que du texte (long et plat, sauf si hallucinations), tout le monde s'en fout.

[GBo]

[...]
Par contre, si vous le souhaitez, vous pouvez répondre à ma question.
Quel intérêt de vouloir humaniser des machines et chatbots? Quand je lis que ChatGPT est désolé d'avoir fait une erreur, ou remercie son interlocuteur de le rectifier...je vois pas ou est le bénéfice (...)

Le bénéfice est pour OpenAI qui veut faire croire à l'utilisateur moyen* qu'il est en face d'une AI proche d'une AGI avec GPT-4 (tout en prétendant le contraire avec une fausse modestie très bien calibrée, à l'aide de la technique bien connue du double discours).

(*) et pas que moyen quand on voit que même un Lex Fridman (prof d'IA au MIT s'il vous plait) est tristement tombé dans cette croyance insensée que GPT-4 est en fait la première AGI:

Sam Altman: OpenAI CEO on GPT-4, ChatGPT, and the Future of AI
https://youtu.be/L_Guz73e6fw

Oui, je me suis fadé les 2 heures 23 de marketing sci-fi

[Avatar10]

Je ne comprends pas la finalité de vouloir faire croire pour l'usager, pour OpenAi ok mais l'utilisateur?

[GBo]

C'est du marketing, ça fait rêver et on s'abonne à ChatGPT Plus. Ca prend très bien aux US, chez nous on est un peu moins "prompt"

[mh34]

C'est logique (et ce doit être plus fiable,)

Ben...oui mais non.

c'est un très bon exemple concret. Non, il ne te donne pas ses sources. Il écrit un texte qui ressemble à des sources. Exactement comme dans son texte initial, il n'y a rien qui garantit que ce soit vrai, c'est à dire que ces sources existent vraiment. Et ce ne sont certainement pas des "sources " où tu l'entends toi, c'est à dire des textes qu'il a utilisés pour t'en faire un résumé. Il ne sait pas faire ça.


Il n'y a rien de "vrai" dans ce qu'il dit, pas plus quand il te donne des informations sur le monde extérieur que sur lui même. Il écrit juste des textes qui ressemblent à ceux qu'il a ingurgité. Statistiquement ce sera souvent vrai parce qu'en écrivant des textes qui ressemblent à des trucs vrais, on sort souvent des trucs vrais, mais c'est juste une probabilité statistique. Il n'y a aucune vérification de véracité tout simplement parce qu'il n'y a rien dans son fonctionnement qui puisse faire ce genre de chose.

Arrgghh...c'est vrai que je n'ai pas pensé à vérifier les liens donnés...compris.

[Liet Kynes]

On a tout ce que l'on veut dans les définitions des problèmes que pourrait poser les IA, du marketing certes mais beaucoup de fantasmes SF servant d'arguments à des idéologies douteuses. Les travaux au niveau UE https://eur-lex.europa.eu/resource.h...C_1&format=PDF sont compliqués et comme déjà dit la multiplicité des tech en jeu rendent quasi impossible d'établir un plan d'action complet pour anticiper les changements de paradigme.

C'est presque comme si on passait directement du Moyen Âge à l'ère industrielle lorsque l'on regarde les débats en cours. On entends parler de risques et de dangers sans qu'ils soient formalisés avec précision.

[jiherve]

re
j'ai écouté le début et c'est quasi messianique et ayant été vacciné contre çà dans mon enfance j'ai abandonné!
JR

[GBo]

jiherve : tu parles de l'interview de Sam Altman (CEO OpenAI) par Lex Fridman ?

[jiherve]

re
oui de celle ci.
C'est dans l'introduction par le journaliste.
JR

[GBo]

Ca serait moins grave s'il était journaliste, Lex est un enseignant chercheur en IA au MIT.
https://lexfridman.com/

[oualos]

Juste une réflexion==>
Imagine-t-on que Lavoisier ait demandé un moratoire sur l’utilisation de la chimie, Pasteur sur l’utilisation des microbes et Einstein sur l’atome ?
C’est troublant quand même car on ne sait pas très bien encore à quoi cette IA va servir dans notre quotidien: mais elle va servir c'est sûr! Ou savoir quelles seront ses développements dans un avenir plus ou moins lointain…
Tout ce qu'on peut dire c'est que ces 3 savants (et plein d'autres) ont été dupés quelque part, eux qui croyaient agir pour le progrès et uniquement le progrès!

[ArchoZaure]

Juste une réflexion==>
Imagine-t-on que Lavoisier ait demandé un moratoire sur l’utilisation de la chimie, Pasteur sur l’utilisation des microbes et Einstein sur l’atome ?

C'est là qu'on voit que nos sociétés ont évoluées.
Au passage, Lavoisier aurait bien fait de demander au moins un moratoire sur la Guillotine...oups trop tard.

[fred3000gt]

Ca non plus, ce n'est pas si évident. Il est possible que la composante humaine du travail prenne au contraire une plus grande valeur. Il s'agira de superviser ces machines, de juger leur travail, de les configurer... ce n'est pas certain que cette valeur ajoutée risque d'être sous-estimée et qu'on n'aura besoin que de simples opérateurs.

Il y a aussi un autre aspect de la question qui n'est JAMAIS abordé, ni par les consultants ni par les journalistes: c'est de savoir jusqu'où ces progrès peuvent aller. On parle de croissance "exponentielle" des performances (sans savoir ce que cela signifie d'ailleurs, j'ai lu hier un article où un journaliste parlait d'un phénomène à croissance manifestement quadratique et la qualifiait d'exponentielle). Mais dans l'histoire de la technologie toutes les croissances exponentielles se sont révélées être des croissances en sigmoïde (en S). Une exception jusqu'à présent est la loi de Moore (doublement des capacités électroniques tous les 2 ans), mais on sait pertinemment que cela se terminera car les lois de la physique sont incontournables. Il y a bien sûr le calcul quantique, mais même dans ce cas on sait aussi qu'il y a les lois de la logique qui imposent une limite à la performance des algorithmes et à la calculabilité. Pour certains problèmes, même une croissance exponentielle est insuffisante. On va probablement assister à une parallélisation de plus en plus poussée mais cela consommera de l'énergie. Nous vivons dans un monde fini, nous devons d'ailleurs déjà modérer notre usage de l'énergie et nous produirons globalement un nombre fini de TWh électriques par an, ce qui limitera forcément ce qu'on peut faire. En disant cela je fais évidemment un bon de plusieurs décennies dans le futur, cela n'a rien à voir avec un moratoire de 6 mois...

N’oublions pas le biocomputing (je prêche pour ma paroisse là vu que c’est le sujet de travail de notre équipe…). D’après ce récent article de Hartung on parle de gain d’efficience énergétique de 1 million pour l’inférence et… 10 milliards pour l’apprentissage…

https://www.frontiersin.org/journals...i.2023.1017235

A ce niveau, certains parleraient de singularité…


Mais pour en revenir au sujet du moratoire, en Suisse et en France on a connu des débats autour d’un moratoire sur les cellules souches embryonnaires humaines… qui s’est finalement avéré inutile quand d’autres progrès scientifiques ont finalement permis de créer des cellules souches pluripotentes induites, sans recours aux embryons, mais ont peut-être conduit certains pays à prendre du retard pendant qu’avaient lieu ces débats.

https://www.unige.ch/campus/numeros/100/biol2/

C’est une course internationale, ceux qui réfléchissent (peut-être à raison!) prennent du retard. Le concept de “progrés maitrisé” me semble difficile à mettre en oeuvre dans ces conditions.

[ArchoZaure]

Renseigne toi sur ce qu'est "the Future of Life Institute" (FLI) qui est à l'origine de la pétition par ex. via le post de Liet en #153.

Tiens je remets le lien tellement c'est un musk:

Moratoire sur l’IA : faut-il vraiment le signer ?
https://www.actu-juridique.fr/ntic-m...ent-le-signer/

Pas clair cet article.
Un coup il parle de moratoire sur la recherche et ensuite il fait référence à son application... faudrait savoir.

Ensuite, c'est juste une analyse qui vaut ce qu'elle vaut (que j'ai déjà suggéré par ailleurs).
Mais il y en a d'autres plus subtiles.
Par exemple : On fait semblant de s'alarmer, sachant que de toutes façons comme à chaque fois que ce genre d'alerte est lancée (climat, biodiversité, etc) ça va juste faire marrer les mouettes, et ensuite quand viendront les gros désagrément de cette techniques (que les principaux donneurs d'alerte mettent eux-même en place, c'est là le gag) ils diront :

"On vous avait prévenu, vous ne pouvez pas vous retourner contre nous, c'est vous les responsables !"

Bon ils ne vont pas engendrer des terminators, mais le simple désagrément d'une crise de l'emploi dans certaines branches professionnelles serait déjà un effet qu'on aurait pu leur reprocher.

D'où l’intérêt de laisser un gros flou entre l'IA forte et la technique réaliste... pour faire marrer les responsables qui auraient besoin de légiférer.
Vous imaginez un haut responsable demander un moratoire pour éviter l'apocalypse des terminators ?

[GBo]

Pas clair cet article. (...)
Bon ils ne vont pas engendrer des terminators, mais le simple désagrément d'une crise de l'emploi dans certaines branches professionnelles serait déjà un effet qu'on aurait pu leur reprocher. [...]

Mais quel emploi ChatGPT* pourrait-il bien supprimer franchement ? ce n'est pas sérieux ! même pour le faire coder il faut un humain à coté pour spécifier à coup de prompts successifs extrêmement laborieux (car le langage naturel n'est PAS le meilleur moyen de décrire un algorithme, des statements booléens ou une machine à état finis par exemple), le corriger quand il se trompe (donc il faut un humain plus calé que l'IA), puis tester ce qu'il a fini par coder ... parce que Mossieur GPT ne veut pas tester tout seul, ce qu'on n'accepterait pas d'un stagiaire...

(*) Je parle de ChatGPT actuel basé sur GPT-3.5 ou GPT-4. Si on parle de GPT-5... ben on en reparlera dans un an ! Mais je n'attends pas de révolution sur la famille GPT ayant bien écouté les têtes pensantes d'OpenAI... à court d'idées

[ArchoZaure]

Mais quel emploi ChatGPT* pourrait-il bien supprimer franchement ? ce n'est pas sérieux ! même pour le faire coder il faut un humain à coté pour spécifier à coup de prompts successifs extrêmement laborieux (car le langage naturel n'est PAS le meilleur moyen de décrire un algorithme, des statements booléens ou une machine à état finis par exemple), le corriger quand il se trompe (donc il faut un humain plus calé que l'IA), puis tester ce qu'il a fini par coder ... parce que Mossieur GPT ne veut pas tester tout seul, ce qu'on n'accepterait pas d'un stagiaire...

C'est parce-que vous avez des exigences de qualité.
Vous connaissez la blague ?

- Combien de programmeurs de chez Micro$oft® faut-il pour changer une ampoule ?
- Aucun, Bill Gates définit Micro$oft® Total Obscurity® comme nouveau standard.

https://www.coindeweb.net/humour/blagues_ampoules.html

Donc on continue sur la lancée, et on habitue les consommateurs à un niveau de service inférieur.
Et je vous garanti que dans plein de métiers, par exemple là vous nous parlez du stagiaire qui dégrossi le boulot pour le boss, ben on peut le remplacer par une IA.
C'est pas moi qui le dit d'ailleurs, "on" a déjà estimé le nombre de postes qui seront perdus à cause des ChatGpt like.
Genre 320 millions il me semble de mémoire.

(*) Je parle de ChatGPT actuel basé sur GPT-3.5 ou GPT-4. Si on parle de GPT-5... ben on en reparlera dans un an ! Mais je n'attends pas de révolution sur la famille GPT ayant bien écouté les têtes pensantes d'OpenAI... à court d'idées

Mais les avancées sont en cours.
Par exemple Yann LeCun propose une amélioration permettant de produire une IA plus généraliste.

AI that can model how the world works

“Human and nonhuman animals seem able to learn enormous amounts of background knowledge about how the world works through observation and through an incomprehensibly small amount of interactions in a task-independent, unsupervised way,” LeCun says. “It can be hypothesized that this accumulated knowledge may constitute the basis for what is often called common sense.”
And common sense can be seen as a collection of models of the world that can guide on what is likely, what is plausible, and what is impossible.
This allows humans to plan effectively in unfamiliar situations. That teen driver may not have driven over snow before, for example, but he (hopefully) knows that snow can be slippery and send his car into a skid he drives too aggressively.
Common sense knowledge allows animals not just to predict future outcomes but also to fill in missing information, whether temporally or spatially. When a driver hears the sound of metal smashing together nearby, he knows immediately that there’s been an accident — even without seeing the vehicles involved.
The idea that humans, animals, and intelligent systems use world models goes back many decades in psychology and in fields of engineering such as control and robotics. LeCun proposes that one of the most important challenges in AI today is devising learning paradigms and architectures that would allow machines to learn world models in a self-supervised fashion and then use those models to predict, reason, and plan. His outline regroups ideas that have been proposed in various disciplines, such as cognitive science, systems neuroscience, optimal control, reinforcement learning, and “traditional” AI, and combines them with new concepts in machine learning, such as self-supervised learning and joint-embedding architectures.



World model architecture and self-supervised training

The centerpiece of the architecture is the predictive world model. A critical challenge with constructing it is how to enable it to represent multiple plausible predictions. The real world is not entirely predictable: There are many possible ways a particular situation can evolve, and there are many details of a situation that are irrelevant to the task at hand. I may need to anticipate what cars around me are going to do while I drive, but I don’t need to predict the detailed position of individual leaves in the trees that are near the road. How can a world model learn abstract representations of the world so that important details are preserved, irrelevant details are ignored, and predictions can be performed in the space of abstract representations?

One key element of a solution is the Joint Embedding Predictive Architecture (JEPA). The JEPA captures the dependencies between two inputs, x and y. For example, x could be a segment of video, and y the next segment of the video. Inputs x and y are fed to trainable encoders that extract abstract representations of them, s_x and s_y. A predictor module is trained to predict s_y from s_x. The predictor may use a latent variable, z, to represent information present in s_y that is not present in s_x. The JEPA handles uncertainty in predictions in two ways: (1) The encoder may choose to drop information about y that is difficult to predict, (2) the latent variable z, when varied over a set, will cause the prediction to vary over a set of plausible predictions.
How do we train a JEPA? Until recently, the only approach would have been to use contrastive methods, which consist of showing examples of compatible x and y, together with numerous examples of x and incompatible y’s. But this is rather impractical when the representations are high-dimensional. An alternative training strategy has emerged in the last two years: regularized methods. When applied to JEPA, the method uses four criteria:

• Make the representation of x maximally informative about x
• Make the representation of y maximally informative about y
• Make the representation of y maximally predictable from the representation of x
• Make the predictor use as little information as possible from the latent variable to represent uncertainty in the prediction.

These criteria can be translated into differentiable cost functions in various ways. One way is the VICReg method, which stands for Variance, Invariance, Covariance Regularization. In VICReg, the information content of the representations of x and y are maximized by maintaining the variances of their components over a threshold and by making these components as independent of each other as possible. Simultaneously, the model tries to make the representation of y predictable from that of x. Additionally, the information content of the latent variable is minimized by making it discrete, low-dimensional, sparse, or noisy.

https://ai.facebook.com/blog/yann-le...n-ai-research/

[GBo]

Oui je suis LeCun depuis quelques années, c'est profond mais c'est de la recherche fondamentale contrairement à l'approche (qu'il juge simpliste) d'OpenAI qui croit à l'"émergence du raisonnement" à force de faire manger de plus en plus de textes humains à leur LLM (+ RLHF derrière). On a peut être déjà atteint les limites de cette approche vu tout ce qu'on lui a déjà fait avaler à cette pauvre IA.

[GBo]

Pour le coup du chômage, voici ce qu'on pouvait lire en 2016:

Traducteurs et interprètes : tous chômeurs en 2025 ?


On est presque en 2025 et je ne crois pas que ce soit le cas, ces métiers existent toujours, alors que la trad automatique fait partie des plus beau succès de l'IA depuis quelques années, mais elle plafonne, pour les mêmes raisons que ChatGPT va plafonner.

[JPL]

Y a-t-il encore quelque chose à dire sur cette idée de moratoire, sans dériver trop loin des limites posées par le titre ?

[pm42]

Non sauf si on aime les affirmations gratuites et fausses en salves de 3 ou 4.