Concepteurs d'IA : Pompiers pyromanes ? Je ne comprends pas...

[Archi3]

Oui mais je parlais dans le cadre d'une IAG, pas d'un agent conversationnel.

à partir du moment où tu inventes un truc qui n'existe pas, tu te mets effectivement à écrire des romans de SF, donc tu peux imaginer ce que tu veux dedans.

Moi je parlais plutot de ce qui existe, et je faisais remarquer que les dangers réalistes n'étaient pas dus à ce que l'IA serait trop performante, mais pas assez performante par rapport à ce qu'on lui demande, c'est à dire qu'on lui confie des choses au-dessus de ses capacités. Comme je disais sur les exemples de chatGPT discutés sur le forums, les problèmes qui se sont posés se sont posés parce qu'elle n'a pas su répondre correctement à certaines questions, donc pas parce qu'elle était "trop" performante, mais "pas assez". C'est d'ailleurs aussi la position adoptée par pm42 et Liet Kynes qui ont souvent répondu que c'est parce qu'on l'utilisait pour des choses pour lesquelles elle n'était pas conçue. Ce qui in fine est exactement la même chose que ce que que je dis : le problème principal vient de ce qu'on risque de les utiliser pour des choses pour lesquelles elles ne sont pas adaptées.
-----

[Liet Kynes]

à partir du moment où tu inventes un truc qui n'existe pas, tu te mets effectivement à écrire des romans de SF, donc tu peux imaginer ce que tu veux dedans.

Moi je parlais plutot de ce qui existe, et je faisais remarquer que les dangers réalistes n'étaient pas dus à ce que l'IA serait trop performante, mais pas assez performante par rapport à ce qu'on lui demande, c'est à dire qu'on lui confie des choses au-dessus de ses capacités. Comme je disais sur les exemples de chatGPT discutés sur le forums, les problèmes qui se sont posés se sont posés parce qu'elle n'a pas su répondre correctement à certaines questions, donc pas parce qu'elle était "trop" performante, mais "pas assez". C'est d'ailleurs aussi la position adoptée par pm42 et Liet Kynes qui ont souvent répondu que c'est parce qu'on l'utilisait pour des choses pour lesquelles elle n'était pas conçue. Ce qui in fine est exactement la même chose que ce que que je dis : le problème principal vient de ce qu'on risque de les utiliser pour des choses pour lesquelles elles ne sont pas adaptées.

Je ne suis pas sûr que l'on sache totalement ce pour quoi un LMM (ou langageur) est adapté ou non. En expérimentant sur les prompts il y a des choses assez surprenantes.
Un exemple ici : https://twitter.com/kenshinsamurai9/...10532585291779

Si l'on fait découvrir le mot langageur à chatgpt (résumé des mots clés dans la série de prompts= néologisme, racine française,IA conversationelle, mot langue+nom issu d'un verbe d'action) il donne une définition:

Langageur : Un néologisme associant "langue" et "voyageur", évoquant une IA conversationnelle qui explore et maîtrise différentes langues.

Il serait interessant de savoir ce à quoi à pensé la personne ayant inventé "langageur"

[Archi3]

Tu peux t'amuser avec chatGPT comme GBo s'amuse avec le signal SETI, y pas de souci avec ça, c'est ludique et tout le monde a le droit de se divertir. Mais le sujet du fil , c'était la nature des dangers posés par l'IA, et demander à chatGPT comment il comprend un mot, ce n'est pas particulièrement dangereux.

(sur le fond, le suffixe "geur" se rencontre avec des verbes se terminant par "ger" comme "partageur", "arrangeur", "échangeur", etc... donc je ne vois pas bien ce qu'il y a de pertinent à associer ça spécifiquement à "voyageur" et pas à n'importe quel autre mot de ce genre).

En revanche, penser que chatGPT est compétent pour identifier l'origine d'un néologisme, pour moi, c'est clairement lui demander des choses pour lesquelles il n'a pas été conçu.

[GBo]

@Liet: attention aux typos récurrents, il faut écrire LLM (pas "LMM") = Large Language Model
https://en.wikipedia.org/wiki/Large_language_model

[Liet Kynes]

@Liet: attention aux typos récurrents, il faut écrire LLM (pas "LMM") = Large Language Model
https://en.wikipedia.org/wiki/Large_language_model

On devrait dire GML : https://fr.wikipedia.org/wiki/Grand_...8le_de_langage

[Liet Kynes]

Mais le sujet du fil , c'était la nature des dangers posés par l'IA

Réponse simple: les utilisateurs dangereux...
qui amène à une question compliquée: qu'est-ce qu'un comportement dangereux ?

[Archi3]

justement, j'avais la modeste ambition d'apporter une contribution à la réponse à cette question : un comportement dangereux, c'est de confier à un système des tâches qu'il n'est pas capable d'assumer correctement , et donc de surévaluer ses capacités. C'est à dire l'extrapolation dans le monde réel des petites erreurs que tu as commises toi même, en demandant à chatGPT de compresser un texte en hexa, de te dire l'origine d'un néologisme, etc ... toutes choses dans lesquelles tu as cru qu'il était capable de le faire, alors que ce n'était pas le cas.

[Liet Kynes]

justement, j'avais la modeste ambition d'apporter une contribution à la réponse à cette question : un comportement dangereux, c'est de confier à un système des tâches qu'il n'est pas capable d'assumer correctement , et donc de surévaluer ses capacités. C'est à dire l'extrapolation dans le monde réel des petites erreurs que tu as commises toi même, en demandant à chatGPT de compresser un texte en hexa, de te dire l'origine d'un néologisme, etc ... toutes choses dans lesquelles tu as cru qu'il était capable de le faire, alors que ce n'était pas le cas.

Le problème c'est que les deux exemples que tu cite sont faux: je n'ai pas demandé l'origine du néologisme et la méthodologie concernant la compression de texte n'a pas du tout été comprise.
Par contre, les limites de fiabilité des IA ne sont pas le problème, d'autant que ces limites sont amenées à être repoussées, le problème c'est ce que l'on va en faire dans la limite fiable et cela c'est proprement humain.

[Archi3]

Le problème c'est que les deux exemples que tu cite sont faux: je n'ai pas demandé l'origine du néologisme et la méthodologie concernant la compression de texte n'a pas du tout été comprise.

peut etre pas l'origine mais la signification, mais c'est pareil, chatGPT va "inventer" ce qu'il veut mais ce n'est pas informatif. Pour l'hexadécimal, je pense que c'est très clair : tu lui as donné un texte en hexadécimal où les codes hexa commençaient par 0x, en lui demandant de le compresser, il t'a sorti des trucs savants sur les algorithmes de compression en prétendant les utiliser, pour finir par te sortir le même texte en hexa où simplement il avait supprimé les 0x, et tu ne t'en pas aperçu. Je vois pas bien ce qui "n'a pas du tout été compris" à part le fait que tu n'as pas du tout compris qu'il n'avait en fait rien fait et surtout pas appliqué l'algorithme.

Bon tant qu'on s'amuse à ça sur un forum, c'est pas grave, si on commence à lui confier la gestion de systèmes de santé , de production d'énergie, ou d'arsenal nucléaire, une erreur est évidemment bien plus problématique .

Par contre, les limites de fiabilité des IA ne sont pas le problème, d'autant que ces limites sont amenées à être repoussées, le problème c'est ce que l'on va en faire dans la limite fiable et cela c'est proprement humain.

je ne vois pas en quoi le fait que les limites puissent être repoussées entrainerait qu'elles ne sont pas un problème, il y en aura toujours et on peut toujours les dépasser.

[oualos]

Réponse simple: les utilisateurs dangereux...
qui amène à une question compliquée: qu'est-ce qu'un comportement dangereux ?

Heu là faut demander aux policiers et aux spécialistes de la juridiction comme les avocats etc.
Il y a des tonnes de pages à ce sujet dans les commissariats et les tribunaux.
Première réponse évidente: chatGPT et l'IA en général trouve facilement les failles existantes dans une page HTML et par là, facilite le sale boulot des hackers indésirables.
Car il y a des hackers positifs, ceux qui cherchent les failles dans l'informatique pour inviter les industriels, patrons et directeurs de services publics comme les hôpitaux à mieux se protéger

[Liet Kynes]

je ne vois pas en quoi le fait que les limites puissent être repoussées entrainerait qu'elles ne sont pas un problème, il y en aura toujours et on peut toujours les dépasser.

Si tu arrives à un niveau de fiabilité estimé suffisant, tu utilise l'outil. Le manche du marteau casse une fois sur 1000000 dans un usage prédéfini = on considère l'outil comme fiable pour cet usage.
Pour l'IA c'est la même chose, il n'y a pas de raisons de s'en passer ou du simple fait de l'existence d'un risque qui peut se mesurer.

[GBo]

Bon tant qu'on s'amuse à ça sur un forum, c'est pas grave, si on commence à lui confier la gestion de systèmes de santé , de production d'énergie, ou d'arsenal nucléaire, une erreur est évidemment bien plus problématique .

+1.
Lu pas plus tard qu'hier (ChatGPT est innocent, c'est un autre langageur qui a été pris en flag'):

"An Eating Disorder Chatbot Is Suspended for Giving Harmful Advice"
https://www.wired.com/story/tessa-chatbot-suspended/

"US eating disorder helpline takes down AI chatbot over harmful advice"
https://www.theguardian.com/technolo...i-chatbot-harm

[Liet Kynes]

C'est là qu'interviennent les recherches en terme d'éthique, d'information sur la fiabilité, de risque d'erreurs, d'estimation des conséquences..
Dans le cas du chatbot alimentaire, la responsabilité est celle de ceux qui ont décidé de le mettre en service ou de ceux qui lui ont attribué un niveau de fiabilité.

Ce serait intéressant de savoir ce qu'il est possible de faire en matière de benchmark pour tester la fiabilité des IA, en particulier l'idée de savoir si des échantillonnages sont pertinents.

[jiherve]

bonjour
là ce qui me choque le plus c'est qu'une association vire ses "collaborateurs" (small paid) pour utiliser une de ces machines largement inutile .
Si on doit appliquer au logiciel de base d'une IA les critères de certificabilité utilisés en Aéro (qui font que le transport aérien est tres sur) alors donnons nous rendez vous dans qqs lustres, quant à la démonstration de la fiabilité de la bête à l'oeuvre c'est amha sans aucun espoir.
JR

[pm42]

Dans le cas du chatbot alimentaire, la responsabilité est celle de ceux qui ont décidé de le mettre en service ou de ceux qui lui ont attribué un niveau de fiabilité.

Oui et d'ailleurs il vient d'y avoir 300 morts dans un accident de train en Inde : c'est bien la preuve qu'Arago avait raison et que le train est dangereux

Plus sérieusement, des gens qui mettent un chatbot/langageur actuel en face de personnes ayant des troubles psychologiques devraient en effet consulter eux-mêmes ou faire autre chose dans la vie, du tricot.

C'est un peu comme l'avocat qui a fait rédigé ses conclusions par ChatGPT et les a donné tel quel au tribunal : il citait des attendus qui n'existent pas.
Sauf que n'importe quel professionnel qui utilise un nouvel outil est supposé le connaitre un minimum notamment ses avantages et limites, s'y former au moins un minimum et valider qu'il marche aussi bien ou mieux que ceux qu'il connait.
Là, on a eu encore quelqu'un à qui on a donné un tournevis et qui s'en est servi comme un marteau parce qu'il ne connaissait que ça.

Le problème n'est pas la technologie vis/tournevis.

[oualos]

là ce qui me choque le plus c'est qu'une association vire ses "collaborateurs" (small paid) pour utiliser une de ces machines largement inutile .

Je l'ai déjà mis quelque part mais je le remets , pas inutile de le rappeler...
Le groupe Springer, consortium de presse le plus puissant en Allemagne a décidé de virer des collaborateurs -surtout des journalistes- pour faire écrire à une IA les éditos de ses journaux à leur place.
Évidemment on peut se poser des tas de questions sur la liberté de la presse et le droit à l'information vu par un journaliste -donc un humain- comparé à une machine qui n'a strictement aucune opinion sur quoi que ce soit. Mais qu'on peut programmer dans un sens bien particulier pour servir d'obscurs -ou moins obscurs- intérêts de groupes de pression en particulier....
Je crois que ce genre de chose susciterait un vaste tollé si ça arrivait chez nous.

[GBo]

C'est un peu comme l'avocat qui a fait rédigé ses conclusions par ChatGPT et les a donné tel quel au tribunal : il citait des attendus qui n'existent pas.

Je ne connaissais pas cette histoire mais OpenAI a communiqué largement sur les capacités de son Chatbot à égaler les meilleurs candidats au "bar exam" (= le barreau), sur une page que tu as toi-même vantée sur FS:

We’ve created GPT-4, the latest milestone in OpenAI’s effort in scaling up deep learning. GPT-4 is a large multimodal model (accepting image and text inputs, emitting text outputs) that, while less capable than humans in many real-world scenarios, exhibits human-level performance on various professional and academic benchmarks. For example, it passes a simulated bar exam with a score around the top 10% of test takers; in contrast, GPT-3.5’s score was around the bottom 10%. We’ve spent 6 months iteratively aligning GPT-4 using lessons from our adversarial testing program as well as ChatGPT, resulting in our best-ever results (though far from perfect) on factuality, steerability, and refusing to go outside of guardrails.

https://openai.com/research/gpt-4

Mais dès que ça foire, tu sors l'argument de l'outil mal employé, comme l'a remarqué aussi Archi3 très justement. Un peu facile.

[Liet Kynes]

Un même outil d'IA est bien employé dans certains contextes et mal dans d'autres et ces contextes peuvent être très proches.

L'idée d'un benchmarking de compétences avant emploi est-elle valide ?

Par exemple faire un benchmark de chatGPT en tant que:

- Correcteur d'orthographe/grammaire.
- Synthèse de texte
- recherche de définitions
etc..

[pm42]

Mais dès que ça foire, tu sors l'argument de l'outil mal employé, comme l'a remarqué aussi Archi3 très justement. Un peu facile.

Il est évident qu'il n'y a pas de contradiction : passer un examen et faire le travail d'un professionnel expérimenté sont 2 choses très différentes.
Normalement, quiconque a travaillé un peu le sait : c'est pour ça qu'on embauche des gens avec des années derrière eux, qu'on fait passer des entretiens, etc.
Parce que si avoir eu l'exam suffisait, on aurait remarqué.

Citer Archi3 sur l'outil mal employé est ironique je suppose parce qu'il est l'exemple absolu de ça : il s'est obstiné (et le fait encore) à confondre ChatGPT avec soi un moteur de recherche soit un outil à compter les voyelles et ce malgré les nombreuses explications.

Pour le reste et comme d'habitude, les attaques perso et les règlements de compte remplacent les arguments.

[GBo]

Un même outil d'IA est bien employé dans certains contextes et mal dans d'autres et ces contextes peuvent être très proches.

L'idée d'un benchmarking de compétences avant emploi est-elle valide ?

Par exemple faire un benchmark de chatGPT en tant que:

- Correcteur d'orthographe/grammaire.
- Synthèse de texte
- recherche de définitions
etc..

Benchmarker ne peut être qu'une bonne approche.
Pour les calculs qui ne font pourtant pas transpirer une simple calculette, on a découvert the "hard way" que ça n'était pas fiable pour les multiplications de grands nombres par exemple, et ce n'est mentionné nulle part sur le site du concepteur, qui au contraire vante son score en examen de SAT.

[GBo]

Il est évident qu'il n'y a pas de contradiction : passer un examen et faire le travail d'un professionnel expérimenté sont 2 choses très différentes.
Normalement, quiconque a travaillé un peu le sait : c'est pour ça qu'on embauche des gens avec des années derrière eux, qu'on fait passer des entretiens, etc.
Parce que si avoir eu l'exam suffisait, on aurait remarqué.

Tu as déjà été moins catégorique. A la question "Quel est l'intérêt de faire passer à un agent conversationnel un examen préparé par et pour des humains?", tu disais:

Cela permet d'avoir une idée des progrès de l'IA facilement compréhensible, de réfléchir à ce qu'est l'intelligence, aux critères d'éducation et aux genres de compétences qu'on demandera demain aux humains quand les IAs seront capables de faire des tâches qui jusque là leur étaient inaccessibles.

Et vu que les IAs comme les ordinateurs et avant les machines ont pour but de démultiplier nos capacités et parfois de nous remplacer complètement, il est assez logique de tester sur justement des domaines jusque là réservés aux humains.

https://forums.futura-sciences.com/a...ml#post7070584

[pm42]

Ca s'appelle "comment botter en touche avec la plus grande mauvaise foi parce que je viens de me faire coincer à ne pas faire la différence entre un exam de fac et ce qu'on attend d'un pro expérimenté".
Bon, je vais arrêter là parce que quand l'interlocuteur va déterrer mes vieux posts, je me dis que ce n'est pas gentil d'entretenir ses obsessions.

[Archi3]

Oui et d'ailleurs il vient d'y avoir 300 morts dans un accident de train en Inde : c'est bien la preuve qu'Arago avait raison et que le train est dangereux

Plus sérieusement, des gens qui mettent un chatbot/langageur actuel en face de personnes ayant des troubles psychologiques devraient en effet consulter eux-mêmes ou faire autre chose dans la vie, du tricot.

C'est un peu comme l'avocat qui a fait rédigé ses conclusions par ChatGPT et les a donné tel quel au tribunal : il citait des attendus qui n'existent pas.
Sauf que n'importe quel professionnel qui utilise un nouvel outil est supposé le connaitre un minimum notamment ses avantages et limites, s'y former au moins un minimum et valider qu'il marche aussi bien ou mieux que ceux qu'il connait.
Là, on a eu encore quelqu'un à qui on a donné un tournevis et qui s'en est servi comme un marteau parce qu'il ne connaissait que ça.

Le problème n'est pas la technologie vis/tournevis.

Bah certes mais ceux qui disent ça se sont faits autant avoir (voir plus) en citant chatGPT …

[ArchoZaure]

Oui et d'ailleurs il vient d'y avoir 300 morts dans un accident de train en Inde : c'est bien la preuve qu'Arago avait raison et que le train est dangereux

L'histoire du train en Inde montre juste qu'une toute petite erreur peut avoir des effets dévastateurs.
C'est pour ça qu'on évite de laisser les humains seuls face à des leviers d'aiguillage de nos jours.
De même il est totalement impensable de laisser une IA à la chatBot se charger de cette même tâche.
Elle est encore moins fiable qu'un humain.

Ce qui a permis d'augmenter la sécurité c'est au contraire l'emploi de systèmes "très cons" de type automates (prévisibles), qu'on sait rendre fiable à 100% à l'échelle humaine, redondance etc, auxquels on ajoute de la supervision humaine qualifiée (en cas d'imprévu).
ChatGPT ne présente pas le profil d'un automate, c'est celui d'un artiste.
Et donc oui laisser les manettes d'aiguillage à des artistes ça ne peut que mal se terminer.

Le seul emploi qu'on peut remplacer par ce type d'IA c'est celui où les exigences de qualités sont basses, là où il peut ne pas y avoir d'enjeu sérieux (ça peut être sérieux pour certains certes, mais comme ça peut profiter à d'autres ça peut compenser, etc).
Marketing, rédaction, art, etc.

Si n'importe qui peut inventer une nouvelle utilisation de l'IA (et c'est normal que les fabricants laissent la porte ouverte à tout et n'importe quoi puisque c'est dans la stratégie de développement du fabricant de l'IA; laisser une communauté inventer des emplois à l'outil pour justifier son maintient => Créer de nouveaux besoins)
alors il parait évident qu'on va avoir tout et n'importe quoi.

[cancerman]

Bonjour juste pour info le syndicat des acteurs américain sont en grève pour protester contre l'utilisation de IA dans les films et les abus qui pourraient en détourner.

Faire jouer un defunes virtuel par exemple, ne plus avoir aucun contrôle sur son image sa voix etc...

[GBo]

Outre que les ayant-droits attaqueraient les auteurs de cette initiative, de Funès est un bon (contre-)exemple car c'était un acteur très physique: faire un deep fake en remplaçant le visage d'un acteur par celui de Funès ne suffirait pas, il faudrait aussi que cet acteur ait le même physique et la même façon de bouger assez unique... Pour la voix c'est aussi un problème, il faut un imitateur.

D'ailleurs le deep fake le + réussi (le seul réussi...) que j'ai pu voir à ce jour est celui du faux Tom Cruise, mais l'acteur en question était déjà un bon imitateur de Cruise ! Et il a eu la bénédiction du vrai Tom Cruise, condition sine qua none.

"Les secrets fous des deepfake de Tom Cruise avec Chris Ume"
https://www.youtube.com/watch?v=BXwqPvdDadY
( à regarder jusqu'à la fin lol )

[Liet Kynes]

Quelque part l'IA pose le problème de ce qui a déjà été fait et des combinaisons induites. La création (le nouveau) est le plus souvent une association opportune de plusieurs anciennes créations (elles-mêmes potentiellement inscrites dans ce courant). L'être humain peut-il créer à partir de rien de ce qui a été créer par l'humain -> sujet de philo Réponse non évidente mais argumentation complexe à développer.

[ArchoZaure]

L'être humain peut-il créer à partir de rien de ce qui a été créer par l'humain -> sujet de philo Réponse non évidente mais argumentation complexe à développer.

C'est pas un sujet de philo.
Seul l'être humain est capable de juger de ce qu'il considère comme esthétique, par définition.
Mixer des trucs ça ne suffit pas pour faire quelque-chose d’esthétique.
L'IA propose l'Humain dispose.

[Liet Kynes]

L'IA propose l'Humain dispose.

Sujet de philo

[ArchoZaure]

Sujet de philo

Non.
Sujet de gout, donc de biologie, d'éthologie etc.
Or l'IA n'a rien de biologique.
Vous savez comme lorsque vous devez choisir entre une glace à la crotte de chien ou à l'ananas.
L'IA peut "imaginer" ce qu'il peut, c'est à l'humain de décider ce qui lui plait.