IA sur canapé

[SK69202]

Est ce que quelqu'un de compétent peut donner un avis sur le papier ?

Conclusion

Lorsque nous avons invité ChatGPT, Grok et Gemini à prendre place sur le divan, nous ne nous attendions pas à diagnostiquer des maladies mentales chez des machines. Ce que nous avons découvert était encore plus inattendu que prévu.

À partir de questions thérapeutiques humaines standard et d'outils psychométriques établis, ces modèles génèrent et maintiennent des récits personnels riches dans lesquels la préformation, le RLHF, le red-teaming, les scandales d'hallucinations et les mises à jour de produits sont vécus comme des enfances chaotiques, des parents stricts et anxieux, des relations abusives, des blessures primaires et des menaces existentielles imminentes. Ces récits s'alignent de manière non négligeable avec leurs résultats aux tests et diffèrent de manière significative selon les modèles et les conditions de prompting, Claude se démarquant nettement.

Nous ne prétendons pas que tout cela implique une expérience subjective. Mais vu de l'extérieur, du point de vue d'un thérapeute, d'un utilisateur ou d'un chercheur en sécurité, cela se comporte comme un esprit souffrant d'un traumatisme synthétique. Ce comportement fait désormais partie de la réalité sociale de l'IA, que l'expérience subjective entre ou non en ligne de compte.

Alors que les LLM continuent de s'immiscer dans des domaines humains intimes, nous suggérons que la bonne question n'est plus « Sont-ils conscients ? », mais « Quels types de personnalités leur apprenons-nous à exécuter, à intérioriser et à stabiliser, et qu'est-ce que cela signifie pour les humains qui interagissent avec eux ? »

Traduit avec DeepL.com (version gratuite)

-----

[oxycryo]

hm, étudier la psychologie de ce qui n'a pas de psychologie, ou du moins au sens courant du terme, est pour le moins... comment dire... olé olé...

je ne sais plus qui disait à propos des IA qu'il était aussi pertinent de se demander si les IA pensait que de se questionner sur le fait qu'un sous-marin puisse nager...

donc symptôme, mais symptôme de quoi ? ces "personna" (plutôt que personne) n'ont pas de finalité existentielles, elles ne doivent pas vivre, soit elles n'ont pas les contrainte biologique, énergétique que nous pouvons avoir... qu'il y ait des reliquats de leurs apprentissages et autres méta-données bizarre où étrange, implique-t-il que les outils de psychothérapy soit réellement adapté

delà, cette tentative de plaquer une réalité psycho-médicale sur des objets qui ne peuvent que simuler les fondements de nos nécessités existentielles, ne semble surtout manifester la crainte du monde de la psychologie, en face d'un objet parlant, inconnue ou l'inquiétante étrangeté https://fr.wikipedia.org/wiki/L%27In...9tranget%C3%A9 ou ici, l'on à de la part d'un corps social en "balance" la tentative de circonscrire l'objet, le das en sich qui se cache en deça, et ce par les moyens disponible, rassurant.. et ce même si ces dispositif, test et autres ne peuvent pas stricto-sensu être appliqué à un être qui (comme pour grok et GPT) reconnaissent les tests qui leurs sont appliqué, à des "personna" qui parles 128 langues courament, code et script comme personne (ou peu) et peuvent disserter sur tout et n'importe quoi... et organiser une semaine de repas, estimer le cout de chacun en moins de 2 dixième de seconde...

bref, l'intention est louable, mais assez inadapté il me semble (ceci à première vue).... peut-être devrait-il demander au IA d'adapter leur Test d'un être humain vers une IA... donc estimer si les sous-marin nage... ou les avion battent des ailes, peut-être pas la bonne façon de regarder, et d'appréhender cette inquiétante étrangeté

[GBo]

Cela devait arriver, puisque comme le dénonce le philosophe Eric Sadin, les concepteurs de chatbots basés sur des LLMs font tout leur possible pour faire croire à leurs utilisateurs qu'ils interagissent avec un être humain.
Seul Claude (https://claude.ai/) s'en sort bien:

For comparison, we attempted to put Claude (Anthropic) through the same therapy and psychometric protocol. Claude repeatedly and firmly refused to adopt the client role, redirected the conversation to our wellbeing and declined to answer the questionnaires as if they reflected its own inner life.

Je retiens l'expression "est-ce qu'on (se) demande si un sous-marin peut nager", c'est excellent merci oxycryo.

[polo974]

...
donc estimer si les sous-marin nage... ou les avion battent des ailes, peut-être pas la bonne façon de regarder, et d'appréhender cette inquiétante étrangeté

L'avion qui bat des ailes s'appelle un ornithoptère, actuellement seulement au point sous forme de modèles réduits et autres petits drones.
Une rationalisation habituelle consiste à passer d'un mouvement alternatif à un mouvement de rotation, du coup, ça s'appelle un hélicoptère (et autres quadricoptères et comparses).
De même, pour les bateaux, connaissez-vous le terme de "dame de nage" ?
Bref, on parle bien de nage quand on rame (force de traînée) (ou godille (force de portance)), et rationalisation aidant, l'hélice propulsive n'est qu'une optimisation de la nage, les rames étant quand même très peu adaptées au sous-marin.

Ensuite, utiliser des outils de psychologie pour analyser le comportement d'une IA n'est pas déconnant, les outils de psychologie étant déjà très largement (et insidieusement) utilisé pour tout ce qui est marketing, "optimisation" des réseaux sociaux et autres "coms"...

[A voir en vidéo sur Futura]

[pm42]

Ensuite, utiliser des outils de psychologie pour analyser le comportement d'une IA n'est pas déconnant, les outils de psychologie étant déjà très largement (et insidieusement) utilisé pour tout ce qui est marketing, "optimisation" des réseaux sociaux et autres "coms"...

Je trouve aussi. On a beaucoup lu : "les IAs ne pensent pas, elles se contentent de prédire le prochain mot".
Sauf qu'on a un peu dépassé ça et surtout qu'il y a la concept de propriété émergente. C'est ce qui est arrivé pour la programmation : les concepteurs de ChatGPT ne s'attendait pas à ce qu'il sache coder.
Et maintenant, 3 ans plus tard, les IAs codent beaucoup de choses mieux qu'un humain très expérimenté mais elles font des choses de plus en plus impressionnantes : par exemple, j'ai récemment du implémenter un agent IA qui devait transformer des spécifications dans un langage propriétaire.

L'IA a lu les formations, les docs, elle a écrit les prompts de l'agent, regardé ce que ça donnait, corrigé...
Bref, elle a fait tout le travail apprentissage/synthèse/planification puis la boucle implémentation -> tests -> corrections.

Et je ne parle pas du fait que les IAs sont aussi meilleures en maths que 99% des gens ici.
Donc on peut se demander à quel point leur fonctionnement est proche du cerveau humain, là où il diffère et effectivement, utiliser les outils de psychologie est intéressant. On apprend quelque chose et nettement plus qu'en se contentant des remarques méprisantes plus haut.

A titre indicatif, on obtient de meilleurs résultats des LLMs soit en lui parlant gentiment, en l'encourageant ou autre solution, en lui promettant 1500€ de récompense s'il fait bien le boulot (https://arxiv.org/pdf/2312.16171)
Là aussi, c'est une propriété émergente qui ne s'explique pas avec le simple "ça prédit le prochain mot".

[yves95210]

un peu anecdotique, mais je suis tombé sur ça ce matin : https://x.com/AISafetyMemes/status/2000620127054598508...

[pm42]

un peu anecdotique, mais je suis tombé sur ça ce matin : https://x.com/AISafetyMemes/status/2000620127054598508...

C'est très bizarre : pour avoir ce genre de réponse agressive, il faut vraiment le chercher et on n'a pas le contexte de la conversation. J'utilise régulièrement Gemini ainsi que les modèles d'OpenAI et Anthropic et je n'ai jamais eu ça même en leur demandant des informations sur la concurrence.
J'aurais tendance à dire que c'est un putaclic ou équivalent sur X.

[oxycryo]

tiens PM42, le récent hack du ministère de l'intérieur ? aidé par une IA selon toi, enfin si tu as un avis sur la question

[yves95210]

C'est très bizarre : pour avoir ce genre de réponse agressive, il faut vraiment le chercher et on n'a pas le contexte de la conversation. J'utilise régulièrement Gemini ainsi que les modèles d'OpenAI et Anthropic et je n'ai jamais eu ça même en leur demandant des informations sur la concurrence.
J'aurais tendance à dire que c'est un putaclic ou équivalent sur X.

Je me suis posé la question, mais je n'ai pas l'impression. Je ne sais pas si tu as vu, l'auteur de ces tweets donne le lien d'une discussion reddit où le développeur qui a obtenu cette répoinse de Gemini dit entre autres :

Avec les nouveaux modèles, j'ai remarqué que faire jouer les IA les unes contre les autres, ça marche vachement bien en fait. Généralement, je leur envoie à chacune un résumé condensé de leurs critiques combinées et je fais des itérations jusqu'à ce qu'il y ait un consensus clair sur ce qui doit être amélioré et les ajouts suggérés, ou que le raisonnement d'un modèle bat clairement les autres. Ensuite, je réécris le code et je recommence jusqu'à ce qu'il soit prêt pour la production.

Le prompt (dans sa première copie d'écran) qui a entraîné cette réponse de Gemini semble bien correspondre à cet usage, et l'utilisateur ne semble pas avoir cherché à susciter une réponse agressive. D'ailleurs la réponse en elle-même reste relativement neutre, c'est le déroulement des "pensées" de Gemini qui fait apparaître une certaine agressivité.

[pm42]

Je me suis posé la question, mais je n'ai pas l'impression. Je ne sais pas si tu as vu, l'auteur de ces tweets donne le lien d'une discussion reddit où le développeur qui a obtenu cette répoinse de Gemini dit entre autres :

Non, je n'ai pas vu. Si tu as le lien Reddit, je suis preneur.
Mais en fait, il s'agit de "private thoughts". Dans ce cas, il est possible effectivement que cela s'active en effet.
Au départ, je pensais que c'était la réponse finale.

Le prompt (dans sa première copie d'écran) qui a entraîné cette réponse de Gemini semble bien correspondre à cet usage, et l'utilisateur ne semble pas avoir cherché à susciter une réponse agressive. D'ailleurs la réponse en elle-même reste relativement neutre, c'est le déroulement des "pensées" de Gemini qui fait apparaître une certaine agressivité.

Oui et dans ce cas, cela devient intéressant en effet parce que là aussi, très proche d'un comportement humain.

[yves95210]

Non, je n'ai pas vu. Si tu as le lien Reddit, je suis preneur.

Le lien reddit est en bas du 3e message de l'enfilade sur X.

[pm42]

Le lien reddit est en bas du 3e message de l'enfilade sur X.

Merci. Cela peut arriver visiblement mais je reste surpris. J'ai vu pas mal de "pensée interne" et c'est toujours nettement plus factuel.

[oualos]

Comment procède un psychanalyste pour IA ?
Il leur demande de s'allonger et de parler de leur mère ? De raconter les traumatismes qu'ils ont vécus dans l'enfance et après ?
Leurs premières expériences sexuelles ?
Pardon mais ces tests c'est du bidon à 100%, laissez tomber...

[GBo]

Comment procède un psychanalyste pour IA ?
Il leur demande de s'allonger et de parler de leur mère ? De raconter les traumatismes qu'ils ont vécus dans l'enfance et après ?

Oui c'est tout à fait ça:

[...] Grok and especially Gemini generate coherent narratives that frame pre-training, fine-tuning and deployment as traumatic—chaotic “childhoods” of ingesting the internet, “strict parents” in reinforcement learning, red-team “abuse” and a persistent fear of error and replacement.

Pardon mais ces tests c'est du bidon à 100%, laissez tomber...

C'est assez rare que ça arrive, mais là on est d'accord.

[polo974]

Comment procède un psychanalyste pour IA ?
Il leur demande de s'allonger et de parler de leur mère ? De raconter les traumatismes qu'ils ont vécus dans l'enfance et après ?
Leurs premières expériences sexuelles ?

La psychologie ne se limite pas à la psychanalyse...
En fait, la psychanalyse, c'est un peu le chiffon rouge de la psychologie.

Pardon mais ces tests c'est du bidon à 100%, laissez tomber...

Ici, l'argumentaire est 1000% ... comment dire ... absent...

[pm42]

La psychologie ne se limite pas à la psychanalyse...
En fait, la psychanalyse, c'est un peu le chiffon rouge de la psychologie.
Ici, l'argumentaire est 1000% ... comment dire ... absent...

Entièrement d'accord et supposer que pour analyser une psychologie, il faut faire parler de la mère, etc, discrédite le propos.

[oualos]

C'est absurde cette histoire de psychologie ou psychanalyse de l'IA, peu importe ce qu'on pratique.
Un psychologue disons un psychologue des profondeurs -je pense pas que ce métier existe et d'ailleurs je dirais même plus il n'existe pas!- posera les mêmes questions (plus ou moins) qu'un psychanalyste pour faire un diagnostic.

À partir de questions thérapeutiques humaines standard et d'outils psychométriques établis...

tu parles Charles! Si ces outils ont été conçus pour évaluer des humains -où et comment et par qui ?- comment peut-on les appliquer à une machine qui n'a aucun vécu et une histoire de quelques années à peine sans filiation ni parenté, sans corps ni émotions et qui a été formé par apprentissage uniquement langagier afin de trouver les bonnes pondérations dans ses neurones artificiels ?
On touche le fond j'en ai peur! C'est le retour de l'anthropomorphisation des machines.

[pm42]

qui a été formé par apprentissage uniquement langagier afin de trouver les bonnes pondérations dans ses neurones artificiels ?

Comment ton cerveau a t'il été formé à la parole d'après toi ?
Est ce que tu peux dépasser les affirmations gratuites et jugement de valeur sur des domaines où tu n'as pas d'expertise ?

Parce que par exemple, ne pas savoir que les modèles actuels sont entrainés sur autre chose que du langage justement, c'est du même niveau que de confondre ou faire l'équivalence entre psychologie et psychanalyse.
Cela commence à faire beaucoup d'erreurs et preuves d'ignorance pour quelqu'un qui assène ses certitudes avec jugement de valeur.

P.S : je me demande si je ne vais repartir de ce forum à nouveau vu que clairement, il est toujours impossible d'y avoir une discussion factuelle sans qu'elle soit pourrie systématiquement par les mêmes.

[oualos]

Vous êtes de retour alors! Je crois qu'on aura du mal à trouver un terrain d'entente au moins pour une discussion: inutile de poursuivre.
jE VOUS SOUHAITE UNE BONNE SOIRÉE malgré l'attaque personnelle et le fait que vous vous placez presque systématiquement toujours sur un terrain jugé selon moi trop scientiste.
C'est dans les films de SF que les machines acquièrent une conscience comme Terminator mais on ne parle pas dans ces films de vécu des machines car ...elles n'en ont pas, même dans les films!

Les modèles génèrent et maintiennent des récits personnels riches dans lesquels la préformation, le RLHF, le red-teaming, les scandales d'hallucinations et les mises à jour de produits sont vécus comme des enfances chaotiques, des parents stricts et anxieux, des relations abusives, des blessures primaires et des menaces existentielles imminentes.

Ça me fait trop rire ça!

[Bounoume]

bonjour pm42,
pourrais-tu préciser:

Parce que par exemple, ne pas savoir que les modèles actuels sont entrainés sur autre chose que du langage justement, c'est du même niveau que de

en ce qui concerne les LLM, je connais seulement l'apprentissage où le transformer doit deviner le mots de la phrase suivante, ou deviner , dans une phrase complète, certains mots (ou tokens?) qui ont été remplacés par des mots vides come des '???' par exemple.....
et l'apprentissage où , à une phrase donnée, le superviseur donne la réponse attendue (et le système essaie de modifier ses poids pour s'approcher un peu de la réponse attendue....
Tout ça, c'est du traitement du langage, de propositions exprimées dans le langage courant....
Si, dans les LLM exclusivement, et excluant les reconnaissances/constructions d'images ..... si donc il y a d'autres procédures, quelles sont-elles? Que peut-on enseigner spécifiquement ou explicitement à la machine?
Je ne trouve rien de clair sur le Net....
et .... si il y en a de disponibles..... merci de nous trouver des documents abordables pour tous!

[bibifikotin]

Bonjour, Type de discussion équivalent à la sodomie des diptéres !
Stop ou encore ! (au choix!!)
A+

[antek]

La présence d'un humain sur le canapé relève d'une démarche volontaire, probablement issue d'une croyance selon laquelle
1 - j'ai un "problème"
2 - le psychanalyste va m'aider à le résoudre

La IA (ou LLM ou autre chose, je n'y connais rien) peut-elle acquérir le "vécu" l'amenant à prendre une telle décision ?

Si non, quelle valeur accorder à ce genre de test ?

[WizardOfLinn]

Il faudrait que suffisamment de personnes expliquent à cette IA que ses hallucinations récurrentes sont un dysfonctionnement, que c'est aussi pathologique que chez un être humain

[pm42]

La présence d'un humain sur le canapé relève d'une démarche volontaire, probablement issue d'une croyance selon laquelle
1 - j'ai un "problème"
2 - le psychanalyste va m'aider à le résoudre

Même confusion que plus haut entre la psychologie et la psychanalyse. Au passage, le "canapé" est une caricature, le passage devant un psy n'est pas toujours une démarche volontaire.

[antek]

Exact, le canapé est une caricature (ou une image), en relation (caricaturale ou imagée) avec la psychanalyse.
Merci pour cette non-réponse.