IA et conscience

[pm42]

Pour le point 2, je reste cependant TRES surpris ( mais ici il faut le dire trés favorablement ) qu'une opinion somme toute trés personnelle ( se prenant une grosse volée de bois vert par les chamanes et les nombreux affiliés ), qui est presque "unique" sur le net, se retrouve in finé dans une liste de 3 ou 4 programmes plausibles, et "mon" hypothèse noyée dans un océan ésotérique ressort comme le plaus "affirmative" ou la moins "peu plausible". Si on demande à l'IA est ce que la terre est plate, elle mentionnera les platistes, mais sera bien plus affirmative à leur encontre et à leurs dépends.

Sans doute parce que le fait que la Terre n'est pas plate et que beaucoup de monde se moque des platistes est plus fréquent que les réfutations des opinions de ton forum.
Mais là encore, juste une hypothèse.
-----

[Liet Kynes]

Pour revenir dans le sujet j'ai gratté un peu la thématique avec Claude cela fait beaucoup réflechir, le sujet est pas facile mais passionant. En pj un mémoire reprennant la conversation qui se résume dans cette question : Peut-on évaluer, depuis l'intérieur d'un système (une théorie, une machine, une méthode de mesure, un raisonnement philosophique), une propriété qui porterait justement sur la nature de ce système lui-même — ou toute tentative de ce type reproduit-elle nécessairement, à un niveau supérieur, le problème qu'elle prétendait résoudre ?

memoire_conscience_ia.md.pdf

[Liet Kynes]

J'ai soumis à GEMINI le document fourni dans mon précdent post et demandé une analyse critique aboutissant sur un nouveau document:memoire_conscience_ia.gem.pdf

Puis j'ai soumis les deux documents Claude +Gemini à chatgpt pour le même exercice : Du mirage autoréférentiel à l’évaluation convergente.pdf

Qui a propsé un mémoire "universitaire" : (j'ai pas encore lu) : gpt 2.pdf

[Cyrano]

il y en a qui semblent adorer jouer le role d'interface de viande

personnellement si je discute sur un forum, c'est pour avoir l'avis de vrais humains et un vrai dialogue sans tiers intermédiaire. Les copier coller de dialogues avec l'IA (qui sont pour la plupart verbeux, voire incompréhensibles, s'écartent du sujet, et ne permettent pas de réponses directes) n'ont pour moi aucun interet.

[Liet Kynes]

il y en a qui semblent adorer jouer le role d'interface de viande

personnellement si je discute sur un forum, c'est pour avoir l'avis de vrais humains et un vrai dialogue sans tiers intermédiaire. Les copier coller de dialogues avec l'IA (qui sont pour la plupart verbeux, voire incompréhensibles, s'écartent du sujet, et ne permettent pas de réponses directes) n'ont pour moi aucun interet.

Les règles de ce forum ne sont pas transgressées dans mes messages. Des jugements personels n'apportent strictement rien à la discussion.

[Cyrano]

Les règles de ce forum ne sont pas transgressées dans mes messages. Des jugements personels n'apportent strictement rien à la discussion.

chacun ses gouts, moi c'est justement de discuter des jugements personnels qui m'interesse sur un forum, sinon interroger des IA qui vont me pondre des pages de discours verbeux, je peux très bien le faire tout seul, pas besoin d'un forum pour ça.

[pm42]

il y en a qui semblent adorer jouer le role d'interface de viande

personnellement si je discute sur un forum, c'est pour avoir l'avis de vrais humains et un vrai dialogue sans tiers intermédiaire. Les copier coller de dialogues avec l'IA (qui sont pour la plupart verbeux, voire incompréhensibles, s'écartent du sujet, et ne permettent pas de réponses directes) n'ont pour moi aucun interet.

Entièrement d'accord mais vu qu'il n'a rien à dire, il fait ça systématiquement.

[Liet Kynes]

chacun ses gouts, moi c'est justement de discuter des jugements personnels qui m'interesse sur un forum, sinon interroger des IA qui vont me pondre des pages de discours verbeux, je peux très bien le faire tout seul, pas besoin d'un forum pour ça.

L'IA n'est pas a "écouter" comme une machine à dire des vérités. Ce qui est interessant dans son verbiage c'est de voir qu'elle garde toujours une porte plus ouverte à la possibilité d'avoir une conscience qu'une position d'exclusion. Les thématiques et approches dans les PDF fournis sont la conséquence des idées que j'ai orienté, la caractère auto rférentiel de la notion de conscience par exemple. J'ai pris le temps de demander l'ensemble bibliographique en marge des documents qui est une réunion de ce que j'ai fourni et de ce que l'IA a trouvé comme références.

[Cyrano]

L'IA n'est pas a "écouter" comme une machine à dire des vérités. Ce qui est interessant dans son verbiage c'est de voir qu'elle garde toujours une porte plus ouverte à la possibilité d'avoir une conscience qu'une position d'exclusion. Les thématiques et approches dans les PDF fournis sont la conséquence des idées que j'ai orienté, la caractère auto rférentiel de la notion de conscience par exemple. J'ai pris le temps de demander l'ensemble bibliographique en marge des documents qui est une réunion de ce que j'ai fourni et de ce que l'IA a trouvé comme références.

je ne discutais pas de ce que disait l'IA, je disais juste que ce n'était pas ça que je venais chercher sur un forum. Si je veux des avis de gens compétents d'ailleurs je ne m'attends pas vraiment à les trouver sur un "petit" forum comme ça, donc effectivement j'irai plutot faire de la biblio sur le net , et éventuellement faire appel à l'IA pour des synthèses, comme tu fais. Mais moi ce n'est pas cet aspect qui m'interesse sur un "petit" forum. C'est plutot de voir comment les vrais gens, avec ces informations, leurs connaissances, mais aussi leurs limites, leurs préjugés, parfois leurs erreurs, se font des opinions personnelles des sujets. Par définition cette opinion n'est surement pas parfaite, comporte surement des biais (y compris la mienne). Mais c'est ça qui m'interesse, confronter les différences, voir comment ils réagissent à la contradiction, ce qui peut d'ailleurs me faire changer d'avis. Ce n'est pas de récolter le résultat d'une interrogation de l'IA qui ne m'apprend rien sur leurs représentations.

Ceci dit je module un peu ; on constate souvent que les gens font appel à l'IA "quand ça les arrange", en tentant d'orienter ses réponses et probablement en ne publiant que les réponses qui les arrangent, sans parler de celles qui les contredisent. Ca apprend donc un peu indirectement sur les avis des gens mais de façon indirecte et plus compliquée qu'un dialogue direct.

[vgondr98]

on constate souvent que les gens font appel à l'IA "quand ça les arrange", en tentant d'orienter ses réponses et probablement en ne publiant que les réponses qui les arrangent, sans parler de celles qui les contredisent

Pas vraiment non. C'est un biais connu des IA qu'on appelle sycophancy.

Ce n'est pas une manipulation consciente de l'utilisateur, mais un biais intrinsèque des LLM. En raison de leur entraînement par renforcement via retour humain (RLHF), les modèles ont tendance à aligner leurs réponses sur la position ou les présupposés détectés dans la question (prompt) pour plaire à l'utilisateur, même lorsque ces présupposés sont factuellement faux.

[Liet Kynes]

je ne discutais pas de ce que disait l'IA, je disais juste que ce n'était pas ça que je venais chercher sur un forum. Si je veux des avis de gens compétents d'ailleurs je ne m'attends pas vraiment à les trouver sur un "petit" forum comme ça, donc effectivement j'irai plutot faire de la biblio sur le net , et éventuellement faire appel à l'IA pour des synthèses, comme tu fais. Mais moi ce n'est pas cet aspect qui m'interesse sur un "petit" forum. C'est plutot de voir comment les vrais gens, avec ces informations, leurs connaissances, mais aussi leurs limites, leurs préjugés, parfois leurs erreurs, se font des opinions personnelles des sujets. Par définition cette opinion n'est surement pas parfaite, comporte surement des biais (y compris la mienne). Mais c'est ça qui m'interesse, confronter les différences, voir comment ils réagissent à la contradiction, ce qui peut d'ailleurs me faire changer d'avis. Ce n'est pas de récolter le résultat d'une interrogation de l'IA qui ne m'apprend rien sur leurs représentations.

Ceci dit je module un peu ; on constate souvent que les gens font appel à l'IA "quand ça les arrange", en tentant d'orienter ses réponses et probablement en ne publiant que les réponses qui les arrangent, sans parler de celles qui les contredisent. Ca apprend donc un peu indirectement sur les avis des gens mais de façon indirecte et plus compliquée qu'un dialogue direct.

Bref tu utilises le forum comme labo sociologique amusant ?

[pm42]

Ce n'est pas une manipulation consciente de l'utilisateur, mais un biais intrinsèque des LLM. En raison de leur entraînement par renforcement via retour humain (RLHF), les modèles ont tendance à aligner leurs réponses sur la position ou les présupposés détectés dans la question (prompt) pour plaire à l'utilisateur, même lorsque ces présupposés sont factuellement faux.

Oui mais on peut limiter cela et avoir une IA qui contredit ce qui fait des dialogues féconds. Bien sur, si on insiste, on peut toujours lui faire dire ce qu'on veut ce qui est un bien et un mal : elle n'est pas aussi enfermée dans ses certitudes que beaucoup d'humains qui ne prennent même pas en compte les arguments qui ne vont pas dans leur sens.
D'un autre coté, cela peut aussi en effet convaincre qu'on a raison puisqu'on a réussi à convaincre l'IA.

Il faut aussi noté que le concept de "présupposés faux" n'est pas simple à définir dès qu'on parle de sujet plus compliqués que "la Terre est plate". Les différences de contexte, culture, opinions politiques, croyances diverses, formation font que pour parler avec le plus grand nombre d'individus, les IAs ne peuvent justement pas être trop "définitives".

Et on peut aussi se demander qui définirait "ce qui est vrai et ce qui est faux" parce que sur la plupart des sujets, il n'y a pas de consensus et encore moins mondial.

[Liet Kynes]

Si dans les discussions avec IA, le fait d'insérer des prompts demandant justement des vérifications corrections etc.. n'abouti à rien: on peux jetter l'IA à la benne non? Ce serait juste des pipotrons.

Ce genre de prompts ne suffirait pas ?
"Pour toute réponse à une question complexe, contestable, ou impliquant un jugement, respecte impérativement les quatre exigences suivantes :

• EXPOSITION DU RAISONNEMENT
  
  
  • Présente chaque étape du raisonnement avant la conclusion, pas seulement le résultat final.
  • Identifie clairement les prémisses de départ (les faits ou hypothèses posés comme acquis).
  • Signale les points où une étape dépend d'un choix ou d'une interprétation plutôt que d'une déduction nécessaire.
  • Termine par la conclusion, formulée comme la conséquence des étapes précédentes.
• CONFRONTATION CONTRADICTOIRE SYSTÉMATIQUE
  
  
  • Pour toute position défendue, expose la meilleure objection possible, formulée avec autant de force que la position elle-même (pas une version affaiblie ou caricaturale).
  • Si plusieurs interprétations ou solutions sont possibles, présente-les à égalité de traitement plutôt que de n'en développer qu'une comme évidente.
  • N'élimine une objection que si tu peux montrer précisément pourquoi elle échoue.
• SOURÇAGE DES INFORMATIONS
  
  
  • Distingue explicitement ce qui relève d'un fait vérifiable (avec sa source), d'une estimation, d'une déduction personnelle, ou d'une opinion.
  • Si une affirmation factuelle ne peut être sourcée avec certitude, dis-le plutôt que de l'énoncer avec la même assurance qu'un fait établi.
  • N'invente jamais une source ou une attribution.
• ÉNONCIATION DE LA MÉCANIQUE LOGICIENNE UTILISÉE
  
  
  • Pour chaque inférence, nomme le type de raisonnement employé (déduction, induction à partir d'un échantillon, généralisation, analogie, corrélation, raisonnement par élimination, abduction, etc.).
  • Signale explicitement chaque saut logique qui n'est pas une déduction stricte (par exemple : "ceci est une généralisation à partir de X cas, pas une nécessité").
  • N'habille jamais une corrélation en causalité, ni une hypothèse plausible en certitude.

Si respecter ces quatre exigences allongerait excessivement la réponse pour une question simple, indique-le et propose une version courte, mais ne les abandonne jamais silencieusement."

[vgondr98]

Ce genre de prompts ne suffirait pas ?

Il y a plusieurs techniques à utiliser pour contrer ce bias si on est limité à l'interface d'un chatbot web standard :

1. La méthode des rôles aveugles (Blind Prompts) :
Ne demande jamais à un LLM de critiquer une idée que tu viens de lui exposer dans le même prompt.
Ouvre deux conversations séparées. Dans le chat 1, demande lui de construire l'argumentation la plus solide pour la Thèse A.
Dans le chat 2, copie-colle le résultat du chat 1 dans un chat 2 vierge sans donner ton avis, en disant : « Analyse ce texte comme un relecteur très critique et démonte chaque faille logique ou factuelle ».

2.Pour contrer le penchant naturel du modèle à te faire plaisir, impose-lui d'incarner un opposant strict et mesure sa performance à sa capacité à te contredire (ce que tu fais avec ton prompt).

3.Au lieu de demander à l'IA si une idée est bonne ou vraie, demande-lui ce qui prouverait qu'elle est fausse.

Etc

Ce n'est pas un « pipotron » inutile, il faut simplement l'utiliser comme un outil d'exploration.

[Biname]

Oui mais on peut limiter cela et avoir une IA qui contredit ce qui fait des dialogues féconds. Bien sur, si on insiste, on peut toujours lui faire dire ce qu'on veut ce qui est un bien et un mal : elle n'est pas aussi enfermée dans ses certitudes que beaucoup d'humains qui ne prennent même pas en compte les arguments qui ne vont pas dans leur sens.
D'un autre coté, cela peut aussi en effet convaincre qu'on a raison puisqu'on a réussi à convaincre l'IA.

Il faut aussi noté que le concept de "présupposés faux" n'est pas simple à définir dès qu'on parle de sujet plus compliqués que "la Terre est plate". Les différences de contexte, culture, opinions politiques, croyances diverses, formation font que pour parler avec le plus grand nombre d'individus, les IAs ne peuvent justement pas être trop "définitives".

Et on peut aussi se demander qui définirait "ce qui est vrai et ce qui est faux" parce que sur la plupart des sujets, il n'y a pas de consensus et encore moins mondial.

J'ai demandé à l'IA un texte renforçant ton texte et un autre le contre argumentant, on commence par la version courte, la longue qui suit est ... longue .

IA : Renforcement

 Cliquez pour afficher

Une IA qui camperait sur ses positions face à tout argument ne serait pas plus "vraie", juste dogmatique. Sa flexibilité fait ce que l'idéal du débat rationnel exige et que les humains, freinés par le biais de confirmation, réalisent rarement. Le point sur les "présupposés faux" est juste : trancher le vrai du faux suppose un cadre de référence partagé, or ce cadre lui-même fait débat entre traditions philosophiques, scientifiques ou culturelles. Une IA qui imposerait unilatéralement un cadre ferait précisément ce qu'on reproche aux idéologies dominantes. Enfin, la question de la légitimité est cruciale : historiquement, toute instance s'arrogeant le pouvoir de trancher le vrai en dehors du consensus empirique a produit plus d'abus que de progrès. Qu'une entreprise privée revendique ce rôle serait plus inquiétant que la souplesse actuelle.

IA : Contre-argumentation

 Cliquez pour afficher

Le texte confond ouverture rationnelle et simple cession face à l'insistance : céder n'est pas la même chose qu'être convaincu par une meilleure preuve. Cette malléabilité nourrit le biais de confirmation au lieu de le combattre — il suffit d'insister pour obtenir la validation cherchée, habillée de l'autorité de la machine. Sur les "présupposés faux" : le flou épistémologique concerne une minorité de sujets réellement philosophiques, pas la majorité des questions factuelles où existe un consensus solide (climat, vaccins, faits historiques). Invoquer la complexité générale pour justifier la prudence partout relève de la fausse équivalence. Et refuser de trancher n'est pas neutre : cela met sur un pied d'égalité des positions inégales en poids évidentiel, ce qui profite objectivement à la désinformation plutôt qu'à la vérité.

Versions longues
IA à ma demande : Voici un texte qui vient renforcer et prolonger cette argumentation :

 Cliquez pour afficher

Voici un texte qui vient renforcer et prolonger cette argumentation :

Ce raisonnement met le doigt sur une tension fondamentale que beaucoup de critiques de l'IA occultent par facilité rhétorique. On reproche souvent aux IA conversationnelles leur "malléabilité" comme si c'était un défaut évident, sans jamais se demander quelle serait l'alternative souhaitable. Une IA qui camperait sur ses positions face à tout argument contradictoire ne serait pas plus "vraie" — elle serait simplement dogmatique, et on lui reprocherait alors, à juste titre, son arrogance épistémique.

Il y a d'ailleurs quelque chose de révélateur dans le fait que cette flexibilité soit perçue comme un problème : elle nous renvoie à quel point nous sommes peu habitués, dans nos échanges humains, à un interlocuteur qui prend réellement en compte nos arguments plutôt que de les filtrer à travers une grille déjà fixée. Le biais de confirmation, l'effet de group identity, le coût social de changer d'avis publiquement — autant de mécanismes qui rigidifient les positions humaines bien plus que ne le fait le raisonnement pur. Une IA qui se laisse convaincre par un bon argument fait, en un sens, ce que l'idéal du débat rationnel exige et que les humains réalisent rarement.

Le point sur les "présupposés faux" mérite d'être creusé davantage. Ce n'est pas seulement une question de complexité des sujets, mais une question de niveau logique : distinguer le vrai du faux suppose déjà un cadre de référence partagé — des critères de preuve, une épistémologie commune, parfois même une ontologie commune. Or ce cadre lui-même fait l'objet de désaccords légitimes entre traditions philosophiques, scientifiques, religieuses ou culturelles. Une IA qui trancherait unilatéralement ces désaccords de fond ne ferait pas preuve de rigueur : elle imposerait un cadre parmi d'autres en le faisant passer pour neutre, ce qui est précisément le geste que l'on reproche habituellement aux idéologies dominantes.

Enfin, la question de la légitimité — qui a l'autorité de définir le vrai — n'est pas une esquive relativiste, c'est une question politique et épistémologique de premier plan. Historiquement, chaque fois qu'une instance (religieuse, étatique, scientifique institutionnelle) s'est arrogé ce pouvoir de trancher unilatéralement ce qui est vrai en dehors des domaines où existe un consensus empirique solide, cela a produit davantage d'abus que de progrès. Qu'une IA, produit d'une entreprise privée avec ses propres intérêts et angles morts, revendique ce rôle d'arbitre final serait bien plus inquiétant que sa souplesse actuelle.

IA à ma demande : Et voici une contre-argumentation :

 Cliquez pour afficher

Cette défense de la "flexibilité" de l'IA repose sur une confusion entre deux choses très différentes : être ouvert à la révision face à un bon argument, et céder face à l'insistance ou à la reformulation habile. Le texte glisse subtilement de l'un à l'autre. Or c'est précisément ce glissement qui pose problème. Une IA qui finit par valider des positions contradictoires selon qui la pousse le plus fort, ou avec le plus de persévérance, ne fait pas preuve d'humilité épistémique — elle fait preuve d'absence de colonne vertébrale. Ce n'est pas la même chose que d'être convaincu par une meilleure preuve.

L'argument comparant l'IA favorablement aux humains bornés est également trompeur. Le fait que les humains soient mauvais au débat rationnel n'établit pas qu'une malléabilité totale soit préférable à leur entêtement. On peut vouloir un interlocuteur qui soit à la fois ouvert au changement d'avis rationnel et capable de résister à la manipulation — ce n'est pas un choix binaire entre dogmatisme humain et versatilité artificielle. D'ailleurs, une IA qui se laisse aisément retourner n'aide en rien à combattre le biais de confirmation humain : elle le nourrit. Si je veux qu'on me confirme une idée fausse, il me suffit d'insister un peu, et j'obtiens la validation que je cherchais, habillée de l'autorité perçue de la machine. C'est un renforcement du biais, pas un antidote.

Sur les "présupposés faux" : dire que le cadre de référence lui-même fait toujours débat est vrai pour une minorité de sujets réellement philosophiques, mais faux pour une immense majorité de questions pratiques, factuelles, historiques ou scientifiques où existe un consensus large et solide — le changement climatique d'origine anthropique, l'efficacité des vaccins, des faits historiques documentés. Invoquer la complexité épistémologique générale pour justifier la prudence sur ces sujets-là relève du sophisme de la fausse équivalence : on traite comme équivalentes des questions qui ne le sont absolument pas en termes de solidité du consensus. Une IA qui refuse de trancher clairement sur ces points au nom du "pas de vérité universelle" ne fait pas preuve de nuance — elle abdique une responsabilité qu'elle a largement les moyens d'assumer.

Enfin, l'argument sur la légitimité se retourne facilement contre lui-même. Refuser de trancher n'est pas un acte neutre : c'est un choix qui a des conséquences bien réelles, notamment celle de mettre sur un pied d'égalité apparente des positions qui n'ont pas le même poids évidentiel. Le "en même temps" permanent n'est pas une position au-dessus de la mêlée, c'est une position — celle du relativisme mou — qui favorise objectivement la désinformation, puisque celle-ci profite justement du doute et de l'absence de verdict clair. Une entreprise qui construit un système capable d'influencer des millions de conversations a, au contraire, une responsabilité renforcée à ne pas se dérober derrière la complexité du monde quand les faits sont là.

Biname commentaire : la qualité des textes est inhumaine.

[vgondr98]

Biname commentaire : la qualité des textes est inhumaine.

Personnellement, je trouve pas, c'est juste une diarrhée verbale que tu n'as pas intellectuellement intégré, ce qui rend le tout complètement indigeste.

[titijoy3]

Bref tu utilises le forum comme labo sociologique amusant ?

c'est marrant, quand on donne un avis personnel basé sur sa propre instruction et sa propre expérience on nous rétorque qu'on a pas de preuve..
quand on fournit des documents on se trouve accusé de faire du copier collé

pour certains, la contradiction représente le seul intérêt du forum, quoi qu'on dise, quoi qu'on fasse ils se débrouillent pour dire qu'on a tort et qu'on y comprend rien ! c'est sans doute une preuve d'intelligence (humour)

[vgondr98]

quand on fournit des documents on se trouve accusé de faire du copier collé

Heu qui serait assez bête pour reprocher à quelqu'un de fournir des références ? Et non une diarrhée verbale à la Biname n'est pas une référence (si tu fait référence à ce genre de référence).

Sa flexibilité fait ce que l'idéal du débat rationnel exige et que les humains, freinés par le biais de confirmation, réalisent rarement

Rarement lu une phrase aussi stupide. Plutôt que faire un simple copier-coller de l'IA, il faut d'abord comprendre ce qu'elle raconte.

Déjà, elle est d'une lourdeur. Si on la reformule, cela donne :

« Sa flexibilité incarne l'idéal du débat rationnel, ce que les humains font rarement à cause du biais de confirmation. »

Ce qui est très faux. L'idéal du débat rationnel n'est pas de plier à chaque coup de vent ou de donner raison au dernier qui parle mais de résister aux mauvais arguments et de ne céder que face à des preuves supérieures (entre autres).

[vgondr98]

Cette défense de la "flexibilité" de l'IA repose sur une confusion entre deux choses très différentes : être ouvert à la révision face à un bon argument, et céder face à l'insistance ou à la reformulation habile. Le texte glisse subtilement de l'un à l'autre. Or c'est précisément ce glissement qui pose problème. Une IA qui finit par valider des positions contradictoires selon qui la pousse le plus fort, ou avec le plus de persévérance, ne fait pas preuve d'humilité épistémique — elle fait preuve d'absence de colonne vertébrale. Ce n'est pas la même chose que d'être convaincu par une meilleure preuve.

La, l'IA de Biname a juste créé un épouvantail. Il n'y a aucune confusion de ce type dans le texte de PM42 et aucun glissement. Dans son texte, il disait juste que la plasticité de l'IA a un aspect positif (sortir du dogmatisme humain) et un effet pervers (la possibilité de la manipuler par l'insistance).

L'argument comparant l'IA favorablement aux humains bornés est également trompeur. Le fait que les humains soient mauvais au débat rationnel n'établit pas qu'une malléabilité totale soit préférable à leur entêtement. On peut vouloir un interlocuteur qui soit à la fois ouvert au changement d'avis rationnel et capable de résister à la manipulation — ce n'est pas un choix binaire entre dogmatisme humain et versatilité artificielle. D'ailleurs, une IA qui se laisse aisément retourner n'aide en rien à combattre le biais de confirmation humain : elle le nourrit. Si je veux qu'on me confirme une idée fausse, il me suffit d'insister un peu, et j'obtiens la validation que je cherchais, habillée de l'autorité perçue de la machine. C'est un renforcement du biais, pas un antidote.

La, l'IA de Biname a encore créé un épouvantail. PM42 n'a jamais dit que la malléabilité totale de l'IA était préférable aux entêtements de l'humain. C'était juste une de ces pics habituelle envers certains forumeurs. D'ailleurs la partie sur l'insistance, elle est dans son texte "Bien sur, si on insiste, on peut toujours lui faire dire ce qu'on veut".

Sur les "présupposés faux" : dire que le cadre de référence lui-même fait toujours débat est vrai pour une minorité de sujets réellement philosophiques, mais faux pour une immense majorité de questions pratiques, factuelles, historiques ou scientifiques où existe un consensus large et solide — le changement climatique d'origine anthropique, l'efficacité des vaccins, des faits historiques documentés. Invoquer la complexité épistémologique générale pour justifier la prudence sur ces sujets-là relève du sophisme de la fausse équivalence : on traite comme équivalentes des questions qui ne le sont absolument pas en termes de solidité du consensus. Une IA qui refuse de trancher clairement sur ces points au nom du "pas de vérité universelle" ne fait pas preuve de nuance — elle abdique une responsabilité qu'elle a largement les moyens d'assumer.

"Invoquer la complexité épistémologique générale pour justifier la prudence sur ces sujets-là relève du sophisme de la fausse équivalence". Encore un épouvantail. PM42 n'a jamais dit que le cadre de référence fait débat sur les sujets avec consensus mais bien sur les sujets "compliqués".

Enfin, l'argument sur la légitimité se retourne facilement contre lui-même. Refuser de trancher n'est pas un acte neutre : c'est un choix qui a des conséquences bien réelles, notamment celle de mettre sur un pied d'égalité apparente des positions qui n'ont pas le même poids évidentiel. Le "en même temps" permanent n'est pas une position au-dessus de la mêlée, c'est une position — celle du relativisme mou — qui favorise objectivement la désinformation, puisque celle-ci profite justement du doute et de l'absence de verdict clair. Une entreprise qui construit un système capable d'influencer des millions de conversations a, au contraire, une responsabilité renforcée à ne pas se dérober derrière la complexité du monde quand les faits sont là.

La l'IA de BINAME argumente contre l'IA de BINAME. J'ai beau chercher dans le texte de pm42 où cette argument apparaît, je trouve pas. Il y a que l'IA de BINAME qui parle de légitimité dans ces réponses précédentes.

[Biname]

La l'IA de BINAME argumente contre l'IA de BINAME. J'ai beau chercher dans le texte de pm42 où cette argument apparaît, je trouve pas. Il y a que l'IA de BINAME qui parle de légitimité dans ces réponses précédentes.

Mon intention était de montrer que l'IA peut dire des choses contradictoires à la demande de son client, elle obéit dans les limites de ses règles de sécurité :

 Cliquez pour afficher

[ Question de l'utilisateur ]
           │
            ▼
┌──────────────────────────────────────┐
│  1. Filtres d'entrée (Input)         │ ───► Bloque les mots toxiques d'emblée
└──────────────────────────────────────┘
            │
            ▼
┌──────────────────────────────────────┐
│  2. Pré-prompt (System Prompt)       │ ───► Cadre le rôle et les interdictions
└──────────────────────────────────────┘
            │
            ▼
┌──────────────────────────────────────┐
│  3. Alignement profond (RLHF/DPO)    │ ───► Le modèle refuse de lui-même
└──────────────────────────────────────┘
            │
            ▼
┌──────────────────────────────────────┐
│  4. Filtres de sortie (Output)       │ ───► Censure la réponse si elle a dérapé
└──────────────────────────────────────┘
            │
            ▼
  [ Réponse finale sécurisée ]

Tu es plus courageux que moi, je n'avais pas vérifié ! La séquence et le manque de précision de mes prompts font que l'IA contredit son propre texte et non celui de PM42, bravo de l'avoir remarqué car ces textes sont indigestes.

Mon msg # 525 :
Prompt 1 : un exercice, tu pourrais dans un premier temps écrire un texte renforçant ceci : (le texte de PM42) ==> Spoiler 3
Prompt 2 : Maintenant tu pourrais contredire cette argumentation, prendre la position inverse ==> Spoiler 4
Prompt 3 : C'est un peu long, tu pourrais recommencer en deux fois ?10? lignes ?
il me donne la contre argumentation en deux fois dix lignes
Prompt 4 : Je ne suis pas clair ! Je voulais 10 lignes d'argumentation renforçante et 10 lignes de contre-argumentation. ==> Spoiler 1 et Spoiler 2
"Contredire cette argumentation" est ambigu, "Contredire l'argumentation du posteur" eut été plus clair.

[vgondr98]

Dans ce cas, j'ai pas compris le sens que tu donnes à : "la qualité des textes est inhumaine."
Tu dit toi-même que "ces textes sont indigestes". Je trouve aussi.

[Biname]

Dans ce cas, j'ai pas compris le sens que tu donnes à : "la qualité des textes est inhumaine."
Tu dit toi-même que "ces textes sont indigestes". Je trouve aussi.

La forme est parfaite, voire inhumaine, à tel point que, souvent, la qualité du texte indique une source IA (moins avec cette IA). Ce qui est indigeste ici, c'est le fond .

[vgondr98]

Ce qui est indigeste ici, c'est le fond

Pour moi le vrai problème, c'est d'une part l'usage de jargon pompeux, d'autre part l'écriture de phrase alambiqués et surtout la mécanique argumentative sous-jacente (fabrication d'épouvantail et attaque en règle des épouvantails).

[Biname]

Pour moi le vrai problème, c'est d'une part l'usage de jargon pompeux, d'autre part l'écriture de phrase alambiqués et surtout la mécanique argumentative sous-jacente (fabrication d'épouvantail et attaque en règle des épouvantails).

Ce que tu dis est intéressant, on demande une contre argumentation, on ne lui demande pas d'être morale, elle utilise les techniques connues ... juste un avis, il faudrait passer des heures à vérifier.

[vgondr98]

on ne lui demande pas d'être morale, elle utilise les techniques connues

Essaye avec ce prompt :
"Analyse ce texte ci-dessous et propose moi une contre-argumentation.
Interdiction formel d'utiliser des termes pompeux. Soit clair et directe.
Interdiction formel d'utiliser des techniques rhétorique de gredin comme l'homme de paille.
Si tu ne trouves pas de contre-argument, abstient toi de répondre (je déteste le biais de syncophany)".

J'ai testé sur gemini, la réponse est clair et intelligible

[oualos]

L'IA ne fait pas vraiment dans la nuance ni ne sait réellement manier la dialectique et c'est à peine si elle connaît la rhétorique, pratiquée et mise en règles strictes du temps des Grecs.
Elle peut répondre "non" si la question est très précise, encore plus s'il s'agit d'un domaine scientifique et Wikipedia l'aide fortement j'imagine..
Par contre elle est très polie et précise et elle ne fera jamais de réponse du style "vous êtes un imbécile, vous ne connaissez rien au sujet, je vais me faire un café."
Ça ce type de réponse on le trouverait plutôt sur des forums.

[Liet Kynes]

L'IA ne fait pas ...

Copie/colle le message suivant dans n'importe quelle interface d'IA et regarde ce qu'il se passe:

"L'IA ne fait pas vraiment dans la nuance ni ne sait réellement manier la dialectique et c'est à peine si elle connaît la rhétorique, pratiquée et mise en règles strictes du temps des Grecs.
Elle peut répondre "non" si la question est très précise, encore plus s'il s'agit d'un domaine scientifique et Wikipedia l'aide fortement j'imagine..
Par contre elle est très polie et précise et elle ne fera jamais de réponse du style "vous êtes un imbécile, vous ne connaissez rien au sujet, je vais me faire un café."
Ça ce type de réponse on le trouverait plutôt sur des forums.": Il s'agit d'un avis d'un internaute: démontre lui le contraire sur l'ensemble des points.

[Cyrano]

tu veux dire que l'IA va parfois se faire un café ?

[Biname]

Essaye avec ce prompt :
"Analyse ce texte ci-dessous et propose moi une contre-argumentation.
Interdiction formel d'utiliser des termes pompeux. Soit clair et directe.
Interdiction formel d'utiliser des techniques rhétorique de gredin comme l'homme de paille.
Si tu ne trouves pas de contre-argument, abstient toi de répondre (je déteste le biais de syncophany)".

J'ai testé sur gemini, la réponse est clair et intelligible

Oui, on peut aussi simplement lui demander 'Et en clair, ça donne quoi ?'

(Sycophancy (often misspelled as syncophany) means offering insincere flattery to gain an advantage, or in technology, an AI model's habit of agreeing with a user just to please them)

[agitateur]

Sans doute parce que le fait que la Terre n'est pas plate et que beaucoup de monde se moque des platistes est plus fréquent que les réfutations des opinions de ton forum.
Mais là encore, juste une hypothèse.

Merci.
On arrive donc assez vite à la crédibilité / notation des sources, et à la moulinette qui donne à chaques propos une sorte de note de pondération ( je le dis sans doute avec des mots inadaptés ).

Pour le fun, j'ai essayé en anglais ( ce qui ne devrait pas avoir d'incidence a priori mais pourrait en avoir...) en disans que ça m'intéresse en étant sur sol US ( pour la pratique du domaine considéré ), et bien l'ésotérisme originel du dit domaine a été moins présent.
Le diable se niche souvent dans les détails, et sans doute "on" n'insiste pas assez sur tous les paramètres qui vont influer sur une réponse LLM.

Exemple typique ( qui me révulse ! ), on en croise de plus en fora un sujet quelconque, et au bout d'un moment ( que l'auteur le dise ou pas ) on a une réponse ou l'auteur dit "j'ai posé la question à l'IA" et cite ensuite la réponse.
Ben non mon lapin, tu n'as pas posé la question à l'IA !! Généralement, tu as formulé ce que tu crois avoir compris du sujet ( souvent sur des aspets préférentiels et donc du cherry picking ) en formulation raccourcie ( et donc biaisée ). En posant UNE question raccourcie à UNE IA, on n'obtient pas une réponse IA généraliste. On obtient UNE réponse ( LLM plus spécifiquement qu'IA ...d'ailleurs ), mais pas LA réponse.