[IA] Peut-on se fier aux détecteurs de textes écrits par IA ?

[GBo]

A lire puisque le sujet défraye la chronique depuis quelques jours pour cette rentrée littéraire, mais l'éclairage technique fait défaut:

https://www.franceinfo.fr/internet/i...s_8206196.html

C'est l'aspect technique des IAs détectrices de type Pangram ou autre qu'il s'agit de discuter ici (pas d'accusions sur des auteurs "présumés humains" jusqu'à preuve ou aveux du contraire, merci).

Sur le fond justement, a priori je ne comprends pas comment un texte à prétention littéraire généré par IA (à coup de prompts judicieux) peut être détecté comme tel par un outil automatique quelconque puisque les IAs génératives textuelles sont entrainées sur les textes humains justement, dont des romans de tous genres: elles peuvent même imiter un style particulier, par exemple le "réalisme magique".
-----

[Cyrano]

de ce que j'ai entendu, mais je n'en sais pas plus, le logiciel reconnaitrait des "patterns" caractéristiques de l'IA : l'IA imite bien mais de façon relativement répétitive.

[GBo]

Plus d'info techniques sur les performances et le fonctionnement de Pangram 4 sur le lien suivant (lien inclus dans l'article de France Info qui est l'un des plus précis que j'ai trouvé sur la question dans la presse généraliste):

"Pangram 4 Technical Overview"
https://www.pangram.com/blog/pangram-4-technical

[Liet Kynes]

Je m edemande si à terme à force de lire du contenu généré par l'IA il va y avoir un glissement du style dans l'écriture humaine (mimétisme ?) .

Contenu généré par IA:

"Création d'une boucle :

• L'IA est entraînée sur des textes humains.
• L'IA génère des textes légèrement plus lisses et standardisés que la moyenne humaine.
• Les humains lisent ces textes et adaptent leur propre écriture pour paraître "professionnels" ou "efficaces" selon les nouveaux standards du web.
• Les futures IA seront entraînées sur ces nouveaux textes humains modifiés, accentuant encore le phénomène

La valorisation de la "signature humaine" : Par réaction, l'écriture littéraire, d'opinion ou créative cherchera à s'éloigner radicalement du style IA. On pourrait voir émerger un attrait renouvelé pour les styles plus chaotiques, fragmentés, très mâtinés d'argot ou extrêmement poétiques — tout ce qui est statistiquement "improbable" pour un algorithme."

Bref le prochain goncourt sera très fprtement improbabla ou ne sera pas

[A voir en vidéo sur Futura]

[Gwinver]

Bonjour.
Voilà de quoi pousser les auteurs à de l'innovation dans le style d'écriture.

[GBo]

Il n'y a pas "un" style d'IA, car le texte pseudo-littéraire généré automatiquement par ces machines dépend des consignes qu'on lui donne, et il est loin d'être lisse et standardisé si on prompte dans le sens inverse. Avec un brouillon d'histoire en tête, on peut demander à une IA d'écrire, chapitre par chapitre, un récit fictionnel contenant des figures de style nécessaires par exemple au "réalisme magique caribéen" (dans la lignée de Gabriel García Márquez, Patrick Chamoiseau ou Maryse Condé), avec renfort d'aphorismes percutants, et des phrases plus courtes pour se démarquer, des punch-lines violentes etc...
Je viens d'essayer, et le résultat est haut en couleur, c'est le moins que l'on puisse dire, un peu too much (proche du pastiche), avec quelques aphorismes très réussis dans le lot. Des critiques littéraires trop pressés et qui n'auraient jamais joué eux-mêmes avec ces IAs génératives (je parle de Gemini, Claude ou ChatGPT de dernière génération) pourraient se faire avoir. Car on ne reconnait que ce que l'on connait.

[Cyrano]

ça veut dire que l'esprit humain est moins efficace pour reconnaitre les traits caractéristiques de l'IA que l'IA elle même (ce qui n'a rien d'impossible évidemment).

[Gwinver]

De quoi douter.

https://www.instagram.com/p/DRfP38uiTjZ/



https://www.reddit.com/r/academia/co...dickens_as_95/

Recherche faite par l'IA de Google : "Le test d'écriture par l'IA a t'il été fait sur des textes d'avant l'informatique ?"

[Cyrano]

de quand date ce post ? il semble que l'outil utilisé pour Thelyson Orélien, Pangram, soit beaucoup plus fiable.

[pm42]

Chouette fil tout à fait au niveau habituel.

[Cyrano]

j'imagine qu'aucune IA ne dira que les posts de pm42 sont générés par IA, au moins

[GBo]

de quand date ce post ? il semble que l'outil utilisé pour Thelyson Orélien, Pangram, soit beaucoup plus fiable.

C'est exact, Pangram 4.0 a le vent en poupe, c'est le plus fiable actuellement (ça peut vite changer car c'est le jeu du chat et de la souris avec les IAs génératrices qui évoluent sans cesse), c'est c'est lui qui a été utilisé pour cette affaire qui fait l'actu de la rentrée littéraire: il aurait un taux de faux positifs d'environ 1 erreur pour 24 000 textes humains. Bien sûr il faut respecter les consignes d'utilisation, à savoir ne pas coller copier des extraits de quelques dizaines de lignes seulement. Dans le cas d'un roman il est facile (et cela a été fait et refait) de tester plusieurs passages de plusieurs centaines de lignes à chaque fois, des parties purement descriptives ou contentant des dialogues, etc...

[Liet Kynes]

Dans la litérature il y a de l'IA depuis un moment mais elle a un style assez humain: https://www.lecturiels.org/lecturiel/1759.pdf

[GBo]

Vous pouvez tester Pangram par vous-même sur vos textes écrits de votre main ou par l'IA de votre choix:

https://www.pangram.com/

Bien sûr on peut humaniser des textes générés par IA premier jet pour tenter de tromper le détecteur, mais on tomberait alors dans un faux négatif (je n'ai pas encore essayé); alors que, j'insiste, Pangram 4 est remarqué (actuellement) pour son faible taux de faux positifs : c'est à dire que lorsque il dit "we believe that this entire text is AI" sur de larges extraits, c'est qu'il y a de bonnes chances que ce soit le cas. Mais ce n'est fiable à 100%, c'est bien indiqué aussi par les concepteurs, donc ça ne peut pas servir de preuve.

[ThM55]

Ca va, je suis humain, j'ai vérifié avec Pangram.

[pm42]

j'imagine qu'aucune IA ne dira que les posts de pm42 sont générés par IA, au moins

C'est surtout que voir des gens qui ne connaissent rien à un sujet et n'ont pas faire l'effort de lire la littérature sérieuse dessus ni même de demander à un IA, citer le fabricant d'un outil comme référence d'évaluation de sa performance est carrément hilarant.

Ou ne même pas s'intéresser aux méthodes pour tromper les dits évaluateurs.

Bref, c'est pire qu'abyssal et je dirais bien des trucs mais vu que le but des intervenants, c'est de faire du café du commerce et dire qu'ils n'ont jamais joué au foot mais que s'ils entrainaient l'équipe de France, elle gagnerait tous ses match 50-0 en 3 minutes, je ne vois pas l'intérêt.

[Liet Kynes]

Y a pas un truc un peu "débile" dans le principe détecteur humaniseur? Je fais produire un texte à une IA, je soumet à humaniseur puis à un detecteur-> si c'est detecté positif je repasse par la case humaniseur et je re-soumet: répétition de la machine à laver le texte jusqu'à ce que cela soit propre..

[Cyrano]

C'est surtout que voir des gens qui ne connaissent rien à un sujet et n'ont pas faire l'effort de lire la littérature sérieuse dessus ni même de demander à un IA, citer le fabricant d'un outil comme référence d'évaluation de sa performance est carrément hilarant.

Ou ne même pas s'intéresser aux méthodes pour tromper les dits évaluateurs.

Bref, c'est pire qu'abyssal et je dirais bien des trucs mais vu que le but des intervenants, c'est de faire du café du commerce et dire qu'ils n'ont jamais joué au foot mais que s'ils entrainaient l'équipe de France, elle gagnerait tous ses match 50-0 en 3 minutes, je ne vois pas l'intérêt.

je confirme , Pangram me dit 100 % humain sur ce texte (si certains avaient des doutes )

[Cyrano]

Ca commence à devenir n'importe quoi : sur X/twitter , un posteur (qui se présente comme philosophe) a posté une vidéo montrant qu'un extrait du livre de Sarah Knafo était généré par l'IA.. sauf que l'extrait en question ne venait pas de ce livre. Il s'en est excusé en disant qu'il avait juste tapé le titre du bouquin sur Google Livres et qu'il avait récupéré cet extrait sans vérifier.

https://x.com/VincentCespedes/status...65217001193849

ca confirme que le problème de l'IA n'est pas tant ce qu'elle va faire elle, que ce que les humains vont faire avec.

Et ceux qui passent leur temps à pester sur les forumeurs qui n'y connaissent rien, et disent n'importe quoi sur l'IA, auront du mal à ne pas être d'accord, puisque la grande majorité de la population est pareille et pense justement qu'elle peut lui faire aveuglément confiance : c'est donc bien un problème.

[Liet Kynes]

Le sujet concerne la fiabilité des detecteurs de textes générés par IA pas la fiabilité des humains.

[GBo]

Merci Liet.

En tout cas Max Spero*, qui a cofondé Pangram Labs, n'a pas trop de doutes sur le verdict de son outil de détection sur le roman en question, même s'il concède "qu'il y aura toujours une part d’incertitude":
https://www.lemonde.fr/pixels/articl...2_4408996.html
https://www.liberation.fr/economie/e...E2ZYYH66EZHPQ/

(*) https://www.linkedin.com/in/maxspero/

PS: Je n'ai pas trouvé de benchmarks indépendants sur les performances de Pangram 4 utilisé ici, mais cette version est sortie très récemment (fin Juillet 2026).

[oualos]

J'ai écrit un livre un thriller un peu fantastique il y a pas mal d'années et je crois que je vais demander chapitre par chapitre à pangram de détecter si c'est une IA qui l'a écrite.
Je mettrai les résultats des tests ici.

Pour information uniquement , il faudrait un détecteur de détecteur d'IA pour connaitre le taux de réussite dans son taux d'évaluation si on veut être vraiment scientifique donc objectif.
Ceci dit comme on lui a fait ingurgiter des milliards de textes donc peut-être le mien (?), s'il répond que c'est un livre non-écrit par l'IA ça n'aura pas valeur de test.
Ça sera pas probant tout simplement.
Il faudrait lui rentrer des textes qui n'ont jamais été publiés nulle part, ni sur Internet ni sous forme de livre pour que ça ait vraiment valeur de test.
J'en ai aussi mais ça me passionne pas vraiment: maintenant que l'IA existe pourquoi des auteurs n'auraient-ils pas le droit de s'en servir ?
Tout le monde s'en sert alors pourquoi pas les auteurs ?
Par contre le plagiat ça c'est mal pour un écrivain. Et ça a eu effet de le disqualifier au Goncourt si on pense au même auteur.

[GBo]

J'ai écrit un livre un thriller un peu fantastique il y a pas mal d'années et je crois que je vais demander chapitre par chapitre à pangram de détecter si c'est une IA qui l'a écrite.
Je mettrai les résultats des tests ici.

Tu ne pourras pas chapitre par chapitre à moins de payer (en gratuit j'ai eu 20 crédits, donc 2000 mots, ce qui m'a suffit à uploader une page au hasard du roman incriminé (qui ressort en 100% positif).

Tout le monde s'en sert alors pourquoi pas les auteurs ?

En effet, certains lecteurs s'en moquent d'ailleurs si le texte les embarque, mais le Goncourt ne les accepte pas pour le moment.
A noter que le "Goncourt japonais" n'a pas bronché lui, quand l'auteure Rie Kudan a admis avoir utilisé ChatGPT, mais il s'agissait de 5% seulement, avec une histoire qui le justifiait assez logiquement:
https://www.lepoint.fr/culture/le-go...-2550260_3.php

[oualos]

ah oui j'ai compris cette histoire de prix Goncourt japonais!

L'intelligence artificielle est un des personnages de son roman et les phrases prononcées par celle-ci dans son roman viennent effectivement de chatGPT: mais c'est tout et l'implication de chatGPT se limite à générer des phrases dites par une IA qui est un personnage de son roman, proclame-t-elle
Dans ce cas oui! C'est comme si dans un roman mettant en scène De Gaulle, on lui faisait dire à un parterre d'invité ou à n'importe qui "je vous ai compris!"

1° On ne peut pas vérifier l'authenticité des dires de cette autrice japonaise: peut-être a-t-elle utilisé davantage chatGPT que ce qu'elle laisse dire.
Il faudrait un détecteur d'IA universel fiable à 100% et passer tout son livre au crible.
Mais dans la mesure où les fabricants de l'IA admettent que l'IA peut faire des erreurs en hallucinant, les détecteurs d'IA sont aussi susceptibles du même défaut, right ?
Donc la vérification "absolue" de non-utilisation de l'IA dans un texte n'existe pas. Pas encore disons!

2° Sur un plan disons plus éthique, cet aveu réduit d'autant la part de création et d'invention au cours de la création du livre si on admet que ce personnage d'intelligence artificielle de son roman écrit des phrases vraiment dites par chatGPT!
Cet autrice, elle aurait pu inventer une IA tout aussi bien et les phrases qui vont avec. Place à l'imagination!
Là je comprends la gêne des jurys de prix et des écrivains sur ce qu'ils estiment être de la basse copie ou de la création par machine en protestant vertement contre cet usage de l'IA
La machine fait le boulot et il ne reste à faire que du copié-collé en corrigeant par ci par là quelques mots, phrases ou expressions.
Le doute risque de durer encore un certain temps, d'où une certaine aigreur voir colère des écrivains (es)

[mh34]

Chouette fil tout à fait au niveau habituel.

par curiosité, création IA ou peintre humain? Et si oui lequel?

ca confirme que le problème de l'IA n'est pas tant ce qu'elle va faire elle, que ce que les humains vont faire avec.

.

Bah comme pour tous les outils.

maintenant que l'IA existe pourquoi des auteurs n'auraient-ils pas le droit de s'en servir ?
Tout le monde s'en sert alors pourquoi pas les auteurs ?

Pourquoi pas en effet? Mais alors il faut que ce soit précisé, et que soit aussi précisé quel pourcentage, et à quels endroits. J'estime en tant que lectrice, avoir le droit de savoir ce qui a été écrit par un humain, et ce qui a été écrit par une IA.

[MissJenny]

c'est un Bruegel véritable si je ne m'abuse.

[yves35]

par curiosité, création IA ou peintre humain? Et si oui lequel?

bonsoir,

https://gandalfsgallery.blogspot.com...d-leading.html

yves

edit:coiffé sur le poteau

[mh34]

c'est un Bruegel véritable si je ne m'abuse.

bonsoir,

https://gandalfsgallery.blogspot.com...d-leading.html

yves

edit:coiffé sur le poteau

Merci à tous les deux ; pour le coup je comprends pourquoi pm42 a choisi ce tableau pour illustrer son propos.

[Liet Kynes]

Là je comprends la gêne des jurys de prix et des écrivains sur ce qu'ils estiment être de la basse copie ou de la création par machine en protestant vertement contre cet usage de l'IA

C'est surtout le fait de ne pas savoir faire la différence d'emblé qui doit les géner aux entournures. Pour cette technologie, il faut bien se dire que l'on en est au début, dans une phase ascendante rapide et on ne peux pas préjuger de quelle sera l'altitude à laquelle cela peux monter. Je me souviens de discussions avec des grands maîtres d'echecs (GMI, MI) sur Deep blue: l'idée était de dire que la machine ne pouvait pas vraiment dépasser l'être humain: aujourd 'hui cette idée est ridicule.

[oualos]

C'est surtout le fait de ne pas savoir faire la différence d'emblée qui doit les gêner aux entournures. Pour cette technologie, il faut bien se dire que l'on en est au début, dans une phase ascendante rapide et on ne peux pas préjuger de quelle sera l'altitude à laquelle cela peux monter. Je me souviens de discussions avec des grands maîtres d'echecs (GMI, MI) sur Deep blue: l'idée était de dire que la machine ne pouvait pas vraiment dépasser l'être humain: aujourd 'hui cette idée est ridicule.

À ma connaissance c'est la première révolution technologique qui interroge directement l'homme sur le sens de sa création dans le domaine artistique.
Dans la mesure où on peut imiter et créer toute sorte de textes, de peintures etc., à quoi bon réfléchir sur les courants littéraires ou picturaux ou autres et se décarcasser pour innover, inventer de nouvelles formes ?
En fait je pense qu'il reste de la place -même largement!- pour l'innovation en peinture et écriture mais il faut tenir compte de plus en plus de la contrainte IA qui est en train de s'imposer comme une contrainte forte : elle va être de plus en plus présente au fil du temps.
L'IA va être de plus en plus intégrée au processus créatif dans les arts: c'est inéluctable.

MAIS... Une IA aurait-elle eu l'idée de peindre des monochromes comme Klein (bleu) ou Soulages (noir) ?
Aurait-elle eu l'idée de déconstruction totale de la structure narrative comme le nouveau roman avec Butor et Robbe-Grillet et bien d'autres ? Ça n'a pas eu d'avenir certes mais on en parle dans tous les livres traitant de l'histoire de la littérature.
Tu cites Deep Blue mais ce sont juste de super-calculateurs dépassant maintenant et de loin les capacités humaines de calcul aux échecs. Là avec l'IA il y a un aspect mimétique de la machine essayant de copier l'homme dans tout ce qu'il fait.