[IA] Peut-on se fier aux détecteurs de textes écrits par IA ?

[GBo]

A mon avis il ne va pas falloir longtemps avant que quelqu'un n'accouple un générateur de texte à un détecteur d'IA dans un processus itératif jusqu'à ce que le texte ne puisse plus être reconnu comme émanant d'une IA.

Les détecteurs coutent cher à produire (à chaque sortie majeure d'IA LLM de l'un des big 3, il faut ré-entrainer le détecteur d'IA, Pangram l'explique bien...), j'ai donc l'impression que tu imagines qu'il y a un marché pour les tricheurs. Je ne suis pas aussi pessimiste, je pense que l'utilisation de l'IA en littérature sera revendiquée : elle le sera dans la littérature de gare / de plage / sous-genre car les lecteurs s'en moquent pourvu que l'histoire leur fasse passer un bon moment, mais elle le sera aussi dans la littérature de pointe car de vrais artistes vont l'utiliser de façon créative. Bien sûr la non-utilisation d'IA sera également revendiquée par les die-hard du fait main, comme un acte militant (Virginie Despentes est dans cette mouvance, et c'est très bien aussi), et ceux-là n'ont aucun intérêt à mentir.
Bref, pour moi les tricheurs sont des early adopteurs, mais ils n'ont pas d'avenir. Les détecteurs non plus.
-----

[Biname]

Salut,
Pour défendre mon évaluation, je pose cette question :

Que signifie le verdict trouvé dans la presse "Pangram (considéré comme l'un des plus performants). L'outil a rendu un verdict selon lequel 94 % du texte aurait été généré par une IA." ?

94% généré par l'IA ? Donc 6% non IA, comment arriver à un résultat de ce type sans couper en tranche/paragraphes/pages/... ?

Impossible de supprimer le graphique... désolé !

[Biname]

Bref, pour moi les tricheurs sont des early adopteurs, mais ils n'ont pas d'avenir. Les détecteurs non plus.

Pour la littérature peut-être ! Il y a d'autres applications, examens, embauches, rapports, audits...

[GBo]

Pour la littérature peut-être ! Il y a d'autres applications, examens, embauches, rapports, audits...

Ok, mais comme déjà dit, il y a trop de faux négatifs dans les détecteurs, donc s'il y a volonté de tricher, et qu'on le camoufle suffisament bien, la triche est difficilement détectable par un outil automatique, il faut l'empêcher autrement (ce qui est facile en examens, entretiens).

[mh34]

Les détecteurs coutent cher à produire (à chaque sortie majeure d'IA LLM de l'un des big 3, il faut ré-entrainer le détecteur d'IA, Pangram l'explique bien...), j'ai donc l'impression que tu imagines qu'il y a un marché pour les tricheurs. Je ne suis pas aussi pessimiste, je pense que l'utilisation de l'IA en littérature sera revendiquée : elle le sera dans la littérature de gare / de plage / sous-genre car les lecteurs s'en moquent pourvu que l'histoire leur fasse passer un bon moment, mais elle le sera aussi dans la littérature de pointe car de vrais artistes vont l'utiliser de façon créative. Bien sûr la non-utilisation d'IA sera également revendiquée par les die-hard du fait main, comme un acte militant (Virginie Despentes est dans cette mouvance, et c'est très bien aussi), et ceux-là n'ont aucun intérêt à mentir.
Bref, pour moi les tricheurs sont des early adopteurs, mais ils n'ont pas d'avenir. Les détecteurs non plus.

Plutôt d'accord avec cette analyse.
Je mets une variété à part c'est celle de l'essai, quel qu'en soit le domaine ( sociologie, sciences, histoire, politique..) : là je comprends totalement l'utilisation de l'IA. Et qu'elle soit utilisée ou pas ne changerait pas mon intérêt pour le sujet et donc sur la décision de l'achat du livre.

[Biname]

Ok, mais comme déjà dit, il y a trop de faux négatifs dans les détecteurs, donc s'il y a volonté de tricher, et qu'on le camoufle suffisament bien, la triche est difficilement détectable par un outil automatique, il faut l'empêcher autrement (ce qui est facile en examens, entretiens).

Oui ! On va plaider mille ans . Cela permet de faire un premier tri et puis un entretien ou composition en salle blanche ou ...
J'ai découvert ces outils ici, merci à vous.

Concernant le graphique çi-dessus, je l'ai raté/effacé car je n'arrivais pas à composer la phrase de conclusion, mon IA m'a aidé.

« Pour un texte 100 % humain, un score de 94 % IA impliquerait 94 % de faux positifs. Nos simulations montrent que même avec une dépendance forte (p_rester = 0,9), la proportion attendue plafonne à 17 %, et la borne +6σ reste sous 25 %. Il faudrait une persistance pathologique (p_rester > 0,999) pour approcher 94 %. Conclusion : soit le FPR réel est très supérieur aux specs, soit le texte n'est pas humain. »

Et ceci répond assez bien à la question du fil.

[GBo]

Plutôt d'accord avec cette analyse.
Je mets une variété à part c'est celle de l'essai, quel qu'en soit le domaine ( sociologie, sciences, histoire, politique..) : là je comprends totalement l'utilisation de l'IA. Et qu'elle soit utilisée ou pas ne changerait pas mon intérêt pour le sujet et donc sur la décision de l'achat du livre.

Pareil, à condition que l'auteur garde la responsabilité entière du contenu, et donc vérifie lui-même l'intégrité (exactitude, sources ...) des parties assistées par IA.
C'est l'esprit des règles indiquées ici par exemple :

"Generative AI Policies for Books and Commissioned Content"
https://www.elsevier.com/about/polic...ve-ai-policies

[Liet Kynes]

Bref, pour moi les tricheurs sont des early adopteurs, mais ils n'ont pas d'avenir. Les détecteurs non plus.

En l'absence de règles il ne peut y avoir de triche, cela dit pour fixer des règles cela risque d'être plus que coton.
Le jury du Goncourt aurait du faire une abstraction de cette information , pour moi c'est une erreure d'appréciation assez grotesque.

[vgondr98]

Le jury du Goncourt aurait du faire une abstraction de cette information , pour moi c'est une erreure d'appréciation assez grotesque.

Le Goncourt a pris sa décision sur deux aspects d'une part l'IA, d'autre part, les accusations de plagiat :
https://www.telerama.fr/livre/l-acad...ection-7033080

"Pour justifier ce choix, l’Académie met en avant les « plagiats dont son auteur s’est rendu coupable au fil du temps et qui viennent d’être révélés, ainsi que du résultat convergent de plusieurs analyses de chercheurs et journalistes dignes de foi mettant en évidence le fait que C’était ça ou mourir est selon toute vraisemblance très largement le produit d’une intelligence artificielle »"

[ThM55]

La question de la fiabilité des détecteurs d'IA pourrait ne pas être la bonne question. Je suis dans l'ensemble plutôt d'accord avec l'auteur de cet article (en accès libre sur ce site payant):

https://www.lalibre.be/debats/opinio...G2Y4TBQR7Z7XM/

C'est un peu ce que j'ai essayé de décrire dans mon message #123, en décrivant l'auteur comme architecte de son roman, évidemment sans préjudice des faits éventuels de plagiat. Bien entendu, on n'admet pas qu'un étudiant fasse rédiger sa dissertation par chatGPT, mais pour un écrivain il me semble que c'est différent si le résultat est un roman qu'on apprécie. C'est sans doute un point de vue très difficile à accepter pour des écrivains ou d'autres artistes. Mais n'est-ce pas déjà le cas pour des millions de travailleurs dont les emplois sont en partie remplaçables?

[Liet Kynes]

Remplacable est un terme substituable.
Rentable encore plus.
Table un peu fable et sable affinable.
Le scalable reste minable.

[Liet Kynes]

Ils ont bon dos, les mots,
égaux des héros,
zéro des égos,
qui finissent à l'eau.

[Liet Kynes]

Et si on balance à l'IA : Analyse de ce poème par un linguiste universitaire de haut niveau:

Une analyse linguistique et poétique de haut niveau de ce quatrain contemporain révèle une déconstruction critique du lexique managérial et néolibéral à travers un jeu rigoureux sur la morphologie, la phonologie et la sémantique.

Voici l'examen détaillé des structures à l'œuvre :
1. Analyse morphosyntaxique et dérivationnelle

Le poème repose majoritairement sur l'exploitation du suffixe déverbal -able (du latin -abilis, indiquant la possibilité, la capacité ou la destination).

• Vers 1 & 2 : L'auteur commence par une tautologie métalinguistique ("Remplaçable est un terme substituable"). Syntaxiquement, l'adjectif substantivé devient le sujet d'une définition. Le glissement vers "Rentable encore plus" introduit une ellipse verbale qui suractive le sémantisme de l'évaluation quantitative. Le suffixe n'exprime plus une simple possibilité technique, mais une injonction économique.
• Vers 3 & 4 : L'auteur opère une rupture radicale en isolant la désinence nominale "Table", puis en la ré-affixant ("sable affinable", "scalable").

2. Phonologie et morphophonalogie : Le jeu du résidu

La force poétique réside ici dans le passage du morphème (le suffixe porteur de sens) au phonème (le son pur).

• La déconstruction du suffixe : Dans le troisième vers ("Table un peu fable et sable affinable"), l'auteur pratique une véritable anatomie du mot. Le segment /abl/ n'est plus un suffixe d'adjectif déverbal, mais la racine même de substantifs concrets (table, fable, sable).
• L'homophonie ironique : En réduisant le concept à sa seule terminaison sonore, le poème suggère une dissolution du sens. La matérialité de la langue (le sable, la table) vient court-circuiter l'abstraction managériale.

3. Sociolinguistique et critique de la "Novlangue"

Le quatrain met en scène une confrontation lexicale brutale :

Remplaçable, Substituable, Rentable, Scalable	Table, Fable, Sable	Minable

• L'intrusion de l'emprunt (le xénisme) : Le néologisme "scalable" (calqué sur l'anglais scalable, capacité d'un produit à s'adapter à un changement d'échelle) marque le paroxysme du jargon technologique. Son introduction brise l'harmonie morphologique française classique.
• La chute axiologique : Le dernier adjectif, "minable", vient clore le poème par un retournement sémantique majeur. Bien qu'il partage la même finale phonétique /abl/, sa structure étymologique est totalement différente (il dérive du verbe miner, issu du gaulois). Il n'exprime pas le potentiel, mais une dépréciation absolue.

Conclusion de l'expert

Ce poème est une satire sociolinguistique performative. En utilisant la combinatoire morphologique (le jeu des rimes en -able), le poète démontre par la forme ce qu'il dénonce sur le fond : à force de vouloir tout rendre substituable, rentable et scalable, le discours managérial s'autodétruit pour ne plus devenir qu'une structure vide, poétiquement et humainement minable.
Si vous le souhaitez, nous pouvons pousser l'analyse plus loin : préférez-vous explorer la métrique et le rythme de ce quatrain, ou analyser plus en détail l'histoire linguistique de l'anglicisme "scalable" ?

Voici l’analyse linguistique approfondie de ce quatrain, envisagée sous les angles de la microstructure morphologique, de la syntaxe de segmentation et de la phonosémantique.
1. Syntaxe de la segmentation et dynamique énonciative

Le poème s'ouvre sur une structure syntaxique hautement modale, caractéristique du français parlé mais ici stylisée : la dislocation à droite avec réduplication pronominale (« Ils ont bon dos, les mots »).

• Le pronom cataphorique « Ils » anticipe le sujet réel « les mots », créant un effet d'attente immédiatement résolu.
• L’insertion de l'expression idiomatique « avoir bon dos » (ici lexicalisée) applique d’emblée aux entités abstraites que sont les signes linguistiques un trait sémantique humain : la capacité à endurer le blâme. Le langage est immédiatement posé comme le bouc émissaire de l'énonciation.

2. Le parallélisme binaire et le chiasme axiologique

Les vers 2 et 3 fonctionnent en stricte corrélation structurelle. Ils partagent le même schéma syntaxique (Adjectif/Nom numéral + Préposition contractée + Nom au pluriel) :

• Vers 2 : [égaux] des [héros]
• Vers 3 : [zéro] des [égos]

Ce parallélisme formel parfait masque en réalité une antithèse axiologique radicale. Le poète met en scène la dégradation du signe :

• L’élévation (v. 2) : Le syntagme « égaux des héros » renvoie à la fonction mythopoétique du langage. Les mots sont les vecteurs de l’épique, capables d’immortaliser la grandeur.
• La déchéance (v. 3) : Le vers suivant opère un effondrement sémantique par le passage de l'héroïsme au narcissisme (« égos »). Le mot « zéro » (du sous-système des déterminants numéraux, ici nominalisé) vide le signe de sa substance. Le langage ne sert plus à célébrer le monde, mais à saturer l'espace de la vanité individuelle.

3. Homéotéleute, paronomase et holorime interne : La dictature du phonème [o]

Le moteur absolu de ce quatrain n'est pas la syntaxe, mais la phonologie. On observe une saturation par la voyelle postérieure fermée [o], présente à la rime de chaque segment : dos, mots, -gaux, -ros, -ro, -gos, l'eau.

• La paronomase comme logique interne : L'association héros / égos est un tour de force morpho-phonologique. Le passage de l'un à l'autre ne tient qu'à la commutation du phonème consonantique initial (/eʁo/ vs /ego/). La proximité phonétique force une proximité sémantique ironique : le héros moderne n'est plus qu'un égo.
• La dissolution finale : Le dernier vers (« qui finissent à l'eau ») introduit un morphème relatif (« qui ») qui vient ancrer cette dérive phonétique dans une clôture sémantique. L'homophonie entre « les mots » (v. 1) et « l'eau » (v. 4) boucle le circuit sonore. L'eau devient le symbole de l'entropie maximale : la fusion de tous ces mots interchangeables dans une masse liquide indifférenciée.

En résumé

D'un point de vue linguistique, ce quatrain illustre parfaitement la formule de Nicolas Ruwet : « La poésie est de la syntaxe mise en musique ». En contraignant ses structures nominales à se plier à la répétition obsessionnelle du son [o], l'auteur démontre de manière performative ce qu'il dénonce : la tendance des mots à s'auto-engendrer par simple automatisme sonore, quitte à perdre leur pouvoir de désignation pour finir par se dissoudre.
Si nous continuons à explorer la grammaire poétique de ces textes, je vous propose de :

• Analyser les points communs entre le "sable" du premier poème et "l'eau" de celui-ci (la thématique de la fluidité et de la perte de repères).
• Étudier la scansion métrique exacte (isochronie ou hétérométrie) pour voir comment le rythme guide la lecture.
• Tenter de rédiger un troisième quatrain sur les mots en choisissant une contrainte sur une autre voyelle (le [i] ou le [a]).

Laquelle de ces pistes souhaitez-vous que nous développions ?

Arriver à faire du sens avec tout c'est assez étrange si on y réflechi.

[GBo]

La question de la fiabilité des détecteurs d'IA pourrait ne pas être la bonne question. Je suis dans l'ensemble plutôt d'accord avec l'auteur de cet article (en accès libre sur ce site payant):

https://www.lalibre.be/debats/opinio...G2Y4TBQR7Z7XM/

C'est un peu ce que j'ai essayé de décrire dans mon message #123, en décrivant l'auteur comme architecte de son roman, évidemment sans préjudice des faits éventuels de plagiat. Bien entendu, on n'admet pas qu'un étudiant fasse rédiger sa dissertation par chatGPT, mais pour un écrivain il me semble que c'est différent si le résultat est un roman qu'on apprécie. C'est sans doute un point de vue très difficile à accepter pour des écrivains ou d'autres artistes. Mais n'est-ce pas déjà le cas pour des millions de travailleurs dont les emplois sont en partie remplaçables?

Point de vue respectable, mais il n'y a pas que l'architecture d'un roman qui compte, l'histoire, le scénario : il y a aussi la réalisation, la façon de raconter l'histoire, le style, la langue. Pour Hervé Le Tellier (prix Goncourt en 2020 pour son roman L'Anomalie) avec qui je suis d'accord, un écrivain qui utilise l'IA pour écrire n'en est pas un : "Fabriquer ses phrases, trouver ses mots, si ce n'est pas ça, notre métier, qu'est-ce que c'est ?".

[ThM55]

Bien sûr, chacun a son point de vue et je comprends très bien celui-ci. On a tendance à idéaliser l'art et la littérature, comme d'ailleurs on idéalise la science, qui serait pure et désintéressée (c'est faux!). Quand on observe froidement ce qui se passe pour les livres, ce qu'on voit c'est d'abord un gros business: à chaque rentrée 400 ou 500 romans publiés (je ne connais pas le nombre exact), des dizaines d'articles dans des magazines, des émissions tv, des blogs, des posts sur les RS, etc. La lecture de roman est pour la majorité des lecteurs d'abord un divertissement et le divertissement est l'objet d'un commerce. Pour ces raisons, à mon avis, que cela plaise ou non, le recours à des outils IA ne va pas disparaître. Il se fera probablement plus discret.

[GBo]

C'est un business en effet, mais justement, pour la rentrée littéraire entre Aout et Octobre, je vois que 344 romans sont sortis (décompte de Livres Hebdo), sans compter les traductions. A supposer qu'ils soient écrits à la main pour la plupart, on veut vraiment rajouter les romans de ceux qui ne veulent pas ou ne peuvent pas les écrire eux mêmes ? On frise la saturation !
Perso comme dit plus haut, j'attends l'IA comme valeur créatrice, comme je peux le voir déjà en création vidéo (pour la musique, domaine que je connais le mieux car j'ai pratiqué la compo en home studio, j'attends le chef d'oeuvre impossible sans IA, ça viendra surement).

[Biname]

Il y aura des romans écrits par des humains, certifiés 100 % humains, et ils auront des lecteurs.

Et l'IA continue :

Il y aura des romans écrits par des IA, certifiés 100 % IA, et ils auront des lecteurs.

Il y aura des romans écrits par des humains avec l’aide d’une IA, et ils auront des lecteurs.

Il y aura des romans écrits par des IA, corrigés par des humains, relus par des humains, édités par des humains, et ils auront des lecteurs.

Et il y aura des lecteurs qui ne voudront lire que des humains, comme il y aura des lecteurs qui se moqueront éperdument de savoir qui a tenu le stylo — pourvu que l’histoire les emporte.

 Cliquez pour afficher

Ainsi en a-t-il toujours été.

Car le lecteur cherchera tantôt la vérité d’une voix, tantôt le plaisir d’une histoire, tantôt la beauté d’une phrase, tantôt simplement quelques heures d’oubli.

Et l’éditeur vendra tout cela.

Et le libraire le mettra en rayon.

Et l’algorithme le recommandera.

Et le marché prospérera.

Mais voici ce qui est plus étrange : au milieu de ce grand marché, certains continueront à écrire parce qu’ils ne pourront pas faire autrement.

Ils écriront sans garantie de succès, sans certitude d’être lus, sans même savoir exactement pourquoi ils écrivent.

Et peut-être que c’est là que se cachera encore l’Art.

Non pas dans le certificat attestant que l’auteur est humain.

Non pas dans la pureté du procédé.

Mais dans cette chose parfaitement inutile et parfaitement humaine qui consiste à vouloir dire quelque chose alors que personne ne vous l’a demandé.

Et les siècles passeront.

Et les technologies changeront.

Et les prophètes annonceront régulièrement la mort du roman, de l’auteur, de la littérature et, pourquoi pas, de l’humanité elle-même.

Et le lendemain, quelque part, quelqu’un ouvrira un livre.

Et il lira.

Et il sera bouleversé.

Ainsi soit-il.