[IA] Peut-on se fier aux détecteurs de textes écrits par IA ?

[vgondr98]

Aimerais-tu savoir que 'mon' IA pense de ton coefficient de dépendance ?

Pas vraiment. Tu peut dépasser le stade de l'interface de viande et donner ton propre avis pour changer.
-----

[MissJenny]

je crois que personne n'a fait cette remarque : il y a une analogie entre la détection de fragments de textes écrits par IA et la détection de fragments de génome de telle ou telle origine.

on a tous entendu parler du fait que dans le génome de chaque humain d'origine européenne, il y a des séquences d'origine neanderthalienne (autour de 2%). Ce qui rend l'identification de ces séquences difficile (et même hasardeux) c'est que si on considère des séquences trop courtes (à la limite 1 paire de bases) on ne peut les attribuer à une espèce ou une autre car elles se retrouvent partout, mais si on considère des séquences trop longues (disons 10000 paires de bases) alors la recombinaison qui est à l'oeuvre depuis 25000 ans fait que ces séquences ont probablement plusieurs origines.

je pense qu'il y a le même problème avec les textes : trop courts (à la limite 1 mot), on ne peut les attribuer à personne, et trop longs (le livre entier) ils peuvent être dûs an partie à un auteur humain et en partie à une IA.

[vgondr98]

En filant l'analogie de MissJeny, je suis tombé sur cette thèse qui est basé sur la détection du changement de style:
https://libra.unine.ch/entities/publ...2-480f3bb784f7

"En analysant les caractéristiques stylistiques d’un texte donné, la stylométrie cherche à déterminer ceux qui sont propres à son auteur et pouvant le discriminer des autres écrivains"

[Liet Kynes]

La "stylométrie" concept interessant qui ouvre le sujet vers d'autres strates : https://papers.ssrn.com/sol3/Deliver...746844&mirid=1

[oualos]

La "stylométrie" concept interessant qui ouvre le sujet vers d'autres strates

Compliqué car les auteurs dignes de ce nom sont toujours à la recherche de nouvelles formes plus originales et personnelles. En rupture avec ce qui a été fait précédemment...
Que doit-on dire du nouveau roman des années 1950 où il n'y a ni personnage et presque pas d'histoire ? Il fut qualité de "nouveau réalisme" ou anti-roman
https://fr.wikipedia.org/wiki/Nouveau_roman
C'est passé de mode tout comme le surréalisme mais un auteur pourrait décider d'y revenir ou s'en inspirer.

Je suis par ailleurs très admiratif de Georges Perec auteur ayant fait partie de l'Oulipo, ouvroir de littérature potentielle, courant novateur dans la littérature dont firent partie Raymond Queneau et Italo Calvino entre autre. Perec a écrit de " la disparition " roman qui fit sensation à l'époque et dans lequel ne figure jamais la lettre 'e'.
Il n'y avait ni informatique ni Internet et encore moins d'IA ce qui a du lui demander un travail considérable à piocher dans les dictionnaires pour arriver à faire des phrases cohérentes syntaxiquement et sémantiquement sans jamais employer la voyelle la plus courante de l'alphabet: une IA aujourd'hui y arriverait beaucoup plus facilement ce qui lui enlève rétrospectivement une part de son mérite.
Il a aussi inventé le plus long palindrome de l'histoire de la littérature
https://www.google.com/url?sa=t&sour...Q0fG5fvrnqwiM8
Pareil: une IA pourrait y arriver en relativement peu de temps ce qui lui enlève aussi rétrospectivement une part de son mérite.
Mais ça j'en suis pas aussi sûr que ça: j'ai pas essayé avec une IA.
Il est plus que vraisemblable que si on lui demande, elle va s'inspirer directement -ou pas?- du palindrome de Perec

[Biname]

Pas vraiment. Tu peut dépasser le stade de l'interface de viande et donner ton propre avis pour changer.

Mon avis est écrit dans le cours de ce fil, s'il t'intéresse vraiment très fort, tu peux relire tout le fil, ou en extraire mes messages, voire demander à l'IA des les trouver-résumer en lui fournissant l'adresse du fil(1).

Ton interface de viande naïve et préférée.
(1)

[vgondr98]

Compliqué car les auteurs dignes de ce nom sont toujours à la recherche de nouvelles formes plus originales et personnelles. En rupture avec ce qui a été fait précédemment...

C'est pas le cas des LLM. Donc on peut créer selon moi un système qui identifie le style des différentes versions des LLM et supposer que les styles inconnus sont humains.

[pm42]

Donc on peut créer selon moi un système qui identifie le style des différentes versions des LLM et supposer que les styles inconnus sont humains.

C'est compliqué toutefois. Tu fais écrire chaque paragraphe par un LLM différent, il se passe quoi ? Tu prends un LLM et tu fais du fine-tuning, il se passe quoi ?
Des exemples comme ça pour contourner les détecteurs, il y en a plein.

[vgondr98]

C'est vrai que j'ai pas envisagé le cas de LLM modifié par des pirates et revendus aux étudiants.

[GBo]

En filant l'analogie de MissJeny, je suis tombé sur cette thèse qui est basé sur la détection du changement de style:
https://libra.unine.ch/entities/publ...2-480f3bb784f7

"En analysant les caractéristiques stylistiques d’un texte donné, la stylométrie cherche à déterminer ceux qui sont propres à son auteur et pouvant le discriminer des autres écrivains"

C'est un peu le principe de Pangram justement, il tente de reconnaitre les spécificités des textes générés par LLM comme s'il s'agissait d'un auteur particulier, même lorsqu'il imite un auteur humain (si j'ai bien compris), cf. les messages #140 à #143 tiré de leur site, c'est un peu long mais ca vaut le coup d'être lu.

[Liet Kynes]

Au final en cas de positif le detecteur de pangram devrait annoncer une probabilté qu'un texte est composé de x% de chatgpt, x% de Claude etc.. écris par "l'IA" n'ayant pas de sens au regard de ses compétences réelles.

Quand on y reflechi, le gars qui s'est fait coincé permettera à d'autres de ne pas tomber dans le même genre de piège.

[GBo]

[...]
Quand on y reflechi, le gars qui s'est fait coincé permettera à d'autres de ne pas tomber dans le même genre de piège.

C'est dans la lignée de ce que je disais au message #110 :
"A supposer que le roman objet de la controverse soit effectivement à 95% issue d'une IA, il ne se sera fait choper que parce que les mesures d'"humanisation" n'ont pas été prises"

[oualos]

C'est pas le cas des LLM. Donc on peut créer selon moi un système qui identifie le style des différentes versions des LLM et supposer que les styles inconnus sont humains.

Je suis sceptique.
Est-ce que ça a été fait, d'identifier une sorte de signature langagière dans les LLM, pour chacune d'entre elles ?
Ceci dit les générateurs de textes sont assez répétitifs dans la forme au niveau des expressions, se préoccupent de la syntaxe si elle est correcte à 100% et des règles de base de la grammaire à condition qu'elles soient respectées.
Aussi à 100%...
Par exemple la poésie me semble hors de ce domaine et les auteurs cherchent souvent à briser le rythme, au risque de faire des phrases incorrectes syntaxiquement voir grammaticalement.
La répétition peut être aussi un artifice de style.
Donc ta remarque est juste à condition qu'on n'entraine pas exclusivement les LLM sur de la poésie ou du nouveau roman, de l'Oulipo bref sur toutes ces formes éminemment minoritaires dans l'histoire de la littérature mais qui ont fait progresser cette dernière au moins en suscitant l'intérêt et un débat. Même si elles ont été abandonnées par la suite...

P.S. C'est un forum scientifique ici certes donc il est normal qu'on parle surtout de performances, de probabilités et de statistiques.
Mais avez-vous songé une seconde aux écrivains et aux poètes et la modification de leur statut dans la production littéraire ou poétique ? Cela les concerne en premier lieu car la première suspicion des éditeurs et lecteurs risque d'être la question "l'AI a-t-elle participé à l'écriture ?"
Et zou, on va tout passer en premier à la moulinette des pangram et autres détecteurs de faux positifs ou négatifs.
Quand on aura fini ce boulot de titan avec les romans récents on s'intéressera aux romans de ces disons 5 dernières années.

[GBo]

.
Est-ce que ça a été fait, d'identifier une sorte de signature langagière dans les LLM, pour chacune d'entre elles ?

C'est ce que tente de faire Pangram, bis repetita : lire les messages #140 à #143 (explications des concepteurs de Pangram + traduction).

[vgondr98]

Mais avez-vous songé une seconde aux écrivains et aux poètes et la modification de leur statut dans la production littéraire ou poétique ?

Je pense qu'il y a aura des labels sur les romans. Romans produit sur tel logiciel bidule truc avec des graphiques dans tous les sens pour prouver qu'il en a bavé.

[oualos]

Extrait du parisien libéré
Titre: "C'était ça ou mourir" une lecture polluée par la polémique autour de l'IA

P.S. Affichez le dernier jpg plus propre

[Biname]

Evolution de la lecture au cours de dernières années : forte baisse

IA : EVOLUTION DU NOMBRE DE LIVRES LUS PAR AN ET PAR HABITANT (DONNEES & PREVISIONS)

 Cliquez pour afficher

[1] VOLUME GLOBAL ANNUEL (MOYENNE PAR HABITANT)
--------------------------------------------------------------------------------
* 2019 : 22.0 livres / an
* 2023 : 22.0 livres / an
* 2025 : 18.0 livres / an <-- Chute brutale (-4 livres en 2 ans)
* 2030 (Prév.) : 14.5 livres / an <-- Tendance baissière continue (modèle linéaire)

[2] EVOLUTION ET TENDANCES PAR TYPE DE FORMAT / GENRE
--------------------------------------------------------------------------------

A. Romans & Fiction Générale (Littérature, Policier, Rentrée littéraire)
- Statut actuel : Volume en baisse modérée mais reste le premier choix.
- 2023 : ~7.5 romans / an
- 2025 : ~6.2 romans / an
- Prév. 2030 : ~4.8 romans / an
- Dynamique : Concentration sur les best-sellers au détriment de la diversité.

B. Bandes Dessinées, Mangas & Comics
- Statut actuel : Stabilisation après une explosion historique (post-Covid).
- 2023 : ~6.0 albums-tomes / an
- 2025 : ~5.0 albums-tomes / an
- Prév. 2030 : ~4.2 albums-tomes / an
- Dynamique : Le public jeune stagne ou réduit son panier d'achat à cause de l'inflation.

C. Livres Numériques (E-books)
- Statut actuel : Croissance lente mais continue chez les jeunes actifs (25-34 ans).
- 2023 : ~2.8 e-books / an
- 2025 : ~3.1 e-books / an
- Prév. 2030 : ~4.0 e-books / an
- Dynamique : Seul format textuel en progression constante (gain de praticité).

D. Livres Audio (Audiobooks)
- Statut actuel : Forte hausse du taux d'adoption (écoute passive / multitâche).
- 2023 : ~1.2 livres audio / an
- 2025 : ~1.8 livres audio / an
- Prév. 2030 : ~3.5 livres audio / an
- Dynamique : Plus forte progression en pourcentage, tirée par les abonnements streaming.

[3] INDICATEURS DE TEMPS ET COMPORTEMENT (COMPLEMENTS)
--------------------------------------------------------------------------------
* Temps de lecture quotidien moyen (2023) : 41 minutes / jour
* Temps de lecture quotidien moyen (2025) : 31 minutes / jour
* Prév. Temps de lecture (2030) : ~22 minutes / jour (si concurrence écrans inchangée)
* Nombre moyen de genres lus par an : Passe de 6.1 (2023) à 5.4 (2025).

============================== ============================== ====================
Sources : Synthèse Baromètres CNL / Modélisations statistiques prévisionnelles 2026.
============================== ============================== ====================

IA : HISTORIQUE LONGUE PERIODE (1980 - 2030) : LA LECTURE DE ROMANS

 Cliquez pour afficher

1. VOLUME ANNUEL MOYEN DE ROMANS LUS (PAR LE PARCOURS DE VIE D'UN LECTEUR)
--------------------------------------------------------------------------------
* 1980 : 14.2 romans / an <-- Âge d'or du poche, peu de concurrence numérique.
* 1995 : 11.5 romans / an <-- Arrivée d'Internet grand public et de la TV par câble.
* 2010 : 9.1 romans / an <-- Démocratisation des smartphones et réseaux sociaux.
* 2020 : 7.8 romans / an <-- Effet rebond temporaire (Confinements Covid).
* 2023 : 7.5 romans / an <-- Reprise de la baisse structurelle.
* 2025 : 6.2 romans / an <-- Concurrence frontale du streaming / TikTok.
* 2030 (Prév.) : 4.8 romans / an <-- Hypothèse basse de stabilisation.


2. LA TRANSFORMATION COMPORTEMENTALE (GRAND LECTEUR VS LECTEUR OCCASIONNEL)
--------------------------------------------------------------------------------
Pourcentage de la population lisant "+ de 25 romans par an" :
* En 1981 : ~14 % de la population (Profil classique : cadres, étudiants, seniors).
* En 2008 : ~8 % de la population.
* En 2025 : ~4.5 % de la population (Concentré majoritairement chez les 65 ans+).

Pourcentage de la population lisant "1 à 4 romans par an" (Lecteurs occasionnels) :
* En 1981 : ~24 %
* En 2025 : ~38 % <-- Le profil type s'est déplacé vers la lecture occasionnelle.


3. EVOLUTION PHYSIQUE DU ROMAN : MOINS DE LIVRES, MAIS PLUS DE PAGES ?
--------------------------------------------------------------------------------
Une tendance majeure observée par les analystes littéraires est l'augmentation de
l'épaisseur des livres pour capter l'attention :
* Épaisseur moyenne d'un roman à succès en 1984 : ~320 à 350 pages.
* Épaisseur moyenne d'un roman à succès en 2014 : ~400 à 450 pages.
* Statut actuel (2025/2026) : Le format "brique" (romans de fantasy/New Romance de
plus de 600 pages) domine les meilleures ventes chez les jeunes.


4. LA DYNAMIQUE DES SOUS-GENRES EN 40 ANS
--------------------------------------------------------------------------------
* 1980 - 2000 : Domination absolue de la littérature générale, du roman de terroir,
du thriller classique et du roman historique.
* 2000 - 2015 : Montée en puissance du thriller psychologique, de la Chick-Lit,
et émergence forte de la Fantasy/Jeunes adultes (Harry Potter, Twilight).
* 2015 - 2026 : Explosion de la "New Romance" (romans sentimentaux modernes) et de
la Romantasy, devenues les segments les plus rentables du secteur.

============================== ============================== ====================
Note : Les chiffres avant 2015 s'appuient sur les enquêtes historiques du Ministère
de la Culture ("Pratiques culturelles des Français") et depuis 2015 sur le CNL.
============================== ============================== ====================

A ce rythme-là, le problème s'éteindra bientôt. Les éditeurs ne devraient pas faire la fine bouche.

[Biname]

Suite :
IA : HISTORIQUE ET EVOLUTION DE LA LECTURE DE REVUES ET MAGAZINES (1980 - 2030)

 Cliquez pour afficher

1. TAUX DE LECTEURS REGULIERS DE PRESSE MAGAZINE (AU MOINS 1 FOIS PAR SEMAINE)
--------------------------------------------------------------------------------
* 1980 : ~78 % de la population lisait au moins un magazine par semaine.
* 1997 : ~65 %
* 2010 : ~48 % <-- Arrivée des smartphones et des flux d'actualités gratuits.
* 2020 : ~31 %
* 2025 : ~22 % <-- La baisse s'accélère avec l'arrêt de titres historiques.
* 2030 (Prév.) : ~12 % (Concentré quasi exclusivement sur les niches ultra-spécialisées).


2. EVOLUTION PAR COMPORTEMENT ET PAR FORMAT (PAPIER VS NUMERIQUE)
--------------------------------------------------------------------------------

A. Revues Spécialisées / Thématiques (Art, Sciences, Histoire, Académique)
- Statut actuel : Résistance du format "Mook" (revue-livre haut de gamme).
- Années 1990 : Lectures fréquentes en bibliothèque et abonnements personnels.
- Années 2020 : Effondrement du papier. Le lectorat se déplace vers les plateformes
numériques (Cairn.info, Europresse) ou la vidéo de vulgarisation.
- Tendance 2030 : Seuls les formats payants à forte valeur ajoutée subsistent en papier.

B. Magazines Grand Public (Actualité, Féminin, Télévision, People)
- Statut actuel : Chute historique de la diffusion physique (-60% à -80% en 20 ans).
- Années 1980-2000 : Présence systématique dans les foyers (Ex: Télérama, Paris Match).
- Années 2020-2026 : Lecture "au numéro" en déclin massif, le public vieillit fortement.
- Tendance 2030 : Transition totale vers des modèles d'abonnements 100% web.

C. Kiosques Numériques / Applications de Flux (Cafeyn, Pass Presse, etc.)
- Statut actuel : Seul segment en progression, souvent inclus dans les offres télécoms.
- 2015 : Émergence des bouquets de lecture numérique.
- 2025 : Représente plus de 45% des "occasions de lecture" d'un titre de presse.
- Tendance 2030 : Devient le mode d'accès par défaut à la presse magazine.


3. LA SÉPARATON GÉNÉRATIONNELLE DE LA LECTURE DE REVUES
--------------------------------------------------------------------------------
* Les 65 ans et plus : Restent attachés au format papier (moyenne de 3.2 magazines
lus régulièrement par mois en 2025).
* Les moins de 25 ans : N'achètent pratiquement plus aucun magazine ou revue papier.
La consommation se fait sous forme d'articles isolés via les réseaux sociaux
(Instagram, TikTok, X) ou des applications de "scroll" d'actualités.

============================== ============================== ====================
Sources : Synthèse Enquêtes "Pratiques culturelles des Français" / Données ACPM OneNext.
============================== ============================== ====================

[Liet Kynes]

Evolution de la lecture au cours de dernières années : forte baisse
IA : EVOLUTION DU NOMBRE DE LIVRES LUS PAR AN ET PAR HABITANT (DONNEES & PREVISIONS)

On entends tout et n'importe quoi sur la lecture et la vente de livres. Le sondage CNL me parait particulièrement à prendre avec des pincettes https://centrenationaldulivre.fr/sit...2025-04-08.pdf

Perso je suis complètement incapable de dire le nombre de livres que j'ai lu en un an et de faire la part des lus complètement ou pas.. Mais bon à l'Insee ils ont des répondants (rémunérés souvent) qui ont des super pouvoirs..

[oualos]

C'est ce que tente de faire Pangram, bis repetita : lire les messages #140 à #143 (explications des concepteurs de Pangram + traduction)

Le coefficient de perplexité me rend... perplexe. J'ai pas réussi à lire jusqu'au bout.
Ça veut dire tout simplement qu'on peut essayer de mathématiser certaines choses dans le langage mais que cette entreprise a ses limites.
Voir la logique floue et aussi de façon très différente la logique de Tarski mais qui œuvre dans un registre plus symbolique autour de la logique et l'énoncé émis par le sujet dans le but de retomber sur une logique booléenne donc binaire.
Et ça a une utilité incontestable.
Le langage est souvent volontairement flou, des fois imprécis et parfois aussi désubjectivé à divers degrés sous forme d'énoncés qui se veulent canoniques.
Le langage emprunte parfois des formes aux mathématiques mais on ne peut pas généraliser en disant que le langage est mathématique et descriptible par cette voie uniquement: d'où la limite intrinsèque et systémique de ces détecteurs d'IA

[Liet Kynes]

Le coefficient de perplexité me rend... perplexe. J'ai pas réussi à lire jusqu'au bout.
Ça veut dire tout simplement qu'on peut essayer de mathématiser certaines choses dans le langage mais que cette entreprise a ses limites.
Voir la logique floue et aussi de façon très différente la logique de Tarski mais qui œuvre dans un registre plus symbolique autour de la logique et l'énoncé émis par le sujet dans le but de retomber sur une logique booléenne donc binaire.
Et ça a une utilité incontestable.
Le langage est souvent volontairement flou, des fois imprécis et parfois aussi désubjectivé à divers degrés sous forme d'énoncés qui se veulent canoniques.
Le langage emprunte parfois des formes aux mathématiques mais on ne peut pas généraliser en disant que le langage est mathématique et descriptible par cette voie uniquement: d'où la limite intrinsèque et systémique de ces détecteurs d'IA

Perplexe en tout cas il y a de quoi l'être !

[vgondr98]

Le coefficient de perplexité me rend... perplexe.

Le principe n'est pas très compliqué, il est basé sur la capacité d'un LLM à compléter une phrase.
Par exemple, si la phrase est "le chat mange la ...", le détecteur pensera que le prochain mot sera "souris". Si c'est bien le cas, le détecteur ne sera pas "surpris" et la perplexité sera basse.
Si le mot est "dromadaire", le détecteur sera "surpris" et la perplexité sera plus haute.
Mais ce n'est pas une bonne métrique. Elle pénalise par exemple les étudiants étrangers écrivant en anglais car leur vocabulaire est plus limité qu'un natif.

Voila une référence sur ce problème de biais : https://www.sciencedirect.com/scienc...66389923001307

[polo974]

Extrait du parisien libéré
Titre: "C'était ça ou mourir" une lecture polluée par la polémique autour de l'IA

P.S. Affichez le dernier jpg plus propre

Le Parisien n'est plus Libéré depuis longtemps et fait maintenant partie du même groupe que l'éditeur du livre, il est en mission de sauvetage...

[oualos]

très bien merci

Mais il faudra une LLM spécialement entrainée pour détecter les textes un peu fous, les récits de rêves où c'est la souris qui peut manger le chat style Tom et Jerry, des personnages dyslexiques ou atteints de troubles du langage qui s'expriment: ça arrive aussi dans les romans. Rarement c'est vrai mais du coup le LLM va dire que c'est écrit par une IA et le disqualifier si ça revient trop souvent?
Voire aussi le surréalisme de Breton si on veut citer un courant qui a disparu mais qui a joué un rôle très important...
Il y a un évident Manque de souplesse ou d'adaptabilité dans ce coefficient de perplexité.
Comme vous dites ce n'est pas que ce soit une mauvaise métrique ou une métrique pas bonne , c'est qu'elle est entrainée à ce qui revient le plus souvent dans les textes, le plus probable c.-à-d. que ce soit le chat qui mange une souris.
Toute métaphore est donc "hors jeu" et si ça revient souvent, ça surprendra tellement le détecteur qu'il en aura le hoquet et sera obligé de boire un verre d'eau ou qu'on lui fasse peur pour que ça passe.
Il existe des tas de figures dans la stylistique dont l'anaphore (il y a de gros livres qui traitent de toutes les figures de styles rien qu'en français et elles sont nombreuses) et l'auteur haïtien en fait souvent usage.
Comme les structures ternaires très employées par l'IA ou l'emploi répétitif du comparatif "comme" dont il fait aussi très souvent usage paraît-il.

Je l'ai pas lu je précise

Le Parisien n'est plus Libéré depuis longtemps et fait maintenant partie du même groupe que l'éditeur du livre, il est en mission de sauvetage...

Possible mais c'est un point de vue qui se défend ou au moins qui se comprend

[pm42]

Mais ce n'est pas une bonne métrique. Elle pénalise par exemple les étudiants étrangers écrivant en anglais car leur vocabulaire est plus limité qu'un natif.

C'est pire que ça : on a découvert qu'on peut déterminer la langue natale des parents voire grand-parents de quelqu'un pourtant élevé et scolarisé par exemple aux USA dont la langue maternelle est l'anglais.
Parce que certaine structures grammaticales sont favorisées, celles les plus proches de la langue des ancêtres et que cela reste sur au moins 2 générations.

On peut imaginer que cela pourrait donner là aussi des biais dans la détection.

Au passage et à propos de la dite détection, un des problèmes de l'IA est très simple : les humains ont l'image, l'habitude et l'attente de l'ordinateur comme un truc froid, désincarné qui ne fait pas d'erreur.
C'est quasi systématique dans la SF et tant qu'on a demandé aux ordinateurs de faire des tableurs Excel, confirmé par l'expérience.

L'IA, c'est tout autre chose et statistique. Pire, on s'en sert pour des tâches impossibles avant où le concept même de "100% ou équivalent" n'a pas de sens.
On est donc très mal armés pour penser cela et on en revient à ce que je disais plus haut : un détecteur à 99% a l'air très bien mais le 1% suffit pour créer de l'injustice massive.
D'ailleurs, est ce qu'on accepterait de monter dans un avion qui a 99% de chances d'arriver à bon port de nos jours ?

[GBo]

Le principe n'est pas très compliqué, il est basé sur la capacité d'un LLM à compléter une phrase.
Par exemple, si la phrase est "le chat mange la ...", le détecteur pensera que le prochain mot sera "souris". Si c'est bien le cas, le détecteur ne sera pas "surpris" et la perplexité sera basse.
Si le mot est "dromadaire", le détecteur sera "surpris" et la perplexité sera plus haute.
Mais ce n'est pas une bonne métrique. Elle pénalise par exemple les étudiants étrangers écrivant en anglais car leur vocabulaire est plus limité qu'un natif.

Voila une référence sur ce problème de biais : https://www.sciencedirect.com/scienc...66389923001307

Sauf que justement, ce n'est pas la perplexité qui est utilisée par Pangram, tu as oublié de le préciser...

Famously, perplexity models also fail on many texts that predate the advent of the computer. Perplexity-based detection likes to tell you that the Bible or the Declaration of Independence are 100% AI-generated. It does this because LLMs read the Declaration of Independence thousands of times during the course of their training, so every next word contained therein is very unsurprising from the LLM’s perspective. The detector misinterprets that likelihood as evidence the writing is AI-generated.
Pangram avoids this because it is not trying to reverse-engineer how an LLM generates text. Rather than looking at each word and asking “what would an LLM write here?” Pangram looks at the whole text and asks “who does this sound like?” This way, ChatGPT’s level of familiarity could never cause Pangram to misclassify historical documents as AI-generated – but not every case is so easy.

https://forums.futura-sciences.com/a...ml#post7381718

[GBo]

Il existe des tas de figures dans la stylistique dont l'anaphore (il y a de gros livres qui traitent de toutes les figures de styles rien qu'en français et elles sont nombreuses) et l'auteur haïtien en fait souvent usage.
Comme les structures ternaires très employées par l'IA ou l'emploi répétitif du comparatif "comme" dont il fait aussi très souvent usage paraît-il.

C'est en effet légitime d'imaginer cette hypothèse, raison pour laquelle des bouquins d'autres auteurs Haïtiens francophones (bouquins sortis avant l'ère ChatGPT pour être sûr qu'ils sont humains) sont en train d'être testés avec le même Pangram ; aucun n'est sorti "positif IA" jusqu'ici.
Un exemple (il y en a d'autres) :
https://pages.flint.media/flint/tests-pangram-orelien/

[MissJenny]

A mon avis il ne va pas falloir longtemps avant que quelqu'un n'accouple un générateur de texte à un détecteur d'IA dans un processus itératif jusqu'à ce que le texte ne puisse plus être reconnu comme émanant d'une IA.

[Liet Kynes]

A mon avis il ne va pas falloir longtemps avant que quelqu'un n'accouple un générateur de texte à un détecteur d'IA dans un processus itératif jusqu'à ce que le texte ne puisse plus être reconnu comme émanant d'une IA.

Il y a "dégradation" de la qualité en faisant un process humaniseur/detetcteur d'après ce que j'ai lu mais bon techniquement il y a des moyens de controurner les detecteurs (cf PM42 #177 ).

La question du style est celle qui est mise en avant en ce moment mais au delà, un livre intègre pleins de choses que le IA peuvent faire sans que l'on puisse leur attribuer.

Les débats sur le bouquin fait par IA sont ridicules en fait. Tout un pan de la société voit ses prérogatives remises en question comme cela a été le cas avec d'autres technologies mais là c'est la partie qui se croyait "intouchable" qui doit se remettre en question: c'est peut-être cela le vrai débat de fond avec cette affaire.

[Cyrano]

A mon avis il ne va pas falloir longtemps avant que quelqu'un n'accouple un générateur de texte à un détecteur d'IA dans un processus itératif jusqu'à ce que le texte ne puisse plus être reconnu comme émanant d'une IA.

qu'est ce que l'iA va modifier dans le texte quand on lui sort "98 % IA" ?
Ca m'est arrivé d'avoir des conversations "à la con" avec une IA où je n'étais pas d'accord avec ce qu'elle disait, et elle ne tenait aucun compte de mes objections, elle se répétait en boucle.