[IA] Peut-on se fier aux détecteurs de textes écrits par IA ?

[GBo]

Par contre, le juger coupable d'office (le disqualifier) pour les concours, c'est pas très fair play... Mais l'IA, c'est le mal absolu. donc, au bûcher sans procès

Pour le Goncourt tu veux dire ? C'est leur droit d'écarter la génération artificielle de texte de leur sélection, ils ne disent pas que c'est illégal, et ça ne l'est pas. Ce qui a précipité la décision (sans preuve absolue d'IA tenant la plume donc, et la décision n'a pas été facile d'après Éric-Emmanuel Schmitt), c'est le passé de plagiaire de l'auteur, lequel n'a été révélé qu'après les accusations d'utilisation probable de l'IA, grâce à une enquête du quotidien québécois La Presse dans lequel l'écrivain avait publié des chroniques.
Mais on dérive...
Est-ce qu'un style humain mais influencé par ChatGPT (à force d'en lire) peut faire rougir le détecteur Pangram ? Question que je me pose à ce stade de la discussion.
-----

[vgondr98]

La probabilité d'observer 4 900 positifs si le texte était humain est de l'ordre de 1/10⁴ ⁰⁰⁰ (1 sur 10 exposant 4000).

Bin non. Y a aucune raison que les paragraphes d'un bouquin soient indépendant.

Si un auteur a un style particulier qui fait qu'un paragraphe déclenche un faux positif, les autres paragraphes auront le même souci.

[GBo]

Si un auteur a un style particulier qui fait qu'un paragraphe déclenche un faux positif, les autres paragraphes auront le même souci.

On est d'accord là dessus, c'est logique. Mais si c'est humain, c'est quand même un sacré tour de force de maintenir un style aussi particulier et systématique sur 250 pages, de quoi tromper le meilleur détecteur du moment quelque soit l'extrait qu'on lui soumet.

[vgondr98]

On est d'accord là dessus, c'est logique. Mais si c'est humain, c'est quand même un sacré tour de force de maintenir un style aussi particulier et systématique sur 250 pages, de quoi tromper le meilleur détecteur du moment quelque soit l'extrait qu'on lui soumet.

Peut-être mais pour moi, un score de détecteur d'IA ne suffit pas. Il faut d'autres indices. Dans le cas de Thélyson Orélien, y'en a pas mal. Déjà, c'est un plagieur et la probabilité d'utiliser l'IA pour écrire un roman sachant qu'on est un plagieur est assez élevé et le score pangram n'est qu'un indice parmi d'autres. Et donc la probabilité qu'un écrivain sans aucune casserole avec un score pangram élevé vers l'IA ait effectivement utilisé l'IA est faible. A l'inverse, la probabilité qu'un écrivain douteux avec un score pangram élevé vers l'IA ait effectivement utilisé l'IA est bien plus élevé.

[GBo]

Il y a aussi le fait que comme c'est un premier roman et qu'il sort après l'avènement de ChatGPT (fin 2022), on ne peut pas analyser l'évolution du style du romancier pré / post IAs LLM. En cas de doute, on aimerait bien passer à la moulinette un roman (ou une nouvelle à la rigueur) pré-2022 pour vérifier si c'est le style de l'auteur qui fait planter le détecteur, mais quand il n'y en a pas...

[oualos]

Ça me met mal à l'aise cette irruption d'un détecteur de probabilités bonnes ou mauvaises dans la littérature. Une sorte de bataille d'Hernani autour de l'émigration vue par un émigrant narrée dans un livre...
Je pense qu'on va devoir se coltiner ça assez souvent maintenant, quasiment à chaque sortie d'un nouveau bouquin.
La littérature va y perdre son charme si on doit se poser la question à chaque livre: oui mais n'est-ce pas le style d'une IA cette écriture ?
Bon il reste Stendhal, Hugo et quelques autres mais quand même
Merci pour le podcast, très intéressant

[Liet Kynes]

A l'inverse, la probabilité qu'un écrivain douteux avec un score pangram élevé vers l'IA ait effectivement utilisé l'IA est bien plus élevé.

Probabilité = calculs : C'est quoi les termes,la formule et les valeurs pour obtenir un résultat ?

[Biname]

Bin non. Y a aucune raison que les paragraphes d'un bouquin soient indépendant.

Si un auteur a un style particulier qui fait qu'un paragraphe déclenche un faux positif, les autres paragraphes auront le même souci.

Oui, c'est une des bémols ! Quelle incidence sur les 1/10^4000 ?

[Biname]

Ça me met mal à l'aise cette irruption d'un détecteur de probabilités bonnes ou mauvaises dans la littérature. Une sorte de bataille d'Hernani autour de l'émigration vue par un émigrant narrée dans un livre...
Je pense qu'on va devoir se coltiner ça assez souvent maintenant, quasiment à chaque sortie d'un nouveau bouquin.
La littérature va y perdre son charme si on doit se poser la question à chaque livre: oui mais n'est-ce pas le style d'une IA cette écriture ?
Bon il reste Stendhal, Hugo et quelques autres mais quand même
Merci pour le podcast, très intéressant

L'important, c'est le texte, pas l'auteur ?

[vgondr98]

Probabilité = calculs : C'est quoi les termes, la formule et les valeurs pour obtenir un résultat ?

Oui c'est une hypothèse de ma part, à savoir que les plagieurs d'antan sont les utilisateurs d'IA de maintenant. Pour le vérifier, on pourrait utiliser Pangram justement. Si la proportion de score IA élevé est enrichi dans la population des plagieurs, on aura un début de réponse.

[mh34]

L'important, c'est le texte, pas l'auteur ?

Les deux comptent, évidemment. Raison pour laquelle je n'achèterai plus de livre suffisamment récent pour être susceptible d'avoir été écrit au moins partiellement par une IA, s'il n'est pas indiqué qui sont les auteurs, et dans quelles proportions.

Mais c'est pas grave, il en reste quelques milliers à lire pour lesquels la question ne se pose pas.

[vgondr98]

Oui, c'est une des bémols ! Quelle incidence sur les 1/10^4000 ?

Elle est énorme. Tu ne peut pas multiplier des probabilités entre elles si les variables sont dépendantes.

[oualos]

Les deux comptent, évidemment. Raison pour laquelle je n'achèterai plus de livre suffisamment récent ≈, s'il n'est pas indiqué qui sont les auteurs, et dans quelles proportions.

Mais c'est pas grave, il en reste quelques milliers à lire pour lesquels la question ne se pose pas.

Il existe sur Amazon des livres en vente avec mentionné "Ecrit par l'IA" mais la juridiction n'en fait pas une obligation apparemment
Ça implique toute une nouvelle jurisprudence concernant l'obligation de mentionner la part d'IA Dans un livre nouvellement sorti.
On n'est pas sortis de l'auberge. Quelle prise de tête!
Moi non plus je n'achèterai plus de livres suffisamment récents s'il n'est pas indiqué qui sont les auteurs, et dans quelles proportions

[Liet Kynes]

Si la proportion de score IA élevé est enrichi dans la population des plagieurs, on aura un début de réponse.

Encore faut-il identifier cette population de plagieurs.

[vgondr98]

Encore faut-il identifier cette population de plagieurs.

Ce n'est pas la plus grosse difficulté. Ce qui est difficile, c'est de constituer un panel contrôle d’auteurs clean (il pourrait s'y planquer des plagieurs discrets).

[GBo]

Les "Décrypteurs" de Radio Canada ont interrogé la chercheuse Marzena Karpinska* au sujet de Pangram (fiabilité, fonctionnement...):

"Controverse Thélyson Orélien : ce qu’il faut savoir sur Pangram"
https://ici.radio-canada.ca/nouvelle...-test-roman-ia

(*) son CV : https://marzenakrp.github.io/assets/pdf/cv.pdf

[GBo]

Une précision cependant, quand il est dit dans l'article que "la chercheuse souligne que le taux de faux positifs de l’outil sur des textes en français est aujourd’hui de 0,0026 %", il s'agit en fait des chiffres des benchmarks faits par Pangram et que l'on retrouve ici:
https://www.pangram.com/research/model-card/pangram-4
-> Pangram 4 étant récent (fin Juillet), ces perfs n'ont pas, à ma connaissance, été vérifiées indépendamment.

[ThM55]

Il existe sur Amazon des livres en vente avec mentionné "Ecrit par l'IA" mais la juridiction n'en fait pas une obligation apparemment
Ça implique toute une nouvelle jurisprudence concernant l'obligation de mentionner la part d'IA Dans un livre nouvellement sorti.
On n'est pas sortis de l'auberge. Quelle prise de tête!
Moi non plus je n'achèterai plus de livres suffisamment récents s'il n'est pas indiqué qui sont les auteurs, et dans quelles proportions

Dans l'UE, il y a une obligation d'étiquetage qui est instaurée par un règlement européen (qui n'est pas une directive, donc ne doit pas être transposé en lois nationales). Voir par exemple: https://eur-lex.europa.eu/FR/legal-c...in-the-eu.html . C'est récent (août 2026).

[Biname]

Il est amusant de constater qu'ici comme dans les cas d'attaques IA autonomes et autres, seule l'IA peut contrer l'IA.

Concernant le candidat au Goncourt, on l'isole et on lui demande de rédiger un texte de 100 mots ! Avec miradors et tout . La probabilité d'un faux positif, lorsque Pangram annonce texte 94% IA est infime ???10e-16000 selon des calculs IA !

'Je' considère qu'on a désormais des outils fiables pour détecter les textes composés par l'IA. Reste à graver ça dans le droit ...

[GBo]

'Je' considère qu'on a désormais des outils fiables pour détecter les textes composés par l'IA. Reste à graver ça dans le droit ...

vgondr98 a prouvé le contraire ici même, l'article de Radio Canada en parle aussi : il est assez facile de générer un texte par IA puis de le modifier par divers moyens pour qu'il leurre le meilleur détecteur du moment (qui fait alors un "faux négatif" en déclarant le texte 100% humain).
A supposer que le roman objet de la controverse soit effectivement à 95% issue d'une IA, il ne se sera fait choper que parce que les mesures d'"humanisation" n'ont pas été prises.

[Liet Kynes]

'Je' considère qu'on a désormais des outils fiables pour détecter les textes composés par l'IA. Reste à graver ça dans le droit ...

Bon ben bon courrage: l'idée est absurde étant donné que, entre autres, l'IA évolue en permanence.

[vgondr98]

La probabilité d'un faux positif, lorsque Pangram annonce texte 94% IA est infime ???10e-16000 selon des calculs IA !

Je t'ai déjà dit que tes calculs étaient faux IA ou pas. Tu ne peut pas multiplier des probabilité de détection faites sur des extraits de pages car le contenu des pages n'est pas indépendants.
Un exemple, tu as 1 sac remplis de boules rouges et un sac remplis remplis de boules blanches.
Tu décide de tirer des boules dans un des sacs en utilisant une pièce de monnaie et sans changer de sac à chaque tirage.
Après 1 milliard de tirage, quel est la probabilité de tirer que des boules rouges ?
Bin 0.5 car les tirages ne sont pas indépendants. Ton IA au ras des pâquerettes répondrait 0.0000000000000000000000000000 000... ?

[Biname]

Je t'ai déjà dit que tes calculs étaient faux IA ou pas. Tu ne peut pas multiplier des probabilité de détection faites sur des extraits de pages car le contenu des pages n'est pas indépendants.
Un exemple, tu as 1 sac remplis de boules rouges et un sac remplis remplis de boules blanches.
Tu décide de tirer des boules dans un des sacs en utilisant une pièce de monnaie et sans changer de sac à chaque tirage.
Après 1 milliard de tirage, quel est la probabilité de tirer que des boules rouges ?
Bin 0.5 car les tirages ne sont pas indépendants. Ton IA au ras des pâquerettes répondrait 0.0000000000000000000000000000 000... ?

Et lorsque tu parles, le monde doit se taire ? Propose un autre calcul qui atteindrait les plafonds, voire le firmament !
Les données : 2% de faux positifs pour un texte d'une taille minimum 50 mots et un livre de 250 pages de 2000 caractères, pour le Goncourt 94% de positifs.

[Biname]

Bon ben bon courrage: l'idée est absurde étant donné que, entre autres, l'IA évolue en permanence.

Pangram aussi !

[vgondr98]

Et lorsque tu parles, le monde doit se taire ?

Non juste toi, le temps que tu prennes des cours de stats.

[Biname]

Non juste toi, le temps que tu prennes des cours de stats.

Vas-y, on attend tes stats ?

[Biname]

GBo 110 : Si un texte a été modifié par un humain est-il encore un texte IA ?

[Biname]

J'explique 'ma' méthode : données : Pangram 2% de faux positifs pour des textes de 50 mots, disons 250 caractères(5 caractères par mot). Une page comporte en moyenne 2000 caractères ou de 400 mots, soit pour tout le livre 100000 mots. Je découpe le livre en tranche de 50 mots, soit 2000 tranches. Je passe ces 2000 tranches à Pangram - une à une - qui, pour chaque tranche, me répond IA ou humain.

Quelle est la probabilité d'obtenir n réponses IA pour un texte 100% humain, n variant de 1 à 2000. Je passe le problème à l'IA.

Oui, il y a une dépendance, quelqu'un peut la chiffrer ?

[vgondr98]

Je découpe le livre en tranche de 50 mots, soit 2000 tranches. Je passe ces 2000 tranches à Pangram - une à une - qui, pour chaque tranche, me répond IA ou humain.

TU devrais suivre mon conseil et suivre des cours de statistiques. La tu est en plein dans le problème bais-variance (https://fr.wikipedia.org/wiki/Dilemme_biais-variance) couplé à une dépendance entre variable.

Pour gérer la dépendance, je n'ai pas les connaissances statistique nécessaire donc demande à ton IA. Une piste proposée est de modéliser tes séquences de texte par une chaîne de Markov caché.
Si pour chaque tranche t (de 1 à 2000), Pangram renvoie soit Humain, soit IA.

Dans ton calcul naïf, les tranches sont indépendantes alors la probabilité de l'état en t ne dépend que du hasard du test.

Dans une chaîne de Markov d'ordre 1, on introduit une matrice de transition :

- Quel est la probabilité d'obtenir "IA" sachant que la tranche précédente était déja "IA" ?
- Quel est la probabilité d'obtenir "Humain" sachant que la précédente était déja "Humain" ?

import numpy as np

# Paramètres de l'expérience de Biname
n_tranches = 2000
p_fp = 0.02  # Taux de faux positif de base (2%)

print("--- 1. LE CALCUL NAÏF (INDÉPENDANT) ---")
# En théorie : p_fp ^ 2000. C'est tellement petit que l'ordinateur renvoie 0.
# On utilise les logarithmes pour voir l'ordre de grandeur : log10(0.02^2000)
log_p_naive = n_tranches * np.log10(p_fp)
print(f"Probabilité naïve (indépendante) : ~ 10^{log_p_naive:.0f}")
print("-> C'est le chiffre magique de Biname qui frôle l'infinitésimal.\n")

print("--- 2. LA RÉALITÉ AVEC DÉPENDANCE (CHAÎNE DE MARKOV) ---")
# États : 0 = Bien détecté (Humain), 1 = Faux Positif (déclaré IA à tort)
# Matrice de transition : P(Etat t | Etat t-1)
# Si un paragraphe déclenche un faux positif à cause du style de l'auteur, 
# le paragraphe suivant a une forte probabilité (inertie) de faire de même.
p_rester_fp = 0.85  # Forte persistance de l'erreur sur un style proche

transition_matrix = np.array(
    [
        [1 - p_fp, p_fp],  # Si on est Humain -> chances de basculer en faux positif
        [
            1 - p_rester_fp,
            p_rester_fp,
        ],  # Si on est déjà en faux positif -> forte chance d'y rester
    ]
)

# Simulation d'une lecture de livre (chaîne de Markov)
np.random.seed(42)  # Pour reproductibilité
current_state = 0  # Le livre commence par un état "normal"
history = [current_state]

for _ in range(n_tranches - 1):
  current_state = np.random.choice([0, 1], p=transition_matrix[current_state])
  history.append(current_state)

total_fausses_alertes = sum(history)
print(f"Nombre total de faux positifs sur le livre : {total_fausses_alertes} sur {n_tranches} tranches.")
print(f"Proportion d'erreur globale : {(total_fausses_alertes / n_tranches) * 100:.1f}%")
print("-> Résultat : Avec la dépendance, le faux positif ne s'annule pas, il contamine tout un pan du livre.")

--- 1. LE CALCUL NAÏF (INDÉPENDANT) ---
Probabilité naïve (indépendante) : ~ 10^-3398
-> C'est le chiffre magique de Biname qui frôle l'infinitésimal.

--- 2. LA RÉALITÉ AVEC DÉPENDANCE (CHAÎNE DE MARKOV) ---
Nombre total de faux positifs sur le livre : 216 sur 2000 tranches.
Proportion d'erreur globale : 10.8%
-> Résultat : Avec la dépendance, le faux positif ne s'annule pas, il contamine tout un pan du livre.

On postule dans le script que si une IA détecte une tranche comme IA alors il y a 85% de chance que la tranche suivante soit détectés comme IA.
On obtient 10.8 de faux positif avec un modèle qui jette les tranches n-2, n-3 , n ...

[agitateur]

Dans le cas de Thélyson Orélien, y'en a pas mal. Déjà, c'est un plagieur et la probabilité d'utiliser l'IA pour écrire un roman sachant qu'on est un plagieur est assez élevé et le score pangram n'est qu'un indice parmi d'autres. Et donc la probabilité qu'un écrivain sans aucune casserole avec un score pangram élevé vers l'IA ait effectivement utilisé l'IA est faible. A l'inverse, la probabilité qu'un écrivain douteux avec un score pangram élevé vers l'IA ait effectivement utilisé l'IA est bien plus élevé.

Tu cites le passé de plagiat,
Je donnerai un autre point.
Certes, on peut imaginer qu'un individu soit mal à l'aise en étant filmé ( plateau TV, etc...), mais quand même. En itw, le bonhomme a une expression orale qui dépasse de peu l'analphabétisme fonctionnel ( encore que...pas sûr ).

A ce titre, je trouve la performance de pangram d'autant plus remarquable, puisqu'il faut sacrément gratter un sujet pour imaginer que dans les phrases types du genre "il pleut, avec un pluie qui mouille, comme un désert sec assèche" aient eu besoin d'une béquille IA.