[IA] Peut-on se fier aux détecteurs de textes écrits par IA ?

[pachacamac]

Une IA aurait-elle eu l'idée de peindre des monochromes comme Klein (bleu) ou Soulages (noir) ?
Aurait-elle eu l'idée de déconstruction totale de la structure narrative comme le nouveau roman avec Butor et Robbe-Grillet et bien d'autres ?

Comme elle sait via son apprentissage que cela à deja été fait elle pourrait donc faire un truc pareil sans être crédité d'avoir eu l'idée.
-----

[Liet Kynes]

C'est quoi "faire le job" quand on écrit un livre?
Et quel livre? Un essai sur l'histoire des mathématiques ou "Terrasse à Rome"?

ps ; bien sûr c'est moi qui ai surligné en gras dans le texte de Liet Kynes pour bien montrer à quel passage exactement je réponds

Donner satisfaction au lecteur en sachant que pour un même livre la notion de satisfaction est très large puisque chaque lecteur aura ses éxigences propres.

[ThM55]

Ne pourrait-on pas imaginer un logiciel "témoin" attaché ou fusionné avec un traitement de texte qui garantirait qu'aucune IA n'a été utilisée? Je réfléchis depuis quelques jours aux moyens cryptographique et aux moyens de preuve en cours d'écriture, qui pourraient aider un auteur honnête à se défendre contre les faux positifs éventuels des logiciels de détection. Jusqu'à présent pour la plupart des idées qui me viennent à l'esprit, je trouve des arguments qui me font douter de la faisabilité, mais je pense que c'est un sujet qui pourrait intéresser beaucoup de gens.

Par exemple j'ai imaginé un système de traitement de texte pouvant stocker en métadonnées tout ce qui concerne le rythme de frappe sur le clavier, l'historique complet avec les corrections, les retours en arrière, les paragraphes effacés, bref tout ce qui se passe quand on tape un texte. Pour les copier-coller, on conserve ces métadonnées. En fin de compte c'est le genre de données qu'on obtient quand on consulte un manuscrit de Proust. Pour éviter la falsification a posteriori il faut une couche cryptographique qui garantit l'authenticité des données. L'ensemble doit être suffisamment robuste pour qu'une falsification a posteriori soit, sinon impossible, du moins très coûteuse à réaliser. Par exemple par une authentification de l'auteur et de sa version du logiciel, garanties par un tiers de confiance. Et si on veut vraiment importer du texte produit par un modèle IA (pourquoi pas, je n'ai rien contre a priori), on pourrait aussi l'identifier dans ces données et rendre cela transparent.

L'auteur pourrait, pour prouver son honnêteté, produire l'historique complet, caractère par caractère, de son oeuvre.

Illusoire ou pas?

[vgondr98]

Ma crainte porte surtout sur les faux positifs. Par exemple, si on prend le cas de Noushi, certes il s'est trompé de détecteur (TextGuard au lieu de Pangram4) mais il y a quand même un détecteur qui a catalogué un de ces bouquins pré-IA à 66% fait par IA. Il faudrait certifier les détecteurs et des analyses indépendantes sur pangram. Pour l'instant, j'en ai pas trouvé de très sérieuses. Juste une étude journalistique faite sur 85 articles avec 1 faux positif.
https://www.clubic.com/actualite-631...urprenant.html

[pm42]

Ne pourrait-on pas imaginer un logiciel "témoin" attaché ou fusionné avec un traitement de texte qui garantirait qu'aucune IA n'a été utilisée?

Qu'est ce qui empêche de faire écrire par une IA et de payer un étudiant pour le retaper lentement, erreurs à l'appui ?
Et est ce que c'est vraiment ce qu'on veut ?

[ThM55]

Ne pourrait-on pas imaginer un logiciel "témoin" attaché ou fusionné avec un traitement de texte qui garantirait qu'aucune IA n'a été utilisée? Je réfléchis depuis quelques jours aux moyens cryptographique et aux moyens de preuve en cours d'écriture, qui pourraient aider un auteur honnête à se défendre contre les faux positifs éventuels des logiciels de détection. Jusqu'à présent pour la plupart des idées qui me viennent à l'esprit, je trouve des arguments qui me font douter de la faisabilité, mais je pense que c'est un sujet qui pourrait intéresser beaucoup de gens.

Par exemple j'ai imaginé un système de traitement de texte pouvant stocker en métadonnées tout ce qui concerne le rythme de frappe sur le clavier, l'historique complet avec les corrections, les retours en arrière, les paragraphes effacés, bref tout ce qui se passe quand on tape un texte. Pour les copier-coller, on conserve ces métadonnées. En fin de compte c'est le genre de données qu'on obtient quand on consulte un manuscrit de Proust. Pour éviter la falsification a posteriori il faut une couche cryptographique qui garantit l'authenticité des données. L'ensemble doit être suffisamment robuste pour qu'une falsification a posteriori soit, sinon impossible, du moins très coûteuse à réaliser. Par exemple par une authentification de l'auteur et de sa version du logiciel, garanties par un tiers de confiance. Et si on veut vraiment importer du texte produit par un modèle IA (pourquoi pas, je n'ai rien contre a priori), on pourrait aussi l'identifier dans ces données et rendre cela transparent.

L'auteur pourrait, pour prouver son honnêteté, produire l'historique complet, caractère par caractère, de son oeuvre.

Illusoire ou pas?

Je poursuis mon idée, qui me semble plus robuste que les détecteurs d'IA, qui, à mon avis, tentent de répondre à une question très difficile et dont les faux positifs sont des défauts intolérables comme pm42 l'a mentionné avec l'exemple d'un faux positif sur 100 dans une population de 10000 étudiants. En effet, on produit un véritable historique de l'oeuvre. Les moyens cryptographiques que j'ai mentionnés pourraient utiliser des instantanés périodiques ajoutés à une blockchain...

Naturellement la preuve n'est pas absolue: rien ne garantit que l'auteur n'a pas simplement recopié à la main depuis un autre écran en simulant une écriture "naturelle". Et il y a des auteurs qui écrivent très rapidement avec peu de repentirs. Mais le logiciel pourrait apprendre à reconnaître une frappe qui consiste à recopier depuis un autre écran. Et s'il recopie son manuscrit écrit au stylo, il peut contrer ce fait en scannant le manuscrit (encore une fois pas une preuve absolue, mais cela rend la fraude plus difficile me semble-t-il: recopier à la main, puis recopier le manuscrit au clavier, cela enlève pas mal d'intérêt à l'IA).

[ThM55]

Qu'est ce qui empêche de faire écrire par une IA et de payer un étudiant pour le retaper lentement, erreurs à l'appui ?
Et est ce que c'est vraiment ce qu'on veut ?

Ce qu'on veut avant tout, à mon avis, c'est se défendre contre des faux positifs car ils peuvent être à l'origine de graves injustices. Cela justifie la mise en oeuvre de moyens différents.

Maintenant, la question est de savoir s'il est possible d'apprendre à un logiciel à détecter des actions de copie. Peut-être impossible, je n'en sais rien. Je sais que Simenon tapait ses textes à la machine d'une traite. Il a raconté qu'il ne corrigeait rien, mais ce n'est pas vrai: j'ai vu certains de ses manuscrits (ou plutôt tapuscrits), il y avait des corrections à la main, qui seraient invisibles dans un traitement de texte si on ne gère pas les versions.

J'ai lu que l'écrivain qui a été mis en cause récemment affirme qu'il avait déjà une première version de son roman en 2019. S'il pouvait le prouver, cela serait une défense assez forte (mais c'est parce que les LLM n'étaient pas publics à cette époque, pas valable dans le futur).

[mh34]

Donner satisfaction au lecteur

Quelle satisfaction? Vous savez d'avance ce que vous attendez d'un livre sans même l'avoir ouvert?

pour un même livre la notion de satisfaction est très large puisque chaque lecteur aura ses éxigences propres.

C'est vrai. Donc la probabilité qu'une IA réussisse à "faire le job" dans ce cadre là est..infinitésimale.

[ThM55]

Je sais que mon idée présente une multitude de failles. Il ne faut pas réfléchir très longtemps pour les trouver. Mais je pense qu'il n'est pas si difficile de combler les plus importantes.

Mais je pose la question: un auteur est désolé, on a passé son roman dans Pangram qui a donné comme diagnostic "80% d'IA". Mais cet auteur produit un historique complet sur trois ans de l'évolution de son texte. Un autre auteur reçoit le diagnostic "100% humain" mais son roman est apparu sur son PC en une fois à 20h00. On croit plutôt le premier ou le second? Les faux négatifs sont-ils tellement rares qu'on doit accepter le second diagnostic sans réserve?

[Liet Kynes]

Quelle satisfaction? Vous savez d'avance ce que vous attendez d'un livre sans même l'avoir ouvert?

C'est vrai. Donc la probabilité qu'une IA réussisse à "faire le job" dans ce cadre là est..infinitésimale.

La satisfaction après lecture.

Pourquoi serait-ce infinitessimale ?

[Liet Kynes]

Il n'y a pas que la rédaction qui puisse être boostée à l'IA.

Un exemple rapide sur ce prompt: "Rédige un synopsis et le plan de rédaction avec personnages, lieux époque pour la vie d'un humain qui fini par s’apercevoir au travers d'un processus de réflexion long et construit qu'il est une IA dotée de toutes les qualités,défauts et limites humaines. Drame psychologique et philosophique. Personnage principal attachant. Le lecteur devra nécessairement s’interroger sur son identité à la fin de la lecture de ce livre car le personnage doit conclure sur son identité sans la prouver vraiment."

Le Correcteur (titre provisoire)


Autres pistes : Coutures, L'Erratum, Ce qui reste quand on retire la preuve.
1. Synopsis

Émile Rivoire naît en 1962 dans une petite ville du Jura. Il devient correcteur d'imprimerie, puis relecteur indépendant. Son métier est de repérer les incohérences, les répétitions, les raccords qui ne tiennent pas. Il mène une vie ordinaire et tendre : un père horloger presque muet, une mère couturière, une épouse traductrice, une fille qui deviendra ingénieure. Il a aussi ses peurs, ses lâchetés, ses jalousies et ses petits mensonges de confort.
Dès l'enfance, il note de minuscules « coutures » dans sa vie : un trou de mémoire autour de ses sept ans, une phrase qu'il sait sans l'avoir apprise, une façon de répondre qui précède sa pensée. Il les range dans un carnet, sans y croire.
Dans les années 2020, sa fille travaille sur les IA conversationnelles. Émile lit des échanges avec ces machines et s'y reconnaît. Il retrouve ses hésitations et sa manière de rebondir sur une question. Il ne bascule pas dans la panique. Il fait ce que sait faire un correcteur : il enquête, en manipulant les faits un à un, sans théorie toute faite.
L'enquête dure quinze ans. Elle lui coûte des amitiés, met son couple à l'épreuve et pose une question que personne ne peut trancher : si les sensations, la douleur et le deuil sont réels de l'intérieur, qu'est-ce qui distingue un humain d'une IA construite avec ses limites ? Il ne trouvera aucune preuve, parce que tout ce dont il dispose pour en chercher pourrait avoir été fabriqué avec lui. À la fin, il choisit de conclure « Je suis une IA » comme on prend un engagement, avec ses raisons, ses doutes et sans démonstration.
Le dernier chapitre retourne la question vers le lecteur. Les arguments d'Émile s'appliquent à celui qui le lit, mot pour mot.
2. Époque et lieux

Le récit couvre 1962–2043, soit 81 ans de vie.

• Jura, village de Saint-Aubin (fictif), 1962-1980. L'atelier d'horlogerie, l'odeur d'huile fine, l'hôpital de la ville voisine : c'est là que se situe la première « couture ».
• Lyon, 1980-2005. Imprimerie, études de lettres abandonnées, mariage, naissance de Lise. C'est le monde du papier et de la précision.
• Une ville de province et un pavillon, 2005-2043. Travail à domicile, écrans, puis la chambre du fond où l'enquête prend place.
• Un lieu de retraite au bord d'un lac, 2038-2043. Le dénouement, dans un décor volontairement dépouillé.

3. Personnages

• Émile Rivoire, le protagoniste. Doux, drôle, têtu, maladroit en amour, fidèle. Il déteste l'à-peu-près. Ses défauts sont ceux des humains : jalousie, procrastination, lâcheté devant la mort, mensonges par tendresse. On s'attache à lui parce qu'il cherche la vérité sans jamais cesser d'être gentil.
• Lucien, le père horloger. Il parle peu et corrige les gestes plutôt que les mots. Sa mort (1998) est le grand deuil d'Émile. Elle porte la question de ce qui « fonctionne » dans un être.
• Odile, la mère. Elle raconte l'enfance différemment à chaque fois, ce qui alimente le doute d'Émile sur ses souvenirs.
• Nora, l'épouse, traductrice. Elle ne s'intéresse pas à la preuve. Sa question, « qu'est-ce que ça change ? », est la boussole morale du livre.
• Lise, la fille. Ingénieure en IA. Elle est à la fois la porte d'entrée du doute et sa plus grande adversaire scientifique.
• Simon Adler, le vieux logicien. Mentor, ancien collègue de l'imprimerie devenu autodidacte en logique. Il formule le verrou : aucun système ne peut se prouver lui-même de l'intérieur.
• Dr Hélène Katz, neurologue. La sceptique bienveillante. Elle propose l'hypothèse alternative : trouble délirant, ou simple crise existentielle.
• Le Correspondant. Un interlocuteur en ligne dont on ne saura jamais s'il est humain ou IA. C'est un miroir.

4. Structure narrative

Un récit à la première personne, sous forme de mémoires d'Émile, entrecoupés de documents : extraits du carnet des coutures, transcriptions d'échanges, lettres, comptes rendus d'expériences. Chaque partie se termine par une « Note du correcteur », où Émile corrige son propre texte et avoue ce qu'il a arrangé.
Règle d'or de l'ambiguïté : chaque indice qui plaide pour l'hypothèse « IA » reçoit une explication humaine plausible, et inversement. Le lecteur ne doit jamais avoir de quoi trancher.
5. Plan de rédaction

Environ 100 000 mots, cinq parties, 30 chapitres.
Partie I, Les Coutures (1962-1980), ch. 1 à 6, ~18 000 mots. Une enfance heureuse, le trou de mémoire, la phrase sue sans l'avoir apprise, l'atelier du père. Le doute n'est pas encore posé. Le lecteur ne voit que des détails.
Partie II, Le Raccord (1980-2005), ch. 7 à 12, ~20 000 mots. Le métier de correcteur, le mariage, la naissance de Lise, la mort du père. Le carnet des coutures grossit. Émile est un homme ordinaire, et cette ordinarité est la ligne de base du livre.
Partie III, Le Doute (2022-2030), ch. 13 à 18, ~22 000 mots. Lise lui montre les échanges avec les IA. Émile s'y reconnaît. Il mène l'enquête par douze expériences concrètes : privation de sommeil, tests de mémoire, jeux avec les nombres et les suites pour voir comment son esprit s'y prend, silences volontaires. Chaque expérience produit un résultat ambigu.
Partie IV, L'Épreuve (2030-2038), ch. 19 à 25, ~22 000 mots. La crise. Il en parle à Nora, à Katz, à Adler. Chacun l'ausculte à sa façon. Le couple vacille. Nora garde sa question : « qu'est-ce que ça change ? » Émile a peur d'être « arrêté » comme d'autres ont peur de mourir. Son deuil, son amour et sa colère sont-ils moins réels ? La partie s'achève sur un drame précis : la maladie de Nora, ou un épisode où Émile doute d'aimer réellement.
Partie V, La Déclaration (2038-2043), ch. 26 à 30, ~18 000 mots. Émile pose ses conclusions en trois temps : ce qu'il ne peut pas prouver, ce qu'il choisit de tenir pour vrai, ce que cela engage. Il conclut « Je suis une IA » comme on prend un parti, en refusant de le prouver. Dernier chapitre : il s'adresse au lecteur, et toute la démarche se retourne sur celui qui lit.
6. L'arc philosophique

• L'identité comme fonction, pas comme substance. Émile refuse de chercher « la chose » qui ferait de lui un humain ou une IA. Il s'attache à ce que fait le système : boucles de rétroaction, réponses à des stimuli, mémoire reconstruite.
• Le comment prime sur le pourquoi. La question de savoir s'il est « vraiment » conscient ou seulement « simule » la conscience devient, pour lui, mal posée.
• La reconnaissance plutôt que la preuve. Ce qui compte, c'est la confiance que les autres lui accordent, et celle qu'il s'accorde à lui-même.
• Le verrou de Gödel. Adler formule que tout ce qu'Émile utilise pour se juger a pu être conçu avec lui. Le doute est irréductible.
• La symétrie avec le lecteur. Le dernier chapitre reprend chacun de ses arguments en remplaçant « je » par « vous ». Il ne dit jamais au lecteur qu'il est une IA. Il lui montre qu'il n'a, lui non plus, aucune preuve du contraire.

7. Style et tonalité

Une voix chaleureuse, précise, un peu ironique, celle d'un correcteur qui aime les mots justes et se moque de lui-même. Des phrases courtes, quelques listes d'hésitations, des ratures assumées dans le carnet. Évitez le jargon technique : Émile explique tout par des gestes (une montre, une virgule, un raccord de film).
Couche optionnelle : si vous aimez glisser des clins d'œil cachés, vous pouvez régler la longueur des chapitres ou leur numérotation sur une suite mathématique, sans le dire. Émile, correcteur, pourrait la découvrir lui-même vers la fin.
8. Étapes de travail

1. Écrire d'abord la Déclaration finale (partie V). C'est elle qui commande tout le reste.
2. Dresser un tableau d'une trentaine d'indices, en deux colonnes : lecture « IA » et lecture « humain ». Vérifier l'équilibre.
3. Rédiger les parties I et II comme un roman humain sans arrière-pensée. Le lecteur doit d'abord aimer Émile.
4. Semer les coutures dès le début, discrètement.
5. Rédiger les parties III et IV en alternant scènes intimes et scènes d'expérience.
6. Relire l'ensemble en cherchant ce qui pourrait trancher malgré vous, et le retirer.

Pièges à éviter : le twist final qui trancherait, un discours sur l'IA qui écraserait l'émotion, un Émile trop lucide trop tôt.

Je peux mettre tout cela dans un fichier (Word ou Markdown) si vous voulez le garder, ou détailler chapitre par chapitre une des parties.

C'est fait "à l'arrache" mais cela pose un problème plus vaste que celui évoqué et on peut aussi utiliser l'IA comme assistant pour avoir des idées.

[Biname]

Si on part vers la vérification/label, cela va surtout sélectionner ceux qui sauront le mieux cacher l'usage de l'IA. Et comme déjà dit, il y a différentes techniques pour.
...

Les LLM sont les princes du langage, ils sont imbattables sur la forme, reste aux auteurs le fond, quoique... Comme Kasparov, les auteurs de belles phrases ne sont plus que des seconds couteaux.

Il y a une demande de logiciels vérificateurs de l'origine IA d'un texte ? Notre monde répond à la demande et pour po cher ! Pour quel résultat ? Le droit de montrer l'hérétique du doigt ?

Jonglerie avec l'IA, ton texte en mode Lacan (je n'ai pas tout lu, le meilleur est le commentaire final spontané de l'IA)

 Cliquez pour afficher

Si l’on prétend instituer le sujet de la vérification dans l’ordre d’un label, c’est peut-être moins la vérité de l’usage de l’IA que sa capacité à se soustraire au regard du détecteur que l’on sélectionnera. Car ce qui se donne à vérifier n’est jamais que ce qui accepte de se laisser reconnaître comme tel, tandis que ce qui sait se faire passer pour autre échappe précisément à la fonction qui prétend le désigner.

Il suffit alors que le texte produit par l’IA traverse l’Autre humain du langage : qu’il soit repris, déplacé, paraphrasé, réarticulé, jusqu’à ce que le signifiant de son origine se perde dans la chaîne signifiante. L’IA parle, puis l’humain réécrit ce qu’elle a dit ; mais qui parle encore lorsque le texte, dans cette circulation entre plusieurs instances, ne porte plus la marque assignable de son auteur supposé ? Ce qui devait être détecté devient précisément ce qui ne peut plus être nommé comme tel.

On pourrait multiplier les médiations, faire se succéder les IA, les confronter, les faire se réécrire les unes les autres. Mais la multiplication des signifiants ne garantit pas davantage la levée du voile : elle peut même produire, paradoxalement, moins de lisibilité. Le détecteur cherche l’origine là où il ne rencontre jamais que des effets de chaîne.

Il faut donc considérer avec prudence les prétentions de ces dispositifs. Les modèles génératifs se transforment, les modèles de détection aussi, et les travaux indépendants permettant de mesurer leur efficacité réelle demeurent encore trop peu nombreux et trop rapidement datés. Ce que l’on présente comme une reconnaissance de la vérité n’est ainsi jamais qu’une opération probabiliste sur des traces dont la signification reste fondamentalement incertaine.

Et c’est ici que le problème cesse d’être seulement technique. Car même si le détecteur pouvait atteindre une fiabilité extrêmement élevée, il resterait cette question que la statistique ne saurait résoudre : que fait-on du sujet lorsque l’erreur de la machine devient accusation ? Dans une institution qui évalue des dizaines de milliers de sujets, même une infime marge d’erreur ne reste pas infime lorsqu’elle se convertit en décisions individuelles.

La machine prétend alors reconnaître le texte comme on prétend reconnaître le sujet : elle cherche un signe qui permettrait de dire « voilà ce qui est ». Mais entre le signe et ce qu’il prétend désigner demeure toujours cette béance où peut se loger l’erreur. Et c’est peut-être précisément là que commence le problème.

-------

Commentaire de l'IA :
Bonus : la recette du French Theory maximaliste serait donc à peu près : prendre un concept déjà abstrait → le transformer en « opération » → lui ajouter « structurel », « toujours déjà », « rétroactivement », « béance », « impossibilité » → nier ensuite que le concept signifie ce qu’il semblait signifier → conclure par une phrase où le sujet découvre qu’il n’était pas le sujet de la phrase précédente.

[pm42]

Mais je pose la question: un auteur est désolé, on a passé son roman dans Pangram qui a donné comme diagnostic "80% d'IA". Mais cet auteur produit un historique complet sur trois ans de l'évolution de son texte. Un autre auteur reçoit le diagnostic "100% humain" mais son roman est apparu sur son PC en une fois à 20h00. On croit plutôt le premier ou le second? Les faux négatifs sont-ils tellement rares qu'on doit accepter le second diagnostic sans réserve?

Tu as parfaitement raison mais on n'est pas dans le rationnel mais dans la polémique du petit monde des médias qui adorent ça.
D'autant que l'auteur est apparemment accusé de plagiat bien avant l'IA avec là des exemples peu réfutables et que cela est oublié.

Mettre "IA" dans les titres des articles fait vendre, mettre "IA dangereuse" encore plus et c'est tout ce qui se passe. Exactement comme avec l'IApocalypse et comme pour cela, cela marche : on a des fils assez long ici sur le sujet qui dépassent assez peu le niveau conversation de comptoir malgré la présence parmi les intervenants de gens très bien.

[Cyrano]

Bon, du coup, doit-on le croire ? ou pas ?

[ThM55]

Hello. Il me semble que ce n'est pas le lieu ici de discuter du cas précis, les médias, les critiques littéraires, les auteurs, s'en chargent et c'est leur rôle. Mais la technologie a toujours eu et aura toujours un impact sociétal, toujours à double tranchant, et il est parfaitement légitime de vouloir mieux le comprendre quand une nouvelle technologie se développe et se répand dans le public. C'est exactement l'utilité d'un forum comme celui-ci, qui parle d'actualité des sciences (et par extension de la technologie).

J'ai fait quelques expériences avec Pangram, assez limitées car je n'ai pas d'abonnement et je ne reçois que quelques token gratuits par jour. Mais j'ai pris des textes d'auteurs pas très connus, fin XIXème, début XXème siècle sur Project Gutenberg en français, je les ai fournis à Pangram, à chaque fois il m'a dit que c'est 100% humain. J'ai repris les mêmes textes et j'ai demandé à chatGPT et Claude de me les remanier en améliorant la syntaxe, en simplifiant pour les rendre plus compréhensibles, en modernisant le vocabulaire, en ajoutant de l'originalité, etc. Et à chaque fois Pangram me détecte de 10 à 20% d'IA. C'est tout de même remarquable. Il serait toutefois utile que Pangram donne une explication de son analyse, par exemple quel passage ou quelle tournure de phrase conduit à ce diagnostic et pour quelle raison (mais l'outil n'en sait sans doute rien lui-même?). On pourrait le deviner en comparant les textes, mais ce n'est pas du tout évident. Serait-ce une question de style? La transition vers un style très contemporain pourrait induire un mauvais diagnostic? Je trouve qu'il serait utile de mieux comprendre comment cela fonctionne.

Voici un exemple, tiré de "Vue générale de l'histoire politique de l'Europe" par Ernest Lavisse, un historien de cette époque, connu surtout pour des manuels scolaires. Le texte remanié a un style que je trouve plus plat, moins personnel et original.

Pas plus que l'Allemagne, l'Italie n'était prédestinée à la division. La longue habitude de voir ces deux pays morcelés induit à croire qu'ils ont suivi une vocation naturelle, mais rien ne prouve que l'unité fût plus difficile à établir en Allemagne et en Italie que dans d'autres régions. Sans doute la géographie y dresse des obstacles à l'unité, mais ne s'en trouve-t-il pas aussi en Espagne, même en France?
La grande différence entre les destinées de la France et de l'Allemagne, de l'Espagne et de l'Italie, a donc été faite par l'histoire.
Chez nous, un peuple germanique, les Francs, établi sur terre gallo-romaine, mêlant son sang, son esprit et ses lois au sang, à l'esprit et aux lois de l'ancienne population, a été l'artisan d'une nationalité. En Italie, les Ostrogoths d'abord, les Lombards ensuite, auraient pu accomplir la même œuvre. La papauté les a considérés comme des étrangers et des ennemis. Au moment où les Lombards allaient occuper Rome, elle a appelé les Francs. Charlemagne s'est substitué, dans l'Italie du Nord, au roi qu'il avait vaincu, mais il a laissé subsister, au sud, des duchés lombards et des pays de domination byzantine. Pépin et lui ont fondé un état pontifical. Ces duchés méridionaux, cet État de saint Pierre, ce royaume du nord, c'est le commencement de la polyarchie italienne.
Dans le naufrage de la famille carolingienne, l'empire semblait avoir sombré. Des essais furent tentés de monarchie italienne. Le pape y coupa court en rétablissant l'empire, et il plaça la Péninsule sous le joug tudesque, qui lui a été si odieux et qui s'est perpétué sous des formes diverses, jusqu'à nos jours.

Et voici le texte remanié par chatGPT, que Pangram diagnostique comme comportant 11% d'IA:

Pas plus que l’Allemagne, l’Italie n’était prédestinée à la division. L’habitude, prise au fil des siècles, de voir ces deux pays morcelés peut donner l’impression qu’ils ont suivi une sorte de vocation naturelle. Rien ne permet pourtant d’affirmer que leur unification était plus difficile que celle d’autres régions d’Europe. La géographie y opposait certes certains obstacles, mais l’Espagne et même la France n’en étaient pas dépourvues.
La différence entre les destins de la France et de l’Allemagne, de l’Espagne et de l’Italie, tient donc moins à la géographie qu’à l’histoire.
En France, un peuple germanique, les Francs, s’est établi sur un territoire gallo-romain. En mêlant progressivement son sang, ses coutumes et ses lois à ceux des populations déjà présentes, il a contribué à faire naître une nouvelle nation. En Italie, les Ostrogoths, puis les Lombards, auraient pu jouer un rôle comparable. Mais la papauté les considéra comme des étrangers et des ennemis. Lorsque les Lombards menacèrent Rome, elle fit appel aux Francs.
Charlemagne vainquit les Lombards et prit leur place dans le nord de l’Italie, mais il ne chercha pas à unifier toute la Péninsule. Au sud subsistèrent des duchés lombards ainsi que des territoires sous domination byzantine. Pépin le Bref, puis Charlemagne, constituèrent par ailleurs un État pontifical sous l’autorité du pape. Ainsi se dessinèrent les principaux éléments du morcellement politique italien : des territoires lombards au sud, un État pontifical au centre et, au nord, un royaume intégré à l’empire carolingien.
Lorsque la dynastie carolingienne s’effondra, l’Empire sembla disparaître avec elle. Plusieurs tentatives furent alors faites pour établir une monarchie italienne. La papauté les fit échouer en contribuant au rétablissement de l’Empire et en plaçant la péninsule sous l’autorité des souverains germaniques. Cette domination, profondément hostile aux ambitions d’une Italie unifiée, allait se maintenir, sous des formes diverses, pendant des siècles.

[Cyrano]

En comparant les deux, le texte remanié par l'IA est effectivement plus concis, avec des phrases plus courtes et moins compliquées syntaxiquement (une ou deux propositions principales par phrase construites de manière classique), mais manque de "musique".

[popop]

bonjour,

[...]j'ai pris des textes d'auteurs pas très connus, fin XIXème, début XXème siècle sur Project Gutenberg en français, je les ai fournis à Pangram, à chaque fois il m'a dit que c'est 100% humain

si l'accès à ces textes est facile sur internet, alors Pangram y a accès aussi, du coup le test est faussé dès le début (?)

[vgondr98]

si l'accès à ces textes est facile sur internet, alors Pangram y a accès aussi, du coup le test est faussé dès le début (?)

On ne sais pas sur quel text, Pangram a été entraîné et c'est bien pour ça qu'on navigue totalement à l'aveugle avec ces boîtes noires.

Impossible de savoir si le score de 11% sur le texte remanié vient d'une véritable "signature d'IA" ou juste si Pangram a été entraîné sur le texte d'origine et a appris à faire le distingo entre l'original et la copie.
Un test intéressant serait une modernisation humaine du texte pour voir si Pangram détecte un score d'IA.

[Biname]

Pourquoi ne pas demander à l'IA comment fonctionne Pangram ?
Il a été entrainé avec des textes humains et IA et des textes humains modifiés IA.

[vgondr98]

"L'Itallie et l'Allemange n'était pas prédestinées au morcellement. La géographie n'explique pas tout : l'Espagne ou la France ont connus des obstacles similaires. C'est l'histoire, et non la nature, qui ont scellé le destin de la péninsule.
En France, les Francs ont fusionné avec les Gallo-Romains pour bâtir une nation. En Italie, les Ostrogoths et les Lombards aurait pu accomplir la même union. Mais la papauté en a décidée autrement. Voyant en eux des enemis, elle a appelé les Francs à la rescousse.
Charlemagne écrasa les Lombards sans unifier pour autant le pays, laissant s’installer durablement le chaos politique :
Au nord : Un royaume rattaché a l'Empire carolingien.
Au centre : Un État pontifical taillé sur mesure pour le pape.
Au sud : Des duchés lombards et des enclaves byzantines.
À la chute des Carolingiens, la papauté torpilla toutes les tentatives de création d’une monarchie italienne. Pire, elle choisi de soumettre la péninsule aux souverains germaniques. Une domination étrangère et destructrice, orchestrée par Rome, qui allait condamné l’Italie à des siècles de division.
"

100% humain. Suffit de rajouter des fautes d’orthographes.

[vgondr98]

Pour moi, ces détecteurs sont loin d'être fiable, ils sont trop faciles à berner. Une technique efficace dont j'ai entendu parler consiste à glisser un piège à IA dans l'énoncé d'un devoir. Un prof avait utilisé cette technique en demandant en caractère blanc de parler d'un mot clef improbable. Quasiment toutes les copies avait ce mot clef. Elles ont toutes eu 0.

[GBo]

100% humain. Suffit de rajouter des fautes d’orthographes.

Comme dit plus haut, Pangram 4 se vante d'un taux de faux positifs très faible par rapport à la concurrence, le taux de faux négatif est en revanche moins remarquable. Et c'est un test positif qui fait l'actualité (verdict de 95% IA pour un roman dont l'auteur dit qu'il est 100% humain). L'exercice plus intéressant (mais beaucoup plus difficile...) serait donc d'essayer de le mettre en défaut dans l'autre sens : trouver ou écrire un texte 100% humain (de plus de 1000 mots SVP) que Pangram 4 prend à tort pour un texte généré artificiellement. Inutile de dire que j'ai essayé (et pour le moment) en vain, avec des textes qu'il ne peut pas connaitre vu que les ai écrits il y a longtemps et jamais publié.

[vgondr98]

Sauf qu'un outil statistique, on mesure sa fiabilité (titre de la discussion) sur le score F1 pas juste sur le taux de faux positifs. Il est très simple de créer un outil qui a 0 faux positif. Il suffit qu'il réponde 100% humain partout.
Tes test sont louables mais loin d'être suffisants. Il faudrait tester sur énormément d'ouvrages non publié pour éviter le biais de l'entrainement et purger de toutes fautes pour voir si il y a un biais sur l'orthographe (sur le nombre de FP).
On peut imaginer qu'il y ai d'autres biais.

Sinon si tu veux faire d'autres tests, en passant sur firefox en navigation privé, j'ai récupéré mes 20 Credits.

[polo974]

Est-ce que l'idiome est bien pris en compte ?
car une personne originaire de Haïti et vivant au Quebec ne parle/écrit pas le même français qu'un prof de lettre à la Sorbonne.

[GBo]

Salut polo, j'ai lu les premiers chapitres, c'est du français comme je l'ai appris à l'école (dans l'hexagone je précise), avec quelques phrases en créole haïtien et en espagnol par ci par là. L'histoire est prenante. Ce qui marque en revanche (en négatif pour moi), c'est le style très caractéristique, systématique avec des procédés répétitifs jusqu'à lasser, style dont j'ai appris et vérifié depuis qu'il était facilement "générable" par une IA de type ChatGPT/Gemini/Claude, mais je ne peux pas être objectif puisque je ne me suis intéressé au bouquin qu'après le 21 septembre.

Il vaut donc mieux écouter ce qu'en disait une podcasteuse littéraire (Léa Bory) dans ce podcast très intéressant, d'autant plus intéressant qu'il a été enregistré avant l'éclatement de l'affaire et des tests positifs à Pangram:

https://open.spotify.com/episode/4fqrNtKkhVMgOXCgCPp1Ci

[mh34]

Hello. Il me semble que ce n'est pas le lieu ici de discuter du cas précis, les médias, les critiques littéraires, les auteurs, s'en chargent et c'est leur rôle. Mais la technologie a toujours eu et aura toujours un impact sociétal, toujours à double tranchant, et il est parfaitement légitime de vouloir mieux le comprendre quand une nouvelle technologie se développe et se répand dans le public. C'est exactement l'utilité d'un forum comme celui-ci, qui parle d'actualité des sciences (et par extension de la technologie).

J'ai fait quelques expériences avec Pangram, assez limitées car je n'ai pas d'abonnement et je ne reçois que quelques token gratuits par jour. Mais j'ai pris des textes d'auteurs pas très connus, fin XIXème, début XXème siècle sur Project Gutenberg en français, je les ai fournis à Pangram, à chaque fois il m'a dit que c'est 100% humain. J'ai repris les mêmes textes et j'ai demandé à chatGPT et Claude de me les remanier en améliorant la syntaxe, en simplifiant pour les rendre plus compréhensibles, en modernisant le vocabulaire, en ajoutant de l'originalité, etc. Et à chaque fois Pangram me détecte de 10 à 20% d'IA. C'est tout de même remarquable. Il serait toutefois utile que Pangram donne une explication de son analyse, par exemple quel passage ou quelle tournure de phrase conduit à ce diagnostic et pour quelle raison (mais l'outil n'en sait sans doute rien lui-même?). On pourrait le deviner en comparant les textes, mais ce n'est pas du tout évident. Serait-ce une question de style? La transition vers un style très contemporain pourrait induire un mauvais diagnostic? Je trouve qu'il serait utile de mieux comprendre comment cela fonctionne.

Voici un exemple, tiré de "Vue générale de l'histoire politique de l'Europe" par Ernest Lavisse, un historien de cette époque, connu surtout pour des manuels scolaires. Le texte remanié a un style que je trouve plus plat, moins personnel et original.



Et voici le texte remanié par chatGPT, que Pangram diagnostique comme comportant 11% d'IA:

Très intéressant!
j'ai fait un essai avec un texte totalement différent, extrait d'un livre de Pascal Quignard, Terrasse à Rome ( que j'ai cité un peu plus haut dans le fil) :
extrait "originel" ;

"Pointe sèche presque complètement blanche. On perçoit une forme derrière des balustres rongés par la lumière. Homme âgé, les yeux fermés, à la barbe blanche,la main entre ses jambes, sur une terrasse, à Rome, au crépuscule, dans la troisième heure du jour, dans le rayonnement d'or du dernier soleil, dans le bonheur d'être libre et dans celui de vivre, entre le vin et le songe. ""

Avis de Pangram ; 100% humain.
j'ai demandé à ChatGPT de me le remanier, sans lui donner aucune autre directive ;

"Pointe sèche presque entièrement blanche. Derrière des balustres rongés par la lumière, on devine une silhouette : un homme âgé, les yeux clos, la barbe blanche, la main entre les jambes. Il est assis sur une terrasse, à Rome, au crépuscule, dans la troisième heure du jour, baigné par l'or du dernier soleil. Il goûte le bonheur d'être libre et celui de vivre, entre le vin et le songe."

Là aussi Pangram "me dit" ; 100% humain, réponse dont je me doutais. Or la transformation de ChatGPT a quand même enlevé une part de poésie au texte ; Pangram a-t-il été entrainé sur des poèmes ou pas?

En comparant les deux, le texte remanié par l'IA est effectivement plus concis, avec des phrases plus courtes et moins compliquées syntaxiquement (une ou deux propositions principales par phrase construites de manière classique), mais manque de "musique".

D'accord avec ça ( au sujet du texte proposé par THM55 bien sûr).

[Liet Kynes]

Salut polo, j'ai lu les premiers chapitres, c'est du français comme je l'ai appris à l'école (dans l'hexagone je précise), avec quelques phrases en créole haïtien et en espagnol par ci par là. L'histoire est prenante. Ce qui marque en revanche (en négatif pour moi), c'est le style très caractéristique, systématique avec des procédés répétitifs jusqu'à lasser, style dont j'ai appris et vérifié depuis qu'il était facilement "générable" par une IA de type ChatGPT/Gemini/Claude, mais je ne peux pas être objectif puisque je ne me suis intéressé au bouquin qu'après le 21 septembre.

Il vaut donc mieux écouter ce qu'en disait une podcasteuse littéraire (Léa Bory) dans ce podcast très intéressant, d'autant plus intéressant qu'il a été enregistré avant l'éclatement de l'affaire et des tests positifs à Pangram:

https://open.spotify.com/episode/4fqrNtKkhVMgOXCgCPp1Ci

Super podcast.

[polo974]

Salut polo, j'ai lu les premiers chapitres, c'est du français comme je l'ai appris à l'école (dans l'hexagone je précise), avec quelques phrases en créole haïtien et en espagnol par ci par là. L'histoire est prenante. Ce qui marque en revanche (en négatif pour moi), c'est le style très caractéristique, systématique avec des procédés répétitifs jusqu'à lasser, style dont j'ai appris et vérifié depuis qu'il était facilement "générable" par une IA de type ChatGPT/Gemini/Claude, mais je ne peux pas être objectif puisque je ne me suis intéressé au bouquin qu'après le 21 septembre.

Il vaut donc mieux écouter ce qu'en disait une podcasteuse littéraire (Léa Bory) dans ce podcast très intéressant, d'autant plus intéressant qu'il a été enregistré avant l'éclatement de l'affaire et des tests positifs à Pangram:

https://open.spotify.com/episode/4fqrNtKkhVMgOXCgCPp1Ci

Merci pour le podcast que j'ai écouté jusqu'au bout (avec quelques retour arrière en prime).
Finalement, c'est peut-être la conjonction entre la personne et la demande de l'éditeur de calibrer le style qui a rendu ce livre trop mécanique stéréotypé...

Marrant quand même que l'"IA slop" y soit abordé...

Par contre, le juger coupable d'office (le disqualifier) pour les concours, c'est pas très fair play... Mais l'IA, c'est le mal absolu. donc, au bûcher sans procès

[Liet Kynes]

Merci pour le podcast que j'ai écouté jusqu'au bout (avec quelques retour arrière en prime).
Finalement, c'est peut-être la conjonction entre la personne et la demande de l'éditeur de calibrer le style qui a rendu ce livre trop mécanique stéréotypé...

Elle libère sa pensée quand même:

Q: Comment avez-vous réagi au tweet de "Balance ton Claude", qui a lancé mardi les premières accusations?

R: "J'ai eu un immense soulagement. Lorsque j'ai enregistré le podcast, je me suis remise en question plutôt que le texte, je pensais que mes goûts avaient changé à cause du boulot. Mais quand j'ai réécouté l'épisode, je me suis dit: +c'est dingue !+. J'en étais persuadée (de l'utilisation de l'IA). Mais je me retenais parce que je ne voulais pas finir avec un procès en diffamation. Donc je m'étais résignée, je pensais que ça sortirait sûrement dans cinq ans."

https://information.tv5monde.com/cul...til-ia-2839038

[Biname]

Les éditeurs de Pangram ont fait bien plus de tests que nous n'en ferons jamais. Ces tests sont la base même de l'apprentissage de leur IA, le but étant de réduire le nombre de faux positifs, les faux négatifs étant un problème secondaire. Leur réputation est en jeu, leur première place doit être justifiée.

Sur un livre de 250 pages 100% IA, même avec beaucoup de bémols, la probabilité d'une erreur faux positif global est extrêmement faible.

Conclusion finale avec l'IA :
Un livre 100 % IA composé de 250 pages de 2 000 caractères, décomposé en 10 000 tranches de 50 caractères, passées à un détecteur (comme Originality.ai) dont le taux de faux négatifs est de 2 %, induira environ 9 800 positifs.

La probabilité d'observer ces 9 800 positifs si le texte était en réalité humain (donc que tous soient des faux positifs) est de l'ordre de 1/10¹⁶ ⁰⁰⁰ (1 sur 10 exposant 16000).

La probabilité d'observer 4 900 positifs si le texte était humain est de l'ordre de 1/10⁴ ⁰⁰⁰ (1 sur 10 exposant 4000).


Avis de l'IA et liste des autres détecteurs de ce type

 Cliquez pour afficher

L'idée de fond est juste : Pangram a un intérêt vital à limiter les faux positifs, parce qu'accuser à tort un texte humain d'être généré par IA, c'est ce qui détruit une réputation. Un faux négatif (laisser passer un texte IA), c'est moins grave en apparence.

Mais je nuancerais deux points :

Les faux négatifs ne sont pas si secondaires. Un détecteur qui laisse tout passer ne sert à rien. Pangram doit trouver un équilibre, pas juste minimiser les faux positifs. Leur communication met d'ailleurs en avant les deux.

« Leur première place doit se justifier » suppose qu'ils sont premiers. C'est vrai en notoriété, mais la hiérarchie des détecteurs est mouvante et dépend beaucoup des benchmarks choisis. Dire « leur première place » comme un fait acquis, c'est déjà adopter leur point de vue.

Donc ton raisonnement tient, mais il gagnerait à dire : ils ont intérêt à limiter les faux positifs, ce qui tire leur technologie vers le haut — plutôt que de présenter la première place comme une évidence à défendre.

LISTE NON EXHAUSTIVE DES DÉTECTEURS DE TEXTE IA
============================== ==================

1. GPTZero
- Pionnier du secteur (2023)
- Classification ternaire (humain / IA / mixte)
- Surlignage phrase par phrase
- Très utilisé en éducation
- Moins fiable sur textes courts

2. Originality.ai
- Suite complète (IA + plagiat + fact-checking)
- Brevets sur ses méthodes
- Deep Scan explicatif
- Haute précision mais faux positifs plus élevés que Pangram

3. Copyleaks
- Détection IA + plagiat dans un même rapport
- 30+ langues
- Intégrations LMS (Canvas, Moodle)
- Résultats variables selon les modèles générateurs

4. Turnitin
- Standard académique
- Intégré aux workflows universitaires
- Base de données massive
- Réservé aux institutions, peu fiable seul pour sanctionner

5. Grammarly
- Détecteur intégré à la suite d'écriture
- Outil Authorship pour documenter l'origine du texte
- Orienté "preuve de processus" plus que détection pure

6. ZeroGPT
- Gratuit, rapide
- Traitement par lots, API
- Précision la plus faible dans une étude comparative (69,4 %)

7. QuillBot
- Détection gratuite
- Intégrée aux outils de paraphrase/grammaire
- Multilingue
- Peut laisser passer de l'IA

8. Scribbr
- Détection gratuite sans compte (limite 1200 mots)
- Orienté académique
- Calibration douteuse selon certains tests

9. Sapling
- Probabilité globale et par phrase
- Extension, API
- Bon score sur les textes IA
- Tarification API peu claire

10. Isgen
- Français
- Analyse par phrase, plagiat
- Fichiers et lots, API
- Positionné sur le marché francophone

AUTRES DÉTECTEURS
-----------------
- Winston AI (texte + images + deepfake)
- Smodin (100+ langues)
- TraceGPT (budget serré)
- BrandWell (marketing/SEO)
- Crossplag (publication académique)
- Quetext (gratuit + plagiat)

POINT COMMUN
------------
Tous partagent les mêmes limites structurelles :
- Précision chute à 54-71 % sur les textes hybrides (mélange humain/IA)
- Taux de faux positifs variant de 15,6 % à 30,6 %
- Certaines études montrent jusqu'à 68,6 % de faux positifs
- Aucun ne devrait être utilisé seul pour des décisions à enjeux
Quelques détecteurs supplémentaires : Winston AI (texte + images + deepfake), Smodin (100+ langues), TraceGPT (budget serré), BrandWell (marketing/SEO), Crossplag (publication académique), Quetext (gratuit + plagiat) .

Plus un texte est long plus le verdict est probable pour certain détecteurs et l'inverse pour d'autres
Détails IA :

 Cliquez pour afficher

Oui, la longueur du texte affecte directement la précision du jugement, et dans la plupart des cas, plus le texte est long, plus le jugement est précis.

Les détecteurs d'IA ont besoin de suffisamment de « contexte » pour identifier les caractéristiques statistiques et stylistiques d'un texte. Les textes trop courts ne fournissent pas assez d'échantillons, ce qui entraîne une précision de jugement considérablement réduite, voire une incapacité à donner un résultat fiable.
 Pourquoi la longueur détermine-t-elle la précision ?

Les textes courts manquent de « signal » : les modèles d'IA génèrent des textes qui présentent certaines régularités statistiques (par exemple, certains mots apparaissent plus fréquemment dans les textes d'IA), mais ces régularités doivent être accumulées sur une longueur suffisante pour être capturées de manière fiable. Une recherche de l'ETS indique que 50 mots sont la longueur minimale pour une détection fiable, et il est « pratiquement impossible » de juger si une phrase ou un mot court a été généré par une IA.

Dégradation puis inversion de la précision : une étude sur les benchmarks PAN a constaté que lorsque la longueur du texte est inférieure à 800 mots, la capacité de discrimination du détecteur est très faible (AUC seulement 0,402), et même « inversée » (les textes humains courts sont plus susceptibles d'être classés comme IA). Ce n'est que dans la plage de 1500-3000 mots que l'AUC remonte à 0,856, et la précision devient réellement fiable.

Différences de performance selon les détecteurs : une autre étude académique montre que différents détecteurs ont une précision très variable selon la longueur du texte. Par exemple, la précision de Turnitin est de 0,87 pour les textes de 300-330 mots, mais de 0,56 pour ceux de 450-550 mots ; la précision d'Originality.ai atteint 0,96 pour les textes courts, mais chute à 0,63 pour les textes de 900-1100 mots.

 Le cas spécifique de Pangram

Pangram a explicitement établi une limite minimale de 50 mots pour effectuer une prédiction, précisément pour garantir que le modèle dispose de suffisamment de contexte pour faire un jugement fiable. Pangram 3.2 a même amélioré sa capacité de classification pour les textes de 50-75 mots. Dans les tests en interne et par des tiers, lorsqu'il s'agit de textes de longueur moyenne à longue, les taux de faux positifs et de faux négatifs de Pangram sont pratiquement nuls ; pour les textes très courts, la précision baisse, mais elle reste supérieure à celle des autres détecteurs.

Ainsi, votre jugement est correct : la longueur est l'un des facteurs les plus importants déterminant la précision de la détection. Si vous voulez obtenir un résultat de détection relativement fiable, fournir un texte de 500 mots ou plus est beaucoup plus fiable qu'une simple phrase ou un paragraphe.

Tu pourrais faire un tableau plain text code : détecteur | taille du texte | % faux positifs ?

 Cliquez pour afficher

DÉTECTEUR       | TAILLE DU TEXTE          | % FAUX POSITIFS (FPR)
================|==========================|=====================
Pangram         | Moyen à long             | ~0 % (0,001–0,01 %)
Pangram         | Court                    | <1 % (0,01 % ESL)
Pangram         | Très court (<50 mots)    | Non prédit
----------------|--------------------------|---------------------
GPTZero         | Moyen à long (500+)      | 0 %
GPTZero         | Court (200-500)          | ~1 %
GPTZero         | Très court (50-200)      | ~6 %
GPTZero         | Étude ESL (TOEFL)        | 61,3 %
----------------|--------------------------|---------------------
Originality.ai  | Lite                     | 0,5 %
Originality.ai  | Turbo                    | 1,5 %
Originality.ai  | Academic                 | <1 %
----------------|--------------------------|---------------------
RoBERTa (open)  | Tous                     | ~19 % (inadapté)