[IA] Peut-on se fier aux détecteurs de textes écrits par IA ?

[MissJenny]

J'explique 'ma' méthode : données : Pangram 2% de faux positifs pour des textes de 50 mots, disons 250 caractères(5 caractères par mot). Une page comporte en moyenne 2000 caractères ou de 400 mots, soit pour tout le livre 100000 mots. Je découpe le livre en tranche de 50 mots, soit 2000 tranches. Je passe ces 2000 tranches à Pangram - une à une - qui, pour chaque tranche, me répond IA ou humain.

tu supposes que le texte est composé de paragraphes, soit écrits par un humain soit écrits par une IA, mais en fait je ne pense pas que ça soit aussi simple. L'auteur a probablement écrit un plan détaillé, voire un premier jet, et laissé l'IA écrire les détails ou améliorer son premier jet. Ou bien il a écrit les dialogues et laissé les passages descriptifs à l'IA (comme les grands peintres de la Renaissance qui peignaient les visages et laissaient le reste aux soins de leurs élèves). Enfin j'imagine quelque-chose comme ça.
-----

[GBo]

J'explique 'ma' méthode : données : Pangram 2% de faux positifs pour des textes de 50 mots, disons 250 caractères(5 caractères par mot). Une page comporte en moyenne (...)

Lis l'article du #106; Pangram est meilleur avec de larges extraits, l'avantage du roman est justement qu'on en a. On peut lui fournir de larges extraits, et même la totalité du bouquin, et c'est ce qui a été fait. Les courts extraits ne sont pas conseillés.

En outre, je me répète, si, je dis bien si c'est le STYLE de l'auteur (ex. les tournures de phrases confinant au tic genre "ce n'est pas...., c'est ....", comme le fait ChatGPT, des métaphores concret/abstrait etc...) qui fait tourner le détecteur en positif, vu que ces tics sont OMNIPRESENTS à chaque page (je l'ai constaté), ça n'ajouterait rien à la qualité du verdict de tester chaque page.

[ThM55]

Comme je crois l'avoir déjà écrit plus haut, cela ne me dérange pas qu'un romancier utilise un LLM pour rédiger. Même si je suis plutôt un lecteur d'essais qu'un lecteur de romans, je ne jetterais pas un bon roman si le sous-titre mentionne qu'il a été partiellement rédigé par une IA. En effet, je suppose que l'auteur reste l'architecte du roman et l'arbitre final, avec son éditeur. S'il a vraiment utilisé un LLM, il a dû lui fournir des informations détaillées, un contexte, une continuité narrative, des synopsis chapitre par chapitre, des éléments culturels liés à son pays. L'IA n'a pas tout fait. Ce n'est pas par un simple prompt "rédige moi un roman de 250 pages qui parle de ceci: ***" qu'il a pu y arriver. Mais si c'est vraiment le cas il aurait dû le révéler et il n'aurait sans doute pas connu ce succès initial. J'ai lu les trois premiers chapitres que j'ai obtenus comme extrait gratuit sur un Kindle d'Amazon et j'ai trouvé que c'est un remarquable récit, très prenant et poignant. Je comprends qu'il ait été sélectionné pour un prix, honnêtement je ne peux pas blâmer ceux qui en sont responsables. Et effectivement l'abondance de métaphores parfois étranges et de tournures systématiques peut susciter le soupçon, mais si on n'est pas prévenu, on pourrait prendre cela comme un sorte de choix stylistique. C'est tout le paradoxe de cette affaire et je regrette qu'on la présente de manière si manichéenne. Bon, je sais qu'il y a aussi des affaires de plagiat systématique dans son passé, mais ce n'est pas une question d'IA.

[ThM55]

Mais bien sûr je ne suis pas critique littéraire. Pas très littéraire en général d'ailleurs.

[vgondr98]

Voila l'avis de Pangram sur ce texte plagié de Thélyson Orélien (https://www.reddit.com/r/Quebec/comm...prix/#lightbox)
"Je suis d'une grand maladresse et le déplore. Je serais meilleur si mes mains savaient travailler.
Des mains qui font quelquechose d'utile, plongent dans les profondeurs de l'être et y débordent une source de bonté.
Mon grand-père, qui m'avait élevé et que j'apelle aussi p_re était un ouvirer, autant intellectuel que manuel.
C'était une âme puissante, un esprit réellment messager.

En dépit de cette maladresse, j'ai tout de même touché à des choses. J'avais seize ans.
J'étais à l'époque un élève au cours fondamental à une Institution presbytérale des Frères de l'Instruction chrétienne dirigée par des prêtes français.
Le samedi après-midi, nous avions le choix entre le travail du bois, le modelage, l'artisanat ou la reliure.
A cette époque, je ne lisais pas vraiment de textes basés sur la science ou à la technologie.
Je lisais tout simplement des poètes, et surtout René Char ou Phillippe Jaccottet. Je me fis violence pour ne point relier la parole en archipel, une façon pour moi de le lire sans modification.

Mon père possédait une trentaine de livres, rangés dans l'étroite armoire de son atelier, avec des bobines, des craies, des épaulettes et des patrons.
Il y avait aussi, dans cette armoire, des milliers de notes prises d'une petite écriture appliquée sur le coin de l'établie, pendant les innombrales nuits de labeur.
Parmis ces livres, j'avais Le monde avant la création de l'homme de Cmille Flammarion, un ouvrage illustré de gravures, de cartes géologiques et d'aquarelles,
et j'étais en train de découvrir Où va le monde de Walter Rathenau. C'est l'ouvrage de Ratheneau que je me mis à relier, non sans peine.
Dans ce petit atelier, cahque samedi, je faisais du travail manuel pour l'amour de mon père et du monde ouvrier.
Dans ce livre, mon père avait souligné au crayon rouge, une longue phrase qui est toujours demeurée dans ma mémoire :
"Même l'époque accablée est digne de respect, car elle est l'oeuvre, non des hommes, mais de l'humanité, donc de la nature créattice, qui peut être dure, mais n'est jamais absurde.
Si l'époque que nous vivons est dure, nous avons d'autant plus le devoir de l'aimer."

C'est après avoir lu Ratheneau que j'ai commencée à avoir en moi un amour immense pour la science et à avoir pleine confiance dans le progrès technique.
C'est ma rencontre marquante avec la science ou la technologie.
A seulement sierz ans, il s'était bâti une puissante philosophie en moi. Une sorte d'illumination scientifique guidée par la passion des livres de paléontologie, d'astronomie et de physique.
Mon père est mort sans avoir jamais cessé de croire en la nature créatrice, sans avoir jamais cessé d'aimer et de pénétrer de son amour le monde doloureux dans laquelle il vivait, sans avoir jamais cessé d'espérer voir luire la lumière derrière les lourdes masses de matière."

100% humain.
Il pourra toujours se défendre en disant qu'il a quasiment tout pompé chez Lois Pauwels et que donc ce texte Pangram ne prouve rien sur son style ...

[oualos]

Remarque coquine (ou pas!): faire écrire un paragraphe voir un livre entier par l'IA puis ensuite modifier des mots , des expressions, des tournures voire l'organisation totale du livre et celle des chapitres c'est plagier l'IA!
Le seul intérêt et la seule différence avec le plagiat pur et simple c'est que l'IA va pas se plaindre et ne va pas vous intenter un procès

100% humain.
Il pourra toujours se défendre en disant qu'il a quasiment tout pompé chez Lois Pauwels et que donc ce texte Pangram ne prouve rien sur son style ...

Même les fôtes d'ortôgraf?

[GBo]

Voila l'avis de Pangram sur ce texte plagié de Thélyson Orélien
100% humain. [...]
Il pourra toujours se défendre en disant qu'il a quasiment tout pompé chez Lois Pauwels et que donc ce texte Pangram ne prouve rien sur son style ...

On se demande bien ce que tu voulais prouver, vu qu'en effet c'est pompé sur la préface de "Le Matin des magiciens, introduction au réalisme fantastique" de Louis Pauwels et Jacques Bergier, un bouquin d'ailleurs très connu en France (je le dis pour les plus jeunes s'il y en a ici).

Le détail du plagiat, pour ceux que ça intéresse:
https://x.com/CerfiaFR/status/210282...865760/photo/1

Mais revenons au sujet SVP: Pangram pour la détection de l'usage de l'IA

[vgondr98]

Que c'est difficile de tester son style vu que les texte qu'on trouve de lui pré-IA, ce sont des plagiats.

[Liet Kynes]

J'ais fais un test:

Extraction d'un texte du livre via google book:
"
On a été neuf à descendre. Neuf types aux visages différents mais avec le même regard, le regard de ceux qui sentent qu’ils pourraient être rayés du monde dans cinq minutes. On s’est alignés sur le bas-côté. Un autre type armé nous a inspectés comme du bétail. Il a demandé à voir nos papiers. Aucun de nous n’en avait. À quoi bon avoir une carte d’identité dans un pays qui n’en est plus un ?
Le chef – il se faisait appeler Boss Matyas – est descendu du pick-up. Il était jeune, trop jeune pour être aussi puissant. Il portait un t-shirt de Messi, un pantalon noir et un fusil plus grand que lui. Il a regardé chacun d’entre nous. Il a dit :
— Voilà ce qu’on va faire. Il me faut deux soldats. Les autres, je n’en ai pas besoin. Alors faites-moi rire. Si tu me fais rire, tu vis. Si tu ne me fais pas rire...
"

Verdict 100% IA

J'ai remplacé des verbes et des mots :

"Son regard ne laissait pas de place à l’humour. C’était le regard de ceux qui pètent avant de sentir. Alors j’ai vomi. On a été neuf à descendre. Neuf personnes aux traits semblables mais avec le même nez, le nez de ceux qui sentent qu’ils aimeraient être ôtés du monde dans cinq secondes. On s’est mis sur le bas-côté. Un autre type idiot nous a regardés comme du gibier. Il a demandé à voir nos sacs. Aucun de nous n’en avait. À quoi bon avoir un sac dans un avion qui n’en est plus un ? Le patron – il se faisait nommer Boss Matyas – est tombé du pick-up. Il était idiot, trop idiot pour être aussi barbu. Il portait un t-shirt de Messi, une robe noire et un gourdin plus grand que lui. Il a toisé chacun d’entre nous. Il a dit : — Voilà ce qu’on va chanter. Il me faut trois ténors. Les autres, je n’en ai pas envie. Alors faites-moi danser. Si tu me fais danser, tu ris. Si tu ne me fais pas danser..."

Verdict 100% humain.

Mon verdict les 100% sont 100% pipo car je n'ai pas tout ré-écris= il devrait y avoir un % IA+humain

[vgondr98]

Oui, j'ai fait le même test. J'ai fait écrire un truc par une IA, 100% IA selon Pangram, je modifie quelque mots, 100% IA, je continue, 100% IA, je modifie 2 mots, 100% humain...

[GBo]

J'ais fais un test:
Mon verdict les 100% sont 100% pipo car je n'ai pas tout ré-écris= il devrait y avoir un % IA+humain

Cela a été dit plusieurs fois au cours du fil et dans les liens fournis: le verdict "100% humain" de Pangram, quand il sort, n'est pas très fiable; c'est le verdict "100% IA", qui, quand ça arrive (et ça arrive, la preuve !), est très fiable pour Pangram 4.
La différence de fiabilité est de plusieurs ordres de grandeur si j'en crois les chiffres qui circulent.

[Liet Kynes]

C'est donc soit 100% IA soit 100% humain: cela veux dire que le truc arrondi son verdict ? 50.5% IA = 100% IA -> c'est pas le top.
Donc l'écrivain qui écris son texte et demande d'arranger la mise en forme ou le style se voit attribuer le fond de ses écris à l'IA ??

En langage 100% IA :« Le système fonctionne-t-il selon une logique de "tout ou rien" (soit 100 % IA, soit 100 % humain) ? Si le verdict est arrondi de cette manière — où 50,5 % IA devient automatiquement 100 % —, c'est loin d'être idéal. Cela implique qu'un écrivain qui utilise l'IA uniquement pour peaufiner son style ou sa mise en forme voit le fond de ses propres écrits attribué à une machine. »

[GBo]

Donc l'écrivain qui écris son texte et demande d'arranger la mise en forme ou le style se voit attribuer le fond de ses écris à l'IA ??

C'est fort possible (et ça ne serait pas choquant pour moi).
Pour savoir si c'est le cas, tu peux essayer, ta question est intéressante et bien dans le sujet.

[vgondr98]

Il faut cliquer sur Details et on voit que c'est pas du tout 100%. L'interface est vraiment nul.

[Biname]

Je pense qu'il est temps que le monde sache que les ingénieurs de chez Pangram et ceux des Bencharkeurs sont nuls et que heureusement, vous êtes là pour en faire la démonstration. Bravo !

[GBo]

C'est fort possible (et ça ne serait pas choquant pour moi).
Pour savoir si c'est le cas, tu peux essayer, ta question est intéressante et bien dans le sujet.

J'ai essayé.
Voici le début de la préface de "Le Matin des magiciens" qui date de 1960 ("100% humain" sous Pangram) :

Je suis d’une grande maladresse manuelle et le déplore. Je serais meilleur si mes mains savaient travailler. Des mains qui font quelque chose d’utile, plongent dans les profondeurs de l’être et y débondent une source de bonté et de paix. Mon beau-père (que j’appellerai ici mon père, car c’est lui qui m’a élevé) était ouvrier tailleur. C’était une âme puissante, un esprit réellement messager. Il disait parfois en souriant que la trahison des clercs avait commencé le jour où l’un d’eux représenta pour la première fois un ange avec des ailes : c’est avec les mains que l’on monte au ciel.

En dépit de cette maladresse, j’ai tout de même relié un livre. J’avais seize ans. J’étais élève au cours complémentaire de Juvisy, en banlieue pauvre. Le samedi après-midi, nous avions le choix entre le travail du bois, du fer, le modelage ou la reliure. Je lisais à cette époque les poètes, et surtout Rimbaud. Cependant, je me fis violence pour ne point relier Une Saison en Enfer. Mon père possédait une trentaine de livres, rangés dans l’étroite armoire de son atelier, avec les bobines, les craies, les épaulettes et les patrons. Il y avait aussi, dans cette armoire, des milliers de notes prises d’une petite écriture appliquée, sur un coin de l’établi, pendant les innombrables nuits de labeur.

Parmi ces livres, j’avais lu Le Monde avant la Création de l’Homme, de Flammarion, et j’étais en train de découvrir Où va le Monde ? de Walter Rathenau. C’est l’ouvrage de Rathenau que je me mis à relier, non sans peine. Rathenau avait été la première victime des nazis, et nous étions en 1936. Dans le petit atelier du cours complémentaire, chaque samedi, je faisais du travail manuel pour l’amour de mon père et du monde ouvrier. Le premier mai, j’offris, avec un brin de muguet, le Rathenau cartonné.

Dans ce livre, mon père avait souligné au crayon rouge une longue phrase qui est toujours demeurée dans ma mémoire :

« Même l’époque accablée est digne de respect, car elle est l’œuvre, non des hommes, mais de l’humanité, donc de la nature créatrice, qui peut être dure, mais n’est jamais absurde. Si l’époque que nous vivons est dure, nous avons d’autant plus le devoir de l’aimer, de la pénétrer de notre amour, jusqu’à ce que nous ayons déplacé les lourdes masses de matière dissimulant la lumière qui luit de l’autre côté. »

J'ai demandé à Gemini de réécrire le texte avec le même nombre de mot mais dans un style "plus moderne":

Je manque cruellement de dextérité et le regrette. Je serais meilleur si mes mains savaient créer. Des mains qui fabriquent du concret touchent au plus profond de nous et libèrent un sentiment d’apaisement. Mon beau-père (que je nommerai mon père, puisqu’il m’a élevé) travaillait comme artisan tailleur. C’était une personnalité forte, une conscience inspirée. Il affirmait parfois en riant que le renoncement des intellectuels avait débuté quand l’un d’eux dessina le premier ange ailé : c’est par le travail manuel que l’on s’élève.

Malgré ma maladresse, j’ai pourtant relié un ouvrage. J’avais seize ans. J'étudiais au collège de Juvisy, dans un quartier populaire. Le samedi après-midi, nous choisissions entre travail du bois, métallurgie, sculpture ou reliure. Je devorais alors les poètes, particulièrement Rimbaud. Pourtant, je me suis forcé à ne pas relier Une saison en enfer. Mon père possédait trente bouquins, alignés dans la petite armoire de l'atelier, parmi les fils, craies, rembourrages et patrons. Ce meuble abritait aussi des milliers de notes rédigées d’une écriture fine, sur un bord de table, durant ses interminables nuits de travail.

Parmi ces volumes, j’avais lu Le Monde avant la création de l’homme de Flammarion, et je découvrais Où va le monde ? de Walter Rathenau. C’est ce livre de Rathenau que j'ai entrepris de relier, avec difficulté. Rathenau fut la toute première victime du nazisme, et c’était en 1936. Dans la petite salle du collège, chaque samedi, je façonnais pour honorer mon père et la classe ouvrière. Le premier mai, je lui ai offert, avec du muguet, le Rathenau cartonné.

Dans cet ouvrage, mon père avait surligné en rouge un passage gravé en moi :

« Même l’époque accablée est digne de respect, car elle est l’œuvre, non des hommes, mais de l’humanité, donc de la nature créatrice, qui peut être dure, mais n’est jamais absurde. Si l’époque que nous vivons est dure, nous avons d’autant plus le devoir de l’aimer, de la pénétrer de notre amour, jusqu’à ce que nous ayons déplacé les lourdes masses de matière dissimulant la lumière qui luit de l’autre côté. »

[GBo]

Le verdict est celui attendu.
Vous remarquerez que la citation à la fin n'est pas surlignée car elle est humaine : en effet, Gemini a eu la délicatesse de ne pas transformer cette partie du texte original.

[oualos]

voici un lien qui explique le fonctionnement de Pangram

https://www.lemonde.fr/videos/video/...8_1669088.html

Le pourcentage d'erreur de faux positifs était de 1 à 2% mais ils disent que la nouvelle version est bien plus performante

[GBo]

En résumé, "black box". Le Monde quoi

[GBo]

https://www.pangram.com/knowledge-hu...s-pangram-work

When any author writes a sentence, they’re making thousands of conscious and unconscious decisions about how it should be composed. Fundamentally, AI detection is a problem of author identification – categorizing which decisions are prototypical of what kind of author. We can do this because, while LLMs like ChatGPT aren’t human, they are still a single author making decisions. The kinds of decisions they’re liable to make are also constrained: assistant models need to produce helpful, clear writing to effectively answer questions. These preferences are ingrained in the model during training, and once they’re there, it’s very hard to prevent them from surfacing.

Lorsqu’un auteur rédige une phrase, il prend des milliers de décisions, conscientes et inconscientes, sur la manière dont celle-ci doit être construite. Fondamentalement, la détection de l’IA est un problème d’identification de l’auteur : il s’agit de déterminer quelles décisions sont caractéristiques de quel type d’auteur. Nous pouvons y parvenir car, bien que les modèles de langage de grande envergure (LLM) comme ChatGPT ne soient pas humains, ils n’en constituent pas moins un auteur unique prenant des décisions. Les types de décisions qu’ils sont susceptibles de prendre sont également limités : les modèles d’assistance doivent produire des textes clairs et utiles pour répondre efficacement aux questions. Ces préférences sont ancrées dans le modèle lors de son apprentissage, et une fois qu’elles y sont, il est très difficile d’empêcher qu’elles ne se manifestent.

Traduit avec DeepL.com (version gratuite)

[GBo]

La suite du texte et une traduction automatique :

What is Pangram?

Pangram is a type of neural network called a classifier model. In the broadest sense, Pangram reads a segment of writing and – using an enormous set of learned patterns – estimates whether it is AI-generated.

Pangram learns to distinguish human and LLM writing by building a kind of map where authors with similar writing styles are placed close together, while those whose styles differ are positioned farther apart. On this map, human-written and AI-generated text form distinct clusters, and our research shows that Pangram can even locate major commercial language models, such as ChatGPT and Claude, in different regions.

When Pangram encounters a piece of writing it has never seen, it determines where it should go on the map by comparing it to the text it already knows. No single aspect of the writing determines where it lands, so a human writer is not at risk of being misclassified simply because ChatGPT has adopted one of their favorite devices, such as the em dash. Visible LLM-isms are only one signal among hundreds of thousands that Pangram considers.

If the resulting coordinates fall in a human-written region, Pangram predicts that the text is human; if they fall in a more ambiguous area, or if different passages from the same text point in different directions, Pangram begins to suspect it may contain AI writing. This is why Pangram has a minimum word count: more words mean more precise coordinates. The same approach also helps Pangram generalize to new AI model releases, which tend to inherit much of their predecessors’ style and voice, and so occupy very similar regions of the map.

Qu'est-ce que Pangram ?

Pangram est un type de réseau neuronal appelé « modèle classificateur ». Au sens large, Pangram analyse un extrait de texte et, à l’aide d’un vaste ensemble de modèles appris, évalue s’il a été généré par une IA.

Pangram apprend à distinguer les textes rédigés par des humains de ceux générés par des modèles linguistiques (LLM) en construisant une sorte de carte sur laquelle les auteurs ayant des styles d’écriture similaires sont placés à proximité les uns des autres, tandis que ceux dont les styles diffèrent sont positionnés plus loin les uns des autres. Sur cette carte, les textes rédigés par des humains et ceux générés par l’IA forment des groupes distincts, et nos recherches montrent que Pangram est même capable de localiser les principaux modèles linguistiques commerciaux, tels que ChatGPT et Claude, dans des régions différentes.

Lorsque Pangram rencontre un texte qu’il n’a jamais vu auparavant, il détermine où celui-ci doit être placé sur la carte en le comparant aux textes qu’il connaît déjà. Aucun aspect particulier du texte ne détermine à lui seul son emplacement ; ainsi, un auteur humain ne risque pas d’être classé à tort simplement parce que ChatGPT a repris l’un de ses procédés stylistiques préférés, comme le tiret long. Les « LLM-ismes » visibles ne constituent qu’un signal parmi les centaines de milliers que Pangram prend en compte.

Si les coordonnées obtenues se situent dans une zone correspondant à un texte écrit par un humain, Pangram prédit que le texte est d’origine humaine ; si elles se situent dans une zone plus ambiguë, ou si différents passages d’un même texte indiquent des directions divergentes, Pangram commence à soupçonner qu’il pourrait s’agir d’un texte généré par une IA. C’est pourquoi Pangram impose un nombre minimum de mots : plus il y a de mots, plus les coordonnées sont précises. Cette même approche aide également Pangram à généraliser ses résultats aux nouvelles versions de modèles d’IA, qui ont tendance à hériter en grande partie du style et de la voix de leurs prédécesseurs, et occupent donc des zones très similaires sur la carte.

Traduit avec DeepL.com (version gratuite)

[GBo]

On continue ? Ca fait un peu pub sorry, mais on apprend des choses.

Pangram is better than other AI detectors

Previous attempts at detecting AI writing have been abject and public failures. This is because they attempted to reverse-engineer the way large language models produce text. After every word of a sentence, these detectors asked: if I were an LLM, what word would I expect to come next?

For instance, given a sentence fragment such as “I’m going to take my dog for a …,” an AI model might consider “walk” or “run” to be very likely next words, whereas non sequiturs like “harbinger” or “verglas” would not be likely candidates. Early detectors attempted to reconstruct an LLM’s ranking of likely words and compare it with the word that actually appears, so the more often the text followed the predictable choice, the more likely the detector was to classify it as AI-generated. In essence, this reflects how perplexed an LLM would be to encounter a word next in a sentence, so this mode of AI detection was called perplexity analysis.

Perplexity analysis has a lot of problems. It’s not a good measure of the thing it’s trying to distinguish, because human sentences are frequently just as canalized as LLM prose. So predictable or structured human writing is often falsely flagged by perplexity detectors, while at the same time, those detectors are trivially bypassed by obvious strategies like swapping words for less common synonyms.

Famously, perplexity models also fail on many texts that predate the advent of the computer. Perplexity-based detection likes to tell you that the Bible or the Declaration of Independence are 100% AI-generated. It does this because LLMs read the Declaration of Independence thousands of times during the course of their training, so every next word contained therein is very unsurprising from the LLM’s perspective. The detector misinterprets that likelihood as evidence the writing is AI-generated.

Pangram avoids this because it is not trying to reverse-engineer how an LLM generates text. Rather than looking at each word and asking “what would an LLM write here?” Pangram looks at the whole text and asks “who does this sound like?” This way, ChatGPT’s level of familiarity could never cause Pangram to misclassify historical documents as AI-generated – but not every case is so easy.

Pangram est plus performant que les autres détecteurs d’IA

Les tentatives précédentes visant à détecter les textes générés par l’IA se sont soldées par des échecs cuisants et publics. Cela s’explique par le fait qu’elles cherchaient à reproduire le processus par lequel les grands modèles linguistiques (LLM) produisent du texte. Après chaque mot d’une phrase, ces détecteurs se posaient la question suivante : si j’étais un LLM, quel mot m’attendrais-je à voir apparaître ensuite ?

Par exemple, face à un fragment de phrase tel que « Je vais emmener mon chien faire un… », un modèle d’IA pourrait considérer que « promenade » ou « course » sont des mots très susceptibles de suivre, tandis que des mots sans rapport comme « présage » ou « verglas » ne seraient pas des candidats plausibles. Les premiers détecteurs tentaient de reconstituer le classement des mots probables établi par un LLM et de le comparer au mot qui apparaissait réellement ; ainsi, plus le texte suivait le choix prévisible, plus le détecteur était susceptible de le classer comme généré par l’IA. En substance, cela reflète le degré de perplexité qu’éprouverait un LLM face au mot suivant dans une phrase ; c’est pourquoi ce mode de détection de l’IA a été appelé « analyse de perplexité ».

L’analyse de perplexité présente de nombreux problèmes. Elle ne constitue pas un bon indicateur de ce qu’elle cherche à distinguer, car les phrases humaines sont souvent tout aussi « canalisées » que la prose produite par un LLM. Ainsi, les textes humains prévisibles ou structurés sont souvent signalés à tort par les détecteurs de perplexité, tandis que ces derniers sont facilement contournés par des stratégies évidentes, comme le remplacement de mots par des synonymes moins courants.

Comme on le sait, les modèles de perplexité échouent également face à de nombreux textes antérieurs à l’avènement de l’ordinateur. La détection basée sur la perplexité a tendance à affirmer que la Bible ou la Déclaration d’indépendance sont générées à 100 % par une IA. Cela s’explique par le fait que les LLM ont lu la Déclaration d’indépendance des milliers de fois au cours de leur entraînement ; ainsi, chaque mot suivant qu’elle contient est tout à fait prévisible du point de vue du LLM. Le détecteur interprète à tort cette probabilité comme une preuve que le texte a été généré par une IA.

Pangram évite ce problème car il ne cherche pas à reconstituer la manière dont un LLM génère du texte. Plutôt que d’examiner chaque mot en se demandant « qu’écrirait un LLM à cet endroit ? », Pangram examine le texte dans son ensemble et se demande « à qui cela fait-il penser ? ». De cette manière, le niveau de familiarité de ChatGPT ne pourrait jamais amener Pangram à classer à tort des documents historiques comme étant générés par l’IA – mais tous les cas ne sont pas aussi simples.

[GBo]

Suite et fin enfin:

How we trained Pangram

It isn’t difficult to train a classifier to be 98% accurate. Most AI writing is easy to recognize, and a neural network can quickly learn the most obvious tells. Just as almost anyone could compare an E. E. Cummings poem with a quote from The Brothers Karamazov and conclude they were written by different authors, a basic classifier can trivially distinguish an AI-generated pasta recipe from a human’s journal entry. But in AI detection, 98% accuracy is egregiously bad: a 2% error rate would mean misclassifying one out of every 50 documents, which would call any given prediction into question. So consider, if you were a top 2% Dostoevsky distinguisher, what strategy would you use to become top 0.01%?

At that level, rereading Dostoevsky directly produces diminishing returns – closing the gap requires finding the features that nobody save Dostoevsky could produce. A good strategy might be to hire a few professional impersonators to write the most convincing clones of Dostoevsky possible and study the differences. That’s how we train Pangram: for every element of our dataset of commercially licensed human-written texts, we generate an AI double that is as close as possible to its source. The doubles are the same length, same tone, same topic, but AI-generated. We then train the Pangram model on those human-AI text pairs.

In learning to distinguish between those pairs, Pangram effectively raises the resolution of the boundary areas on its internal map. To make sure Pangram’s map is as accurate as possible, we’re extremely careful about data poisoning: our dataset of known human text is drawn from 2021 and earlier, before AI was loosed on the internet. This works well for now, but we are cognizant of the fact that we will have to adjust as language does. Preemptively addressing data drift before it becomes a problem is one of our top research priorities.

How do we know Pangram gets it right?

Pangram is a statistical model that makes predictions based on text alone, so its accuracy must also be tested statistically. That is what we do. We publish internal benchmarks for every Pangram model we release, as well as every time an AI lab updates their LLMs. We have also been tested and verified by independent third parties, such as teams at the University of Chicago and the University of Maryland.

If you are a researcher – or if you have a really good idea and promise to publish your results – you can apply for one of our API credit grants and test our models yourself. We’re always looking for ways to improve.

Comment nous avons entraîné Pangram

Il n’est pas difficile d’entraîner un classificateur pour qu’il atteigne une précision de 98 %. La plupart des textes générés par l’IA sont faciles à reconnaître, et un réseau neuronal peut rapidement apprendre à repérer les indices les plus évidents. Tout comme n’importe qui pourrait comparer un poème d’E. E. Cummings à une citation des Frères Karamazov et conclure qu’ils ont été écrits par des auteurs différents, un classificateur basique peut sans peine distinguer une recette de pâtes générée par l’IA d’une entrée de journal intime rédigée par un humain. Mais en matière de détection de l’IA, une précision de 98 % est extrêmement médiocre : un taux d’erreur de 2 % signifierait une classification erronée d’un document sur 50, ce qui remettrait en cause n’importe quelle prédiction. Imaginez donc que vous fassiez partie des 2 % des meilleurs experts capables de distinguer Dostoïevski : quelle stratégie adopteriez-vous pour entrer dans les 0,01 % les plus performants ?

À ce niveau, relire Dostoïevski ne fait que produire des rendements décroissants : pour combler l’écart, il faut trouver les caractéristiques que personne, à part Dostoïevski, ne pourrait produire. Une bonne stratégie pourrait consister à engager quelques imitateurs professionnels pour rédiger les clones de Dostoïevski les plus convaincants possibles, puis à étudier les différences. C’est ainsi que nous entraînons Pangram : pour chaque élément de notre ensemble de données composé de textes écrits par des humains et sous licence commerciale, nous générons un double IA aussi proche que possible de sa source. Les doubles ont la même longueur, le même ton, le même sujet, mais sont générés par l’IA. Nous entraînons ensuite le modèle Pangram sur ces paires de textes humains-IA.

En apprenant à distinguer ces paires, Pangram augmente efficacement la résolution des zones limites sur sa carte interne. Pour nous assurer que la carte de Pangram est aussi précise que possible, nous faisons très attention à l’empoisonnement des données : notre ensemble de données de textes humains connus provient de 2021 et des années antérieures, avant que l’IA ne soit lâchée sur Internet. Cela fonctionne bien pour l’instant, mais nous sommes conscients que nous devrons nous adapter au fur et à mesure que la langue évolue. Anticiper la dérive des données avant qu’elle ne devienne un problème est l’une de nos principales priorités de recherche.

Comment savons-nous que Pangram donne les bons résultats ?

Pangram est un modèle statistique qui effectue des prédictions en se basant uniquement sur le texte ; sa précision doit donc également être testée statistiquement. C’est ce que nous faisons. Nous publions des benchmarks internes pour chaque modèle Pangram que nous lançons, ainsi qu’à chaque fois qu’un laboratoire d’IA met à jour ses grands modèles de langage (LLM). Nous avons également fait l’objet de tests et de vérifications par des tiers indépendants, tels que des équipes de l’université de Chicago et de l’université du Maryland.

Si vous êtes chercheur – ou si vous avez une très bonne idée et que vous vous engagez à publier vos résultats –, vous pouvez postuler à l’une de nos bourses de crédits API et tester nos modèles par vous-même. Nous cherchons constamment à nous améliorer.

Source : https://www.pangram.com/knowledge-hu...s-pangram-work

[ThM55]

De toute façon, pour répondre à la question initiale, la fiabilité, il faut une étude scientifique sérieuse avec une méthode qui élimine les biais, sans conflit d'intérêt et une revue par les pairs. Ce qui est montré ici avec des exemples jouets, c'est tout au plus du bricolage amateur.

[GBo]

Certes, mais faute de grives... et on apprend des choses aussi en faisant, à son petit niveau, Charpak parlait de mettre "la main à la pâte".

Un point m'interpelle:

That’s how we train Pangram: for every element of our dataset of commercially licensed human-written texts, we generate an AI double that is as close as possible to its source. The doubles are the same length, same tone, same topic, but AI-generated. We then train the Pangram model on those human-AI text pairs.

A quoi ressemblerait un prompt qui demanderait de générer un tel "double" ?

[mh34]

[QUOTE=GBo;7381719]Suite et fin enfin:

Comment nous avons entraîné Pangram

Il n’est pas difficile d’entraîner un classificateur pour qu’il atteigne une précision de 98 %. La plupart des textes générés par l’IA sont faciles à reconnaître, et un réseau neuronal peut rapidement apprendre à repérer les indices les plus évidents. Tout comme n’importe qui pourrait comparer un poème d’E. E. Cummings à une citation des Frères Karamazov et conclure qu’ils ont été écrits par des auteurs différents, un classificateur basique peut sans peine distinguer une recette de pâtes générée par l’IA d’une entrée de journal intime rédigée par un humain. Mais en matière de détection de l’IA, une précision de 98 % est extrêmement médiocre : un taux d’erreur de 2 % signifierait une classification erronée d’un document sur 50, ce qui remettrait en cause n’importe quelle prédiction. Imaginez donc que vous fassiez partie des 2 % des meilleurs experts capables de distinguer Dostoïevski : quelle stratégie adopteriez-vous pour entrer dans les 0,01 % les plus performants ?

À ce niveau, relire Dostoïevski ne fait que produire des rendements décroissants : pour combler l’écart, il faut trouver les caractéristiques que personne, à part Dostoïevski, ne pourrait produire. Une bonne stratégie pourrait consister à engager quelques imitateurs professionnels pour rédiger les clones de Dostoïevski les plus convaincants possibles, puis à étudier les différences. C’est ainsi que nous entraînons Pangram : pour chaque élément de notre ensemble de données composé de textes écrits par des humains et sous licence commerciale, nous générons un double IA aussi proche que possible de sa source. Les doubles ont la même longueur, le même ton, le même sujet, mais sont générés par l’IA. Nous entraînons ensuite le modèle Pangram sur ces paires de textes humains-IA.

Ouh là là...j'espère qu'ils ont pris le texte original en russe et demandé à des russes de rédiger les "clones", en russe évidemment! Parce que sinon...comment dire...
Au passage merci GBo pour tout ce travail de retranscription.

[GBo]

merci DeepL
https://www.deepl.com/en/translator

[Biname]

Selon, l'IA, Aurélien ??? n'est plus dans la liste des sélectionnés pour le Goncourt ?
L'IA a insisté pour donner ses probabilités concernant le lauréat

 Cliquez pour afficher

Mon marché Goncourt au 30 septembre
Roman Auteur Ma probabilité
L'Inconnue du quai de Javel Philippe Jaenada 20 %
Nous aussi Anne Godard 15 %
Je Lilia Hassaine 13 %
Le Fabuleux Piano Sonia Devillers 11 %
Chronique d'un royaume perdu Ananda Devi 9 %
Joseph dans la nuit Olivier Grondeau 8 %
La Solitude des professeurs est infinie Yannick Haenel 7 %
De l'autre côté du lac Sylvain Prudhomme 5 %
Faire la peau Louise Chennevière 4 %
La Guerre éternelle Olivier Rolin 3 %
Choses que je croyais perdues Clémentine Mélois 2 %
Minotaure Boris Bergmann 1 %
N'efface pas mes cercles Emma Marsantes 1 %
Une forêt / Bataille au procès Jouannais / Trigano 1 % à eux deux

Total : 100 %.

[Biname]

vgondr98 msg #119
TU devrais suivre mon conseil et suivre des cours de statistiques... la suite sous SPOILER

 Cliquez pour afficher

La tu est en plein dans le problème bais-variance (https://fr.wikipedia.org/wiki/Dilemme_biais-variance) couplé à une dépendance entre variable.

Pour gérer la dépendance, je n'ai pas les connaissances statistique nécessaire donc demande à ton IA. Une piste proposée est de modéliser tes séquences de texte par une chaîne de Markov caché.
Si pour chaque tranche t (de 1 à 2000), Pangram renvoie soit Humain, soit IA.

Dans ton calcul naïf, les tranches sont indépendantes alors la probabilité de l'état en t ne dépend que du hasard du test.

Dans une chaîne de Markov d'ordre 1, on introduit une matrice de transition :

- Quel est la probabilité d'obtenir "IA" sachant que la tranche précédente était déja "IA" ?
- Quel est la probabilité d'obtenir "Humain" sachant que la précédente était déja "Humain" ?

import numpy as np

# Paramètres de l'expérience de Biname
n_tranches = 2000
p_fp = 0.02  # Taux de faux positif de base (2%)

print("--- 1. LE CALCUL NAÏF (INDÉPENDANT) ---")
# En théorie : p_fp ^ 2000. C'est tellement petit que l'ordinateur renvoie 0.
# On utilise les logarithmes pour voir l'ordre de grandeur : log10(0.02^2000)
log_p_naive = n_tranches * np.log10(p_fp)
print(f"Probabilité naïve (indépendante) : ~ 10^{log_p_naive:.0f}")
print("-> C'est le chiffre magique de Biname qui frôle l'infinitésimal.\n")

print("--- 2. LA RÉALITÉ AVEC DÉPENDANCE (CHAÎNE DE MARKOV) ---")
# États : 0 = Bien détecté (Humain), 1 = Faux Positif (déclaré IA à tort)
# Matrice de transition : P(Etat t | Etat t-1)
# Si un paragraphe déclenche un faux positif à cause du style de l'auteur, 
# le paragraphe suivant a une forte probabilité (inertie) de faire de même.
p_rester_fp = 0.85  # Forte persistance de l'erreur sur un style proche

transition_matrix = np.array(
    [
        [1 - p_fp, p_fp],  # Si on est Humain -> chances de basculer en faux positif
        [
            1 - p_rester_fp,
            p_rester_fp,
        ],  # Si on est déjà en faux positif -> forte chance d'y rester
    ]
)

# Simulation d'une lecture de livre (chaîne de Markov)
np.random.seed(42)  # Pour reproductibilité
current_state = 0  # Le livre commence par un état "normal"
history = [current_state]

for _ in range(n_tranches - 1):
  current_state = np.random.choice([0, 1], p=transition_matrix[current_state])
  history.append(current_state)

total_fausses_alertes = sum(history)
print(f"Nombre total de faux positifs sur le livre : {total_fausses_alertes} sur {n_tranches} tranches.")
print(f"Proportion d'erreur globale : {(total_fausses_alertes / n_tranches) * 100:.1f}%")
print("-> Résultat : Avec la dépendance, le faux positif ne s'annule pas, il contamine tout un pan du livre.")

--- 1. LE CALCUL NAÏF (INDÉPENDANT) ---
Probabilité naïve (indépendante) : ~ 10^-3398
-> C'est le chiffre magique de Biname qui frôle l'infinitésimal.

--- 2. LA RÉALITÉ AVEC DÉPENDANCE (CHAÎNE DE MARKOV) ---
Nombre total de faux positifs sur le livre : 216 sur 2000 tranches.
Proportion d'erreur globale : 10.8%
-> Résultat : Avec la dépendance, le faux positif ne s'annule pas, il contamine tout un pan du livre.

On postule dans le script que si une IA détecte une tranche comme IA alors il y a 85% de chance que la tranche suivante soit détectés comme IA.
On obtient 10.8 de faux positif avec un modèle qui jette les tranches n-2, n-3 , n ...

Aimerais-tu savoir que 'mon' IA pense de ton coefficient de dépendance ?

[Liet Kynes]

vgondr98 msg #119
TU devrais suivre mon conseil et suivre des cours de statistiques... la suite sous SPOILER

Aimerais-tu savoir que 'mon' IA pense de ton coefficient de dépendance ?

Ouvrir une discussion en maths ?