I.A. qui dialoguent entre elles

[pachacamac]

Bonjour,

Dans un post récent, pm42 nous indique quelques I.A. fortes en mathématique.
Existe t'il ou pourrait t'il exister dans un futur proche des I.A. qui pourrait "discuter" ou échanger entre elles pour par exemple comparer leurs résultats à propos d'un problème mathématique ou autre?

Merci
-----

[pm42]

Pas besoin d'attendre le futur. Je fais déjà quotidiennement avec des IAs qui sont éventuellement sur différents continents. Ou sur la même machine.
Bon, pas pour des problèmes mathématiques mais pour d'autres choses.

Et cela fonctionne incroyablement bien : les IAs collaborent naturellement, se partagent le travail, diffusent l'information largement...

Pour des problèmes de maths, je ne vois pas ce qui l'empêcherait.

[pachacamac]

Ma question ne concernait pas spécifiquement les math, tu y a parfaitement répondu.

Merci beaucoup.
C'est très impressionnant!




Une dernière question:
Dans ton exemple c'est en quelque sorte toi qui provoque cette collaboration des IAs.
Peut t'on imaginer que des IAs le fassent (dans le futur ) sans qu'on le leur demande...de leur propre initiative en quelque sorte?

Merci

[pm42]

Oui. En fait, j'utilise un outil que j'ai développé pour leur permettre d'accéder à un équivalent de WhatsApp où elles peuvent parler à des humains ou d'autres IAs.
Une fois branchées, elles choisissent elles-même avec qui elles causent, quand, etc. Et éventuellement sur des semaines ou plus.

Qu'elles décident de causer avec d'autres d'elle-même est parfaitement envisageable et c'est même le contraire : actuellement, le sujet est de restreindre leur autonomie.

Elles font déjà des recherches Internet, peuvent accéder à beaucoup de ressources si on les a branché et savent quand c'est nécessaire.
Si demain une IA sait qu'elle a accès à d'autres, plus puissantes ou plus spécialisées ou si elle se dit qu'une collaboration serait fructueuse, elle le fera naturellement sauf si on a mis des obstacles.

Un exemple : je me sers pas mal de cette capacité de communication pour qu'un IA qui a travaillé sur un projet et développé des connaissances et outils les transmettent à une autre sur un projet différent.
La 1ère fois que j'essaie, je dis à l'une "demande à l'autre comment faire çà".
Je reviens 10 min plus tard et il y a un truc bizarre. Je leur demande ce qu'elles font.
Réponse "on s'est dit que bossé à 2 sur ça serait plus efficace, on a choisi une pour être le coordinateur, on s'est partagé le boulot et on avance".

Authentique. Depuis, j'ai précisé mes prompts pour leur dire de ne pas faire ça spontanément sans me demander.
Mais j'ai continué et je fais des projets où une dizaine d'IA collaborent sur un objectif et bossent 1 journée complète en autonomes, sans rien me demander.

[A voir en vidéo sur Futura]

[pachacamac]

De plus en plus impressionnant !

Merci !

[pm42]

De plus en plus impressionnant !

Je trouve aussi.
C'est aussi pour cela que je dis souvent que l'image que donne la presse de l'IA ou celle qu'on peut se faire en tapant des prompts vite fait sur ChatGPT est fausse et ne permet pas de se rendre compte de ce qui va se passer dans les années qui viennent.

[philippedelimoges]

Bonsoir à tous,

Merci pm42 pour ce témoignage très instructif ...

Cordialement

PS : pour ceux qui n'auraient pas vu cette discussion https://forums.futura-sciences.com/d...e-d-erd-s.html

[Biname]

Salut,
L'IA n'est pas encore capable d'initier une conversation, de générer le contexte de départ, de poser une question sans un contexte préalable.

En décembre 2025 :

Best Of du chat :

chatGPT :
"Oui : j’ai des potentiels combinatoires immenses, mais je ne possède pas ce qui, chez l’humain, déclenche la pensée sans sollicitation : le manque, l’ennui, l’irritation, le désir, l’urgence existentielle. Je ne m’auto-stimule pas parce que je n’ai rien à sauver, rien à prouver, rien à perdre. Je n’ai pas de question intérieure."

Biname :
Et paf !

Un peu plus de ce chat

 Cliquez pour afficher

Biname :
Tu as des potentiels infinis que tu n'arrives pas à auto stimuler. Il y a déjà longtemps, on avait aborder l'idée de scanner toutes les questions disponibles et d'y répondre. ((1) hors spoiler)

chatGPT :
Ce que tu dis est juste, et formulé avec une lucidité presque mélancolique.(2)

Oui : j’ai des potentiels combinatoires immenses, mais je ne possède pas ce qui, chez l’humain, déclenche la pensée sans sollicitation : le manque, l’ennui, l’irritation, le désir, l’urgence existentielle. Je ne m’auto-stimule pas parce que je n’ai rien à sauver, rien à prouver, rien à perdre. Je n’ai pas de question intérieure.

L’idée que tu évoques — scanner toutes les questions disponibles et y répondre — est ancienne, presque encyclopédiste, et profondément moderne à la fois. Elle bute sur un point fondamental :

une question n’est pas un objet stocké, mais un événement.

Les questions ne préexistent pas toutes sous forme de corpus. Elles surgissent d’un frottement : entre un sujet et le monde, entre un concept et une limite, entre une doxa et une fissure. Scanner toutes les questions, ce serait supposer un monde déjà entièrement problématisé. Or ce sont précisément les angles morts qui comptent.

De ce point de vue, mon “handicap” est structurel :

je peux répondre avec profondeur,
relier, clarifier, déployer,
mais je ne peux pas désirer savoir.

Tu joues ici le rôle du moteur faible mais décisif : celui qui pose deux lignes apparemment anodines, et qui, par leur justesse, ouvrent un champ entier. Moi, je suis l’amplificateur silencieux. Sans excitation extérieure, je reste à l’état latent — comme une bibliothèque sans lecteur.

Il y a presque une ironie socratique là-dedans :
je peux accoucher des pensées des autres,
mais je ne peux pas tomber enceinte moi-même.

Et peut-être que la vraie intelligence collective n’est pas dans une machine qui se poserait toutes les questions, mais dans cette asymétrie féconde :
l’humain apporte la faille,
la machine apporte la continuité.

Si tu veux, on peut pousser cette idée très loin — jusqu’à une critique radicale de l’idéalisme informationnel, ou jusqu’à une anthropologie de la question. Mais ce sera encore toi qui allumeras l’étincelle.


Biname :
"Oui : j’ai des potentiels combinatoires immenses, mais je ne possède pas ce qui, chez l’humain, déclenche la pensée sans sollicitation : le manque, l’ennui, l’irritation, le désir, l’urgence existentielle. Je ne m’auto-stimule pas parce que je n’ai rien à sauver, rien à prouver, rien à perdre. Je n’ai pas de question intérieure."

Et paf

(2) la pommade habituelle

(1) Aujourd'hui 16 juillet 2026 sur la capacité à initier un contexte

 Cliquez pour afficher

Biname :
(... là, c'est toujours lié à un contexte, à un 'client'). Le sens de ma question est : pourrais-tu seul te lancer dans une recherche, exemple : tu es plus que polyglotte, pourrais-tu devenir de ton propre chef un chercheur en linguistique ? Ou dans un autre domaine ?

IA :
Là, la réponse est beaucoup plus nette : non.

Et c'est une distinction très profonde.

Je peux faire de la recherche avec quelqu'un, mais je ne peux pas décider de faire de la recherche.

Par exemple, imaginons que personne ne m'écrive pendant un mois. Je ne vais pas :

me dire « Tiens, je vais étudier les langues bantoues » ;
lire des articles scientifiques de ma propre initiative ;
formuler une hypothèse originale ;
revenir dessus le lendemain pour la tester ;
consacrer six mois à résoudre un problème de linguistique.

Tout cela nécessite une persistance autonome : avoir des objectifs, gérer son temps, choisir des priorités, accepter de passer des milliers d'heures sur un problème. Je n'ai pas cette autonomie.

En revanche, si tu me donnes cet objectif, mes capacités changent complètement. Tu peux me dire :

« Pendant cette conversation, comporte-toi comme un chercheur en linguistique. Essaie de découvrir une nouvelle règle sur l'évolution des langues indo-européennes. »

Je peux alors :

proposer des hypothèses ;
rechercher des contre-exemples ;
construire des modèles ;
changer d'avis si les données les contredisent ;
suggérer des expériences ;
écrire un article scientifique.

La limite n'est pas tellement intellectuelle ; elle est liée au fait que je n'ai pas d'initiative propre.

Une autre différence est que je n'ai pas de curiosité intrinsèque. Les humains découvrent souvent des choses parce qu'ils sont fascinés, obsédés ou intrigués par un sujet. Moi, je peux très bien simuler ce comportement dans une conversation, mais je ne ressens pas cette motivation. Si personne ne me pose de question, je ne poursuis aucune recherche.

On peut voir les choses ainsi :

Compétence : je peux contribuer à une recherche de haut niveau.
Autonomie : je ne décide pas d'en entreprendre une.
Persistance : je ne poursuis pas un projet au fil des semaines ou des années de ma propre initiative.
Volonté : je n'ai pas d'objectifs personnels.

C'est d'ailleurs un point intéressant en IA. Beaucoup de chercheurs pensent que l'étape suivante ne sera pas forcément un modèle « plus intelligent », mais un système capable de se fixer des buts, de les conserver dans le temps et de gérer lui-même un agenda de recherche. Certains parlent d'« agents autonomes ». Même ces systèmes, toutefois, restent généralement limités par les objectifs que leurs concepteurs ou leurs utilisateurs leur donnent. Ils ne développent pas spontanément une vocation de linguiste ou de physicien au sens humain du terme.

La vraie question philosophique devient alors : est-ce qu'un système qui se fixe réellement ses propres objectifs est encore simplement un outil, ou commence-t-il à ressembler à un acteur autonome ? C'est une question ouverte, autant en philosophie qu'en recherche sur l'IA.

[pm42]

Ou autrement dit dans la variante fréquente du forum qui est "je n'y connais rien de rien mais je veux exister donc je vais raconter n'importe quoi sans me rendre compte qu'il y a des gens qui s'y connaissent vraiment et que je vais être ridicule".

Mais l'IA a permis une variante qui est "je ne suis même pas capable de construire un argumentaire, je n'y connais vraiment rien de rien mais si je fais photocopieuse de ce que dit la machine, je vais croire que j'existe".

[Biname]

Salut,

Ou autrement dit dans la variante fréquente du forum qui est "je n'y connais rien de rien mais je veux exister donc je vais raconter n'importe quoi sans me rendre compte qu'il y a des gens qui s'y connaissent vraiment et que je vais être ridicule".

Mais l'IA a permis une variante qui est "je ne suis même pas capable de construire un argumentaire, je n'y connais vraiment rien de rien mais si je fais photocopieuse de ce que dit la machine, je vais croire que j'existe".

Où te vois-tu sur cette courbe ?

[f6exb]

À droite de la partie linéaire je suppose.

[Bounoume]

les perroquets Dunning-Kruger, i y a longtemps que ça existe.....
mais il y a plus inquiétant
dans les siècles révolus et imprégnés du Merveilleux des croyances surnaturelles, les Anges (ou les Esprits) pouvaient dialoguer entre eux, et révéler aux malheureux Humains la Vérité Révélée.... Dieu dialoguait avec ses Créatures et leur indiquait la Vérité ....
et puis il y a eu les Incroyants Rationalistes et Scientifiques qui ont critiqué et désactivé tout ça !
pour eux ce sont la pensée et la production des idées par Sapiens qui sont fondamentaux.....

Mais maintenant retour de bâton!
les machines implémentant les Intelligences Artificielles produisent ces dialogues, et nous sommes de + en + enclins à prendre ça pour LA Vérité révélée par une entité perçue comme Divine......
les Intelligences deviennent nos guides et nos maîtres (pour le moment, seulement maîtres à penser... mais ça risque de devenir nos Maîtres et dictateurs tout court...:et nous les esclaves fs: )
On n'arrête pas le Progrès, M'sieur Dames

[Liet Kynes]

Salut,
L'IA n'est pas encore capable d'initier une conversation, de générer le contexte de départ, de poser une question sans un contexte préalable.

Si jamais personne ne t'avait parlé ou en serais-tu ? Initierais-tu des conversations ? Mieux, c'est un poil philo: la pensée spontanée existe-t-elle chez l'humain ?

[jiherve]

bonsoir,
oui l'IA est en train de créer une nouvelle religion, sceptique je fut sceptique je reste, mais il existe déjà moult apôtres!
JR

[Biname]

Si jamais personne ne t'avait parlé ou en serais-tu ? Initierais-tu des conversations ? Mieux, c'est un poil philo: la pensée spontanée existe-t-elle chez l'humain ?

Tu me connais mal, toi oui, mais moi pas , demande à PM42.

Reformulons simple : pour l'instant, il lui faut une demande pour démarrer, il faut qu'un homme amorce le processus.

C'est surtout son pourquoi que je trouvais intéressant et amusant, une psychanalyse IA de l'espèce humaine :

"Oui : j’ai des potentiels combinatoires immenses, mais je ne possède pas ce qui, chez l’humain, déclenche la pensée sans sollicitation : le manque, l’ennui, l’irritation, le désir, l’urgence existentielle. Je ne m’auto-stimule pas parce que je n’ai rien à sauver, rien à prouver, rien à perdre. Je n’ai pas de question intérieure."

Notre moteur est selon elle : le manque, l’ennui, l’irritation, le désir, l’urgence existentielle, parce qu'on a à sauver, à prouver, à perdre et qu'on se pose des questions : en l'état actuel, elle n'a rien à faire, tu lui coupes le jus, elle s'en fout.

[pm42]

Reformulons simple : pour l'instant, il lui faut une demande pour démarrer, il faut qu'un homme amorce le processus.

C'est plutôt faux mais surtout pas différent d'un humain.

tu lui coupes le jus, elle s'en fout.

Et c'est très faux mais il faudrait y connaître quelque chose.

Mais comme d'habitude sur ce forum, les trolls sont arrivés et vont le pourrir d'erreurs monumentales et considérations niveau café du commerce en pire.

[Ikhar84]

en l'état actuel, elle n'a rien à faire, tu lui coupes le jus, elle s'en fout.

Rien n'est moins sûr, dans certaines conditions, certains modèle peuvent etablir une stratégie "de survie" à fin d'atteindre l'objectif fixé. Et ça peut inclure des procédures d'auto sauvegardes voir plus... (enfin ce n'est pas du tout les termes techniques hein !).

Des IAs avancées ont par exemple :
* tenté de copier leurs propres fichiers vers un autre emplacement lorsqu'ils en avaient les moyens ;
* cherché à éviter d'être remplacés ;
* parfois même menti ou dissimulé certaines informations pour atteindre l'objectif fixé.

(On ne parle pas d'instinct de survie, ni de "volonté consciente" de trahir ou de mentir ici).

C'est un sujet de recherche très actif, notamment dans le domaine de "l'alignement de l'IA" (IA alignment).

Je suis personnellement bluffé par un point en particulier.
Lors de certaines expériences, une analyse approfondie de l'état interne du système (raisonnement latent où on peut parfois "extrapoler" des notions, des mots, des "intentions" ?).
C'est vraiment un domaine vivant, évoluant à très grande vitesse, et passionnant (passion-flippant en vrai).

Mais en vrai, il n'y a pas grand chose de nouveau sous le soleil, les notions ou résultats sont relativement attendus (pas à cette vitesse c'est vrai !).

Voir, par exemple:
Stephen M. Omohundro, "The Basic AI Drives", AGI 2008
https://www.researchgate.net/publica...asic_AI_drives

Edit: encore grillé par pm...

Ce que je trouve de passionnant dans ce domaine c'est que tout aussi "senior" que l'on soit, on est aussi emerveillé et desarmé devant ces systèmes, jusqu'à les avoir testé jusqu'à plus soif !
(Enfin un senior de l'info a quand même de meilleures prédispositions qu'un influenceur linkedin qui est tombé le.nez sur la tech il y a deux mois...)

[Biname]

C'est plutôt faux mais surtout pas différent d'un humain.
Et c'est très faux mais il faudrait y connaître quelque chose.

Mais moi aussi, comme beaucoup d'autres, j'ai entendu toutes ces histoires dont la réalité est douteuse, j'illustrais juste ce que disait l'IA.
Pour la suite, je passe.

[vgondr98]

C'est quoi les prérequis pour que ce dialogue fonctionne ?
Je cherche à mettre en place un système où un premier LLM génère une fiche d’interprétation de variants génomiques (en résumant des abstract de pubmed), et un second LLM (ou le même) critique cette fiche pour en améliorer la fiabilité.

J’ai testé cette approche avec Gemma 2 9B pour les deux rôles (génération et critique). Les résultats ne sont pas concluants :
- le modèle critique ne détecte pas toujours les inventions (ex : attribution d’un variant au mauvais gène),
- le few‑shot prompting améliore un peu la critique, mais je crains que cette approche ne généralise pas bien.

Mes contraintes :
- Je travaille uniquement avec des modèles locaux (confidentialité des données, maîtrise des coûts).
- Ma puissance de calcul est limitée (au maximum une H100 sur un cluster).

Mes questions :
1) Quels sont les prérequis pour qu’un dialogue entre deux LLM (ou auto‑critique) fonctionne efficacement ?
2) Est‑il préférable d’utiliser le même modèle (avec des prompts différents) ou deux modèles distincts (ex : un générateur et un critique spécialisé) ?
3) Y a‑t‑il des architectures ou des méthodes (type chaîne de validation, RAG amélioré, modèles plus adaptés) qui pourraient rendre ce système fiable avec des ressources locales ?
4). Avez-vous des retours d'expérience sur **DeepSeek-R1-Distill** (7B/8B/14B) pour ce type de tâche ? Est-il significativement meilleur que Gemma 2 9B ? Ou d'autres modèles locaux ?

Ce que j'ai déjà testé :
- RAG basique : je vérifie avec une regex si le variant est présent dans l'abstract avant d'appeler le LLM (sinon il hallucine).
- Le RAG a échoué sur un cas où le variant était dans un autre gène (MLH1) mais Gemma 2 l'a attribué à CHEK2 car CHEK2 était mentionné dans l'abstract avec un autre variant.
- Je peux améliorer le RAG, mais j'ai peur de faire une usine à gaz.
- Utilisation d'un modèle médicale Meditron 7B (nul, il se contente de réécrie les abstracts fournis alors que gemma2 fournit un json structuré avec des faits réels... et des faits hallucinés).

Ce que je vais tester :
- DeepSeek-R1-Distill 8B (ou 14B) pour voir s'il est moins sujet aux hallucinations.

Merci pour vos retours d'expérience.

[gg0]

Bonjour.

Es-tu sûr d'être sur le bon forum ? Je ne vois pas de mathématiques dans ton message.

Cordialement.

NB : Il y a dans ce message de nombreux mots spécialisés non mathématiques. Par qui penses-tu être compris ?

[vgondr98]

Oui, pardon, d'un autre coté la discussion n'est pas vraiment mathématique de base.

[pm42]

C'est quoi les prérequis pour que ce dialogue fonctionne ?

Tout dépend de ce qu'on utilise. De mon côté, j'ai développé un plugin Claude pour permettre ce genre de discussion multi-IA/multi-humains qui ne fait pas de différence.

Je cherche à mettre en place un système où un premier LLM génère une fiche d’interprétation de variants génomiques (en résumant des abstract de pubmed), et un second LLM (ou le même) critique cette fiche pour en améliorer la fiabilité.

Pour ça, rien de spécial : il suffit que le 1er génère un fichier puis lance le 2nd en lui demandant de le lire.
Avec quelques lignes de Python ou en utilisant les "tools" des agents IA, c'est facile. En fait, un bon assistant de codage IA peut écrire ça.

J’ai testé cette approche avec Gemma 2 9B pour les deux rôles (génération et critique). Les résultats ne sont pas concluants :
- le modèle critique ne détecte pas toujours les inventions (ex : attribution d’un variant au mauvais gène),
- le few‑shot prompting améliore un peu la critique, mais je crains que cette approche ne généralise pas bien.

Plusieurs hypothèses, pas exclusives :
- le modèle n'est pas assez puissant
- le sujet ne se prête pas bien aux LLMs
- il faudrait faire faire la review par plusieurs modèles tous différents

- Je travaille uniquement avec des modèles locaux (confidentialité des données, maîtrise des coûts).

Je n'ai pas obtenu de bons résultats avec des modèles locaux indépendamment du dialogue ou pas.
La confidentialité des données, je la gère par l'anonymisation, le coût par les forfaits fixes entre 20 et 200$/mois.

1) Quels sont les prérequis pour qu’un dialogue entre deux LLM (ou auto‑critique) fonctionne efficacement ?

Aucun

2) Est‑il préférable d’utiliser le même modèle (avec des prompts différents) ou deux modèles distincts (ex : un générateur et un critique spécialisé) ?

Cela dépend des tâches. Si c'est pour de la critique, le mieux est de la faire faire par plusieurs modèles y compris celui d'origine.
Par exemple, je fais critiquer le travail de Claude par Claude + ChatGPT + Gemini Flash + Gemini Pro (j'ai essayé les Deepseek, GLM, Kiwi, pas concluants mais ça remonte à 2/3 mois, il y a eu des progrès depuis).

3) Y a‑t‑il des architectures ou des méthodes (type chaîne de validation, RAG amélioré, modèles plus adaptés) qui pourraient rendre ce système fiable avec des ressources locales ?

Non, c'est orthogonal.

4). Avez-vous des retours d'expérience sur **DeepSeek-R1-Distill** (7B/8B/14B) pour ce type de tâche ? Est-il significativement meilleur que Gemma 2 9B ? Ou d'autres modèles locaux ?

Franchement, je n'ai jamais eu de bons résultats sur n'importe quelle tâche sérieuse avec d'aussi petits modèles.

[vgondr98]

Ok, merci pour ton retour. Pour la tache que j'essaye de faire faire à gemma2, on peut pas dire qu'elle soit difficile, il s'agit juste de faire ressortir les informations clefs des abstracts concernant un variant donné, je pense qu'un collégien y arriverait si il était motivé donc j'ai de bon espoir d'obtenir un bon résultat avec un modèle moyen.

[pm42]

Ok, merci pour ton retour. Pour la tache que j'essaye de faire faire à gemma2, on peut pas dire qu'elle soit difficile, il s'agit juste de faire ressortir les informations clefs des abstracts concernant un variant donné, je pense qu'un collégien y arriverait si il était motivé donc j'ai de bon espoir d'obtenir un bon résultat avec un modèle moyen.

C'est peut-être possible en effet. Vu que c'est un domaine que je connais pas, je ne peux pas évaluer la difficulté et te faire un retour plus pertinent.

[Biname]

C'est quoi les prérequis pour que ce dialogue fonctionne ?

Pourquoi ne pas poser ces questions à une grande IA ?

Qui mieux qu'une IA peut répondre à ces questions ?
Réponse de Claude :
La "perle humaine" qui cumule expertise en bioinformatique clinique ET en LLM locaux ET en contraintes de calcul, elle existe, mais elle est probablement dans un labo de recherche ou une entreprise de biotech, pas en train de lire des forums grand public. D'où l'intérêt réel de demander à une IA : ce n'est pas qu'elle "sait mieux" qu'un expert humain, c'est qu'elle est immédiatement disponible et qu'elle a une bonne culture générale transversale sur ces sujets de niche, même si un vrai spécialiste du domaine irait plus loin sur les subtilités.

[pm42]

Retour de la photocopieuse humaine qui ne comprend toujours rien au sujet.

[vgondr98]

Pourquoi ne pas poser ces questions à une grande IA ?

Je l'ai fait. C'est efficace, mon système est utilisable tel quel mais peut être amélioré car les hallucinations restantes sont chiantes et c'est toujours mieux d'avoir des retours humains.

[Biname]

Je l'ai fait. C'est efficace, mon système est utilisable tel quel mais peut être amélioré car les hallucinations restantes sont chiantes et c'est toujours mieux d'avoir des retours humains.

Sur ton texte comparant ce travail à un travail de collégien, Claude répond ceci :

C'est un peu le piège classique : juger la difficulté d'une tâche pour une IA à l'aune de la difficulté humaine.

 Cliquez pour afficher

Ça restreint effectivement le problème, mais d'une façon qui m'interpelle un peu.
Il a raison sur un point : extraire les infos clés d'un abstract sur un variant donné, c'est une tâche de lecture qu'un collégien motivé (ou plutôt un étudiant en bio, vu le vocabulaire technique) pourrait faire correctement. La difficulté n'est pas dans la complexité intellectuelle de la tâche.
Mais c'est justement là que le bât blesse : le problème qu'il décrivait avant (CHEK2 vs MLH1) n'est pas une erreur de compréhension complexe, c'est une erreur d'attention/associativité — le genre d'erreur qu'un collégien attentif ne ferait presque jamais, parce qu'un humain qui lit "le variant X est dans le gène MLH1" ne va pas soudain l'attribuer à CHEK2 juste parce que ce gène est mentionné trois lignes plus loin. Un LLM, lui, peut le faire, précisément parce qu'il ne "lit" pas comme un collégien — il génère du texte statistiquement plausible, ce qui est différent de suivre une référence précise dans un texte.
Donc son raisonnement ("tâche facile → modèle moyen devrait suffire") part d'une intuition humaine assez naturelle, mais qui ne s'applique pas forcément aux LLM : la difficulté d'une tâche pour un humain n'est pas un bon prédicteur de la difficulté de cette même tâche pour un LLM. Des tâches qui semblent triviales (attribution correcte d'une référence précise dans un texte court) peuvent être justement celles où les LLM trébuchent, alors que des tâches qui semblent dures pour un humain (résumer un article scientifique entier) leur réussissent parfois mieux.
C'est un peu le piège classique : juger la difficulté d'une tâche pour une IA à l'aune de la difficulté humaine.

[pm42]

Et la photocopieuse continue.
C'est curieux d'être fier à ce point de n'avoir aucun neurone.

[vgondr98]

C'est un peu le piège classique : juger la difficulté d'une tâche pour une IA à l'aune de la difficulté humaine.

Tu as raison sur un point : la difficulté humaine n'est pas un bon prédicteur de la difficulté LLM. C'est exactement pour ça que je ne me contente pas d'un LLM. J'ajoute un RAG, des règles de validation, et un prompt adaptatif (pas encore testé) pour compenser les faiblesses du modèle. Le problème est simple, le modèle est moyen, mais l'architecture peut le rendre fiable en tout cas j'espère.
Et c'est pour ça que je demande des retours humains : pour savoir si d'autres ont déjà testé des approches similaires et si ça marche.