Petite réflexion sur l'IA et l'usage des outils comme ChatGPT

[Archi3]

Ou (sans parler des usages politiquement orientés de l'IA) avec des IA à vocation moins généraliste, dont l'apprentissage serait basé sur un corpus de textes prédéfini. Pas forcément en devant sélectionner préalablement chaque texte (ça serait une tâche inhumaine...), mais en définissant une liste de sources réputées "fiables" (par exemple pour des données scientifiques récentes, arxiv avec comme critère supplémentaire le fait que l'article a été publié dans une revue à comité de lecture, wikipedia mais en vérifiant la page de discussion de chaque article qu'il n'y a pas de polémique en cours, etc.).

la plupart des théories intéressantes ont fait l'objet de polémiques, d'autant plus qu'elles étaient novatrices (théorie de l'évolution, relativité, théorie atomique ...). Inversement les travaux de Perelman sur la conjecture de Poincaré qui lui ont valu le Prix du millénaire Clay ont été publiées sur internet, pas dans des journaux à comité de lecture. Je doute fort qu'on puisse mettre des critères "algorithmiques" pour filtrer l'intérêt des articles, sans en comprendre et en discuter le fond.

Ce genre de fantasme est peut etre illustratif de certaines dérives dans la conception de ce qu'est la "bonne science" ....
-----

[pm42]

Ou (sans parler des usages politiquement orientés de l'IA) avec des IA à vocation moins généraliste, dont l'apprentissage serait basé sur un corpus de textes prédéfini. Pas forcément en devant sélectionner préalablement chaque texte (ça serait une tâche inhumaine...), mais en définissant une liste de sources réputées "fiables"

2nde réponse à cause de l'esprit d'escalier. Ce dont tu parles ici est l'un des gros sujets pour l'apprentissage des IAs, la labélisation.
Ce n'est pas le cas de toutes les IAs, certaines n'en ont pas besoin mais la plupart du temps si.

En gros, on apprend à une IA ce qu'elle doit fournir en sortie quand on lui donne une entrée à partir de nombreux exemples.
C'est aussi ce qu'on fait quand on enseigne : on montre des exemples et on demande à l'enfant, l'étudiant, de reproduire en lui indiquant quand il se trompe.
Un apprentissage réussi est quand l'enfant ou l'étudiant est capable d'appliquer son apprentissage à des cas qu'il n'a jamais vu mais où il s'applique.
C'est vraiment exactement la même chose avec l'IA.

Sauf que comme pour apprendre elles ont besoin de beaucoup plus d'exemples que les humains, il faut leur donner plein de situations "oui" et "non".
On labelise donc comme ça : c'est de l'apprentissage par classification binaire.

Parfois, on labelise par plus de cas, des catégories. Et parfois même par un nombre : cela s'appelle de la régression.
Par exemple, si on demande à une IA de prédire le cours de bourse de demain (ou la température) à partir des données d'hier, on est dans ce cas là (ça ne marche pas bien sur, il faut lui fournir beaucoup plus d'infos mais par contre, cela marche pas trop mal pour détecter des saisonnalités/tendances dans certains gros groupes de chiffres comme des ventes de vêtements).

Comme je le disais, une énorme partie de l'entrainement des IAs, c'est d'avoir "les bonnes données" donc celles qui représentent bien ce qu'on veut modéliser et avec les bons labels.

On utilise plein de techniques variées quand n'a pas de label "naturel" ou quand on n'a pas assez de données. Je n'ai pas le temps de détailler mais cela va de faire jouer des IA de conduite de voiture autonome à des jeux vidéos réalistes à créer des images de synthèses pour apprendre à des IAs à reconnaitre les éclairs des pantographes des trains et déterminer quand doit avoir lieu la maintenance.

Là, ce que décrit yves95210 relève entièrement de ce problème : comment labeliser les sources de données avec un indicateur "fiable"/"pas fiable" ou avoir plusieurs catégories ou un "taux de confiance".

On fait des progrès pour limiter les interventions humaines nécessaires mais clairement, cela va être un gros sujet.

[Archi3]

ce serait intéressant de faire de la rétroprédiction avec ce genre de système, en l'entrainant sur la physique jusqu'en 1920, et en voyant le label et le taux de confiance qu'elle décerne à une thèse de quelques dizaines de pages qui suggère que "les particules pourraient être associées à une onde de longueur d'onde lambda = h/p" .

[ArchoZaure]

le cas des oeufs de porc et de brebis soulève une question intéressante, pourquoi répond-il correctement à l'une et pas à l'autre ? il est possible que la confusion vienne du fait qu'il y a des textes comparant le lait de brebis au lait de vache, mais pas pour le porc, et donc qu'il ait imaginé un texte s'inspirant de comparaisons avec le lait de vache en substituant juste "oeuf" à "lait" et "poule" à "vache" (ce qui ne lui pose aucun problème particulier ) . Du coup ses performances sont bonnes quand ce genre de substitution n'a pas d'importance (exemple donné typique : imaginer un plan de présentation PPT . On peut imaginer que c'est une bonne méthode de s'inspirer de présentations existantes en substituant des titres et sous titres par des expressions adaptées au sujet, et que ça donnera des résultats très satisfaisants.

Je pense qu'il ne faut pas chercher aussi loin.
Si on tape "œuf de brebis" sur Google, on ai plein de pages de.... œufs au fromage de brebis.

L'IA semble comprendre que l’œuf est "de brebis" et aussi "au fromage"... enfin il comprend rien à la base, donc disons qu'il associe plus qu'il ne décortique la syntaxe, et donc associe l’œuf à la brebis et le fromage à la brebis.
Ce qui permet de se dire que dans d'autres circonstances, effectivement on va avoir ces mêmes confusions (je dirais même que c'est prévisible dans certains cas)
Par contre il est possible que ce biais se retrouve plus dans certaines langues et moins dans d'autres.

Par exemple:
Œufs cocottes au fromage de brebis
https://www.750g.com/oeufs-cocottes-...bis-r41400.htm

Brouillade d'oeufs au Fromage de Brebis du Pays Basque
https://www.lamaisondupiment.com/content/101-brouillade-d-oeufs-au-fromage-de-brebis-du-pays-basque

[ArchoZaure]

Ce qui permet de se dire que dans d'autres circonstances, effectivement on va avoir ces mêmes confusions (je dirais même que c'est prévisible dans certains cas)

Pour montrer que c'est prévisible.
Exemple : L'eau minérale de source.
C'est facile à comprendre pour un humain, mais comme l'IA n'analyse pas la phrase ça donne :

ArchoZaure : quel gout a le minéral de source ?

ChatGPT3 : Le goût du minéral de source peut varier en fonction de nombreux facteurs tels que la composition chimique de l'eau, le niveau de minéralisation, le pH, la température et la présence de contaminants ou d'additifs. En général, les eaux de source peuvent avoir un goût légèrement minéralisé, ce qui peut se traduire par une sensation de dureté en bouche. Certaines eaux de source peuvent également avoir des notes de goût spécifiques, telles que des notes métalliques, terreuses ou même légèrement salées en fonction de leur composition minérale. Cependant, le goût exact du minéral de source peut varier considérablement d'une source à l'autre et dépendra de nombreux facteurs environnementaux et géologiques.

[yves95210]

la plupart des théories intéressantes ont fait l'objet de polémiques, d'autant plus qu'elles étaient novatrices (théorie de l'évolution, relativité, théorie atomique ...). Inversement les travaux de Perelman sur la conjecture de Poincaré qui lui ont valu le Prix du millénaire Clay ont été publiées sur internet, pas dans des journaux à comité de lecture. Je doute fort qu'on puisse mettre des critères "algorithmiques" pour filtrer l'intérêt des articles, sans en comprendre et en discuter le fond.

Ce genre de fantasme est peut etre illustratif de certaines dérives dans la conception de ce qu'est la "bonne science" ....

Ce n'étaient que les premiers exemples (un peu bateau) qui me sont venus à l'esprit, mais je pense qu'ils correspondent à la première démarche que fait chacun d'entre nous quand il s'intéresse à un nouveau sujet (et il y a bien sûr d'autres critères qui peuvent s'appliquer ensuite). Et avant de pouvoir s'intéresser sérieusement à une théorie alternative (d'être capable de juger de son intérêt) il vaut mieux avoir bien compris ce que dit la théorie qui fait consensus et éventuellement, quelle est la nature des problèmes auxquels elle ne sait pas répondre. Non ?
En général ce qu'on demande à un étudiant (auquel on peut assimiler l'IA durant son apprentissage) est de connaître la théorie faisant consensus et d'être capable de l'appliquer - éventuellement, quand il est à un niveau assez avancé, par exemple en thèse, pour produire de nouveaux résultats.

Mais une fois l'IA "formée" rien n'empêche d'élargir ses recherches (et le corpus de documents "intéressants" dont l'IA pourra proposer une synthèse à son utilisateur) à d'autres sources, avec d'autres critères peut-être plus sophistiqués, permettant de les "labelliser" ("cv" de l'auteur, liste de ses travaux publiés antérieurement, recoupement avec des articles commentant - positivement ou négativement - ces travaux, et là aussi vérification des cv des auteurs de ces articles, etc), et éventuellement de le proposer à l'utilisateur les documents trouvés avec un commentaire approprié. Toutes choses que peut faire un humain quand il trouve un papier qui lui semble intéressant, dans un domaine dont il n'est pas expert (ou pas assez pointu), mais qui lui prend beaucoup plus de temps...

[ArchoZaure]

Mais une fois l'IA "formée" rien n'empêche d'élargir ses recherches (et le corpus de documents "intéressants" dont l'IA pourra proposer une synthèse à son utilisateur) à d'autres sources, avec d'autres critères peut-être plus sophistiqués, permettant de les "labelliser" ("cv" de l'auteur, liste de ses travaux publiés antérieurement, recoupement avec des articles commentant - positivement ou négativement - ces travaux, et là aussi vérification des cv des auteurs de ces articles, etc), et éventuellement de le proposer à l'utilisateur les documents trouvés avec un commentaire approprié. Toutes choses que peut faire un humain quand il trouve un papier qui lui semble intéressant, dans un domaine dont il n'est pas expert (ou pas assez pointu), mais qui lui prend beaucoup plus de temps...

Vous remarquerez d'ailleurs à ce niveau que la méthode humaine (faute de temps ou pour d'autres raisons) a eu de gros ratés dans la sélection des articles à paraitre dans les "revues" scientifiques.
Certains ont carrément inventé des articles entiers pour montrer qu'on pouvait tromper la vigilance des relecteurs.
Et puis on connait aussi la blague de je ne sais plus quel physicien de renom qui a publié un article sur le sens de rotation de la mâchoire des bovins lors de la mastication selon l'hémisphère terrestre (effet Coriolis)
Là par exemple, même une IA de type GPT se ferait avoir... mais pas pour les mêmes raisons que l'Homme.
Ici, c'était un excès de confiance vu "la notation" (dans l'esprit des relecteurs) du scientifique.
Une notation ne permet donc pas déterminer la véracité des faits, bien qu'on est d'accord on augmente sa fiabilité. de manière générale, statistiquement.

J'imagine qu'un jour on payera pour recevoir une bonne notation et ainsi figurer dans les premières interprétations fournies par l'IA.
Comme on le fait depuis longtemps pour la pub sur Google.

[pm42]

Ce n'étaient que les premiers exemples (un peu bateau) qui me sont venus à l'esprit,

On peut noter que personne ne demande aux IAs d'évaluer des théories scientifiques et encore moins celles qui sont polémiques.
Et actuellement, si on demande des informations, elles vont synthétiser les points de vue.

On ne leur demande pas non plus de labeliser : ce sont les humains qui le font donc l'objection plus haut ne tient pas la route et n'est due qu'à une incompréhension du fonctionnement des IAs (j'ai peut-être mal expliqué mais c'est juste une hypothèse parmi d'autres).

On est encore dans des scénarios qui ne correspondent à rien de réel et construit sur des hypothèses factuellement fausses.
C'est pratique pour arriver à une conclusion désirée et connue d'avance mais c'est tout.

[trebor]

Bonjour à tous,
L'informatique a permis de supprimer énormément d'emploi.
L'I.A en supprimera bien plus encore, un danger pour l'humanité lorsqu'il n'y aura plus que quelque élus les poches pleines et tout les autres des crèves de faim.
Alors oui, il ne faut aller trop loin, car la révolte sera terrible.
https://www.lepoint.fr/high-tech-int...2514189_47.php
https://comarketing-news.fr/lia-oppo...our-lhumanite/
Le progrès c'est lorsque tous peuvent en profiter, l'oublier c'est nous mener tous à notre perte.

[ArchoZaure]

J'ai surtout l'impression qu'on focalise sur GPT comme si on venait d'inventer l'IA forte (exacerbé par les acteurs du domaine : "Retenez-moi ou je fais un malheur !" )
On a fait pareil avec la robotique : Les "terminator" ont fini par disparaitre et ont été relégué à la SF, mais les robots sont maintenant partout dans l'espace industriel.
Ça a changé des choses c'est certains.

On a la même chose avec l'IA, déjà employée massivement dans plein de domaines.
GPT c'est le terminator, mais il va finir par se retrouver à sa juste place : Dans le tiroir, en tant qu'outil.
(J'espère qu'il utilisera cette phrase lors de sa prochaine mise à jour de sa base de travail )

[yves95210]

On peut noter que personne ne demande aux IAs d'évaluer des théories scientifiques et encore moins celles qui sont polémiques.

Non, évidemment.

Et actuellement, si on demande des informations, elles vont synthétiser les points de vue.

Ou donner le point de vue dominant (la réponse la plus probable à la question posée). Sauf si on leur demande spécifiquement s'il y en a d'autres.

On ne leur demande pas non plus de labeliser : ce sont les humains qui le font donc l'objection plus haut ne tient pas la route et n'est due qu'à une incompréhension du fonctionnement des IAs (j'ai peut-être mal expliqué mais c'est juste une hypothèse parmi d'autres).

A l'origine je ne parlais que de l'apprentissage de l'IA. J'ai un peu extrapolé en disant que ça pourrait être étendu aux documents que l'IA (une fois opérationnelle) trouve lors de ses recherches.

Mais même pour l'apprentissage d'une IA généraliste (dotée de "connaissances" encyclopédique sur tous les sujets), les humains ne peuvent pas labeliser l'ensemble des contenus que l'IA va ingurgiter. Et finalement le "degré de vérité" que l'IA attribue à un fait est strictement probabiliste (en fonction de la fréquence des documents disant que ce fait est vrai parmi ceux qui en parlent), ce qui peut donner des résultats douteux.

Alors qu'une IA plus spécialisée dans tel ou tel domaine pourrait plus facilement être dotée d'algorithmes spécifiques (peut-être via un module externe, car ce n'est pas le boulot d'une IA comme GPT) lui permettant d'utiliser des critères jugés comme appropriés par ses concepteurs pour filtrer et labeliser les documents qui lui sont soumis lors de son apprentissage (au lieu de considérer les faits présentés comme vrais dans chacun de ces documents comme équiprobables, leur affecter une "note" permettant de pondérer leur probabilité d'être vrais).

[pm42]

Ou donner le point de vue dominant (la réponse la plus probable à la question posée). Sauf si on leur demande spécifiquement s'il y en a d'autres.

Oui mais c'est vrai aussi avec les humains, les livres, les moteurs de recherche...

Alors qu'une IA plus spécialisée dans tel ou tel domaine pourrait plus facilement être dotée d'algorithmes spécifiques (peut-être via un module externe, car ce n'est pas le boulot d'une IA comme GPT) lui permettant d'utiliser des critères jugés comme appropriés par ses concepteurs pour filtrer et labeliser les documents qui lui sont soumis lors de son apprentissage (au lieu de considérer les faits présentés comme vrais dans chacun de ces documents comme équiprobables, leur affecter une "note" permettant de pondérer leur probabilité d'être vrais).

En fait, il suffit de filtrer à l'apprentissage. L'IA en elle même n'a rien à faire.
Ou alors, il faudrait utiliser une 1ère IA qui serait déjà efficace pour filtre/labeliser ce qu'on donne en entrée à la vraie IA.
Ce sont des techniques qui sont employées en effet, le chaînage d'IA (on parle de stacking parce qu'on les empile) mais pas forcément à l'apprentissage.

On peut tout imaginer mais on dérive et on commence à faire de l'ingénierie de forum

[Avatar10]

Pour le bon coté de l'outil:
https://www.nature.com/articles/s43588-022-00281-6
C'est étonnant, et ouvre de nouvelles façon de "penser".

[pm42]

Pour le bon coté de l'outil:
https://www.nature.com/articles/s43588-022-00281-6
C'est étonnant, et ouvre de nouvelles façon de "penser".

Il y a aussi ça qui est intéressant : https://www.pourlascience.fr/sd/biol...l-ia-22224.php

Je connais quelqu'un qui bosse dans l'informatique appliquée à la biologie et qui me disait que ce genre de chose a rendu obsolète toutes les techniques algorithmiques classiques qui étaient largement moins efficaces.

[Archi3]

On peut noter que personne ne demande aux IAs d'évaluer des théories scientifiques et encore moins celles qui sont polémiques.
Et actuellement, si on demande des informations, elles vont synthétiser les points de vue.

je ne suis pas d'accord avec ta formulation, comme quoi le vocabulaire n'est pas innocent. Elles sont totalement incapables de "synthétiser des points de vue " par elles mêmes , c'est bien l'interêt de publier des textes sur les oeufs de brebis (que certains ne supportent pas); ça prouve juste qu'elle n'a aucune représentation interne du sens des mots, sinon elle n'écrirait jamais ça.

Elle produit des textes qui ressemblent à ceux qu'elle a ingéré, que la ressemblance porte un sens réel ou pas, elle n'en a aucune idée. Ca n'a rien à voir avec ce qu'on appelle "synthétiser" des points de vue. Si il existe des textes synthétisant des points de vue, elle s'en inspirera et elle te ressortira des textes corrects, sur des sujets "bateaux" comme ceux qui peuvent servir d'examens à Science Po où il y a déjà de la littérature existante, et où la qualité de ses textes n'est que le reflet de ceux qui existent : sa force est d'avoir ingéré bien plus de textes existants que ce que peut lire un humain et donc ressortir bien plus rapidement des textes similaires. En revanche sur des sujets nouveaux comme les résultats récents du JWST ou la perspective d'une offensive en Ukraine, je te mets au défie de lui apporter des informations qu'elle puisse "synthétiser".

Je trouve très problématique que tu emploies un vocabulaire aussi ambigu en tant que spécialiste du sujet.

[JPL]

Je vais faire un doublon, mais je l’assume :

Attention, la discussion a l’air de se calmer un peu, après une période agressive, mais je rappelle deux points inadmissibles :

• Les discussions sur ChatGPT ont une fâcheuse tendance à se transformer en échange de critiques personnelles réciproques.

• Ces discussions ne doivent plus avoir pour objet de faire une collection des erreurs ou insuffisances de l’outil, surtout quand on l’emploie dans des questionnements tordus qui ne se posent jamais dans la vie réelle : de multiples exemples ont déjà été fournis et OpenAI reconnaît sans problème que ChatGPT, même dans sa version 4 est sujet à des erreurs voire à des "hallucinations". Donc inutile de revenir sur ces points ; c’est du radotage.

En conséquence, ou bien chacun se comporte en respectant ces règles, ou bien la discussion risque de faire long feu.

[GBo]

Pour abonder de façon neutre, le terme "synthétiser" ou "résumer" est bien utilisé pour cet usage et fait parie des nouvelles capacités appréciées des NLP:

"Text Summarization for NLP: 5 Best APIs, AI Models, and AI Summarizers in 2023"
https://www.assemblyai.com/blog/text...p-5-best-apis/

Que ce soit aussi bon que ce que ferait un humain capable et motivé, connaisseur du sujet à résumer, pas encore, mais comme dit plus haut, si on a besoin de volume et faible enjeu ça peut rendre service.

Dans le même genre, les traductions automatiques font florés, on parle bien de "traduction", ce n'est pas parfait mais ça a fait un gros bon (cf. DeepL), et ce sont des technos proches.

cdlt,
GBo

[GBo]

La question scientifique qui échappe à l'intuition, c'est comment un mécanisme qui ne comprend "pas vraiment" un texte peut le résumer et/ou le traduire de façon souvent satisfaisante.

[pm42]

La question scientifique qui échappe à l'intuition, c'est comment un mécanisme qui ne comprend "pas vraiment" un texte peut le résumer et/ou le traduire de façon souvent satisfaisante.

Peut-être parce que "l'intuition", c'est ce qu'on construit en étant très familier avec un sujet. Par exemple, si on me décrit un problème informatique, j'ai souvent l'intuition qu'il peut venir de là ou là.
Par contre, quand quelqu'un me décrit des symptômes de maladie, je n'ai aucune intuition.

Mais je sais tout à fait comment les IAs font pour traduire et cela ne me surprend pas.


L'autre sujet, c'est que "comprendre" n'est pas défini, "comprendre pas vraiment" non plus.
Personne ne s'étonne que les ordinateurs calculent plus vite que nous, qu'ils fassent du calcul symbolique et donc sachent trouver des intégrales, etc mieux que nous, etc.
Pourtant ils ne "comprennent pas vraiment" les maths derrière.
C'est sans doute parce que ce que nous appelons "comprendre", c'est comme "intelligence" : un concept non défini, pas vraiment pertinent et qui au final recouvre beaucoup de comportements plus mécaniques que ce qu'on pense.

[pm42]

Une autre info intéressante : on a beaucoup fait remarquer que ChatGPT est limité à 2021 coté données apprises.

Une autre IA, Bard de Google est elle différente : elle est connectée au Web en temps réel comme un moteur de recherche (je n'ai pas encore regardé comment c'est fait).
Ses objectifs et capacités sont différentes : elle a été conçue pour être à jour, répondre rapidement mais elle est beaucoup moins généraliste.

Toutefois, la techno existe pour ne pas avoir à refaire un apprentissage et on peut supposer qu'on aura à un horizon proche des IAs qui auront à la fois des capacités généralistes et des faits en temps réel.

https://www.blogdumoderateur.com/google-devoile-bard/

[GBo]

Pour les traductions encore ça va, ici par exemple c'est expliqué en 9 minutes douche comprise (on peut trouver ensuite plus détaillé une fois qu'on a les mots-clé).

"Transformers, explained: Understand the model behind GPT, BERT, and T5"
https://youtu.be/SZorAJ4I-sA

[mh34]

Oui.


Ses possibilités et ses limites. Par exemple, on sait qu'il est plutôt bon pour faire de la synthèse d'informations ou pour générer des plans de documents, etc.
Mais qu'il n'est pas un moteur de recherche, qu'il peut se "tromper" si on lui demande un raisonnement.

En fait, il est tellement généraliste que tout dépend de l'usage qu'on va en faire. C'est un peu comme Internet ou un smartphone : on a tous un usage personnalisé.


Tout dépend de l'usage. Ce que tu dis laisse à penser que tu parles d'un outil professionnel spécialisé et ce n'est pas ce pourquoi ChatGPT est fait.
Mais si tu dois faire une présentation sur un sujet donné, tu peux très bien lui demander un plan et le prendre et l'adapter et gagner du temps : pas besoin de background spécifique.

Voici un petit exemple :

merci pour la réponse.
Effectivement son plan n'est pas mal fichu du tout.

[pm42]

Effectivement son plan n'est pas mal fichu du tout.

C'est effectivement un usage qui fait gagner beaucoup de temps à tous les gens qui l'utilisent et ce dans beaucoup de domaines parfois pointus.
On doit aussi pouvoir lui demander de remplir les paragraphes et aller encore plus loin.

Je n'ai pas encore eu à creuser ça parce que je bosse à temps très partiel sur d'autres sujets notamment son adaptation à un domaine spécifique et les capacités de GPT-4 en traitement d'image.