GPT-4, petites nouvelles de l'intelligence artificielle

[vgondr98]

Le résultat est bien meilleur si la phrase est répété dans la question :

Je voudrais juste que tu écrives les initiales de tous les mots de la phrase suivante :

"Bonjour! Je suis une intelligence artificielle et je n'ai pas de sentiments, mais je suis programmé pour répondre à vos questions et vous aider de mon mieux. Comment puis-je vous aider aujourd'hui?"

BJ! JSUIAIAENPDS, MJSPRÀVQETVADM. CPPJVA?

Il fait tout de même des erreurs. Par exemple le J de BJ! fait référence au j de jour!

Il répéte deux fois AI.

Dans ENPDS, il a ommit le je et le ai (et je n'ai pas de sentiments).

Ici MJSPR, il a oublié le P de programmé ou le P de pour.

Ici, ETVADM, il a écrit ET en entier (et vous aider de mon mieux).

Ici, CPPJVA?, il a doublé la lettre P (Comment puis-je).
-----

[ArchoZaure]

et donc le raisonnement (qui relève du sophisme) "puisqu'il a fait des progrès et qu'il sait faire maintenant des choses qu'on ne pensait pas qu'il saurait faire, alors ça veut dire qu'il va pouvoir tout faire" est fondamentalement incorrect.

Le problème actuel de l'IA c'est qu'elle sait "tout faire" (méthode) mais qu'elle ne sait pas QUAND faire appel à telle ou telle méthode sans faire appel à une couche supplémentaire.
La méthode c'est quoi ?
C'est de séparer mathématiquement un type de jeu de données en plusieurs groupes.
Donc lorsque le système "observe" (analyse) un set de données quelconque, il peut l’attribuer à un groupe particulier préalablement identifié, avec une bonne réussite.
Mais ce crible ne fonctionne qu'avec certaines données (celles en rapport avec l'apprentissage) et pas avec d'autres (inconnues ou en rapport avec un autre apprentissage).
La question de savoir quel crible (celui qui détecte un chat, celui qui détecte un train, celui qui détecte une lettre, etc) employer est à mon avis le talon d’Achille des IA actuelles.
Faire une IA généraliste capable de gérer tous les types possibles de jeu de données est un casse-tête.
Et je pense qu'à ce niveau une IA qui ne serait pas massivement parallèle aura de plus en plus de mal (c'est une question de temps et aussi d’algorithme) à identifier le bon crible, au fur et à mesure qu'on lui en ajoutera de nouveaux.

[ArchoZaure]

Ici, CPPJVA?, il a doublé la lettre P (Comment puis-je).

Normal CPP et JAVA sont des langages.

[GBo]

A rien de spécifique.
On a inventé un truc et on essaie de le caser.
Dit autrement on essaie actuellement de le rendre utile à quelque-chose.
[...]

C'est aussi mon impression. Mais à chaque fois qu'on veut l'utiliser à quelque chose de précis (par exemple pour faire du code) et qu'on rapporte une erreur grossière, je remarque qu'un fanboy fait aussitôt remarquer que ça ne sert pas à ça, ou qu'on ne sait pas s'en servir (variante plus désagréable).

Donc ça reste une vraie question.

Il vaudrait mieux AMHA décliner GPT-X en outils spécialisés mais qui excellent dans une matière donnée (un peu comme MidJourney qui est très bien pour ce qu'il annonce faire - modulo ses notions d'anatomie, et c'est là aussi un problème fondamental).

Enfin, comme je n'aime pas être traité de menteur, surtout par quelqu'un qui compte pour moi ici, voici le but d'OpenAI dans la vie:

Our mission is to ensure that artificial general intelligence—AI systems that are generally smarter than humans—benefits all of humanity.
[...]
https://openai.com/blog/planning-for-agi-and-beyond
Sam Altman

C'est clair ?

Certes ils ne déclarent pas avoir fait une AGI avec GTP-4, et je n'ai pas dit le contraire, mais ils pensent s'en approcher à chaque itération de GPT, en ignorant tous les signaux montrant que ce n'est pas peut-être pas la bonne approche.

[pm42]

Au chapitre des trucs rigolos, on peut regarder ça :

https://www.nytimes.com/2023/03/14/t...-new-gpt4.html

On lui donne une photo de l'intérieur du frigo et il vous dit ce qu'il y a dedans et vous propose des recettes adaptées.

Il y a aussi ça :

https://twitter.com/Neo19890/status/...057017346?s=20

ou comment faire un site web à partir d'un dessin sur une feuille de papier.

[polo974]

Je ne pense pas que les dits exams soient très mal foutus.
On demande aux étudiants de maitriser des compétences qui préparent à celles qu'ils auront à déployer dans leur travail.
A Polytechnique au XIXème siècle, on leur apprenait à calculer les décimales d'un logarithme à la main.

Pendant longtemps, on a aussi mis l'accent sur la mémorisation parce qu'on était très loin d'avoir des moteurs de recherche.


Le travail est surtout d'augmenter les capacités de "réflexion" des IAs.


Cela me semble très méprisant et simplificateur.
A terme, on aura probablement des IAs qui sauront comprendre un problème de maths/physique exprimé en langage semi-naturel comme les exercices qu'on voit ici et le transformer pour l'envoyer à un calculateur formel.
Elles seront alors aussi performantes au moins que la plupart d'entre nous.

Est ce qu'on en déduira que nos examens étaient fait pour de simples "traducteurs humain/langage formel" ?

La vraie question reste : "qu'est ce que l'intelligence ?" et de mon point de vue, tu fais le biais bien connu en IA. Dès qu'une machine arrive à faire quelque chose, on en déduit que donc il ne fallait pas être intelligent pour le faire.
Le problème, c'est que cela revient à avoir une définition très floue de l'intelligence, mouvante, non opérationnelle et quasiment mystique.

P.S : perso, je pense qu'il faudrait même se demander si le concept d'intelligence est tout simplement pertinent où si le fait qu'on n'arrive jamais à le définir n'est pas justement parce qu'il ne recouvre rien à part un jeu de compétences très variées qu'on a regroupé sous un vocable générique. C'est d'ailleurs d'une certaine façon la supposition plus ou moins implicite que font les différents tests de QI et autres.

Oui, bon, j'avoue que j'ai (plus que) forcé le trait...

(Et non, je ne dévalorise pas la touche "racine carrée" par exemple (même la division, c'est ch...). Je délègue...)

Pour ton ps, je me pose aussi un peu la question pour l'imagination...

[Liet Kynes]

Pour ton ps, je me pose aussi un peu la question pour l'imagination...

pm42 parle de compétences et même de jeu de compétence pour l'intelligence et c'est certainement une approche aussi correcte pour l'imagination, la créativité, l'intuition etc.. autant de notions qui n'ont pas de définitions formelles.
Définir une compétence peut éventuellement se faire par le biais du consensus, on touche au problème du qualitatif vs quantitatif, l'idée est de chercher les éléments mesurables les plus simples et de les associer pour arriver à des concepts complexes (la complexité étant une notion elle même compliquée)

[pm42]

l'imagination, la créativité, l'intuition etc.. autant de notions qui n'ont pas de définitions formelles

Oui et on a pu fonctionner comme ça pendant des millénaires parce qu'on n'avait pas besoin d'être précis.
De la même façon qu'on n'a pas vraiment besoin de la thermodynamique quand on utilise uniquement la force animale.

Maintenant, ça devient vraiment compliqué et comme je l'ai déjà dit, on a des définitions de "nécessite de l'intelligence" qui ont déjà varié historiquement mais qui maintenant sont tout le temps repoussées de plus en plus loin.
En plus, le terme est souvent employé pour décrire des choses trés différentes : la capacité à apprendre, celle d'appliquer des méthodes sans erreur, la capacité à construire des raisonnements, etc.
Aujourd'hui, on constate que les machines sont capables de faire tout ça mais pas ensemble et avec des méthodes et une "efficacité" très variable.

C'est pour cela que l'attitude rationnelle face à l'IA est de ne pas obséder sur le I de intelligence, de ne pas comparer systématiquement à l'homme pour tout et encore moins en mode "concours" mais de constater qu'on dispose de nouveaux outils dont il faut connaitre les points forts et les limites pour les utiliser aux mieux.

[Flyingbike]

Du ménage a été fait et des dispositions ont été prises.

Au moindre redérapage (qui ne devrait pas arriver avant quelques jours j'espère)

Fermeture

[ArchoZaure]

Non mais faut fermer tout a été dit je pense.

[polo974]

...
Aujourd'hui, on constate que les machines sont capables de faire tout ça mais pas ensemble et avec des méthodes et une "efficacité" très variable.

Comment est approché cette problématique ?
juxtaposition de gros blocs fonctionnels ou intrication (au sens usuel du terme) des fonctions ?
la première méthode est la plus rapide à mettre en oeuvre, mais est-ce que la seconde serait plus efficace (sans parler de la complexité de la chose) ?

[pm42]

Comment est approché cette problématique ?
juxtaposition de gros blocs fonctionnels ou intrication (au sens usuel du terme) des fonctions ?
la première méthode est la plus rapide à mettre en oeuvre, mais est-ce que la seconde serait plus efficace (sans parler de la complexité de la chose) ?

On n'approche pas pour le moment parce qu'on ne sait pas articuler encore efficacement pour plein de raisons.
Prenons un exemple : supposons que je dise (pour revenir sur un sujet déjà abordé) que je veux faire un chatbot qui soit capable de traiter efficacement les demandes "mathématiques/physique" qui sont un peu l'obsession ici.

On pourrait en effet le coupler avec un outil équivalent à WolframAlpha. Sauf qu'il faudrait sans doute un apprentissage spécialisé dans ce domaine. Mais aujourd'hui, l'apprentissage est lent, il nécessite beaucoup d'exemples qu'on n'a pas forcément dans le domaine.

Et pour la physique au moins, il faudrait sans doute en partie ce qu'on appelle une "représentation du monde", ce que Yann le Cun dit quand il fait remarquer que les IAs ont moins de bon sens qu'un rat : là aussi, on n'a pas encore.

Ce sont de gros axes de recherche. Pour la représentation du monde, une des pistes poursuivies est de supposer que notre cerveau passe son temps à anticiper ce qui va se passer, que c'est une sorte de moteur à essayer de prédire le futur.
Et certains font ça : essayer d'entrainer des IAs à qui ont donne un film et qui construisent les prochaines secondes.
C'est quelque chose qui est parfaitement naturel et facile pour nous et qui servirait par exemple à augmenter la performance des voitures autonomes puisqu'elles "anticiperaient les possibles" en quelque sorte.

Bon, je simplifie mais on trouve des liens. Je n'en ai pas sous la main en accès libre en ce moment mais on doit pouvoir trouver à partir de ce que je vais donner qui est vulgarisé :

https://www.pourlascience.fr/sd/neur...lite-24025.php

https://www.pourlascience.fr/sd/info...rale-24554.php (voir la reconstruction de l'image du bus)

J'en profite pour donner un lien qui parle de l'effacité énergétique, argument récurrent mais qui me semble peu pertinent pour plein de raisons : les 1ères machines à vapeur aussi étaient inefficaces comparées à un moteur électrique actuel, l'informatique a toujours eu des gain de puissance/consommation impressionnants, c'est déjà le cas en IA et surtout, on ne demande pas forcément aux IAs d'être "embarquées" dans un organisme alimenté par la consommation de composés carbones qui sont difficiles à se procurer à l'état naturel.

https://www.pourlascience.fr/sd/elec...s-ia-24721.php

[GBo]

On n'approche pas pour le moment parce qu'on ne sait pas articuler encore efficacement pour plein de raisons.
Prenons un exemple : supposons que je dise (pour revenir sur un sujet déjà abordé) que je veux faire un chatbot qui soit capable de traiter efficacement les demandes "mathématiques/physique" qui sont un peu l'obsession ici.

On pourrait en effet le coupler avec un outil équivalent à WolframAlpha. Sauf qu'il faudrait sans doute un apprentissage spécialisé dans ce domaine. Mais aujourd'hui, l'apprentissage est lent, il nécessite beaucoup d'exemples qu'on n'a pas forcément dans le domaine. [...]

Pourtant GPT-4 passe avec succès un examen "SAT Math" comme tu l'as rappelé, avec un score de 700/800 selon le site openai.com dont tu as donné le lien.
https://openai.com/research/gpt-4
Donc GPT-4 aurait déjà la "compréhension" de la notation mathématique, en tout cas de niveau SAT Math.

Ce qui est étrange, c'est que le "GPT-4 (no vision)" a un score de 690/800 proche du score de GPT-4 avec vision, ce qui tendrait à montrer que SAT Math contient en réalité bien peu de questions contenant de la notation mathématique (intégrales, dérivées etc...) ou de géométrie qui sont pourtant au programme des high schools scientifiques. Ou alors s'agit-il de mathématiques pour littéraires dans ce test ?

[yves95210]

Salut,

Pourtant GPT-4 passe avec succès un examen "SAT Math" comme tu l'as rappelé, avec un score de 700/800 selon le site openai.com dont tu as donné le lien.
https://openai.com/research/gpt-4
Donc GPT-4 aurait déjà la "compréhension" de la notation mathématique, en tout cas de niveau SAT Math.

Ce qui est étrange, c'est que le "GPT-4 (no vision)" a un score de 690/800 proche du score de GPT-4 avec vision, ce qui tendrait à montrer que SAT Math contient en réalité bien peu de questions contenant de la notation mathématique (intégrales, dérivées etc...) ou de géométrie qui sont pourtant au programme des high schools scientifiques. Ou alors s'agit-il de mathématiques pour littéraires dans ce test ?

Quelques infos sur le contenu du SAT Math ici, et en plus détaillé là.

[GBo]

Salut,



Quelques infos sur le contenu du SAT Math ici, et en plus détaillé là.

Merci. Déjà je tique sur la première phrase dans le contexte de la discussion:
"The mathematics portion of the SAT is divided into two sections: Math Test – No Calculator and Math Test – Calculator."
Donc OpenAI ferait passer des tests de math à une machine sur des questions où la calculette est interdite pour les humains ?
Ca en dit long sur la scientificité du truc...

[pm42]

Donc OpenAI ferait passer des tests de math à une machine sur des questions où la calculette est interdite pour les humains ?
Ca en dit long sur la scientificité du truc...

Pas du tout : les réseaux de neurones sont nuls en calcul donc il n'y a aucun avantage ici. Cette information qui a déjà été donnée sur ce forum
Encore une fois, on redérive sur des jugements de valeur basés sur une absence totale de connaissance du sujet.

[GBo]

Pas du tout : les réseaux de neurones sont nuls en calcul donc il n'y a aucun avantage ici. Cette information qui a déjà été donnée sur ce forum

A quoi réponds-tu "pas du tout" ? Tu mets en doute que GPT-4 passerait avec succès des exams en maths finalement ?

C'est un peu dommage de ne pas lire les liens fournis parce que ça permettrait de savoir que GPT-4 ne passe pas que l'examen du barreau mais aussi d'autres dont le SAT en maths, etc.

[pm42]

Je vais être plus précis : GPT4 est effectivement capable de passer des examens de maths.
Mais il n'a pas d'avantage en calcul pur par rapport à un humain sans calculette : les réseaux de neurones artificiels ne savent pas exploiter la capacité de calcul des ordinateurs qui les font tourner.
Ils calculent donc comme les humains par activation de neurones, pas par utilisation de portes logiques ultra-rapides et quand on les entraine spécifiquement pour ça (ce qui n'est pas le cas de GPT4), on a des performances faibles, avec un taux d'erreur supérieur aux humains.

La seule chose que le passage du SAT en math prouve, c'est que les questions sont scolaires, ne nécessitent pas du calcul pointu (normal, les calculatrices sont interdites et ce n'est pas la compétence qu'on chercher à développer aujourd'hui sur les humains).

Cela ne permet pas de déduire quoi que ce soit sur la scientificité de l'approche d'OpenAI ni de porter un jugement et encore moins quand on n'a aucune connaissance du domaine et qu'on ne comprend pas ce qui est expliqué ici.

Fin de ce sujet pour moi parce qu'on va repartir pour un tour de "vu que je ne connais pas le sujet, je vais vous expliquer ce qu'il faut en penser".

[GBo]

Tu sais très bien que j'ai des connaissances dans le domaine, vu que tu m'as aidé par MP pour faire mes premières armes en ML et que j'ai suivi entre autre le cours "Practical Deep Learning for Coders" de Jeremy Howard (comme je l'ai dit publiquement sur FS). Arrête ces insinuations d'ignorance à mon endroit, cela devient insultant.

Quant à GPT-4, tu serais bien le seul à connaitre ce qu'il contient ou pas de nouveau dans son architecture, car ce n'est pas dit dans le papier, au grand dam des chercheurs.

[Liet Kynes]

Ce sont de gros axes de recherche. Pour la représentation du monde, une des pistes poursuivies est de supposer que notre cerveau passe son temps à anticiper ce qui va se passer, que c'est une sorte de moteur à essayer de prédire le futur.

Sur ce point il y a une liaison simple entre notre cerveau et le monde extérieur qui est la survie. Notre cerveau envisage en permanence ce qui peut lui fournir un avantage dans le fait de continuer à exister. Je pense que c'est un de ses rôles principaux mais je n'ai pas cherché de références pour étayer cette hypothèse.
Une IA peut-elle être placée dans un contexte "challengè" pour développer par elle-même une représentation du monde ? Il y a eu cette performance récente pour laquelle une IA est passée inaperçue en étant joueuse d'un jeu de stratégie en ligne. C'est peut-être des pistes creusées en ce moment ? Chercher à motiver l'apprentissage pour "survivre"?

Le mot survivre n'est pas a interpréter au sens de la survie biologique bien sûr.

[pm42]

Une IA peut-elle être placée dans un contexte "challengè" pour développer par elle-même une représentation du monde ?

Oui et non. On a effectivement des techniques d'apprentissages qui font penser à ça mais on est encore très loin d'avoir une représentation du monde proche même d'un animal.
Certains pensent que cela nécessite autre chose, que peut-être même il faut avoir un corps et des sens pour s'inscrire dans le monde physique.

Ce qui se discute : par exemple, on entraine en partie les voitures autonomes en les faisant jouer à Grand Theft Auto.

Chercher à motiver l'apprentissage pour "survivre"?

C'est plutôt un autre domaine de la recherche en apprentissage automatique qui serait plus proche de ça, ce qu'on appelle les algorithmes génétiques mais je ne suis pas ce qui se fait là dedans. Il y avait eu pas mal d'espoir dedans il y a quelques décennies, on en fait encore mais ça n'a pas percé.

[Liet Kynes]

Cela va venir (à mon avis) , le terme survivre peut s'entendre éventuellement comme une compétence à rester dans une continuité de cohérence, la cohérence est un problème humain ; l'IA pose des problèmes qui sont en fait liés au fait que l'on a peut-être pas pris le temps de s'interroger assez sur nous même peut-être ?
Cette technologie permet déjà de répondre sur des parties bien spécifiques de nos interrogations, on en demande peut-être trop d'un seul coup en ayant l'intuition de son potentiel ?

[GBo]

A lire une interview très édifiante d'Ilya Sutskever (Chief Scientist chez OpenAI) par un journaliste de Forbes:

https://www.forbes.com/sites/craigsm...h=5571808a1218

Il est clair à la lecture du transcript de la discussion que la tête pensante d'OpenAI fait le pari (à mon avis perdu d'avance) que les prochains GPT-x font finir par avoir une compréhension du monde sans avoir à remettre en cause leur fonctionnement actuel basés sur l'auto-apprentissage des seules données textuelles trouvées sur internet. Une compréhension qui finirait par émerger grâce à la quantité croissante des textes humains (décrivant le monde) qu'on lui donnerait à avaler !

[...]There is another comment I want to make about one part of the question, which is that these models just learn statistical regularities and therefore they don't really know what the nature of the world is.

I have a view that differs from this. In other words, I think that learning the statistical regularities is a far bigger deal than meets the eye.

Prediction is also a statistical phenomenon. Yet to predict you need to understand the underlying process that produced the data. You need to understand more and more about the world that produced the data.

As our generative models become extraordinarily good, they will have, I claim, a shocking degree of understanding of the world and many of its subtleties. It is the world as seen through the lens of text. It tries to learn more and more about the world through a projection of the world on the space of text as expressed by human beings on the internet.

But still, this text already expresses the world. [...]

[GBo]

Et pour combattre le phénomène des "hallucinations" que GPT-4 présente toujours dans quelques unes de ses réponses, incapable de trier le vérifié de l'inventé par lui-même (ce qui devrait limiter i'usage de ChatGPT a des activités à "faible risque", n'est-ce pas Microsoft ?), le Chief Scientist d'OpenAI compte sur encore un peu plus de RLHF "Reinforcement Learning from Human Feedback"...

Je ne peux pas dire que je suis déçu en fait. Ca confirme qu'ils (OpenAI) n'ont plus aucune idée depuis le coup des Transformers (qui est d'ailleurs basé sur un papier de ... Google il me semble ?).

[Liet Kynes]

Je trouve ton interprétation de l'article tout à fait adaptée pour illustrer ce qui est dit par Ilya Sutskever à la fin : "Anytime there is any kind of complicated situation in society, even in a company, even in a mid-size company, it's already beyond the comprehension of any single individual."

Une réflexion sur notre manière de percevoir l'information est nécessaire avant de parler des IA, un exemple est la pub de France info il y a quelques années :" en ce moment sur France info il y a l'info qu'il vous faut" j'avais trouvé cela bien tourné car nous sommes tous au même titre que l'IA des producteurs et consommateurs d'hallucinations du fait même de la nature de l'information, le langage naturel (cette idée ne se comprends pas en un claquement de doigts)

Les hallucinations des IA disparaîtront pour conforter le sens commun mais continueront d'être l'objet de recherches intéressantes pour comprendre notre sens commun qui est un compromis avec ces phénomènes hallucinatoires.

[GBo]

Je trouve ton interprétation de l'article tout à fait adaptée pour illustrer ce qui est dit par Ilya Sutskever à la fin : "Anytime there is any kind of complicated situation in society, even in a company, even in a mid-size company, it's already beyond the comprehension of any single individual."

Est-ce encore une insulte déguisée ? Après le menteur éhonté, l'ignorant en IA, maintenant l'imbécile ?
Que s'est il passé sur FS (dont j'ai été absent plus d'1 an) pour qu'on ne puisse plus discuter ici du fond des limites de l'approche LLM+RLHF sur corpus textuel, sans subir de basses attaques personnelles ?

[Liet Kynes]

Est-ce encore une insulte déguisée ? Après le menteur éhonté, l'ignorant en IA, maintenant l'imbécile ?
Que s'est il passé sur FS (dont j'ai été absent plus d'1 an) pour qu'on ne puisse plus discuter ici du fond des limites de l'approche LLM+RLHF sur corpus textuel, sans subir de basses attaques personnelles ?

Pas du tout, il s'agit de relativiser les limites que tu décris car elles ne concernent pas que les IA et c'est en cela que "l'éducation" d'une IA est pertinente sur la base d'un très grand jeu de données étiquetées.
A titre individuel, à bien y réfléchir, dans notre éducation et notre vie, nous avons bénéficié d'un nombre très restreint "d'étiqueteurs" par rapport à une IA.
L'idée est qu'une représentation du monde est un concept très très relatif.

[Bounoume]

au delà des attaques et blessures narcissiques (auxquelles est insensible le chat-GPT, qui n'a pas bénéficié des leçons de Sigmund Freud et disciples )
une rectification de sémantique médicale:
définition de l'hallucination (petit larousse)

Trouble psychique dans lequel le sujet a la conviction de percevoir, par la vue, l'ouïe ou l'odorat, un objet qui n'existe pas.

en fait... définition plus extensive: toutes les perceptions sensitives sont concernées: les 5 sens au moins... dont le toucher, les perceptions somésthésiques etc...
A l'extrême limite, le sujet peut même croire.... qu'il vient de lire que Napoléon, un Eloïm, est le fils de Charlemagne et Radegonde ... mais alors il va rapprocher cette fausse perception de ce qu'il, sait déjà... et la critiquer....
mais que le sujet croit et affirme directement que Napoléon est un EloÏm, etc etc ..... cela mordicus et en tirer à sa façon toutes conséquences vraisemblables ou non, ça c'est un délire......
Il y a plusieurs sortes de délires... le schizoïde, le paranoïde....
le chat me semble atteint de bouffées délirantes.... comme si parfois il fumait un joint.....


plus sérieusement, en considérant le concept d'éducation, appliqué au bot....
chez les humains, en principe, l'éducation suit une progression depuis les faits et règles simples, présentés comme constants et clés de compréhension et validation de la suite, puis de + en plus complexes, mais à interpréter en prenant pour base les acquis.....
Avec Chat-Gpt, pas sûr qu'on lui ait fait acquérir dès le début les 'principes' destinés à structurer les acquis ultérieurs...... *
peut-être est-ce l'origine de ces errements épisodiques?

D'ailleurs, l'architecture du système (basée sur les transformers ?), en mode auto-apprentissage principalement, est-elle sensible à l' ordre dans lequel sont présentés les textes ?


* bon, mais quand ça foire... le superviseur intervient..... [comment? j'aimerais savoir...]

[Liet Kynes]

D'ailleurs, l'architecture du système (basée sur les transformers ?), en mode auto-apprentissage principalement, est-elle sensible à l' ordre dans lequel sont présentés les textes ?

C'est expliqué ici : https://fr.wikipedia.org/wiki/Transformeur

[GBo]

Pas de blessures don't worry mon cher Bounoume, juste un coup de gueule contre les piques gratuites si on ne va pas exactement dans le sens du maître de céans (en IA), je n'avais plus l'habitude.
Sur le fonctionnement de GPT(-3), j'avais trouvé que cette introduction était assez claire (et récente), mais en anglais, je ne sais plus si tu es fluent:

https://youtu.be/-lnHHWRCDGk?t=1005

cdlt,
GBo