"transformer": comment apprend-il?

[Bounoume]

bonjour,
même si la question pourrait être mieux classée dans 'lectures scientifiques' ?? la voici:

ayant découvert sur github.io la description à la fois complète et accessible* du "transformer" en mode production (une fois l' apprentissage complet) je ne trouve rien sur le mécanisme qui permet l'apprentissage depuis des exemples.....
rétropropagation de gradient? euh ? pour les couches feed-forward? euh ??? mais pour les données qui gouvernent Attention, pour moi, ça coïnce.....
pouvez-vous me documenter sur le dits mécanismes d'apprentissage possibles pour un transformer typique?
merci d'avance


remarque: la page wiki https://fr.abcdef.wiki/wiki/Transfor...earning_model) est en fait une reprise incomplète de l'excellent article
http://jalammar.github.io/illustrated-transformer/
article qui décrit très bien la structure codage/décodage/attention, mais ne parle pas de l'apprentissage en lui-même....


*à un individu qui a seulement les notions de base sur matrices et calculs vectoriels.....
-----

[pm42]

Il n'y a pas de différence de fond entre l'apprentissage et la production pour un réseau de neurones.

Pendant l'apprentissage, on lui balance des entrées, on regarde les sorties. Et on fait bouger les paramètres des neurones tant qu'on n'est pas content de la sortie.

Pour la production, on fait la même chose sauf qu'on a figé les poids et qu'on se contente de prendre la sortie et de l'utiliser, on n'évalue plus sa qualité (enfin, l'utilisateur final peut mais il n'y a plus de feedback au réseau).

Mais pour le réseau lui même, il fait exactement la même chose dans les 2 cas.

Donc tout ce qui t'est décrit s'applique aux 2 cas. Ce qui compte, c'est l'architecture, comment on transforme des données "réelles" en vecteurs, comment ses vecteurs sont transmis à travers les couches de neurones, transformés, etc.

[Deedee81]

Salut,

Voir aussi : https://fr.wikipedia.org/wiki/R%C3%A...on_du_gradient

Ce n'est qu'une introduction à la méthode (y a beaucoup de choses autour de ça) mais au moins pour le principe. Et ça ne nécessite justement pas plus que quelques notions de base sur le calcul matriciel.

[Bounoume]

merci du lien.
maintenant, passons au chat célèbre: GPT3.....
Comme Alexandre Dumas et plein d'écrivains ayant pignon sur rue, OpenAI rétribue une multitude de "nègres"*.....
la supercherie est officielle.
Mais peut-on comprendre comment on fait avaler aux valeurs de poids (ou/et) aux valeurs des matrices de chatGPT les comportements souhaités?

Simplement en inondant le vilain chat d'exemples défavorablement étiquetés? Si c'était un réseau simple (Kohonen, ou intégerant LSTM ) non transformer, ça me semble possible, mais compte tenu de la complexité des sorties du chatGPT, ça me semble délicat de trouver l'écart entre bon texte attendu et mauvais texte obtenu....

Ou bien en provoquant délibérément des réponses hors du champ des comportements politiquement corrects, puis en les sanctionnant autrement? Mais comment?



*je précise, pour éviter toute censure, qu'il s'agit d'une expression ancienne qui désigne de petites mains (mal) payées pour écrire des textes à la place de l'auteur officiel (et paresseux....)
Maintenant ce genre d'esclave n'a plus de nom en langage moderne....

[A voir en vidéo sur Futura]

[pm42]

Comme Alexandre Dumas et plein d'écrivains ayant pignon sur rue, OpenAI rétribue une multitude de "nègres"*.....

Ce ne sont pas des "nègres" mais des humains qui labellisent. On fait ça partout en IA et tu l'as sans doute fait toi-même sans t'en rendre compte quand tu as répondu à des captchas qui te disaient "cliquez sur toutes les images qui contiennent un vélo".

la supercherie est officielle.

Ce n'est pas une supercherie, c'est juste qu'on fait de l'apprentissage supervisé parce que c'est largement plus efficace que le non supervisé. On fait ça aussi avec les humains d'ailleurs, ça s'appelle élever un enfant ou enseigner.

Bon, on fait aussi des choses bien en IA avec l'apprentissage auto-supervisé aussi mais pas pour tout.

Pour le reste et vu que tu sembles plus vouloir juger qu'apprendre, je vais te laisser.

[Deedee81]

Salut,

ChaptGPT n'est peut-être pas un bon exemple pour illustrer le deelearning car il est nettement plus que ça. Voir le site openAI et les explications. Difficile de trier en fonction des essais qui sont fait avec ChatGPT.

Sinon au niveau deeplearning proprement dit, pour l'apprentissage supervisé, on utilise en effet de la labellisation mais aussi des bases de données existantes (certaines I.A. ont pompé tout wikipedia pour alimenter leur apprentissage, enfin, c'est les chercheurs qui ont pompé, pas l'IA ).

Au niveau des réponses appropriées ou non il faut éviter avant tout les biais. Les chercheurs font (normalement) bien attention aux données servant à alimenter l'IA. (mais pour ChatGPT il y a d'autres mécanismes, en plus)

Enfin, pour l'évolution après coup des IA, là faudra confirmer, mais je pense qu'il n'y a pas de méthode standard, chaque IA doit avoir une politique de suivi des réponses pour les améliorer. Ca dépend des IA, de leur usage, du fait qu'elles sont centralisées ou pas....

Et pour ce qui est des nègres, il est évidemment beaucoup plus facile (rapide et moins couteux) de faire appel à la méthode indiquée par pm42 ou à des bases de données existantes. J'ai lu aussi à l'occasion qu'il pouvait y avoir un travail de notation, mise en forme, etc... des bases de données, mais c'est fait par des spécialistes équipés d'outils qui aident à traiter de grosses masses de données. On ne peut pas laisser ça dans les mains d'inconnus qui risqueraient de noter de manière absurde (quelle qu'en soit la raison). L'usage des IA ne permet pas, en général, de jouer à la roulette Russe avec les données d'apprentissage !

J'ai connu l'époque où des locuteurs volontaires s'enregistraient pour allimenter les systèmes de reconnaissance de la parole (c'était assez amusant des les entendre, ils étaient dans le labo à coté du miens ). Fini tout ça : on a d'énormes volumes de données disponibles. C'est l'ère d'internet et du Big Data.

Enfin, je trouve stup..éfiant de qualifier de supercherie le fait qu'une IA néssite un apprentissage. Elles n'ont pas la science infuse. Et je trouve déplaisant de commencer une discussion par un message on ne peut plus légitime pour ensuite dévier sur ChatGpT, un tir en raffale d'apprioris, de méconnaissances et de critiques. Je ne cartonne pas et je ne ferme pas mais je garde sous surveillance.

[Bounoume]

désolé que tu n'acceptes pas qu'un vieux se laisse aller à des plaisanteries de jeune un peu ironique et non-conformiste......
bon, tu es trop sérieux, alors oublions ça....

Ce n'est pas une supercherie, c'est juste qu'on fait de l'apprentissage supervisé parce que c'est largement plus efficace que le non supervisé. On fait ça aussi avec les humains d'ailleurs, ça s'appelle élever un enfant ou enseigner.

la qualification de supercherie.... c'est par rapport au ressenti véhiculé par les media ordinaires, prétendant que les AI comprennent tout, et toutes seules, quasi sans intervention humaine......
Même dans certains articles 'expliquant'... les sources de données sont abondamment documentées, mais il est très peu expliqué qu'il y a une lourde supervision derrière..... en plus d'un simple tri sur pertinence et respect des règles de bienséance....


Ma question (la partie sérieuse) était justement de savoir comment on réalise la supervision.....

Pour le reste et vu que tu sembles plus vouloir juger qu'apprendre, je vais te laisser.

l'un n'empêche pas l'autre....
à bientôt donc....

[Bounoume]

Salut,
ChaptGPT n'est peut-être pas un bon exemple pour illustrer le deeplearning car il est nettement plus que ça. Voir le site openAI et les explications. Difficile de trier en fonction des essais qui sont fait avec ChatGPT.
Sinon au niveau deeplearning proprement dit, pour l'apprentissage supervisé, on utilise en effet de la labellisation mais aussi des bases de données existantes (certaines I.A. ont pompé tout wikipedia pour alimenter leur apprentissage, enfin, c'est les chercheurs qui ont pompé, pas l'IA ).

le site de openAI: je crains de ne pas savoir où trouver les infos à ma portée.... peux-tu m'aiguiller un peu ......
je cherche comment sont traités en routine les suites de mots extraits des sources.... au regard de ce que je connais d' un 'transformer' ?
à priori avec ou sans supervision???

J'ai lu aussi à l'occasion qu'il pouvait y avoir un travail de notation, mise en forme, etc... des bases de données, mais c'est fait par des spécialistes équipés d'outils qui aident à traiter de grosses masses de données. On ne peut pas laisser ça dans les mains d'inconnus qui risqueraient de noter de manière absurde (quelle qu'en soit la raison). L'usage des IA ne permet pas, en général, de jouer à la roulette Russe avec les données d'apprentissage !

Cette mise en forme, et surtout cette 'notation' fine des contenus, c'est justement l'aspect principal de mon interrogation!
Sous quelle forme, comment sont exprimées les 'notes' et consignes données en entrée de GPT, et, si possible bien sûr, comment ça agit dans les mécanismes internes de GPT.... [/QUOTE]


pour ce qui est de la prise en compte de chaque interaction avec un usager... et son enregistrement.... ce post-apprentissage, on verra bien plus tard.....

[Deedee81]

Salut,

désolé que tu n'acceptes pas qu'un vieux se laisse aller à des plaisanteries de jeune un peu ironique et non-conformiste......
bon, tu es trop sérieux, alors oublions ça....

Ok, mais par contre n'oublies pas qu'il n'y a pas le son/ton et langage non verbal dans un forum. Quand on fait une plaisanterie on ajoute les smiley appropriés. Sinon on risque une sanction !
Cela s'appelle le bon sens (et pas besoin d'être vieux et sérieux pour avoir un peu de non sens !!!)

Il reste que je ne vais pas accepter la dérive. Ca c'est franchement inacceptable, surtout après l'ouverture d'une pluie de discussion sur ChatGPT. En ouvrir une de plus : NON !

le site de openAI: je crains de ne pas savoir où trouver les infos à ma portée.... peux-tu m'aiguiller un peu ......

Pas non plus besoin d'être vieux et sérieux pour trouver, c'est simple : https://openai.com/blog/chatgpt/
(la partie Methode et il y a quelques liens avec des détails).

[Deedee81]

Et comme tu n'avais pas manifestement compris, comme je refuse de voir une Nième dérive sur ChatGPT : Clic.

Pour ne pas te laisser sur ta faim :
- un lien ci-dessus
- si quelqu'un veut te fournir de la documentation sur l'apprentissage du deeplearning, méthodes etc.... => MP (mais google est ton ami et je suis sûr qu'on trouve même facilement des thèses de doctorat là dessus (*).
- sur ChatGPT tu n'auras pas beaucoup plus de détail, tu sembles oublier que c'est un programme commercial. Et OpenAI n'a pas donné tous les détails et ne les donneras pas.

(*) m'a fallu 30 secondes pour en trouver, je te laisse donc chercher

Merci,