Article sur GPT-4

[ThM55]

Bonjour! Un article très intéressant qui explore les capacités de GPT-4 et les compare avec celles de chatGPT: https://arxiv.org/abs/2303.12712 .
-----

[oualos]

J'étais très enthousiaste au début mais il bute et fait des erreurs grossières sur des questions apparemment simple alors qu'il se débrouille plutôt bien ur des questions compliquées.
Par exemple il ne connaît pas la seule ligne à sens unique du métro parisien, la llgne 7 bis.
Et dans un calcul de probabilité tout simple comme calculé l'espérance mathématique d'un lancer de dés à six faces, il écrit que que (1/6)x6= 1/6!! ...Alors qu'un lycéen de 6e ou 5e sait que c'est égale à 1.
Question: si j'ai un dé à six faces je mise un euro et gagne 6 euros si j'ai deviné le nombre juste sinon je perds la mise. Quelle est mes espoirs de gains à long terme en calculant l'espérance mathématique


Réponse:Bien sûr, je peux vous aider à calculer votre espérance mathématique pour ce jeu.

Tout d'abord, nous devons déterminer la probabilité de gagner et de perdre. Puisque vous avez un dé à six faces, il y a une chance sur six de deviner correctement le nombre. Par conséquent, la probabilité de gagner est de 1/6 et la probabilité de perdre est de 5/6.

Ensuite, nous pouvons calculer l'espérance mathématique, qui est la somme des produits des gains possibles par leur probabilité respective. Dans ce cas, il y a deux gains possibles : 6 euros si vous gagnez et -1 euro si vous perdez.

Ainsi, l'espérance mathématique peut être calculée comme suit :

Espérance mathématique = (6 x 1/6) + (-1 x 5/6) = 1/6 - 5/6 = -4/6 = -0,67 euro

Cela signifie que, sur le long terme, vous pouvez vous attendre à perdre en moyenne 0,67 euro par tour de jeu. Donc, il n'est peut-être pas judicieux de jouer à ce jeu si vous voulez maximiser vos gains à long terme.

[ThM55]

Bonjour oualos. Dans votre exemple, vous avez utilisé chatGPT ou GPT-4? S'il s'agit du chatGPT gratuit, c'est le modèle GPT-3, qui n'est pas bon en maths ni en logique (il tolère placidement ses propres contradictions et parfais nie l'évidence), je l'avais déjà rapporté dans un autre fil avec quelques exemples. GPT-4 n'est présent que dans la version +, payante à 20 $ par mois.

L'article que j'ai renseigné est rédigé par des chercheurs de Microsoft, il analyse les capacités de ce tout nouveau GPT-4. Et clairement cet article montre des progrès importants. Je dois dire que je trouve cela impressionnant, même si, openAI le signale, il reste imparfait et commet des erreurs. Je pense que je vais payer l'abonnement pour un mois et l'essayer...

[pm42]

En fait, ChatGPT donne la bonne réponse mais pas à chaque fois. Parfois il fait l'erreur indiquée.

Mais c'est effectivement curieux de venir en parler sur un fil GPT-4 qui justement a fait des avancées sur le sujet. Lui donne comme réponse à chaque fois :

Pour calculer l'espérance mathématique de ce jeu, vous devez prendre en compte les probabilités de gagner et de perdre ainsi que les gains et les pertes associés. Dans ce cas, vous avez un dé à six faces, donc la probabilité de deviner le bon nombre est de 1/6 et la probabilité de perdre est de 5/6.

Si vous devinez correctement le nombre, vous gagnez 6 euros. Si vous perdez, vous perdez votre mise de 1 euro.

L'espérance mathématique (E) se calcule de la manière suivante :

E = (gain potentiel * probabilité de gagner) + (perte potentielle * probabilité de perdre)

Dans ce cas :

E = (6 euros * 1/6) + (-1 euro * 5/6)
E = (6 euros / 6) + (-1 euro * 5/6)
E = 1 euro + (-5/6 euros)
E = 1/6 euro

L'espérance mathématique de ce jeu est donc de 1/6 euro, soit environ 0,167 euro. Cela signifie qu'en moyenne, sur un grand nombre de parties, vous pouvez vous attendre à gagner 0,167 euro par partie jouée.

Je trouve ça carrément pas mal du tout et à terme, cela aura des applications encore plus nombreuses que celles déjà développées notamment dans l'éducation (qui va devoir s'adapter).

P.S : et bien sur, il est toujours étonnant de "tester" en ne citant que les erreurs et encore plus quand celles ci sont prévisibles sans avoir pris la peine de se renseigner à l'avance sur les capacités et limites d'un Chatbot mais c'est apparemment un biais très fréquent.

[A voir en vidéo sur Futura]

[pm42]

Par exemple il ne connaît pas la seule ligne à sens unique du métro parisien, la llgne 7 bis.

La réponse de GPT-4 est :

La ligne 3bis du métro de Paris est la seule ligne à sens unique. Elle est courte et relie seulement les stations Gambetta et Porte des Lilas. La ligne 3bis a été mise en service en 1971 et fonctionne en boucle, les trains tournant en rond sans jamais changer de direction. C'est pour cette raison qu'on la considère comme étant à sens unique.

Par curiosité, j'ai demandé à un moteur de recherche quelle était la seule ligne à sens unique du métro à Paris et je n'ai pas eu de réponse convaincante.
Les horaires indiquent d'ailleurs pour la 7bis 2 directions.

J'ai l'impression que "l'erreur" se discute.

[oualos]

Difficile de répondre à toutes les erreurs -ou soi-disant telles- de chatGPT4.
1° C'est vrai que la ligne 7 bis n'est pas totalement à sens unique mais il y a juste une boucle à la fin.
Peut-être aurais-je du formuler ma question autrement: quelle est la ligne de métro à Paris qui comporte une boucle à sens unique ?
J'ai pas essayé ça mais la formulation de la question importe beaucoup pour chatGPT. Ce qui paraît implicite pour le questionneur ne l'est pas forcément pour la machine.

2° Le jeu de dés à six faces: sans doute aurais-je du préciser que la mise est remportée de toute façon par la banque que l'on soit gagnant ou perdant.
Donc l'espérance mathématique est nulle dans ce cas et seulement dans ce cas. Ce qui dans mes souvenirs n'est pas automatique dans les casinos.

Ceci dit je suis totalement bluffé par cette machine. Mais un problème systémique me semble demeurer.
Comme il le reconnaît lui-même, il est incapable de mémoriser des règles car il lui faudrait dit-il des mémoires à long terme.
Il fonctionne quasi uniquement de manière probabiliste et non logique: pour cela il faudrait lui apprendre des règles immuables dans la machine me semble-t-il...
donc à long terme ce qu'il reconnaît ne pas savoir faire.

La prise de décision est presque totalement aléatoire, preuve en est qu'avec le regenerate response on peut lui faire dire quasiment tout et son contraire.
On peut lui dire qu'il fait une erreur comme avec les pluriels de amour, délice et orgue qui deviennent féminins au pluriel, et le corriger : il répètera toujours et sans cesse la même erreur. Ce qui est drôle c’est que lors de la troisième correction il dira : « oui vous avez raison, je suis un peu fatigué aujourd’hui. »

[pm42]

Difficile de répondre à toutes les erreurs -ou soi-disant telles- de chatGPT4.

En effet parce que chatGPT4 n'existe pas.
Il y a ChatGPT et GPT-4 et les autres avant.

2° Le jeu de dés à six faces: sans doute aurais-je du préciser que la mise est remportée de toute façon par la banque que l'on soit gagnant ou perdant.

C'est un peu curieux de constater que tu as fait plusieurs erreurs de ton coté.

Mais un problème systémique me semble demeurer.
Comme il le reconnaît lui-même, il est incapable de mémoriser des règles car il lui faudrait dit-il des mémoires à long terme.

Ce n'est pas un "problème systémique" qui me semble ici employé à mauvais escient. C'est l'état de l'art en intelligence artificielle.

Il fonctionne quasi uniquement de manière probabiliste et non logique

C'est qui est logique parce que c'est un ChatBot et que le langage humain est probabiliste et non logique.
On en revient au fait qu'il est dommage (et surprenant) de lui demander l'inverse de ce pourquoi il a été conçu.

J'ai l'impression que pas mal de monde l'essaie sans se renseigner et s'attend à trouver un truc de science-fiction, l'ordinateur froid et méthodique qui a réponse à tout et ne se trompe jamais.
C'est aussi probable que de se pointer dans un aéroport et de s'étonner de ne pas y voir de soucoupes volantes pour aller sur la Lune.

pour cela il faudrait lui apprendre des règles immuables dans la machine me semble-t-il...

Ca s'appelle la programmation classique. Mais dans le cas de GPT-4 & co, cela viendra.

La prise de décision est presque totalement aléatoire, preuve en est qu'avec le regenerate response on peut lui faire dire quasiment tout et son contraire.

Oui, il réagit au contexte et à d'autres choses comme les humains.

On peut lui dire qu'il fait une erreur comme avec les pluriels de amour, délice et orgue qui deviennent féminins au pluriel, et le corriger : il répètera toujours et sans cesse la même erreur. Ce qui est drôle c’est que lors de la troisième correction il dira : « oui vous avez raison, je suis un peu fatigué aujourd’hui. »

Il y a plein de gens sur le forum et ailleurs qui font les mêmes erreurs et plus graves encore et encore et même si des dizaines de personnes leurs disent, ils continuent.
Là encore, je ne vois pas pourquoi une IA dont l'apprentissage est figé se comporterait autrement.

[ArchoZaure]

Ce qui est intéressant dans cette étude c'est de voir qu'on ne sait pas vraiment pourquoi GPT4 est si performants.
C'est ce qui est dit en conclusion :

10.3 What is actually happening?

Our study of GPT-4 is entirely phenomenological: We have focused on the surprising things that GPT-4 can do, but we do not address the fundamental questions of why and how it achieves such remarkable intelligence.
How does it reason, plan, and create? Why does it exhibit such general and flexible intelligence when it is at its core merely the combination of simple algorithmic components—gradient descent and large-scale transformers with extremely large amounts of data? These questions are part of the mystery and fascination of LLMs, which challenge our understanding of learning and cognition, fuel our curiosity, and motivate deeper research. Key directions include ongoing research on the phenomenon of emergence in LLMs (see [WTB+22] for a recent survey). Yet, despite intense interest in questions about the capabilities of LLMs, progress to date has been quite limited with only toy models where some phenomenon of emergence is proved [BEG+22, ABC+22, JSL22]. One general hypothesis [OCS+20] is that the large amount of data (especially the diversity of the content) forces neural networks to learn generic and useful “neural circuits”, such as the
ones discovered in [OEN+22, ZBB+22, LAG+22], while the large size of models provide enough redundancy and diversity for the neural circuits to specialize and fine-tune to specific tasks. Proving these hypotheses for large-scale models remains a challenge, and, moreover, it is all but certain that the conjecture is only part of the answer. On another direction of thinking, the huge size of the model could have several other benefits, such as making gradient descent more effective by connecting different minima [VBB19] or by simply enabling smooth fitting of high-dimensional data [ES16, BS21]. Overall, elucidating the nature and mechanisms of AI systems such as GPT-4 is a formidable challenge that has suddenly become important and urgent

Pour ma part je me risquerai juste à faire une comparaison.

MONSIEUR JOURDAIN : Par ma foi ! il y a plus de quarante ans que je dis de la prose sans que j’en susse rien, et je vous suis le plus obligé du monde de m’avoir appris cela. Je voudrais donc lui mettre dans un billet : « Belle Marquise, vos beaux yeux me font mourir d’amour » ; mais je voudrais que cela fût mis d’une manière galante, que cela fût tourné gentiment.

MAÎTRE DE PHILOSOPHIE : Mettre que les feux de ses yeux réduisent votre cœur en cendres ; que vous souffrez nuit et jour pour elle les violences d’un…

MONSIEUR JOURDAIN : Non, non, non, je ne veux point tout cela ; je ne veux que ce que je vous ai dit : « Belle Marquise, vos beaux yeux me font mourir d’amour ».

MAÎTRE DE PHILOSOPHIE : Il faut bien étendre un peu la chose.

MONSIEUR JOURDAIN : Non, vous dis-je, je ne veux que ces seules paroles-là dans le billet ; mais tournées à la mode ; bien arrangées comme il faut. Je vous prie de me dire un peu, pour voir, les diverses manières dont on les peut mettre.

MAÎTRE DE PHILOSOPHIE : On les peut mettre premièrement comme vous avez dit : « Belle Marquise, vos beaux yeux me font mourir d’amour ». Ou bien : « D’amour mourir me font, belle Marquise, vos beaux yeux ». Ou bien : « Vos yeux beaux d’amour me font, belle Marquise, mourir ». Ou bien : « Mourir vos beaux yeux, belle Marquise, d’amour me font ». Ou bien : « Me font vos yeux beaux mourir, belle Marquise, d’amour ».

MONSIEUR JOURDAIN : Mais de toutes ces façons-là, laquelle est la meilleure ?

MAÎTRE DE PHILOSOPHIE : Celle que vous avez dite : « Belle Marquise, vos beaux yeux me font mourir d’amour ».

https://www.laparafe.fr/2014/09/le-b...liere-extrait/

On voit par exemple qu'il est possible de dire "la même chose" de plein de manières différentes.
Ici j'ai pris un exemple amusant, mais à la base c'est ce que fait l'IA.
Elle reconnait "la même chose" à partir du faftra de données qu'on lui a présenté (données internet par exemple).
Ceci signifie qu'en prenant une portion d'internet énorme, "on" (l'humain) croit qu'il y a énormément de données, mais en fait l'IA, elle, synthétise et réduit les choses "semblables" à "la même chose".
Conclusion : Tout a déjà été dit sur Internet et l'IA fonctionne en quelque-sorte comme une grosse machine à compresser les données (GP4 est un Ziper géant )

La différence avec l'Homme c'est que comme ici le maître de philisophie, il peut choisir la plus belle des phrases telle qu'il la ressent alors que Monsieur Jourdain qui fait de la prose sans le savoir ne sait pas faire ce choix.

[oualos]

Les moteurs d'inférence sont basés sur la logique donc sont essentiellement logiques sur le mode algorithmique du si alors…sinon.
Mais c'est une toute petite partie du fonctionnement de chatGPT si je comprends bien...
ChatGPT est une boite noire dont on connaît l'entrée: on a une vague idée de la sortie et on essaie de comprendre comment ça marche et ce qui se passe à l'intérieur.
Ce qui est déroutant c'est qu'il arrive à répondre à des questions vraiment compliquées mais il peut buter sur des choses simples.
C'est le contraire de notre schéma cognitif où depuis quasiment la maternelle on sait qu'on va du simple au plus élaboré et difficile et que l'école et l'éducation sont là pour nous guider dans cette voie.
On nous dit et on comprend que si on assimile des choses simples au début, après on pourra assimiler des choses de plus en plus compliquées.
Paradoxe...

[JPL]

Cette discussion n’est que redites de discussions antérieures consacrées à ChatGPT. Vous êtes invités à les lire. Celle-ci est donc fermée.