I.A. et Mathématique

[pachacamac]

Bonjour,

Depuis environ deux semaines, j'ai testé puis discuté quasi quotidiennement avec ChatGPT.
J'ai été fortement impressionné par la qualité de ses réponses.
J'ai aussi appris sur un autre fils de discussion qu'il avait de fortes capacités en codage informatique.

En ce qui concerne les mathématiques, ChatGPT me dit qu'il est aussi avancé mais je ne puis testé faute de maitrise du Latex et mes connaissances limitées en mathématique.

Y aurait t'il quelqu'un(e) ici qui aurait testé et/utilisé ChatGPT et qui voudrait dire quelques mots sur ces capacités en mathématique ?


Merci
-----

[GBo]

Tu parles de ChatGPT accessible actuellement sur https://chatgpt.com/ qui correspond, me dit-il, à GPT-4 ?

[pachacamac]

Oui, c'est de lui que je parle.

[pm42]

Oui, c'est de lui que je parle.

C'est variable suivant les sujets : meilleur que beaucoup de monde mais capable de sortir des énormités ou de faire des erreurs évidentes.
Donc à utiliser avec beaucoup de précautions.

L'idéal est de passer à O1 qui est payant ou d'utiliser DeepSeek qui est gratuit en tapant sur R1 en bas pour avoir des modèles nettement meilleurs en raisonnement mais bien sûr pas parfaits.

[A voir en vidéo sur Futura]

[stefjm]

La version avec connexion 4o gratuite est très bien mais quand il repasse en 3.5, là, c'est cata.
J'ai l'impression qu'ils ont amélioré la réponse : Il ne fait plus les calculs et me dit que je peux les faire (version 3.5.)

[GBo]

Sans connexion il repasse en GPT-4 non ? GPT-3.5 ça a deux ans !

[pm42]

GPT-3.5 ça a deux ans !

Et les dinosaures marchaient sur Terre coté IA en effet. Actuellement, des progrès importants arrivent au moins tous les 6 mois.

[pachacamac]

Est ce que des I.A pourraient lire un texte donné par exemple au baccalauréat de mathématique et y répondre correctement ?

[pm42]

Est ce que des I.A pourraient lire un texte donné par exemple au baccalauréat de mathématique et y répondre correctement ?

Vu les résultats qu'elles ont aux différents benchmarks, je dirais qu'elles auraient de bons résultats.
Par curiosité j'ai pris la question 1 partie 1 de la spécialité math de 2024 ici : https://www.apmep.fr/IMG/pdf/Exercices_0_2024_FK_2.pdf
et demandé à O1 : il donne la réponse correcte et argumentée.

[pachacamac]

Merci.
Au rythme où ça progresse, je serai pas étonné qu'avant la fin du siècle elle puissent répondre aux questions du concours d'entrée à Normal Sup.

[pm42]

Au rythme où ça progresse, je serai pas étonné qu'avant la fin du siècle elle puissent répondre aux questions du concours d'entrée à Normal Sup.

Je pense que c'est peut être déjà le cas en partie notamment pour O3.
Au rythme actuel, ce n'est pas fin du siècle mais dans 1 à 3 ans je dirais.

P.S : il ne faut pas non plus surestimer la difficulté de ce genre d'épreuve. C'est très sélectif certes mais cela reste quelque chose où l'entraînement joue beaucoup, où avoir fait le programme des 2 années suivantes donnerait un avantage certain.
C'est très différent de la capacité à faire des choses intéressantes en recherche mathématiques par exemple où là, je pense que les IAs sont encore loin.

[stefjm]

J'ai testé 4o à bac+2 avec des problèmes bateaux et c'est clairement bien meilleurs que le forum de physique...

Quand la version gratuite (connecté) rebascule en je ne sais plus combien, les réponses restent correctes sans la logique mathématique.

[pm42]

...répondre aux questions du concours d'entrée à Normal Sup.

Par curiosité, j'ai posé une question pas trop dure d'une des épreuves de maths ENS de 2023 à O1. La réponse me semble correcte même si l'époque où j'étais capable de passer ce genre d'épreuve est loin et que j'ai la flemme ce soir de vérifier.

[pachacamac]

Je suppose que t'as version sait lire les .pdf. Hier j'ai essayé de faire pareil mais la version gratuite ne sait pas lire les.pdf.

[pm42]

Je suppose que t'as version sait lire les .pdf. Hier j'ai essayé de faire pareil mais la version gratuite ne sait pas lire les.pdf.

Non, ça ne lit pas les pdf et c'est chiant : je les convertis donc en jpeg à la main.
Sinon j'ai depuis hier accès à O3-Mini mais via l'API seulement. Donc un peu de boulot pour lui envoyer un sujet complet et surtout, comme déjà dit je n'ai plus le niveau sauf à y passer du temps pour vérifier l'exactitude d'une réponse à un sujet niveau ENS.

[MissJenny]

lui as-tu demandé de démontrer une proposition fausse? ce serait intéressant de voir ce qu'il répond. PArce que reconnaître qu'une proposition est fausse est je pense ce qu'il y a de plus difficile en maths et en sciences en général.

[pm42]

lui as-tu demandé de démontrer une proposition fausse? ce serait intéressant de voir ce qu'il répond. PArce que reconnaître qu'une proposition est fausse est je pense ce qu'il y a de plus difficile en maths et en sciences en général.

Perso, je n'ai jamais trouvé que c'était spécialement plus difficile en maths et souvent même c'était le contraire.
Le problème pour ce genre de question, c'est d'en trouver une où il ne connait pas déjà la réponse en fait.

J'ai essayé avec 2 "faciles" :

Démontre que tous les polynômes cyclotomiques ont comme coefficient 1, -1 ou 0

Il réfléchit 2 min 35 et me donne la bonne réponse en m'expliquant que c'est faux, que les coeffs sont tous entiers, que ce résultat est du à Gauss et que le 1er qui a un coeff différent est 105.
A titre indicatif, j'avais codé la recherche du dit 1er il y a longtemps quand j'étais à l'ENS et cela m'avait quand même pris quelques heures de programmation avec les outils de l'époque.

Après, je lui ai demandé un autre classique du à Ramanujan :

Démontre que e^(pi x racine(163)) est entier

Et là aussi, il répond en 11 secondes que ce n'est pas le cas avec tout un paquet d'informations justes sur le sujet. Mais par contre, il n'arrive pas à démontrer formellement qu'il ne peut pas être entier.

Je pense que c'est compliqué de trouver des cas où on est sur qu'il réfléchit vraiment et pas où il utilise son énorme base de connaissances.

[MissJenny]

ok. C'est un peu pareil pour les humains. Ils réfléchissent mais ils ont aussi de connaissances et on ne sait pas ce qui leur a le plus été utile.

[pachacamac]

Même la version gratuite de ChatGPT sait que l'expression donné est égale à 262537412640768743.99999999999 925...
Pour un néophyte en se domaine on se demande comment et pourquoi Ramanujan calculait des trucs pareils

Aussi je m’étais demandé comment un sujet de concours d'entrée à l'ENS pouvait être jugé facile ou difficile par pm42, maintenant que je sais qu'il a intégré l'ENS ça change la donne

[pm42]

Oui savoir que ce n'est pas un entier est facile quand on le calcule.
Le prouver est plus pointu. J'ai vu la démo il y a longtemps mais je ne la retrouve pas.
O1 raconte des trucs interessants ceci dit qui me donneraient des pistes si je faisais encore des maths.

Quand à Ramanujan, je te rassure : personne ne comprend d'où il sortait ses formules.
Lui disait qu'une déesse indienne lui donnait dans ses rêves et bien que 100% rationaliste, cela me semble être l'explication la plus probable ��

P.S : je n'ai pas fait l'ENS qui écrite comme ça est Ulm, seulement Saclay.

[amineyasmine]

Bonjour,

Depuis environ deux semaines, j'ai testé puis discuté quasi quotidiennement avec ChatGPT.
J'ai été fortement impressionné par la qualité de ses réponses.
J'ai aussi appris sur un autre fils de discussion qu'il avait de fortes capacités en codage informatique.

En ce qui concerne les mathématiques, ChatGPT me dit qu'il est aussi avancé mais je ne puis testé faute de maitrise du Latex et mes connaissances limitées en mathématique.

Y aurait t'il quelqu'un(e) ici qui aurait testé et/utilisé ChatGPT et qui voudrait dire quelques mots sur ces capacités en mathématique ?


Merci

Bonjour

En résumé et en restants dans les généralités :
Les maths dans le sens large sont à l’origine de l'informatique et de l’IA et donc à l’origine du ChatGPT.
Le ChatGPT peut maitriser les maths opérationnelles en apprenant assez de formules, de théorèmes et d’astuces ….

Mais jamais les maths en général

[Liet Kynes]

Bonjour,
Cela fait un moment que je n'avais pas abordé de maths avec chatgpt et le mode "raisonner" est bluffant .. on est loin des expériences des débuts !

[pachacamac]

Effectivement on se demande d'où Ramanujan a sorti ces centaines de formules comme :



bien que pour cette dernière ChatGPT suggère quelques pistes..

J'ai aussi continuer a réfléchir encore et encore sur la mémoire de ChatGPT, car dans autre autre fil, j'ai été très choqué quand pm42 avait dit : ChatGPT ne possède pas de mémoire (ce que dit aussi d'une certaine manière ChatGPT )

Pourtant dans : "Je pense que c'est compliqué de trouver des cas où on est sur qu'il réfléchit vraiment et pas où il utilise son énorme base de connaissances."

Pour moi dire "son énorme base de connaissance" est équivalent à "ces énormes connaissances mémorisées" même si l'encodage des informations n'est pas le même que celui d'un ordinateur classique ou ceux effectués dans le cerveau humain.

Autrement dit : Si on ne comprend pas très bien le fonctionnement de cette I.A. , on peut toujours considérer qu'elle fonctionne comme "une boite noire" , et quand on lui demande de nous parler de Ramanujan ou des Paroles d'une chanson de Bob Dylan on constate qu'elle ChatGPT connais ( = a mémorisé suite à son apprentissage ) quelques équations du premier et les paroles d'une chanson du second.

Donc même si elle travaille avec des vecteurs, des probabilités et autre équations mathématiques "tout ce passe comme si " elle (la machine) avait les réponses dans une mémoire (enregistrée) phénoménale.

Sur une grande quantité de texte ou de token,je peut facilement comprendre que la machine puissent faire des associations liées à des probabilités mais les paroles d'une chanson particulière tout comme l'équation de Ramanujan sont uniques donc je pense qu'on peut aller jusqu’à dire qu'elle les a mémorisées. (quelque soit la "forme ou les supports physique et/ou logique de cette mémorisation )

[pm42]

J'ai aussi continuer a réfléchir encore et encore sur la mémoire de ChatGPT, car dans autre autre fil, j'ai été très choqué quand pm42 avait dit : ChatGPT ne possède pas de mémoire (ce que dit aussi d'une certaine manière ChatGPT )

Tu as vu Memento ? Lu sur l'amnésie antérograde et le cas de Henry Molaison et d'autres ?
C'est la même chose : l'IA a une mémoire construite pendant son apprentissage, sa base de connaissances.

Mais une fois qu'on s'en sert, c'est une machine "sans état" en informatique : toute requête est traitée comme une pure fonction sans rien stocker.
Comme déjà dit, tu as l'impression que tu as une conversation avec elle et qu'elle se souvient de ce que tu lui as dit avant parce que le programme ou site Web que tu utilises réinjecte tes questions et ses réponses précédentes juste avant ce que tu viens d'ajouter.
Bref, on simule une mémoire court-terme.

Quand j'ai dis qu'elle n'avait pas de mémoire, je parlais du fait que les humains ont une mémoire court-terme, une mémoire long-terme et un transfert entre les deux (qui fonctionne mal pour les rêves par exemples).
Mais qu'un IA n'a qu'une mémoire long terme figée, pas de mémoire court terme qu'on simule donc en stockant dans des fichiers pendant une session et aucun mécanisme de transfert entre les deux.

Au demeurant, on ne veut pas de ce genre de transfert actuellement : cela voudrait dire que l'IA évoluerait en temps réel en fonction des milliards d'interactions avec les utilisateurs tous les mois et de façon totalement incontrôlable.
Et on a déjà constaté que quand on les réentraine "à la main" sur une partie de cette base, les résultats ne sont pas forcément ceux qu'on attend et qu'on peut dégrader la performance.

J'aurais sans doute du être plus précis que j'ai dit "pas de mémoire" mais quand on sait un peu comment elles fonctionnent, cela parait évident.
Mais dans le contexte de "les IAs vont faire ceci ou cela", c'était pour dire qu'on est dans le n'importe quoi : elles n'ont pas de mémoire évolutive, pas de désirs, envies, besoins, émotions, elles sont déjà surveillées/contrôlées/censurées par d'autres IAs, etc.

Je n'ai jamais lu un seul scénario catastrophe où quelqu'un explique concrètement comment une IA réussirait à faire Skynet et pourquoi les humains qui mettent des mécanismes de contrôle/vérification partout seraient assez bêtes pour laisser une machine 100% autonome sans boucle de rétroaction/contrôle, couche de validation, etc, bref tout ce qu'on fait déjà.

P.S : je ne dis pas qu'une catastrophe n'est pas impossible et que les humains ne sont pas capables de faire des trucs d'une stupidité sans limite bien sur. Juste que pour le moment, le discours est juste "il y a un truc nouveau, il faut avoir peur" et qu'il n'est pas étayé.
La même chose est arrivé à chaque nouveau et par exemple, que le Net s'est répandu dans les années 90, la presse le décrivait comme un endroit où on allait se faire piquer nos cartes de crédit massivement par exemple.
Les 2 phénomènes ont été plutôt bien contenus, le commerce en ligne est florissant.
Par contre, personne n'a prévu l'arrivée des réseaux sociaux et leur impact sur les élections notamment.

[pachacamac]

Tu as vu Memento ?

Non.

et le cas de Henry Molaison ?

Je connaissais pas le cas Henry Molaison mais maintenant je connais.

"toute requête est traitée comme une pure fonction sans rien stocker."

Pour moi, pour certaines requêtes c'est pareil, si on me demande la date de Marignan mon cerveau fait répondre 1515 comme un reflex sans rien stocker


Pour le reste :

- l'IA a une mémoire construite pendant son apprentissage, sa base de connaissances......Quand j'ai dis qu'elle n'avait pas de mémoire, je parlais du fait que les humains ont une mémoire court-terme, une mémoire long-terme et un transfert entre les deux.. Mais qu'une IA n'a qu'une mémoire long terme figée, pas de mémoire court terme qu'on simule

avec ces précisions on est maintenant d'accord.

note : heureusement que les IA ne peuvent apprendre en consultant les réseaux sociaux

[GBo]

[...]
note : heureusement que les IA ne peuvent apprendre en consultant les réseaux sociaux

J'avais lu au contraire que des conversations entre humains sur Reddit (réseau de discussions très variées, du sérieux au controversé peu modéré) faisaient partie des données d'apprentisssage des GPT (GPT-3 en tout cas):

OpenAI's GPT series was built with data from the Common Crawl dataset,[68] a conglomerate of copyrighted articles, internet posts, web pages, and books scraped from 60 million domains over a period of 12 years. TechCrunch reports this training data includes copyrighted material from the BBC, The New York Times, Reddit, the full text of online books, and more

https://en.wikipedia.org/wiki/GPT-3#...f%2012%20years.

[pm42]

Oui mais derrière il y a du filtrage massif et de la labellisation pour les contenus problématiques.

[GBo]

On est d'accord.

[Bounoume]

Mais qu'un IA n'a qu'une mémoire long terme figée, pas de mémoire court terme qu'on simule donc en stockant dans des fichiers pendant une session et aucun mécanisme de transfert entre les deux.

Au demeurant, on ne veut pas de ce genre de transfert actuellement : cela voudrait dire que l'IA évoluerait en temps réel en fonction des milliards d'interactions avec les utilisateurs tous les mois et de façon totalement incontrôlable.
Et on a déjà constaté que quand on les réentraine "à la main" sur une partie de cette base, les résultats ne sont pas forcément ceux qu'on attend et qu'on peut dégrader la performance.

mais 'on' pourrait......
directement... ou en incluant dans la boucle de rétroaction /mémorisation un gendarme superviseur.....ou un Jimmy Cricket qui est la (bonne) conscience de Pinocchio

[oualos]

Effectivement on se demande d'où Ramanujan a sorti ces centaines de formules comme :



bien que pour cette dernière ChatGPT suggère quelques pistes..

La Nature est écrite en langage mathématique selon Platon, Galilée et Einstein.
Certains voient le monde comme des maths: ainsi si on jette une pierre en l'air, ils peuvent donner instantanément la formule avec les paramètres exacts de la parabole décrite sans avoir besoin de réfléchir. Les phénomènes d'intuition surtout mathématiques sont mal connus.
Si on fait parcourir à un hypermnésique une rue qu'il ne connaît pas, à la fin il se souviendra de tout: des numéros, de la forme de chacun des balcons, des fenêtres des portes avec tous les détails dont certains particuliers.
Leur plus gros problème est le nettoyage de cette mémoire c.-à-d. l'oubli: au moment de se coucher, tous ces souvenirs emmagasinés dans la journée leur reviennent et ils ont du mal à les effacer pour s'endormir;
Un autiste anglais a été capable de réciter les 20.000 premières décimales à Londres dans une université, étant filmé et sous contrôle d'huissier. Lorsqu'on leur demande d'où leur viennent ces capacités extraordinaires de mémorisation (voir le film rain man avec Dustin Hoffmann), ils décrivent des formes qui s'emboitent comme des puzzles -colorées ou non- et ces formes sont associées à des souvenirs précis comme des chiffres ou des images.
Le cerveau est l'organe le plus mal connu mais il est certain qu'il possède des facultés mal exploitées ou qui se révèlent comme dans le cas des autistes ou des hypermnésiques.
Ou de Ramanujan qui ayant lu une fois en Inde un livre britannique de maths avec 2.000 théorèmes s'est mis à en inventer une foule dont certains comme celui plus haut sont non démontrés!
Mais de façon conjecturale on pense qu'il sont vrais comme ceux comportant des fractions continues et étant à l'origine de gros progrès en maths.