Arithmétique et IA

[Biname]

Une autre solution serait de lire un peu sur le sujet.
Cela éviterait de réinventer le "chain of thought" et de savoir que ce n'est pas le temps écoulé qui compte mais la taille de la fenêtre de tokens, c'est à dire la mémoire court-terme qu'on simule sur les LLM.

Pffffffff ...
-----

[Liet Kynes]

en les pilotant avec beaucoup de patience, on arrive à leur faire appliquer l'algorithme correct pour nos facteurs premiers sans passer par un code, mais une demi heure plus tard, voire moins, ils/elles recommettent l'erreur.
Biname

C'est un métier, la prompt ingénierie: https://datascientest.com/prompt-engineer-tout-savoir
Si tu veux progresser, déconstruis tes réflexes et sors de tes biais.

[Ikhar84]

C'est un des métiers émergents oui, je préfère "AI whisperer" plus poétique...

Métier émergent et piège à formations...

[Biname]

C'est un métier, la prompt ingénierie: https://datascientest.com/prompt-engineer-tout-savoir
Si tu veux progresser, déconstruis tes réflexes et sors de tes biais.

Merci pour ton gentil conseil avisé.

[Liet Kynes]

C'est un des métiers émergents oui, je préfère "AI whisperer" plus poétique...

Métier émergent et piège à formations...

C'est le job qui consiste à faire trouver la réponse à l'IA à une question dont tu connais la réponse

[pm42]

C'est un des métiers émergents oui, je préfère "AI whisperer" plus poétique...

Au delà du "métier" parce que les applications des LLM en entreprises sont plus difficiles que ce que le buzz médiatique voudrait faire croire, c'est aussi un des axes de recherche très intéressant.

Un des premiers exemples a été le déjà cité "chain of thought" et il s'est avéré très efficace : https://arxiv.org/pdf/2201.11903.pdf
Il y a aussi le Tree of Thoughts : https://arxiv.org/pdf/2305.10601.pdf
Une autre exemple très récent est : https://openreview.net/pdf?id=tlRUbI0Yf3

Et il y a des architectures largement plus compliquées où on utilise un LLM pour transformer la question d'origine de différentes façons, l'envoyer à d'autres LLM, récupérer les résultats et les synthétiser.
Et tout ça se fait en grande partie avec du prompt engineering.

Les changements de comportements des LLMs quand on maitrise les prompts sont très spectaculaires (et c'est aussi pour cela que la plupart des fils sur l'IA ici sont au delà du ridicule. On a l'impression de voir des gens qui ne savent pas lire ni compter s'émerveiller que des lumières s'allument sur un ordinateur quand ils appuient sur des boutons et que c'est une découverte scientifique).

[Biname]

Salut,

Au delà du "métier" parce que les applications des LLM en entreprises sont plus difficiles ...
... ne savent pas lire ni compter s'émerveiller que des lumières s'allument sur un ordinateur quand ils appuient sur des boutons et que c'est une découverte scientifique).

Pas pour ceux qui enfoncent les clous avec un tournevis(#51), ou ceux qui essayent de serrer une vis avec un marteau(#3), ou encore ceux qui font la pression des pneus avec une burette d'huile (#42) !

En pratique, appliqué à notre problème, ça donne quoi ?

Biname

[ArchoZaure]

Ce qui est particulièrement ridicule c'est de croire que le CoT permet de donner à l'IA une capacité de raisonnement, comme si "le" raisonnement était une aptitude.
Non, il est simplement possible de mettre une IA sur la voie lorsqu'on lui pose une question d'un certain type, cad qui fait appel à un certain type de raisonnement, en lui fournissant en "prompt" un exemple du raisonnement attendu.

Ça permet donc juste d'automatiser un certain type de raisonnement en forçant l'IA LLM dans un certain contexte à employer tel ou tel modèle de raisonnement.
Il faut donc une action humaine AU CAS PAR CAS pour permettre à l'IA de singer le raisonnement humain.

Une des raisons de l'échec des LLM à produire par eux-mêmes le raisonnement adéquat (sans qu'il soit NÉCESSAIRE de lui fournir un modèle) c'est que leur base de travail est polluée par .... les raisonnements humains, parfaitement stupides, délibérément biaisés en vue de faire valoir telle ou telle "opinion".
Par exemple comme ceux (des soi-disant raisonnent d'experts) qu'on retrouve ici dans les pages de ce forum.

Cette constatation est d’ailleurs assez évidente lorsqu'on demande à une IA LLM de générer du code informatique.
Dans ce cas de figure, le résultat est bien plus probant et efficace... car les programmes (qui ne sont évidement pas tous dénués de bugs) nécessitent une bien plus grande rigueur.
Qu'est-ce qu'un programme sinon un raisonnement formalisé ?

[pm42]

Comme d'habitude face au message qui parle de la recherche sur le sujet avec articles en référence, on a des réponses qui ignorent complètement les concepts introduits et font du "moi je pense que d'abord".

Ce qui illustre ce le point plus haut sur ce que sont les fils IA : l'équivalent d'un fil Covid squatté par des experts improvisés en santé publique, des antivax et des gens qui savaient mieux que la communauté scientifique l'origine du virus, le tout sans avoir jamais rien lu sur le sujet.

[ArchoZaure]

Comme d'habitude face au message qui parle de la recherche sur le sujet avec articles en référence, on a des réponses qui ignorent complètement les concepts introduits et font du "moi je pense que d'abord".

Ce qui illustre ce le point plus haut sur ce que sont les fils IA : l'équivalent d'un fil Covid squatté par des experts improvisés en santé publique, des antivax et des gens qui savaient mieux que la communauté scientifique l'origine du virus, le tout sans avoir jamais rien lu sur le sujet.

Comme d'habitude, vous n'en savez pas suffisamment pour vous permettre de juger sur la seule base d'un ou deux articles glanés ça et là.

Vous devriez vous renseigner avant d'essayer de vous faire passer pour un expert.
Tout paraitrait moins ridicule.

Why is CoT Unfaithful?

There are a number of reasons to expect CoT to not be faithful by default. Two reasons should be familiar to readers:

1. RLHF may directly disincentivize faithful explanations, resulting in model responses that merely look good to human evaluators [5].
2. To the extent that LLMs are trained on human-written explanations, these explanations are not only known to be incomplete, often omitting crucial parts of the causal chain for a particular event, but they can also often be unfaithful accounts of individuals' cognitive processes. Human explanations may be geared more towards convincing others or supporting their own beliefs, rather than accurately reflecting the true causes of decisions.

1. https://www.lesswrong.com/posts/6eKL...ught-prompting

https://arxiv.org/abs/2305.04388

[polo974]

Ah, parce que pour le 2. l'humain n'est pas soumis aux mêmes polutions???

Oui, bravo, on viendrait donc de découvrir qu'on peut endoctriner une IA comme un humain.

Et donc au final, il ne faudrait y introduire que des maths, car même la physique est sujette à discussion. Sauf que c'est pas tout à fait ça qui est recherché.

[Archi3]

Ah, parce que pour le 2. l'humain n'est pas soumis aux mêmes polutions???

Oui, bravo, on viendrait donc de découvrir qu'on peut endoctriner une IA comme un humain. .

Justement c'est ce que dit l'article il me semble : dans la mesure où l'IA est entrainée sur les productions humaines, elle a les mêmes défauts et donc n'est pas "plus intelligente" - elle manipule juste beaucoup plus de données qu'un humain mais pas avec des qualités supérieures. De plus le choix du critère de "qualité" est aussi fait par des humains donc ça reproduira les biais des humains qu'on a utilisés pour "orienter" ses réponses.

Le principal danger me semble être dans la croyance naïve que "puisque c'est fait par un ordinateur c'est plus fiable", et on a eu plusieurs exemples sur ce forum même d'intervenants, même avertis, qui ont cru trop facilement à la fiabilité des sorties de l'IA, sur différents points : "références scientifiques " en réalité bidons et inventées, calculs arithmétiques en réalité faux, etc ...

[JPL]

Ça tourne en rond et ça se mord la queue : https://fr.wikipedia.org/wiki/Ouroboros. La fermeture est proche vu l’inutilité de ces redites et l’irritabilité, voire la mauvaise foi de certains interlocuteurs.

[polo974]

Qui a dit "plus intelligente" ? ? ? (à part toi, Archi3)

[Liet Kynes]

Qui a dit "plus intelligente" ? ? ? (à part toi, Archi3)

Définition de l'intelligence ? : .. Toute copie blanche se verra attribuer la note maximale

[Biname]

Ça tourne en rond et ça se mord la queue : https://fr.wikipedia.org/wiki/Ouroboros. La fermeture est proche vu l’inutilité de ces redites et l’irritabilité, voire la mauvaise foi de certains interlocuteurs.

Amusant : pas facile de placer une question "IA" dans un forum existant.

[Archi3]

Qui a dit "plus intelligente" ? ? ? (à part toi, Archi3)

tous ceux qui semblent s'irriter à chaque fois qu'on rappelle que ce n'est pas vrai le pensent probablement

[Liet Kynes]

De plus le choix du critère de "qualité" est aussi fait par des humains donc ça reproduira les biais des humains qu'on a utilisés pour "orienter" ses réponses.

Si tu veux expérimenter intelligemment avec un langageur tu peux lui demander en partant d'une question, de chercher dans sa réponse les biais cognitifs présents et de reformuler sa réponse en évitant les biais précédents.

[ArchoZaure]

Si tu veux expérimenter intelligemment avec un langageur tu peux lui demander en partant d'une question, de chercher dans sa réponse les biais cognitifs présents et de reformuler sa réponse en évitant les biais précédents.

Pourquoi "intelligemment" ?
On sait ce que ça veut dire maintenant ?

Ben oui.
Puisque :

Définition de l'intelligence ? : .. Toute copie blanche se verra attribuer la note maximale

Ici ça correspond à ça :

L'intelligence peut être également perçue comme la capacité à traiter l'information pour atteindre des objectifs.

https://fr.wikipedia.org/wiki/Intelligence

Et comme c'est NOUS qui définissons les objectifs à atteindre... c'est nous qui sommes en mesure de dire si une machine "est" beaucoup, peu ou pas intelligente (enfin, "se comporte de manière intelligente" serait la tournure de phrase la plus appropriée, je pense).

Donc si on doit tenir la main à la machine pour la guider vers tel ou tel type de "raisonnement" (pattern d'expression) alors on peut tout à fait considérer ce type de machine comme "peu intelligente" ou "à l'intelligence limitée".

[Archi3]

Si tu veux expérimenter intelligemment avec un langageur tu peux lui demander en partant d'une question, de chercher dans sa réponse les biais cognitifs présents et de reformuler sa réponse en évitant les biais précédents.

tu ne feras que l'orienter vers tes propres biais cognitifs ...derrière tout ça il y a une représentation largement mythique d'une intelligence "objective" et non biaisée que l'ordinateur serait capable d'incarner en dépassant les biais humains, en fait on se rend compte que ça n'existe pas.

[Liet Kynes]

tu as posté dans le thème de l'algorithmique , je t'en propose un à tester et tu réponds sans avoir essayer.

[Archi3]

dans le domaine de l'algorithmique, la réponse est de façon binaire juste ou fausse.

Dans les exemples que j'ai donnés, ça me semble assez clair que soit il a "appris" sur des bases de données donnant des réponses justes et il a de bonnes chances de redonner la réponse juste (de bonnes chances mais pas 100 % comme l'exemple des diviseurs de 507 le montre), soit il fait appel à un module mathématique et évidemment il a 100 % de chances d'être juste à condition de savoir bien écrire le programme correspondant (pour les problèmes plus complexes la difficulté résidera dans l'écriture correcte du problème), soit il fait au pif et là c'est n'importe quoi, y compris en donnant des réponses absurdes qu'un humain ne donnerait jamais, même si il peut aussi faire des erreurs.

Pour les problèmes sans réponse clairement vraie ou fausse, il imitera ce qu'il a vu avec les mêmes biais.

[polo974]

Bon, ça y est, t'as compris que ce n'est pas de l'algo, et donc que ça n'a rien à faire ici.

Ta pseudo question initiale n'est là que pour justifier de l'ouverture d'un fil ici.

Enfin, à ceux qui espèrent comprendre le fonctionnement des IA en les "étudiant" en mode black-box, il n'y a aucune chance d'y arriver. Le système est trop complexe.

[pm42]

Enfin, à ceux qui espèrent comprendre le fonctionnement des IA en les "étudiant" en mode black-box, il n'y a aucune chance d'y arriver. Le système est trop complexe.

C'est évident et de plus, on ne voit jamais le moindre "prompt" un peu évolué, de comparaison entre les différentes approches, de lien vers la littérature et les tests faits sur le sujet qui sont pourtant abondants.

On a juste l'éternel "ça ne marche pas parce que je refuse d'apprendre et que donc je n'arrive pas à m'en servir" le tout enrobé de justifications d'autant plus longues et répétitives qu'elles ne tiennent pas la route.

[ArchoZaure]

Enfin, à ceux qui espèrent comprendre le fonctionnement des IA en les "étudiant" en mode black-box, il n'y a aucune chance d'y arriver. Le système est trop complexe.

Je suis déçu.
Moi qui croyais qu'on avait inventé un vrai nouveau métier.

Un Prompt Engineer doit comprendre les capacités de l’IA et ses faiblesses. Pour y parvenir, il peut mener l’IA à penser par étapes afin de tester ses capacités de raisonnement logique.
Une alternative est de modifier continuellement un prompt afin de vérifier quelle variante génère la meilleure réponse en fonction du résultat désiré.
Le Prompt Engineer Riley Goodside de Scale AI explique que son rôle consiste à identifier les défauts et les capacités cachées de l’IA pour que les développeurs puissent ensuite perfectionner l’outil.

https://datascientest.com/prompt-engineer-tout-savoir

S'ils n'ont aucune chance d'y arriver, il faudra leur expliquer pour qu'ils arrêtent de travailler pour rien.

[jiherve]

Bonjour

Enfin, à ceux qui espèrent comprendre le fonctionnement des IA en les "étudiant" en mode black-box, il n'y a aucune chance d'y arriver. Le système est trop complexe.

est ce toujours vrai ?
https://techxplore.com/news/2023-12-...jailbreak.html
bon sans doutes encore des guignols!
JR

[Biname]

La question du msg #1 était, pourquoi le IA se plantent sur de l'arithmétique simple ? Toutes les trois, Bard, Bing et GPT .
Et si elles étaient simplement bridées, comme elles le sont pour d'autres matières ?

D'un point de vue pratique, en les utilisant, on comprend très vite que pour les maths, il faut leur demander d'écrire un code python ou autre, quoique parfois ça marche en mode "autonome".

Feu !

[polo974]

Je suis déçu.
Moi qui croyais qu'on avait inventé un vrai nouveau métier.


https://datascientest.com/prompt-engineer-tout-savoir

S'ils n'ont aucune chance d'y arriver, il faudra leur expliquer pour qu'ils arrêtent de travailler pour rien.

Apparemment, tu as du mal à comprendre que ce qu'ils font ne correspond pas ce que vous dites faire ici.
Un peu comme le blocage sur un changement de repère...

À jherve, ils ne s'attaquent pas à l'IA même, mais aux protections qui l'entourent, c'est totalement différent.

[Archi3]

Je suis déçu.
Moi qui croyais qu'on avait inventé un vrai nouveau métier.


https://datascientest.com/prompt-engineer-tout-savoir

S'ils n'ont aucune chance d'y arriver, il faudra leur expliquer pour qu'ils arrêtent de travailler pour rien.

c'est quand même un peu étrange comme formulation

Ainsi, le Prompt Engineering est le processus de conception et de création de prompts, ou de données d’entrées, pour conduire l’IA à effectuer une tâche spécifique.

Ceci implique de sélectionner le type de données adéquat et de le formater pour que le modèle le comprenne et l’utilise. L’objectif est de créer des données de haute qualité pour permettre à l’IA d’effectuer des prédictions précises et de prendre les bonnes décisions.

en général, quand tu demandes à quelqu'un d'autre de prendre des bonnes décisions, c'est que tu ne te fais pas assez confiance pour le faire et que tu fais plus confiance à celui à qui tu demandes : le cas typique est d'aller voir le médecin et "par principe", de faire confiance à son diagnostic.

Mais dans ce cas comment "orienter ta demande" pour qu'il produise la bonne réponse si tu n'es pas capable toi même de juger de la fiabilité de la réponse? c'est comme si on disait "apprendre à poser les bonnes questions à son médecin pour qu'il te fasse un bon diagnostic" ce serait très étrange (alors qu'a priori c'est lui qui connait les bonnes questions à te poser, pas l'inverse).

[ArchoZaure]

Mais dans ce cas comment "orienter ta demande" pour qu'il produise la bonne réponse si tu n'es pas capable toi même de juger de la fiabilité de la réponse? c'est comme si on disait "apprendre à poser les bonnes questions à son médecin pour qu'il te fasse un bon diagnostic" ce serait très étrange (alors qu'a priori c'est lui qui connait les bonnes questions à te poser, pas l'inverse).

Cet exemple est assez parlant je trouve.
Et le pire c'est que ça arrive assez fréquemment... lorsque vous avez affaire à des médecins peu compétents.
Vous êtes obligé de potassez un minimum le sujet pour éviter les dérapages de diagnostique.
(Pareil chez le garagiste, le plombier ou le serrurier, mais là c'est pour éviter qu'ils nous prennent pour des cons.)

On n'ira pas jusqu'à dire que le médecin n'est pas intelligent dans ce cas de figure, juste "incompétent".
Parce qu'entre humains par ailleurs tout aussi limités on est solidaire sur ce point peut-être.

Apparemment, tu as du mal à comprendre que ce qu'ils font ne correspond pas ce que vous dites faire ici.
Un peu comme le blocage sur un changement de repère...

Ou une erreur de grammaire peut-être.

Mais sinon, il est aussi tout aussi commun de s'attarder sur le contenu de la "boite noire", surtout lors de la mise au point du modèle.
Par exemple :

Grad-cam

L’algorithme Grad-cam permet d’identifier la zone d’une image responsable de la prédiction d’une catégorie donnée. Le mécanisme est un peu plus complexe que pour la méthode d’occlusion. Chaque heatmap s’obtient par rapport à une classe choisie : c’est à dire qu’on demande à l’algorithme d’identifier les zones d’intérêt de l’image qui participent le plus à la prédiction du score de la classe choisie.

https://blog.octo.com/visualisation-...onvolutionnels

Permettez-moi donc de réitérer mon désaccord sur ce point.

Enfin, à ceux qui espèrent comprendre le fonctionnement des IA en les "étudiant" en mode black-box, il n'y a aucune chance d'y arriver. Le système est trop complexe.

Ce n'est pas parce-qu'un système est complexe qu'on ne peut pas le comprendre.
Tout un tas de systèmes complexes genre "black box" sont étudiées tous les jours de part le monde.
Ce qui demande bien sûr une formation scientifique de base, spécialisée.
Par exemple : https://www.loria.fr/fr/la-recherche...-et-robotique/