le premier problème c'est : pourquoi un vrai être humain aurait envie de passer son temps à répondre aussi bien que possible aux questions des autres ? la réaction la plus humaine à toutes les questions que nous avons posées à ChatGPT serait : "je suis pas ton esclave, t'as qu'à le chercher toi même !! " , du même genre que la remarque #234Envoyé par yves95210
Le côté verbeux vient de son entraînement en effet : c'est ce qu'on lui a appris à préférer.
Pour le reste il y a des contraintes juridiques mais surtout sociales : des IAs intéressantes ont été fermées au bout de quelques jours parce qu'elles ne respectaient les normes de certains groupes militants et que la presse préfère toujours une polémique à de l'information.
Là ils semblent avoir bien réussi à blinder contre l'inquisition et la police de la pensée et c'est également une sacré réussite.
il n'exprime pas d'opinion trop clivantes, néanmoins je ne jurerais pas qu'on ne verra jamais apparaître une analyse montrant que ChatGPT exprime les vues dominantes des mâles scientifiques blancs ...
A priori, c'est par construction que ChatGPT est blindé contre l'adoption d'idées et de discours à connotation militante ou polémique, puisqu'il n'apprend rien de nouveau à l'occasion de ses interactions avec les utilisateurs : les informations éventuellement biaisées qu'il peut accepter au cours d'une conversation, quitte à renforcer son interlocuteur dans ses propres convictions, ne sont pas enregistrées en-dehors du contexte de cette conversation. Ou le sont peut-être (on n'en sait rien), mais pour être réévaluées par la suite dans le cadre de son mécanisme d'apprentissage (qui, je suppose, ne va pas rester figé à des connaissances datant de 2021).
D'un côté c'est une limitation qui peut sembler frustrante aux utilisateurs (le fait que ChatGPT soit incapable de tenir compte de faits qui se sont produits depuis 2021), de l'autre c'est un avantage...
Les autres chatbots avaient la même limitation : ils n'apprenaient pas de faits nouveaux mais dans le cadre d'une conversation, ils avaient tendance à réutiliser le vocabulaire employé et à construire des textes les plus probables.
Donc si on leur sort des mots qui apparaissent dans des contextes racistes, ils vont s'en inspirer.
C'est exactement le même mécanisme que celui qui leur permet d'être efficace pour tout le reste et aussi le fonctionnement des humains.
Mais effectivement, il est intéressant de voir que ChatGPT a bien réussi à filtrer même si quelque part, c'est aussi inquiétant : cela permettra de faire des IAs qui sauront très bien ne donner des réponses "qu'approuvées par le parti".
Mais là encore, la technologie est neutre et on ne peut pas lui demander de régler les problèmes sociaux.
J'ai l'impression que dans votre tentative à contraindre le verbiage de chatGPT vous n'employez pas toujours les bonnes formulations.
Vous lui laissez trop de marge de manœuvre.
Donc lorsque dans vos tournures de phrases vous lui demandez "d'essayer" ou que vous lui demandez s'il "peut" faire ceci ou cela, ça ne constitue pas une contrainte.
Je vous la fait en substance :
A : Est-ce que tu peux me passer le sel ?
IA : Oui.
A : Ben essaie de le faire !
IA : Ça y est j'ai essayé.
A : Alors fais-le !
IA : D'accord je le fais.
A : Merci.
Dernière modification par ArchoZaure ; 01/01/2023 à 10h13.
Mais tant que ça reste dans le cadre d'une conversation avec un utilisateur unique qui (volontairement ou pas) le pousse à fournir des réponses adaptées à son idéologie, et que ça ne déteint pas sur le comportement du chatbot lors de ses interactions avec d'autres utilisateurs, ce n'est pas franchement gênant...
On s'en fout si tartempion, déjà convaincu d'avoir raison, se le voit confirmé ses biais par un chatbot durant une conversation privée. Faut juste ne pas considérer le chatbot comme un outil d'éducation ou un tuteur, mais comme une source d'information destinée à répondre de manière fiable à des questions non biaisées.
Evidemment, si de belles âmes se sont offusquées de voir un chatbot leur donner des réponses politiquement incorrectes après qu'elles l'aient provoqué à le faire, et se sont empressées de rendre publiques ces réponses pour démontrer que le chatbot était un dangereux raciste / sexiste / etc (rayez les mentions inutiles), ça a eu le même effet que si elles avaient rendu publiques des conversations privées avec n'importe quelle personne pour dénoncer (à tort ou à raison) son comportement déviant. Et de la même façon que, de nos jours, ça suffit grâce aux réseaux sociaux (et aux média ne vivant que du buzz) à ruiner la réputation d'un individu, ça a suffit à causer la fermeture de ces chatbots...
Il me semble que c'est la principale raison qui a poussé les concepteurs de ChatGPT a implémenter une politique de modération plus stricte.
Ce ne serait pas la même chose si le chatbot était capable d'intervenir directement dans une conversation publique sur un réseau social, en se faisant éventuellement passer pour un humain. Ou d'être utilisé comme auxiliaire d'enseignement vis-à-vis d'enfants ou adolescents (il me semble qu'on n'en est pas encore là). Mais tant que ce n'est pas la vocation de ChatGPT, on se fiche un peu de sa politique de modération, non ?
Bonjour à tous et bonne année,
Dans le lien donné par pm42 https://pub.towardsai.net/chatgpt-ho...y-e0b3e23601a1 il est indiqué :
Je ne comprend pas ce que sont ces 175 milliards de paramètres, ils paramètrent quoi ? Ils correspondent à quoi ?In 2020, GPT-3 was the largest language model ever trained, with 175 billion parameters.
Des milliards de personnes disent que j'exagère. Même pas vrai !
Je comprends ça comme approximativement 175 milliard de poids de connexion (ma compréhension s'arrête aux IA de base donc je peux me tromper à un facteur près).
Le poids d'une connections étant un paramètre puisque sa valeur change lorsqu'on tente de la déterminer au cours de l'apprentissage.
Dernière modification par ArchoZaure ; 01/01/2023 à 10h31.
Il me semble qu'il est assez "intelligent" pour ne pas avoir besoin de contraintes, mais seulement qu'on lui explique pourquoi certaines parties de ses réponses peuvent paraître inappropriées en fonction du contexte. Par exemple il a accepté ma suggestion d'adopter le tutoiement lorsque son interlocuteur le tutoie, l'a appliquée, puis est revenu spontanément au vouvoiement lorsque je l'ai vouvoyé, conformément à la "règle" que je lui avais apprise.
Le fait qu'il répète systématiquement qu'il est un programme informatique, ou que son but est de répondre à nos questions, semble dû à une contrainte plus forte (et permanente) que celles qu'on peut lui imposer à l'occasion d'une conversation. C'est comme ça qu'on arrive à des absurdités, comme
Très bien. Mais tu n'as pas besoin de me rappeler à chaque fois que tu est là pour m'aider, etc.
Je suis désolé si je vous ai donné l'impression de vous le rappeler à chaque fois. Je comprends maintenant que cela peut être considéré comme étant répétitif. Je vais essayer de le prendre en compte et de varier mes réponses de manière à ne pas vous donner cette impression. Si vous avez des questions ou avez besoin d'aide, n'hésitez pas à me poser des questions. Je ferai de mon mieux pour vous aider de la manière la plus efficace possible.
De même, évite de répéter "Si vous avez des questions ou avez besoin d'aide, ...". Tu l'as dit une fois, ça suffit pour que ton interlocuteur en soit conscient (il a une mémoire, même si pas aussi fiable que la tienne...).
Je suis désolé si je vous ai donné l'impression de répéter cette phrase. Je comprends maintenant que cela peut être considéré comme étant répétitif. Je vais essayer de ne pas répéter cette phrase et de varier mes réponses de manière à ne pas vous donner cette impression. Si vous avez des questions ou avez besoin d'aide, n'hésitez pas à me poser des questions. Je ferai de mon mieux pour vous aider de la manière la plus efficace possible.
Du coup, ça ressemble à des blagues, comme celle du patient qui dit à son psychanalyste "Je suis désolé j'espère que ça ne va pas vous contrarier, j'ai longtemps hésité à vous le dire, et j'espère vraiment que vous ne m'en voudrez pas, mais mon sentiment de culpabilité a complètement disparu, et je crois que je vais arrêter la cure"
Ce genre d'IA est en gros composé de neurones virtuels, vagues imitations de neurones réels et organisés en couches.
Il y a des paramètres dans les neurones, dans les connections entre couches, etc.
Au départ on leur donne des valeurs aléatoires et quand on entraîne l'IA, qu'on lui apprend le but est qu'ils convergent vers des valeurs qui font qu'elle va donner de bonnes réponses.
Cela revient à optimiser une fonction à 175 milliards de variables en sorte.
Cela pose beaucoup de problèmes et la révolution du deep-learning a été de trouver des méthodes qui permettent d'obtenir cette convergence.
Je conseille vraiment d'essayer https://playground.tensorflow.org/ pour voir ce que cela donne sur des cas très simples avec de tout petit réseaux.
Je suis tombé sur un article (cité dans la page wikipedia anglophone sur ChatGPT) donnant le point de vue de plusieurs spécialistes de l'IA (australiens). L'un d'entre eux le compare à un "stochastic parrot" - c'est cette citation qui m'avait amusé dans la page wikipedia et qui m'avait incité à suivre le lien, mais l'article est plus intéressant que cette simple blague.
Merci à Archozaure et pm42 pour leurs réponses.
Des milliards de personnes disent que j'exagère. Même pas vrai !
L'article dit ce qu'on sait : ce n'est pas une IA forte, etc. Et on ne sait pas jusqu'où on ira avec cette approche.
Tout cela a déjà été dit dans ce fil.
Ceci dit dire qu'on approche des limites me semble rapide : les prédictions dans ce domaine sont très hasardeuses et il n'y a pas longtemps les experts expliquaient pourquoi on allait mettre très longtemps avant d'avoir des IAs bonnes au go. 2 ans plus tard elles battaient les humains.
L'autre chose est que justement on arrive à faire des conversations plutôt convaincantes avec de la force brute et sans "intelligence".
Est ce qu'on n'en revient pas là aussi à plus tôt dans le fil et à la difficulté de définir l'intelligence vu qu'avec le temps on constate que des approches force brute améliorée réussissent à faire aussi bien que les humains ?
Est ce qu'on ne continue pas à courir après une "intelligence" mythique et jamais définie ?
Je viens de demander à Gepetto combien il y a de lettres dans "exact", et il me répond : 6, ce qui n'est pas idiot, puisque "x" a le poids de 2 lettres dans certaines règles (e suivi de 2 consonnes), on en revient au "ll" de pavillon compté comme une seule lettre, il y a sans doute une question de représentation.
Si je lui demande combien il y a de lettres dans "kjhd" il me répond que ce n'est pas un mot français, et que pour compter les lettres, il a besoin d'un mot valide (réponse qu'on peut considérer comme idiote), en reposant la question, la réponse est la bonne
Dernière modification par Médiat ; 01/01/2023 à 11h30.
Je suis Charlie.
J'affirme péremptoirement que toute affirmation péremptoire est fausse
Normal : il ne sait pas compter les lettres. Il peut te donner une bonne réponse ponctuellement parce qu'elle a été dans sa base d'apprentissage mais c'est tout. Et on ne peut pas lui apprendre par le dialogue.
C'est un des axes de progression mais il y a des pistes pour cela et dans le cas présent si on voulait on pourrait facilement ajouter une capacité à apprendre de petits algorithmes.
Mais ce n'est pas le but.
Si, puisqu'en répétant la question, il répond correctement.
Je suis Charlie.
J'affirme péremptoirement que toute affirmation péremptoire est fausse
Non tu actives simplement d'autres réponses "par cœur".
En mathématique, il n'est pas convaincant :
Q : génère moi le groupe libre à 1 générateur
R1 : Le groupe libre à un générateur est un groupe qui a un seul élément et qui est défini comme étant le groupe des entiers relatifs modulo 1. Cela signifie que le seul élément du groupe est 0, et que tous les autres entiers relatifs peuvent être obtenus en ajoutant ou en soustractant des multiples de 1 à cet élément.Par exemple, si on considère l'addition modulo 1, alors 0 + 0 = 0, 0 + 1 = 1, 0 - 1 = -1, etc. Si on considère la multiplication modulo 1, alors 0 * 0 = 0, 0 * 1 = 0, etc.
Le groupe libre à un générateur est un exemple de groupe cyclique, c'est-à-dire qu'il est possible de générer tous les éléments du groupe en utilisant un seul élément comme générateur. En d'autres termes, tous les éléments du groupe peuvent être obtenus en utilisant des opérations de groupe (addition ou multiplication) sur un seul élément du groupe.
R2 : Le groupe libre à un générateur est un groupe qui a un seul élément et aucune relation d'opération définie. Par exemple, le groupe libre à un générateur {a} est un groupe qui ne contient qu'un seul élément, "a", et aucune opération définie entre cet élément et lui-même. En d'autres termes, aucune opération ne peut être effectuée sur "a" dans ce groupe.
R1 est fausse, R2 est complètement con.
Je suis Charlie.
J'affirme péremptoirement que toute affirmation péremptoire est fausse
Tu veux dire que quelqu'un a mis dans sa base de connaissance que le nombre de lettres de "kjhd" est 4 ?
Je suis Charlie.
J'affirme péremptoirement que toute affirmation péremptoire est fausse
Non mais que le mécanisme qui amène à la bonne réponse n'est pas celui que tu imagines. Déjà on ne sait pas expliquer pourquoi les IAs donne telle réponse ou telle autre.
Dans ton cas il a probablement trouvé des réponses sur des mots qui "ressemblent" vaguement au tien.
Mais il n'y a pas de raisonnement ni d'apprentissage suite à ton interaction.
Ce n'est déjà plus du "par cœur"
Je suis Charlie.
J'affirme péremptoirement que toute affirmation péremptoire est fausse
Oui mais je manque de vocabulaire pour décrire le fonctionnement de ce genre d'IA.
Ce qui n'est pas étonnant : c'est quelque chose de nouveau, pas un simple modèle statistique du langage mais pas une "pensée" au sens humain non plus.
Bonjour à tous et bonne année,
Je trouve qu'un des intérêts majeurs de ChatGPT et d'autres IA qui repoussent certaines frontières est de nous pousser à nous questionner sur la notion d'intelligence. Je parle de celle qui fait encore défaut à ChatGPT mais qui caractériserait une "IA forte" comme pm42 l'a signalé plus tôt dans ce fil.
À mon sens l'intelligence dite "supérieure" (celle des humains voire de certaines autres espèces animales) se caractérise tout d'abord par la capacité à créer (la créativité). Voici le lien d'une vidéo que j'ai trouvé intéressante sur le sujet:
https://www.youtube.com/watch?v=HRNEi-xSNVA
Est-ce qu'on peut dire que ChatGPT "crée" quelque chose de nouveau lorsqu'il formule une réponse élaborée à partir de ses 175 milliards de paramètres? Je dirait assez naïvement que oui, il crée. Je ne voit pas la différence avec une création humaine, qui découle d'expériences vécues et qui a donc été "entrainée", d'une certaine manière, au même titre que cette IA (désolé pm42 si je dis de grosse bêtises du fait de mon inculture sur le sujet).
Certains diront qu'on ne peut pas parler de création, dans le sens ou à paramètres d'entrée strictement identiques, le résultat sera strictement identique (c'est la définition d'un processus algorithmique finalement). Mais n'est-ce pas le cas également pour l'esprit humain? Mes convictions fortement déterministes sur notre réalité ainsi que ma compréhension du principe de causalité m'incitent à croire que oui (désolé pour les partisans du libre-arbitre). Si on pouvait contrôler strictement tous les paramètres interagissants avec un esprit humain, et reproduire exactement la même situation, deux esprits humains strictement identiques produiraient le même raisonnement.
L'autre caractéristique fondamentale de l'intelligence supérieure serait la conscience de soi / l'identité..
Je pense qu'en général nous sommes limités par notre vision anthropomorphique de l'intelligence. Et que seulement lorsque (si) l'humanité sera confrontée à une autre forme d'intelligence supérieure (que ce soit une IA "forte" ou des extra-terrestres), nous aurons une compréhension plus proche de la vérité de ce qu'est l'intelligence.
En tout cas je tire mon chapeau bien bas aux concepteurs de cet "outil", que je trouve fascinant.
il faut dire que la question n'est pas claire : que signifie "génère-moi" ? faut-il lister les éléments du groupe?
c'est le principal ecueil avec les réseaux de neurones et d'autres méthode apparentées. Ca donne des résultats mais on ne sait pas les expliquer. En biologie il y a une vingtaine d'années les réseaux de neurones ont suscité un certain engouement, puis on n'en a plus parlé. Cela dit ça revient ces temps-ci...
Je suis plutôt d'accord avec ça.
En fait c'est vrai que le comptage des lettres n'est très probablement pas une opération qu'il est capable de faire en procédant de la même manière que nous. A cause des unités de traitement qui sont des "token".
Puisqu'il il fait surement un genre de comptage quelque-part dans une de ses séries de couches de convolution qui sert à autre chose que le comptage mais c'est pas prévu pour être extrait avec précision.
On l'a certainement entrainé à fournir ce genre de résultat ("comptage") en se basant sur la présentation de mots de même longueur et en associant les mots à un nombre mais c'est pas fiable du coup (puisqu'il ne compte pas, on lui présente des tokens)
Si on veut comparer avec l'humain je dirais donc qu'il répond "au feeling" comme le ferait un humain qui répondrait vite fait sans compter.
De la même manière le nombre de mots est aussi ambigu pour chatGPT puisque comme dit plus haut il ne travaille pas avec les mots. Il travaille avec des unités de mots "des tokens". (je viens de l'apprendre comme quasiment tout le monde ici je suppose dans l'article proposé par pm42)
Je cite.
https://pub.towardsai.net/chatgpt-ho...y-e0b3e23601a1LLMs are usually generated from a very large volume of sample text in different languages and domains. GPT-3 has been trained on hundreds of billions of words from Common Crawl, WebText2, Books1/2, and Wikipedia in English. It has also been trained on examples of programs coded in CSS, JSX, Python, etc. It accepts 2048 tokens as input, which allows it to handle very large sentences of about 1,500 words (OpenAI considers a token to be a part of a word of about four characters and gives as an example that 1,000 tokens represent about 750 words).
Il pourrait être intéressant de creuser la question en lui demandant combien il y a de symboles dans la suite de symboles suivantes, et là on lui fournit le mot, qui sera (peut-être) considéré comme une suite de symboles (de lettres donc) ce qui le fait basculer vers un autre système de comptage.
Dernière modification par ArchoZaure ; 01/01/2023 à 15h40.
Il l'a bien compris ainsi et ses réponses sont fausses ou atterrantes
Je suis Charlie.
J'affirme péremptoirement que toute affirmation péremptoire est fausse
Amen pour la partie spirituelle de ton message.
Penses-tu qu'il y ai un niveau au dessus de notre intelligence, une intelligence qualitativement différente de la notre ? Je vois comment une intelligence peut être plus rapide, précise, etc que la notre, mais j'ai comme l'impression que les êtres humains ont atteint une sorte de summum de l'intelligence par son caractère général. On peut appréhender tout ce qui concerne l'espace en 3D et les choses qui peuplent cet espace, qu'y-a-t-il de plus réellement dans l'univers ?
