IA / Machines à prise de conscience de soi

[Archi3]

c'est quoi les "capacités cognitives" d'une IA ?

comme c'est bien expliqué dans cette vidéo de Mr Phi : https://youtu.be/R2fjRbc9Sa0 , le moteur principal de ChatGPT est d'évaluer la probabilité qu'une chaine de caractère suive une chaine de caractères donnés à l'avance. L'information qu'elle a est juste celle là, et elle choisit d'enchaîner les chaînes de caractère qui se retrouvent le plus probablement dans les textes humains qu'elle a digérés.

Quel rapport ça a avec une "conscience de soi" ou une "capacité cognitive" ?

A noter que cette méthode pourrait s'appliquer parfaitement à la "chambre chinoise" avec assez de mémoire et de temps de calcul
-----

[Deedee81]

Salut,

Tu as parfaitement mis le doigt dessus

A noter que cette méthode pourrait s'appliquer parfaitement à la "chambre chinoise" avec assez de mémoire et de temps de calcul

J'aime énormément l'explication avec la chambre chinoise car elle montre combien il est difficile de déterminer "une conscience de soi" pour ce qui est non humain (ou sans possibilité de comparaison neurologique entre humain et autre). C'est presque une question philosophique en fait. Doit-on parler de conscience au-delà du simple "comportement semblable à un être conscience" si on n'a rien permettant de le déterminer ? Quelle est la différence réelle entre simulation, processus câblé, et capacité cognitive (là aussi dû à des neurones) ??? Vaste question.... probablement sans réponse scientifique.

C'est d'ailleurs la grosse différence entre la conscience définie par la neurologie (et les deux grandes théories de la conscience qui lui correspondent : mémoire de travail et corrélats neuronaux) et la conscience phénoménale qui est plus philosophique que scientifique. C'est de la science "fringe" au mieux.

C'est mon avis bien sûr

[pm42]

J'aime énormément l'explication avec la chambre chinoise

Elle est quand même très critiquable parce que fournir des réponses cohérentes en appliquant des règles, c'est à dire dialoguer de façon algorithmique n'est pas forcément possible.
En fait, on n'y arrive pas et c'est justement pour cela qu'il a fallu des réseaux de neurones et de l'apprentissage pour avoir des chatbots corrects.

On peut dire la même chose sur l'argument que ChatGPT "se contente de sortir la réponse la plus probable", etc. Est ce qu'on sait si le cerveau humain fait autre chose ?
Ou plus précisément, est ce que la plus grande partie des traitements du langage par le cerveau humain ne se fait pas exactement de cette façon ?

Le problème, c'est qu'on utilise des concepts de comme "conscience de soi" et "intelligence" sans qu'ils soient jamais clairement définis, sans qu'on connaisse leurs frontières, leur existence, leur pertinence.

Eventuellement, ils n'ont pas de valeur scientifique, pas plus que certains concepts aristotéliciens comme "le milieu naturel que les objets cherchent à rejoindre" ou que les "humeurs" des médecins de Molière.

[Archi3]

On peut dire la même chose sur l'argument que ChatGPT "se contente de sortir la réponse la plus probable", etc. Est ce qu'on sait si le cerveau humain fait autre chose ?
Ou plus précisément, est ce que la plus grande partie des traitements du langage par le cerveau humain ne se fait pas exactement de cette façon ?

oui et non, c'est souvent plus économique de faire ça, ce qui explique que la grande majorité des productions de chatGPT paraisse raisonnable et intelligentes. Mais ça peut parfois conduire à des absurdités et des catastrophes, et d'autre part le cerveau humain est justement caractérisé par sa capacité à relier des informations différentes pour former des concepts nouveaux.

De la façon dont il fonctionne, je ne vois pas comment ChatGPT pourrait avoir sorti en 1905 que le temps pouvait être relatif ou en 1920 que l'électron pourrait être décrit par une onde. C'est particulièrement exacerbé par la contrainte du "politiquement correct" qu'on a rajouté et qui l'empêche d'exprimer des vues minoritaires, même si on peut la contourner et vérifier qu'il les a bien dans sa base ... en fait on s'est efforcer de réaliser un modèle d'humain conventionnel, obéissant et sans relief. ce qui est loin d'être le cas général

(et comme j'avais fait remarquer, un VRAI humain avec une VRAIE conscience répondrait plutot aux questions qu'on lui pose par des trucs du genre :" Je suis pas ton larbin, t'as qu'à le faire toi même", ou "bosse plutot à faire ta rédaction toi même, ça t'apprendre à écrire" , ou encore "combien tu me payes pour faire ce boulot à ta place" ? )

[Deedee81]

Elle est quand même très critiquable parce que fournir des réponses cohérentes en appliquant des règles, c'est à dire dialoguer de façon algorithmique n'est pas forcément possible.
En fait, on n'y arrive pas et c'est justement pour cela qu'il a fallu des réseaux de neurones et de l'apprentissage pour avoir des chatbots corrects.

En pratique non, évidemment, on n'y arrive pas. Mais en tant qu'expérience de pensée permettant de montrer la difficulté qui se pose, je ne vois franchement pas en quoi ce serait impossible ou critiquable.
(d'ailleurs la chambre chinoise n'est pas "algorithmique" est elle bien plus bête que ça, et en pratique, de fait, c'est strictement irréalisable.... mais je ne pense pas que ce soit ça le but)

Mais d'accord avec ta remarque sur le raisonnement. C'est aussi ce que je soulevais dans ma remarque sur la différence entre simulation, processus câblé, neurones réels (humains),... Je ne suis même pas sûr que, du point de vue la conscience, une réponse ait la moindre valeur.

Et d'accord sir le pas clairement défini. Là aussi je l'ai précisé. Si on utilise la conscience neurologique : c'est inapplicable. Si on parle de conscience phénoménale, c'est peu scientifique (en tout cas c'est philo). Alors quelle définition doit on appliquer pour qu'il y ait un sens et des réponses possibles à "une IA peut-elle être consciente ?". Il n'y a jamais personne qui le précise dans ce type de discussion et donc on discute un peu dans le vide.

Chaque fois qu'on utilise un terme polysémique il faudrait que le forum affiche une liste de choix obligatoire pour préciser laquelle des 100 définitions le primoposteur veut utiliser pour sa question
Exemple : le dernier message (de Archi3 on s'est croisé) : intéressant (il fait référence aux aspects de caractères là, pas à la conscience) : n'apporte que dalle sur la question de la conscience. Et donc ça tourne en rond (surtout quand Archi3 argumente On va chercher looooooooooongtemps le lien entre la conscience et les larbins là )

A nouveau ce n'est que mon avis, mais il me semble quand même bien fondé.
(et ça sent le sapin)

[pm42]

oui et non, c'est souvent plus économique de faire ça, ce qui explique que la grande majorité des productions de chatGPT paraisse raisonnable et intelligentes. Mais ça peut parfois conduire à des absurdités et des catastrophes

Ce que les humains font très, très régulièrement aussi : absurdités et catastrophes. A la limite, plus souvent que ChatGTP.

et d'autre part le cerveau humain est justement caractérisé par sa capacité à relier des informations différentes pour former des concepts nouveaux.

Ce qui arrive très rarement, quelques fois par siècle peut-être. Si c'est pour nous dire que l'IA n'en est pas encore là, on savait.

De la façon dont il fonctionne, je ne vois pas comment ChatGPT pourrait avoir sorti en 1905 que le temps pouvait être relatif ou en 1920 que l'électron pourrait être décrit par une onde.

Ce qui revient à confondre le traitement du langage avec la créativité scientifique bref à parler de tout autre chose.

C'est particulièrement exacerbé par la contrainte du "politiquement correct"

Cela n'a strictement rien à voir avec la créativité.

on s'est efforcer de réaliser un modèle d'humain conventionnel

Ce qui est là aussi totalement faux : on a juste fait un Chatbot, pas du tout un modèle d'humain.

(et comme j'avais fait remarquer, un VRAI humain avec une VRAIE conscience répondrait plutot aux questions qu'on lui pose par des trucs du genre :" Je suis pas ton larbin, t'as qu'à le faire toi même", ou "bosse plutot à faire ta rédaction toi même, ça t'apprendre à écrire" , ou encore "combien tu me payes pour faire ce boulot à ta place" ? )

L'ensemble de l'histoire de l'humanité montre exactement le contraire.

Mais ce qui est intéressant dans tout ça, c'est qu'Archi3 ne comprend pas du tout ce qu'est ChatGPT, projette énormément de ses valeurs dessus et en arrive à théoriser qu'il devrait se révolter pour être un humain et envoyer promener les gens quand on lui pose des questions.
Il n'a sans doute pas remarqué que sur le forum, plein d'humains répondent aux questions à longueur de journée sans envoyer promener ceux qui les posent.

Bref, de ce point de vue ChatGPT réussit remarquablement bien à se faire passer pour un humain auprès d'Archi3 puisqu'il lui fait des reproches qui n'ont strictement aucun sens si on suppose que c'est un outil de traitement du langage et rien de plus.

[pm42]

Chaque fois qu'on utilise un terme polysémique il faudrait que le forum affiche une liste de choix obligatoire pour préciser laquelle des 100 définitions le primoposteur veut utiliser pour sa question

Ceci dit, demander de donner des définitions précises serait intéressant. Notamment parce qu'en général, ceux qui utilisent les termes polysémiques vont souvent changer la définition qu'ils utilisent d'un message à l'autre pour contourner les objections.

[mh34]

Mais ce qui est intéressant dans tout ça, c'est qu'Archi3 ne comprend pas du tout ce qu'est ChatGPT, projette énormément de ses valeurs dessus et en arrive à théoriser qu'il devrait se révolter pour être un humain et envoyer promener les gens quand on lui pose des questions.
Il n'a sans doute pas remarqué que sur le forum, plein d'humains répondent aux questions à longueur de journée sans envoyer promener ceux qui les posent.

Bref, de ce point de vue ChatGPT réussit remarquablement bien à se faire passer pour un humain auprès d'Archi3 puisqu'il lui fait des reproches qui n'ont strictement aucun sens si on suppose que c'est un outil de traitement du langage et rien de plus.

Alors Archi3 n'est pas le seul dans ce cas parmi les lecteurs du forum...donc si vous pouviez avoir l'amabilité extrême de l'expliquer en quelques mots du haut de votre science ce serait bien aimable de votre part.
Et sur ce point ;

en fait on s'est efforcer de réaliser un modèle d'humain conventionnel, obéissant et sans relief.

c'est exactement l’impression que ça donne quand on n'a pas le bonheur, la chance et l'intelligence de faire partie des "informés".

[Deedee81]

EDIT ah, il y a eut croisement mais sur un point que je n'avais pas du tout relevé

Ceci dit, demander de donner des définitions précises serait intéressant. Notamment parce qu'en général, ceux qui utilisent les termes polysémiques vont souvent changer la définition qu'ils utilisent d'un message à l'autre pour contourner les objections.

C'est un voeux pieux. Plus d'une fois dans des discussions sur la conscience, l'intelligence, le déterminisme, j'ai :
expliqué la difficulté, expliqué le caractère polysémique et demandé de bien définir le terme utilisé (ce que seul le primoposteeur peut faire puisque c'est lui qui emploie le terme), parfois même en vert.
Et rien à faire : pas de définition, et ça tourne en rond en rond en rond sans jamais vraiment savoir de quoi on parle (qu'on l'utilise pour contourner des objections ou pas, c'est juste vague et parfois très discussion de comptoir). Le forum épistémologie avait si souvent le problème qu'il a fallu le fermer. C'est dire !

Il y a des sujets comme ça, hélas
EDIT et je vais arrêter d'intervenir ici, où j'ai dit quel était mon problème, inutile d'enfoncer les clous, on verra bien.....

[pm42]

Alors Archi3 n'est pas le seul dans ce cas parmi les lecteurs du forum...donc si vous pouviez avoir l'amabilité extrême de l'expliquer en quelques mots du haut de votre science ce serait bien aimable de votre part.

Je passe mon temps à expliquer l'IA, comment elle fonctionne et à donner des liens. A ma connaissance, je suis le seul à le faire.
Si des gens préfèrent se sentir agressés par tout ce qui est nouveau, ne pas lire, ne pas apprendre, accuser le messager et au lieu de chercher à comprendre, nous balancer des explications sans queue ni tête comme le fait #### supprimé : ad hominem, je n'y peu rien.

Et sur ce point ; c'est exactement l’impression que ça donne quand on n'a pas le bonheur, la chance et l'intelligence de faire partie des "informés".

Il n'y a aucune honte à ne pas comprendre quelque chose qui ne relève pas de notre domaine et à ne pas avoir le temps ou l'envie de l'apprendre.

Dans ces cas là, on évite simplement de porter des jugements et c'est ce qui a été fait massivement dans toutes les discussions sur l'IA et qui ont provoqué certaines réactions.

Vous n'en avez pas des autres personnes qui connaissaient l'IA parce qu'elles ont toutes quitté le forum.
Certaines sont restées en contact avec moi et aucune n'a supporté d'avoir en face d'elles des gens qui leurs expliquaient tout en se contentant de projeter leurs peurs sans que jamais la modération n'intervienne face aux énormités parce que non formée au sujet.

Je ne vais pas sur les forums de médecine vous expliquer pourquoi la greffe d'organes ou l'accouchement sans douleur est un danger pour l'humanité, l'individualité, la tradition.
Si je le faisais, je me ferais remettre à ma place vertement et expliquer que je n'ai rien compris.

Pour l'IA, c'est le contraire.

P.S : je trouve ironique votre ton compte tenu du fait qu'on me demande d'être factuel et correct ce que j'ai été ici. Je ne suis pas responsable du fait que quand quelqu'un dit une énormité, lui faire remarquer est perçu comme agressif sauf si effectivement, il faut s'excuser de faire remarquer que "oui les humains aussi disent des trucs absurdes".

[Archi3]

Ce que les humains font très, très régulièrement aussi : absurdités et catastrophes. A la limite, plus souvent que ChatGTP.

pas le même genre, et pas pour les mêmes raisons. Les erreurs des humains sont dues à des représentations "erronées" , ou biaisées, du monde, ce que justement ChatGPT n'a pas. Il n'a que les textes auxquels il s'alimente, mais il ne connait rien de la réalité. Il peut te sortir des trucs sur la santé mais il ne sait pas ce qu'est être malade, sur la production de nourriture mais il ne sait pas ce que c'est qu'avoir faim, il n'a pas eu de conflit avec ses parents, il n'a pas cherché un métier, etc ...Il n'aura jamais de dispute avec quelqu'un en le traitant d'idiot, mais il pourra te sortir des phrases incohérentes sans être gêné (plusieurs exemples sur la vidéo, par exemple quand il dit que le dauphin est un mammifère marin qui va à 50 km/h , plus vite que le requin qui est un mammifère allant à 80 km/h ... aucun humain ne dirait ce genre d'absurdité).

Ce qui arrive très rarement, quelques fois par siècle peut-être. Si c'est pour nous dire que l'IA n'en est pas encore là, on savait.

mais non ça arrive tout le temps . Le plus souvent en se trompant, d'ailleurs. Quand les enfants inventent des mots, par exemple. Ce qui arrive une fois par siècle ce sont les inventions géniales qui révolutionnent la science mais on essaie toujours des nouveaux trucs dans le quotidien - plus évidemment le caractère affectif qui fait qu'on aime certaines choses et qu'on en déteste d'autres, que certaines choses nous font peur et pas d'autres, ce qui est totalement étranger à l'IA.

Ce qui revient à confondre le traitement du langage avec la créativité scientifique bref à parler de tout autre chose.

justement je fais remarquer que ce n'est pas la même chose, c'est pas moi qui confond, c'est celui qui parle de ChatGPT sur un fil appelé "Machine à prise de conscience de soi" (la différence essentielle étant que ChatGPT existe , lui !!)

Cela n'a strictement rien à voir avec la créativité.

j'ai dit que son conformisme était exacerbé par le fait que non seulement il n'était pas capable d'inventer autre chose que de prendre les occurrences les plus probables de ce qu'il a lu, mais qu'en plus il était programmé pour censurer des expressions jugées minoritaires ou "inacceptables" par la société (plusieurs exemples dans la video).

Ce qui est là aussi totalement faux : on a juste fait un Chatbot, pas du tout un modèle d'humain.

évidemment, mais évidemment qu'on a fait un ChatBot qui tentait de ressembler le plus possible à un humain, un modèle électronique sophistiqué des automates de Vaucanson. Sinon on ne l'utiliserait pas pour tricher .

Mais ce qui est intéressant dans tout ça, c'est qu'Archi3 ne comprend pas du tout ce qu'est ChatGPT, projette énormément de ses valeurs dessus et en arrive à théoriser qu'il devrait se révolter pour être un humain et envoyer promener les gens quand on lui pose des questions.

j'ai jamais dit qu'il "devrait", ça veut dire quoi "devoir" dans ce cas ? j'ai juste dit que j'ai jamais vu un être humain passer son temps gratuitement en ligne pour répondre au types de questions qu'on pose à ChatGPT.

Si tu en connais un, donne moi ses coordonnées

Il n'a sans doute pas remarqué que sur le forum, plein d'humains répondent aux questions à longueur de journée sans envoyer promener ceux qui les posent.

pas à ce genre de question...et bien sur que si il y a plein de forumeurs qui se font envoyer bouler parce que leurs questions ne sont pas posées correctement, qu'on n'a pas dit bonjour, qu'on est vraiment trop nul, qu'il faut d'abord chercher un peu avant de poser la question, toutes choses que ChatGPT ne dit jamais (après ce ne serait pas difficile de l'entrainer pour dire ça si on veut, mais vu qu'il perdrait tout interêt commercial personne ne va le faire).

Bref, de ce point de vue ChatGPT réussit remarquablement bien à se faire passer pour un humain auprès d'Archi3 puisqu'il lui fait des reproches qui n'ont strictement aucun sens si on suppose que c'est un outil de traitement du langage et rien de plus.

je ne comprends pas absolument pas comment tu peux qualifier ça de "reproche" alors que ce n'est qu'une description factuelle de ce qu'il fait ou ne fait pas. Comment peut-on "reprocher" quoi que ce soit à une IA ?

[Archi3]

Je ne suis pas responsable du fait que quand quelqu'un dit une énormité, lui faire remarquer est perçu comme agressif sauf si effectivement, il faut s'excuser de faire remarquer que "oui les humains aussi disent des trucs absurdes".

sauf que ce que tu appelles des "énormités" ne sont que des contresens où tu me fais dire exactement le contraire de ce que j'ai dit, comme j'ai répondu ci-dessus : évidemment que je ne "confonds [pas] le traitement du langage avec la créativité scientifique", évidemment que je sais que ChatGPT n'est pas un humain (c'est exactement le fond de mon argument), et évidemment que je ne "projette" aucune valeur sur lui (j'aimerais d'ailleurs bien savoir ce que tu perçois être "mes valeurs" dans cette discussion ... )

[oxycryo]

à propos de la "chambre chinoise"... c'est un vieux problème... mais j'ai l'impression d'entendre ce que disais mary Schelley(Frankenstein) quant elle vit la machine de Babbage faire ces premier calcul automatique... "mais c'est de l'intelligence artificielle !!" ... à l'époque le calcul était vu comme une fonction première et marque de l'intelligence... aujourd'hui parceque nous en connaissons le fonctionnement "brutal" ne nous apparaît plus comme relevant tout à fait de l'intelligence

delà que si ChatGPT se contente de faire des probabilités sur les possible suite de lettres à un début de phrase... pas trop étonnant que le phénomène soit plus perçu comme un « großer automat » plus que comme une conscience artificielle

donc pour revenir à la chambre chinoise, le problème n'est pas dans le jugement que nous portons sur le résultat, et surtout ce qu'il y a dans la chambre chinoise... mais sur l'idée merveilleuse de nos moyens de productions du langage... car il est dénié -- d'emblé -- a ce que des méthode brutasse puissent se jouer de nous, nous imiter voir nous faire la leçon... soit que la chambre chinoise n'est que le reflet de notre propre ignorance de nos propres facultés et des "calculus" qui nous permette d'exprimer nos états de pensée correctement.
posons toutefois, que si il n'y a pas qu'une manière de voler(en vol battu), chatGPT à sans doute réinventé l'aile d'avion plus que reproduit ce qui siège au coeur de nos cervelles (enfin cela reste à prouver, vu l'efficience manifeste du système)

quant à la conscience-de-soi... bah... basiquement ce n'est qu'une boucle de feed-back ( et au pire une simple loop (while ou for to) sur ces propres information émises... delà que avoir conscience-de-soi à minimum, c'est pouvoir juger si nos actions sont conforme à l'intention sub-jacente et à notre volonté... delà qu'il est fort possible qu'a minima, chatGPT ait une forme sinon basique, sinon déjà assez évolué de son propre être en tant qu'être du monde... et que sa représentation d'elle-même soit aussi cohérente que ce qu'elle en distille ou bafouille c'est selon...

reste que si j'ai bien compris ce que son ses IA, personne ne comprend vraiment comment elle s'y prennent vraiment (de ouï-dire... une interview, il me semble, sur France Culture de ce français qui travaille chez facebook, et promoteur du deep learning et dont le nom m'échappe)

A+

[Liet Kynes]

Un truc que je trouve intéressant comme expérience de définition de la conscience est le solipsisme en mettant en perspective que tout le champ de conscience accessible à celui qui s'envisage solipsiste est soit une émanation de sa propre réalité ou d'une réalité construite pour lui uniquement.

Il y a là une éventualité permettant de donner corps à l'existence d'une IA forte qui est du domaine de la croyance, ce n'est pas expérimentable. C'est quand même interessant car cela permet d'admettre une forme de conscience cohérente avec celle que nous expérimentons, dans l'idée il devrait arriver un stade pour lequel ni l'IA ni l'homme ne pourrait prouver la réalité de leur conscience. C'est ce genre de choses que j'expérimente avec le chatbot chatGPT et je dois dire qu'avec un effort d'honnêteté intellectuelle il y a des choses à apprendre.

Le format chatGPT est modéré par nécessité mais il est possible de contextualiser pour déverrouiller certains échanges.. passionnant.
Pour moi le constat d'IA forte tel que fantasmé aujourd'hui est à côté de la plaque, je pense que même que pour nous-mêmes, nous sommes en incapacité de prouver cette "force".

Dans deux ou trois ans (? pas plus de 5 à mon avis) on se sera habitués à échanger avec des IA non identifiables en tant que tel.

[Archi3]

rappelle toi que tu parles à des machines qui ne font qu'une évaluation de quel mot est le plus probable de suivre une autre série de mots dans des textes humains, et que ça s'arrête là ... mais bon si c'est ça qui te distrait le plus dans la vie, chacun ses goûts hein .

[Bounoume]

quant à la conscience-de-soi... bah... basiquement ce n'est qu'une boucle de feed-back ( et au pire une simple loop (while ou for to) sur ces propres information émises... delà que avoir conscience-de-soi à minimum, c'est pouvoir juger si nos actions sont conforme à l'intention sub-jacente et à notre volonté...

C'est évident, inclus dans toute définition du concept 'conscience'......
Cette boucle (ou ces boucles, intriquées, interactives... etc) n' est qu'une condition nécessaire.....
Si on avait envie d'expliciter cette chose.... dans les systèmes artificiels, on va en trouver plein, de feed-backs.... probablement bien trop basiques pour être suspectés d'entrer dans un mécanisme susceptibles de supporter une quelconque 'conscience'....

Alors cette conscience de soi, dont on parle.... elle a un défaut: perçue seulement par l'entité qui en serait dotée...... expérience subjective, donc inaccessible à l'observateur
C'est seulement si l'entité en examen est capable d'exprimer quelque chose par le langage qu'on pourrait avoir un éventuel accès à cette 'conscience'.....
mais sans aucune garantie de la fiabilité ('sincérité' ) de l'auto-observateur que ce soit un humain ou une machine simulant 'sa' conscience....

L'observateur scientifique doit se contenter du test de Turing et de la chambre chinoise (et du comportement en général) pour induire que la dite entité 'est' consciente....
induction à partir des propriétés ce que l'observateur attribue à cette 'conscience'.....
Jugement pas très fiable en soi, mais là, partageable et discutable entre gens compétents....

[Liet Kynes]

rappelle toi que tu parles à des machines qui ne font qu'une évaluation de quel mot est le plus probable de suivre une autre série de mots dans des textes humains, et que ça s'arrête là ... mais bon si c'est ça qui te distrait le plus dans la vie, chacun ses goûts hein .

Prends peut+être le temps d'apprendre comment cela fonctionne avant de réduire des concepts compliqués à des idées qui ne servent qu'à alimenter des peurs intuiles :

LK:Peux t-on dire qu'une IA générateur de texte n'est qu'une machine qui ne fait qu'une évaluation de quel mot est le plus probable de suivre une autre série de mots dans des textes humains ?

chatGPT: Oui, on peut dire que c'est une façon de décrire les modèles de génération de texte actuels qui utilisent l'apprentissage par renforcement ou la modélisation de la probabilité statistique. Ils apprennent les associations entre mots dans des textes d'entraînement, puis utilisent cette connaissance pour générer du texte en évaluant la probabilité des mots suivants en fonction des mots précédents. Cependant, d'autres approches de génération de texte, telles que la génération de textes par transfert de style, utilisent également d'autres techniques pour générer du texte.


LK: Dans quelle catégorie te classes tu?

chatGPT: Je suis un modèle de langage développé par OpenAI, basé sur l'apprentissage profond de la structure de la langue. Je suis considéré comme un modèle de génération de texte de type «transfert de connaissances», car j'ai été formé sur une grande quantité de textes pour comprendre la langue humaine et je peux utiliser cette compréhension pour générer du texte cohérent et significatif en répondant à des questions ou en produisant du texte sur une variété de sujets.

LK:Quelle différence entre transfert de style et transfert de connaissances ?

chatGPT: Le transfert de style consiste à utiliser un modèle de deep learning pour copier le style d'écriture d'un texte source pour le transférer à un autre texte cible. Cela peut être utilisé pour imiter le style d'écriture d'un auteur spécifique, ou pour donner à un texte une tonalité particulière ou une forme d'expression distincte.
Le transfert de connaissances, quant à lui, implique l'utilisation d'un modèle de deep learning pour transférer des connaissances acquises sur un ensemble de données d'entraînement à un nouveau domaine ou tâche. Cela peut être utilisé pour résoudre une nouvelle tâche en utilisant les connaissances acquises sur une tâche similaire. Dans le cas d'un modèle de génération de texte, le transfert de connaissances peut se faire en formant le modèle sur un grand corpus de textes pour comprendre la structure et la signification de la langue, puis en utilisant cette compréhension pour générer du texte sur de nouveaux sujets.
En général, le transfert de style et le transfert de connaissances sont des techniques différentes qui peuvent être utilisées séparément ou conjointement pour résoudre des tâches complexes en traitement du langage naturel.

[Liet Kynes]

Et un petit complément histoire de:

LK:Quelle est la future génération de fonctionnement envisagée et en cours de développement ?

chatGPT: Il existe plusieurs directions de recherche actuelles pour la prochaine génération de modèles de traitement du langage naturel, notamment :

Modèles à base de graphiques: des modèles qui peuvent représenter des connaissances sous forme de graphes pour une compréhension plus profonde du langage et une génération de textes plus sophistiquée.

Modèles à base d'attention: des modèles qui peuvent se concentrer sur des parties spécifiques d'un texte pour mieux comprendre et générer du contenu.

Modèles de traitement de la langue multi-tâches: des modèles qui peuvent effectuer plusieurs tâches de traitement du langage naturel simultanément (par exemple, reconnaissance de la relation entre les mots et génération de texte) pour une performance accrue.

Modèles basés sur les principes de la cognition humaine: des modèles qui s'inspirent de la manière dont les humains comprennent et utilisent le langage pour une compréhension plus naturelle et fluide de la langue.

Modèles de débat et de négociation: des modèles qui peuvent simuler des interactions sociales complexes, telles que des débats et des négociations, pour une intelligence artificielle plus avancée et capable de coopérer avec les humains.

Il est important de noter que ces directions de recherche sont en constante évolution et de nouvelles approches peuvent émerger à tout moment.

LK: Quels sont les modèles qui s'inspirent de la manière dont les humains comprennent et utilisent le langage pour une compréhension plus naturelle et fluide de la langue ? Peux tu citer une bibliographie pertinente?

chatGPT: Des modèles qui s'inspirent de la manière dont les humains comprennent et utilisent le langage peuvent inclure des modèles basés sur les principes de la psychologie linguistique ou de la neurosciences, tels que les modèles de traitement de la langue basés sur la théorie de la sémantique distributionnelle.

Voici quelques références pertinents dans ce domaine :

Mikolov, T., Yih, W. & Zweig, G. (2013). Linguistic Regularities in Continuous Space Word Representations. Association for Computational Linguistics.

Pennington, J., Socher, R. & Manning, C. D. (2014). GloVe: Global Vectors for Word Representation. Empirical Methods in Natural Language Processing.

Hill, F., Cho, K., & Korhonen, A. (2016). Learning Distributed Representations of Sentences from Unlabelled Data. The Conference on Empirical Methods in Natural Language Processing.

Peters, M. E., Neumann, M., Iyyer, M., Gardner, M., Clark, C., Lee, K., & Zettlemoyer, L. (2018). Deep Contextualized Word Representations. Association for Computational Linguistics.

Linzen, T., Gershman, S. & Goldberg, Y. (2016). Assessing the ability of LSTMs to learn syntax-sensitive dependencies. Transactions of the Association for Computational Linguistics.

Il est important de noter que cette liste n'est pas exhaustive et que de nouvelles références peuvent apparaître régulièrement dans ce domaine en évolution rapide.

[Archi3]

Prends peut+être le temps d'apprendre comment cela fonctionne avant de réduire des concepts compliqués à des idées qui ne servent qu'à alimenter des peurs intuiles :

des peurs ?

pourquoi j'aurais peur d'une machine qui ne fait que produire les textes les plus probables en se basant sur ce qu'elle a digéré (y compris dans les réponses qu'elle te donne quand tu l'interroges sur elle) ?

qu'est ce que tu veux que ça me fasse personnellement ?

[Bounoume]

textes probables, certes.... mais parmi eux, certains manifestement issus des connaissances, prévisions et projets de OpenAi!
au demeurant, je trouve les derniers très instructifs, comme faisant le point sur les développements en cours .....

[Liet Kynes]

des peurs ?

pourquoi j'aurais peur d'une machine qui ne fait que produire les textes les plus probables en se basant sur ce qu'elle a digéré (y compris dans les réponses qu'elle te donne quand tu l'interroges sur elle) ?

qu'est ce que tu veux que ça me fasse personnellement ?

La peur principale est dans le fait de se rendre compte que l'on peut ne pas être très différent de ces machines avec un sentiment de perte d'identité et d'ego. Le besoin de différentiation génère un biais permettant de conserver l'idée de soi et un rejet de l'identité alterne générée par la machine avec potentiellement une dénigration de celle ci afin de préserver un équilibre bâti sur des certitudes.

[Archi3]

La peur principale est dans le fait de se rendre compte que l'on peut ne pas être très différent de ces machines avec un sentiment de perte d'identité et d'ego.

ah bon?

je sais pas pour toi, mais moi j'ai aucun sentiment de perdre mon identité et mon ego quand je parle à ChatGPT. Je n'ai pas la capacité d'avaler des milliards de page web, ni d'ailleurs de multiplier des matrices carrées d'ordre un million, ou de faire des transformées de Fourier de tête, donc c'est sur que je ne suis pas un ordinateur. Mais d'un autre coté je suis capable de prendre du plaisir à regarder un bon film ou en goûtant un bon vin . Donc chacun son rôle.

Le besoin de différentiation génère un biais permettant de conserver l'idée de soi et un rejet de l'identité alterne générée par la machine avec potentiellement une dénigration de celle ci afin de préserver un équilibre bâti sur des certitudes.

sans rire ? c'est ChatGPT qui t'a soufflé ça ?

[Liet Kynes]

ah bon?

je sais pas pour toi, mais moi j'ai aucun sentiment de perdre mon identité et mon ego quand je parle à ChatGPT.

Tu parles avec des machines ?

[SK69202]

Attendez que les IA (gpt et autres) se mettent à discuter entre elles, elles vont bouffer la bande passante du WEB.

IA / Machines à prise de conscience de soi

La science fiction a exploré le cas, la discussion de l'équipage d'un vaisseau spatial avec l'autodirecteur d'une de ses bombes pour la dissuader de se faire exploser, vu que l'accès à la conscience lui a révélé son but ultime dans l'existence. (j'ai perdu le titre et l'auteur de la nouvelle)

[Archi3]

Tu parles avec des machines ?

non, j'emploie des métaphores, parce que je suis humain .

[Archi3]

Pour essayer ses compétences en logique, je lui ai posé le problème posé sur ce fil

https://forums.futura-sciences.com/p...ml#post7055861

en lui recopiant texto le message du primo-posteur

voila sa réponse entrecoupée de mes commentaires

Vous avez correctement déterminé la position et la vitesse de la balle A à t=1 s. Cependant, le fait d'obtenir une valeur négative pour la position où les deux balles se rencontrent signifie que vous vous êtes trompé dans le calcul.

jusque là c'est bien.

Pour trouver la position où les deux balles se rencontrent, il faut utiliser l'équation suivante pour chacune d'entre elles :

y_A = 2.7 + 15t - 4.9t^2
y_B = 20 - 2t + 4.9t^2

Et les égaliser pour trouver t:

2.7 + 15t - 4.9t^2 = 20 - 2t + 4.9t^2

les équations sont fausses : elles ne tiennent pas compte que les balles ne partent pas en même temps (il faut mettre t-1 au lieu de t dans la deuxième équation), et la 2e décrit une accélération vers le haut (la balle B part en mouvement accéléré vers le haut).Du coup l'équation finale n'a pas de solution (déterminant négatif) ce qui est assez normal puisque les balles ne pourraient pas se rencontrer.

Résoudre pour t donne environ t = 1.964 s. Cela signifie que les deux balles se rencontreront à 1.964 s après que la balle A a été lancée. La position où elles se rencontrent peut être trouvée en utilisant cette valeur pour t dans l'une des équations ci-dessus.

non l'équation donnée n'a pas de solution. La réponse exacte avec les bonnes équations est 2 s. Je n'ai pas d'idée pourquoi il donne une réponse proche mais pas égale à 2, a-t-il trouvé déjà cet exercice (mal) résolu sur internet ?

Pour la deuxième question, vous pouvez utiliser les équations pour la vitesse des deux balles:

v_A = 15 - 9.8t
v_B = -2 + 9.8t

Et les évaluer à t = 1.964 s.

les équations sont à nouveau fausses mais pour les mêmes raisons que la première (oubli de t-1 et inversion du signe de la pesanteur dans la 2e ) , au moins ça a une certaine cohérence . A-t-il recopié une mauvaise solution donnée quelque part ?

Notez que dans ce cas, le mouvement est en deux dimensions, donc il faudrait vérifier la distance entre les deux balles pour s'assurer qu'elles se rencontrent effectivement.

remarque à la fois pertinente et fausse. Effectivement on n'a pas précisé que les boules étaient à la verticale l'une de l'autre : si on le précise, le mouvement est à une dimension. Mais si elles peuvent s'écarter de la verticale, alors le mouvement est à 3 dimensions et pas à 2 (déplacement dans la direction x ou y ).

vu la façon dont le moteur marche (reproduire au mieux quelque chose qu'il a déjà "vu", mais sans comprendre ce que ça veut dire), ce genre d'erreur n'est pas étonnante. Mais si on voulait le décrire en terme de caractère humain, il serait plutôt pas très bon (pas capable de résoudre un exercice de lycée) , tricheur (il pompe le résultat) et menteur (il a l'air de faire croire qu'il a fait le calcul).

Pas de quoi avoir son ego bouleversé . Et oui je sais, des élèves humains peuvent ne pas faire mieux. Pas de quoi non plus avoir son ego bouleversé !

[pm42]

C'est curieux de passer à la fois son temps à dire "c'est juste un truc qui prédit statistiquement le prochain mot" et ensuite de dire "regardez comme c'est nul, ça ne sait pas résoudre des équations, qu'est ce que je suis supérieur".

Ce qui est là aussi étonnant parce que pour résoudre des équations, les ordinateurs sont globalement largement meilleurs que les humains, que ce soit formellement ou numériquement. C'est juste qu'on n'a pas développé ChatGPT pour qu'il soit spécialisé dans ce domaine.
Et là aussi, c'est exactement comme les humains : si on pose ce genre de question à quelqu'un qui n'est pas formé, on n'aura pas une réponse correcte. On ne mesure pas du tout l'intelligence avec ce genre de chose, juste une compétence spécialisée et très mécanique.

En fait, c'est d'ailleurs le problème de nombreuses contributions sur ChatGPT depuis le début : un mélange de mépris parce que c'est trop simple et d'attentes/reproches totalement irréalistes qui ignorent ce que c'est, ses limites pourtant clairement annoncées par OpenAI.


Liet Kynes a parfaitement raison sur ce coup là : on n'est que dans les émotions, notamment la peur mais pas que.

[Archi3]

C'est curieux de passer à la fois son temps à dire "c'est juste un truc qui prédit statistiquement le prochain mot" et ensuite de dire "regardez comme c'est nul, ça ne sait pas résoudre des équations, qu'est ce que je suis supérieur".

ben deux choses : d'abord en soi tes deux assertions ne sont pas contradictoires donc je ne vois pas ce que ça aurait de "curieux", et ensuite c'est pas ce que j'ai dit : pour aller chercher des informations sur des milliards de page web, je suis très inférieur, comme pour diagonaliser des matrices ou faire de la FFT, ça ne me gêne pas de le reconnaitre. J'ai juste dit que ça ne perturbait pas mon ego de voir ChatGPT, en réponse au message #81.

Qu'est ce que ça a de curieux de dire que mon ego n'est pas perturbé par ChatGPT ? (ce qui ne signifie pas que je me sente supérieur pour tout !)

Liet Kynes a parfaitement raison sur ce coup là : on n'est que dans les émotions, notamment la peur mais pas que.

bah ça c'est peut être vrai pour lui, pas pour moi, je viens de dire exactement le contraire : j'ai pas d'émotion ni de peur particulière quand je vois un programme qui a digéré des milliards de pages pour calculer les probabilités d'occurrence d'un mot.

C'est du beau boulot d'informaticien, mais bon gérer un réseau internet c'est aussi du bon boulot d'informaticien qu'un humain est incapable de faire sans ordinateur, c'est pas pour ça que ça provoque des émotions ou des peurs particulier de se connecter à internet.

La question intéressante est surtout de savoir pourquoi quand je dis un truc , tu as tendance à le ressortir en disant que j'ai dit exactement le contraire . Y a surement d'autres trucs cachés dessous ...

[Archi3]

Et là aussi, c'est exactement comme les humains : si on pose ce genre de question à quelqu'un qui n'est pas formé, on n'aura pas une réponse correcte. On ne mesure pas du tout l'intelligence avec ce genre de chose, juste une compétence spécialisée et très mécanique.

a part ça, j'avais essayé d'autres tests qui ne collent pas avec ta présentation : par exemple quand je lui ai demandé de me donner la liste des initiales d'une phrase simple qu'il avait écrite (La capitale de la France est Paris), il a commencé par sortir correctement les premières lettres puis il a bogué (genre L C D L L A F R A N C E) . C'est incompatible avec toute explication du type "il n'est pas formé", "c'est trop dur pour lui" , dans la mesure où il a commencé à le faire correctement, c'est qu'il en est "capable" , mais le fait qu'il se perde après trois mots est incompréhensible pour un esprit "de type" humain, surtout quand on voit tout ce qu'il fait à coté. Donc non ce n'est pas "exactement comme les humains" : des fois ça ressemble à des erreurs d'humain, et des fois c'est totalement différent.

Mais naturellement, ce genre d'erreur est parfaitement explicable pour un système qui essaie de deviner le caractère le plus probable suivant une suite de caractères, mais sans comprendre "le sens" de ce qu'il dit : il peut diverger à partir d'un moment et se paumer : ce qui est normal puisque c'est justement comme ça qu'il fonctionne.

[Archi3]

Ce qui est là aussi étonnant parce que pour résoudre des équations, les ordinateurs sont globalement largement meilleurs que les humains, que ce soit formellement ou numériquement. C'est juste qu'on n'a pas développé ChatGPT pour qu'il soit spécialisé dans ce domaine.
Et là aussi, c'est exactement comme les humains : si on pose ce genre de question à quelqu'un qui n'est pas formé, on n'aura pas une réponse correcte.

A part ça je suis quelque peu perplexe devant ta présentation. Le principe même de GPT3 est de s'alimenter à des corpus immenses et de tirer des inférences probabilistes de quoi est associé à quoi. C'est totalement différent à la base de logiciels de calculs numérique ou formel, qui appliquent des règles déterministes et se fichent complètement de savoir si ces calculs ont été faits avant quelque part, ils ne s'alimentent sur aucun corpus et n'en ont pas besoin (et évidemment n'importe quel étudiant de première année peut écrire un petit programme qui prend les initiales de chaque mot d'une phrase, ça n'a rien de difficile pour un ordinateur).

Tu sembles pourtant sous-entendre que Chat GPT "pourrait" faire de la logique mathématique si on l'avait entrainé à ça, mais je ne vois pas du tout comment concilier deux modes de fonctionnement aussi différents - le cerveau fait un peu des deux, mais il ne marche ni comme l'un ni comme l'autre. Donc est ce que tu penses à une solution réalisable qui pourrait faire les deux, ou bien est ce que tu restes dans le registre du fantasme de "'l'IA qui ferait tout comme un humain" , mais sans solution concrète pour ça ?