Une question pour le Test de Turing

[gillesh38]

J'ouvre ce nouveau fil suite à la discussion sur l'intelligence artificielle, en particulier sur le Test de Turing.

Je vous propose la question type suivant à poser à un ordinateur qui passerait le Test de Turing:

"Repete moi la phrase suivante en inversant les mots".

Il faut qu'il rende la réponse comme un etre humain, bien sur :


"Mots les inversant en suivante phrase la moi repete".

Pensez vous facile de programmer un ordinateur pour qu'il reponde correctement à ce genre de phrase, portant sur une demande sur l'énoncé de la question lui même?(ce qui suppose a mon avis qu'il en comprenne REELLEMENT le sens)

pensez vous que les ordinateurs actuels puissent le faire ? (bien sur il ne s'agit pas de cette demande connue à l'avance, on peut inventer des variantes, a priori inconnues du programmeur : supprimer un mot sur deux, une lettre sur deux, les voyelles, etc... : un test de Turing doit porter sur n'importe quoi de faisable par un humain )

Pensez vous qu'ils pourront un jour le faire? a quelle échéance?

avez vous une idée de la ligne générale pour y arriver?

[Médiat]

Pour aller dans ton sens :
Traduire en anglais : "Chat a quatre lettres"
Mettre au féminin : "Il est beau comme Appolon"
Mettre au singulier : "Les gens m'insupportent"

Tout cela pour dire qu'il y a encore du boulot, et que je n'y crois pas pour tout de suite.

[spi100]

C'est encore plus compliqué que ça. Dans les exemples que vous donnez, il s'agit juste de question-réponse. Pour chaque cas que vous donnez, si vous l'intégrer au système, il saura y répondre la fois suivante et ça fera illusion. Un dialogue est bien plus que ça.

Il y a une notion de contexte : une phrase peut être interprétée différemment selon le contexte, est peut parfois même ne pas être interprétable hors contexte. Par exemple : "la vieille brise la glace", "le boucher sale la tranche".
Ou plus simplement "Salut" veut dire "bonjour" en début de conversation et "au revoir" en fin de conversation. Il faut donc maintenir une mémoire des répliques.

ll y a une notion d'objectif. Un interlocuteur répond en suivant une stratégie, qui ne se manifeste pas forcemment à la première réplique.

Un protocole social : nous ne dialoguons pas n'importe comment. Par exemple, on introduit puis on développe.

Il faut une représentation du monde, c'est à dire des concepts organisés entre eux par des relations, par exemple de synonymie ou d'antinomie, d'hypernomie ( par exemple un chat est un manifère), de meronymie (un bras est une partie du corps humain). Cette structure doit permettre à l'agent de fabriquer des déductions et des généralisations.

Il faut une capacité d'apprentissage, l'agent doit pouvoir intégrer des concepts nouveaux que lui indique l'interlocuteur.

L'agent doit être tolérant aux erreurs, comprendre malgré les fautes de grammaire et d'orthographe.

[Faith]

pensez vous que les ordinateurs actuels puissent le faire ? (bien sur il ne s'agit pas de cette demande connue à l'avance, on peut inventer des variantes, a priori inconnues du programmeur : supprimer un mot sur deux, une lettre sur deux, les voyelles, etc... : un test de Turing doit porter sur n'importe quoi de faisable par un humain )

Des opérations comme celles-là sont purement algorithmiques, je pense que ce n'est pas d'une grande difficulté: il suffit de connaître chaque mot de la phrase pour pouvoir répondre. Je crois qu'un bot bien conçu, mais sans intelligence, pourrait y arriver.

Traduire en anglais : "Chat a quatre lettres"
Mettre au féminin : "Il est beau comme Appolon"
Mettre au singulier : "Les gens m'insupportent"

Déjà beaucoup plus difficile car celà nécessite une certaine culture. Je pense qu'il faut nécessairement une forme d'intelligence pour répondre à celà.
Mais:
phrase 1: des humains répondraient de nombreuses façons différentes: "Cat is written with three letters", "Cat has four letters", ou "je ne connais pas l'anglais"
phrase 2: De jeunes personnes ne sauraient pas répondre à cette question (où simplement des personnes ne connaissant pas la mythologie et/ou l'expression)
phrase 3: ma préférée Savoir dire qu'on ne peut pas faire cela est digne d'une bonne maîtrise du français, et d'une certaine intelligence, j'en suis convaincu. Mais la réponse "quelqu'un m'insupporte" sera quand même donné par pas mal d'humains... est reste, relativement correcte.

Même sur le long terme, je pense qu'il sera toujours faisable de le mettre en échec sur quelques phrases (comme sans doute certains humains).

Concernant le test de Turing lui-même, c'est à dire un panel d'humains qui "juge" les réponses d'un panel d'humain, statistiquement représentatif, et celles d'un nombre inconnu de machines pour en différencier les machines des humains.
En plus clair: X humains essayent de différencier humain/machine parmis Y humains et Z machines. (les X humains ignorant combien vaut Z)
Là je pense qu'en général, les machines seront bien identifiées, mais qu'un certain nombre d'humains sera aussi comptabilisé dans les "machines". Ce qui peut d'ailleurs faire peur

[gillesh38]

C'est encore plus compliqué que ça. Dans les exemples que vous donnez, il s'agit juste de question-réponse. Pour chaque cas que vous donnez, si vous l'intégrer au système, il saura y répondre la fois suivante et ça fera illusion. Un dialogue est bien plus que ça.

d'accord avec ce que tu dis, mais "integrer au système" n'est pas si simple que cela. Il n'est pas censé y avoir un armée de programmateurs derrière la machine en train de réécrire le programme après chaque réplique. C'est la conversation elle-même qui modifie notre façon de faire et de répondre, ce qui permet d'expliquer une règle du jeu par exemple. Je doute très fort également qu'un ordinateur puisse un jour "intégrer" une règle qu'on lui a expliquée par une simple conversation, ce qui implique également qu'il "comprenne" réellement ce qu'on lui dit.

[gillesh38]

Des opérations comme celles-là sont purement algorithmiques, je pense que ce n'est pas d'une grande difficulté: il suffit de connaître chaque mot de la phrase pour pouvoir répondre. Je crois qu'un bot bien conçu, mais sans intelligence, pourrait y arriver.

pas du tout, il faut deja avoir prévu au départ qu'on allait la poser ! je donne ça comme exemple, mais en fait le problème est :

il faut que la machine puisse faire n'importe quelle manipulation lexicale simple pour un etre humain (par exemple à la portée d'un enfant) portant sur la phrase elle-même qui la demande, du genre de celle que je propose.

Si tu trouve que ce n'est pas d'une "grande difficulté" d'écrire un algorithme permettant de faire n'importe quelle manipulation lexicale non connue à l'avance, mais exprimée dans l'énoncé, je pense que tu vas devenir plus riche que Bill Gates .

Gilles

[gillesh38]

Là je pense qu'en général, les machines seront bien identifiées, mais qu'un certain nombre d'humains sera aussi comptabilisé dans les "machines". Ce qui peut d'ailleurs faire peur

Je pense qu'une phrase du type de celle que je propose aura une efficacité de 100 % pour distinguer un humain d'une machine, si ça peut te rassurer

[spi100]

d'accord avec ce que tu dis, mais "integrer au système" n'est pas si simple que cela. Il n'est pas censé y avoir un armée de programmateurs derrière la machine en train de réécrire le programme après chaque réplique. C'est la conversation elle-même qui modifie notre façon de faire et de répondre, ce qui permet d'expliquer une règle du jeu par exemple. Je doute très fort également qu'un ordinateur puisse un jour "intégrer" une règle qu'on lui a expliquée par une simple conversation, ce qui implique également qu'il "comprenne" réellement ce qu'on lui dit.

Mais même sans imaginer une armée de programmeur. Ta vision du test ne marche pas. Tu veux détecter une machine à partir des erreurs d'analyse qu'elle fait sur une phrase ou un dialogue. Avec ce type de critère tu vas ranger la moitié de la population dans la catégorie des machines.

Je te donne des exemples aux quels nous nous sommes tous fait avoir quand nous étions gamins:

"quel est la couleur du cheval blanc d'henry IV"
"qu'est ce qui est le plus lourd, un kilo de plomb ou de plumes"

Peut être regardais tu la séquence des paradoxes de Wendel sur Canal +, où les gens se faisaient avoir à des questions du genre " que feriez vous si le premier de l'an tombait un vendredi 13 ?"

De mal répondre à ces questions ne fait pas de ces personnes des machines, bien au contraire.

[Médiat]

phrase 1: des humains répondraient de nombreuses façons différentes: "Cat is written with three letters", "Cat has four letters", ou "je ne connais pas l'anglais"

Je viens de démontrer que Faith est un bot . La bonne traduction est : "Chat" is written with four letters.

Dans la même série basée sur la traduction :
Traduire en anglais : "Bonjour est une contrepèterie : Bonjour/Bourgeon".

[gillesh38]

Mais même sans imaginer une armée de programmeur. Ta vision du test ne marche pas. Tu veux détecter une machine à partir des erreurs d'analyse qu'elle fait sur une phrase ou un dialogue. Avec ce type de critère tu vas ranger la moitié de la population dans la catégorie des machines.

Je te donne des exemples aux quels nous nous sommes tous fait avoir quand nous étions gamins:

"quel est la couleur du cheval blanc d'henry IV"
"qu'est ce qui est le plus lourd, un kilo de plomb ou de plumes"

pas tout à fait d'accord. Un humain peut donner une réponse fausse, alors qu'un ordinateur pour le moment ne comprend même pas le sens de la question, et ne peut simplement pas y répondre. Bien sur actuellement il est extremement facile de poser des questions auxquelles un ordinateur ne peut pas répondre, mais selon moi le fait d'inclure une consigne dans la question interdit pratiquement de "tricher" par des reconnaissances automatiques .

Cordialement

Gilles

[shahinshah]

Bonjour,

Pensez vous facile de programmer un ordinateur pour qu'il reponde correctement à ce genre de phrase, portant sur une demande sur l'énoncé de la question lui même?(ce qui suppose a mon avis qu'il en comprenne REELLEMENT le sens)

Bienvenu dans le monde des énoncés autoréférents. Je propose celui-ci, tout à fait extrême :
Humain :- Cher ordinateur, définis-moi le plus petit entier naturel qui ne puisse être défini en moins de vingts mots.
Ordinateur :- .....

Je ne pense pas qu'il soit logiquement impossible à une machine de manipuler des énoncés autoréférents, certains vieux langages de programmation comme le LISP le permettent déjà. Mais :
1) il faut que l'énoncé soit "effectif". Or "effectif" signifie qu'il obéit à la thèse de Church-Turing...
2) on n'atteint pas la subtilité du langage humain.

Or je voudrais en venir à ce qui me semble être une faiblesse du test de Turing, et aussi de ses attaques. Ce test a été élaboré à une époque où on commençait à peine à comprendre les principes fondamentaux de communication.
Et même de nos jours, à part les informaticiens, et parmi eux surtout les spécialistes de communication et de réseaux, rares sont ceux qui ont bien compris qu'une entité ne peut communiquer par un protocole quelconque avec une autre entité que si celle-ci met en oeuvre une couche de traitement de ce protocole homologue à la première.
Le mot protocole est quasi-synonyme de langage.
On aboutit ainsi à la notion de couche de protocoles, ou couche de langages. Une couche ne peut discuter qu'avec une couche homologue.

Ce que je dis peut paraître trivial, mais j'ai l'impression que nombre d'incompréhensions disparaîtraient si on avait cette histoire de couche de langages à l'esprit.

Ainsi, pour qu'un ordinateur et un être humain communiquent, ils doivent disposer d'une couche de langage commune.
Là où les choses se compliquent, c'est que ce qu'on appelle le langage humain est en réalité un empilement de couches qui constitue le sens ou le contexte.
Par exemple, il est impossible de comprendre un livre de philosophie si on ne comprend pas le langage de la philosophie. Pourtant ce langage s'exprime bien avec le vocabulaire de la langue française classique.

Si les ordinateurs n'arrivent pas à saisir toutes les subtilités du langage humain, ce n'est pas une limitation intrinsèque de leur part, c'est une limitation intrinsèque de la compréhension que nous éprouvons à l'égard du langage humain.

Pour s'en convaincre, il suffit d'examiner la difficulté des linguistes qui étudie une langue peu commune (mais toujours vivante). Ils ne peuvent pas demander à un locuteur de cette langue pourquoi on emploie telle tournure plutôt qu'une autre : le locuteur, généralement n'en sait rien, si ce n'est que "ça ne se dit pas". C'est aux linguistes d'essayer de comprendre la représentation mentale que se font les locuteurs de cette langue par rapport à leur environnement.

[spi100]

pas tout à fait d'accord. Un humain peut donner une réponse fausse, alors qu'un ordinateur pour le moment ne comprend même pas le sens de la question, et ne peut simplement pas y répondre. Bien sur actuellement il est extremement facile de poser des questions auxquelles un ordinateur ne peut pas répondre, mais selon moi le fait d'inclure une consigne dans la question interdit pratiquement de "tricher" par des reconnaissances automatiques .

Cordialement

Gilles

Extraire un graphe de concepts de façon automatique, est quelque chose de bien maitriser maintenant. Sur des phrases d'une dizaine de mots, du langage courant, le taux d'erreur est extrêmement faible. Mais ce n'est pas pour autant que les bots intelligents sont pour demain.
Pourquoi ? Comprendre est une chose, savoir quoi répondre en est une autre, et c'est un problème infiniment plus complexe que la compréhension. Car elle implique la capacité de planifier des tâches et des buts, de manipuler des règles logiques et des connaissances, etc.
Pour le parallèle avec les humains, les individus ayant subit des lésions de l'aire de Broca peuvent être parfaitement capables de comprendre des phrases et des énoncés complexes, mais sont dans l'incapacité total de produire des réponses cohérentes.

[ginko]

J'ouvre ce nouveau fil suite à la discussion sur l'intelligence artificielle, en particulier sur le Test de Turing.

Je vous propose la question type suivant à poser à un ordinateur qui passerait le Test de Turing:

"Repete moi la phrase suivante en inversant les mots".

Il faut qu'il rende la réponse comme un etre humain, bien sur :


"Mots les inversant en suivante phrase la moi repete".

Pensez vous facile de programmer un ordinateur pour qu'il reponde correctement à ce genre de phrase, portant sur une demande sur l'énoncé de la question lui même?(ce qui suppose a mon avis qu'il en comprenne REELLEMENT le sens)

pensez vous que les ordinateurs actuels puissent le faire ? (bien sur il ne s'agit pas de cette demande connue à l'avance, on peut inventer des variantes, a priori inconnues du programmeur : supprimer un mot sur deux, une lettre sur deux, les voyelles, etc... : un test de Turing doit porter sur n'importe quoi de faisable par un humain )

Pensez vous qu'ils pourront un jour le faire? a quelle échéance?

avez vous une idée de la ligne générale pour y arriver?

Bonsoir,

je vais commencer par la fin :je pense que les ordinateurs seront un jour capable de répondre à ce genre de question pour la simple et bonne raison qu'ils réfléchiront comme nous. A part bien sur si on s'interdit de construire de telles AI. En effet aujourd'hui on sait programmer des "cellules" logicielles capable de mimer le fonctionnement d'un neurone. Des petites AI ont ainsi était programmées mais la puissance de calcul requise est très importante. Seulement au rythme où l'on progresse actuellement en terme de puissance de calcul, la puissance requise pour animer un cerveau logiciel de type humain sera disponible un jour. On a donc plus qu'à mimer un cerveau humain pour obtenir une AI qui si elle est bien élevée sera indiscernable d'un humain.

Bien sur, c'est pas pour demain!

Par contre je ne suis pas programmeur, donc je n'ai aucune idée de ce que l'on peut vraiment arriver à faire avec un PC standard actuel mais j'avais lu quelque part qu'un bot était déjà parvenu à tromper une grande partie d'un jury qui avait d'ailleurs inversement confondu pas mal d'interlocuteurs humain avec des bots... mais je pense qu'avec ce type de question "autoréférente" on peut arriver à discerner un bot actuel.

[azoth]

Petite parenthèse dans vos discussions oh combien intéressantes: ça me fait penser à un film de SF dans lequel un des héros communique avec une personne par l'intermédiaire de liaison vidéo.
Un jour quelqu'un lui dit: mon pauvre vieux, c'est une machine qui est au bout (je traduis librement). Mais non, mais si, mais non...
Bref le quelqu'un lui dit: hé bien demande lui de se retourner.
Ce que fait le dit héros. Au début la personne sur l'écran tergiverse, élude, puis devant l'insistance de l'interlocuteur elle s'exécute.
Et on voit l'image de la personne qui tourne doucement sur elle-même pour se retrouver la tête en bas.
Fin parenthèse.

[gillesh38]

très bonne illustration de la polysémie même sans changement de rôle grammatical des mots comme dans les phrases proposées par Spi100

Cette polysémie ne peut etre levée que par l'expérience des sensations concrètes. Bien evidemment, si on avait demande de retourner un sablier, cette fois c'est le retournement autour d'un axe vertical qui aurait été absurde. Mais comment un ordinateur pourrait-il le savoir sans savoir à quoi sert un sablier?