Alphazéro vs Homme : l'IA semi-forte ?

[_Goel_]

Bonjour,

Pour moi, AlphaZéro a passé un cap énorme : produire une analyse intelligente sans données d'entraînement externe.
On peut donc définir une "vitesse d'apprentissage" intrinsèque (qui dépend juste de la machine).
Les courbes montrées par Google sont classique d'un apprentissage.
En temps absolu, en 1 jour, AlphaZéro bat n'importe quel humain. mais il aura fait en qques minutes plus de parties que n'importe quel humain.
Que donneraient les courbes de progression et les résultats si on comptait la durée d'apprentissage en parties jouées ? (ex : au bout de 1000 parties, que vaut alpha zéro par rapport à un humain qui aurait joué 1000 parties ?)
Si on compte le nombre de parties qu'à joué alpha zéro par rapport à Lee Seydol pour atteindre son niveau (100 000) et qu'on considère que le champion du monde en a joué environ 10 000 à son âge, peut-on considérer qu'Alphazéro est relativement 10x moins rapide à apprendre qu'un homme surdoué ?

Ma vraie question : peut-on considérer cette vitesse d'apprentissage comme une bonne évaluation du niveau d'intelligence sur une activité spécifique ?

@+
-----

[invite23cdddab]

AlphaZero n'a pas eu besoin de 100.000 parties pour atteindre le niveau de Lee Sedol, mais de beaucoup plus.

100.000, c'est le nombre de learning step, mais chaque learning step est composée de 4096 parties


Dans tout les cas, ça n'est pas comparable, le mécanisme d'apprentissage est différent

[invite7070fa42]

Bonjour,

même sans être connaisseur la question est très pertinente vu d'ici.

J'ai d'abord était scié par la différence du nombres de parties nécessaires chez l'humain et chez Alphazéro.

Mais l'homme n'a t'il pas un avantage sur la machine? Nous sommes habitués à des concepts comme aller en ligne droite ou en diagonale depuis notre enfance.
La passation des connaissances permet l'apprentissage des bons réflexes aux débutants: initiation par des joueurs plus expérimentés, livres... cela réduit donc le nombre de partie nécessaire à l'apprentissage.

Alors qu'Alphazéro part de zéro non?

[_Goel_]

mais chaque learning step est composée de 4096 parties

ah oui, quand même !!!!
Donc pour le coups la vitesse "relative" d'apprentissage d'AlphaZéro n'est pas si grande, voire faible. Mais même si nous ne fonctionnons pas de la même manière, pourquoi cette analogie ne marche pas ?

[A voir en vidéo sur Futura]

[Archi3]

La différence essentielle me semble etre qu'une machine est incapable d'apprendre une règle simple en langage humain, ce que peut faire un joueur de go, ce qui lui économise un paquet de parties à jouer avant de les retrouver par lui même.
C'est même justement pour ça que les IA ne sont pas "fortes", elles ne comprennent pas le sens du langage, et si elles le manipulent, ce n'est que comme une base de données statistiques (elles savent que si on leur pose la question "comment ça va", elles doivent répondre un truc du genre "bien et vous" mais elles n'ont aucune idée de ce que veut dire "aller bien" ou "aller mal" ). Par conséquent elles sont totalement incapables d'apprendre un jeu simple qu'un enfant de 5 ans peut comprendre en 15 secondes du genre : on va jouer à un jeu, on dit une phrase et on répète juste le dernier mot. Allez je commence commence.
Manque de pot l'intelligence dans la vie quotidienne est justement faite de ces instructions simples en langage humain - précisément ce qu'elles sont incapables de comprendre, et il n'y a aucun signe qu'elles le soient prochainement, malgré toutes les billevesées sur la "singularité"...

[invite59a83405]

Sujet passionnant sur ce qu'est l'intelligence et sur ce que l'on pourrait définir comme l'intuition.

L'intuition permet à l'homme de construire une réflexion sans que celle ci s'appuie sur une analyse systématique des différentes possibilités.

Concernant la singularité, je pense qu'un jour prochain (= que l'on verra de notre vivant) des ordinateurs réunis en réseau pourront reproduire l'architecture du cerveau humain. Ce jour là, je ne sais pas ce qui se passera mais comme je crois qu'il n'y a pas de part divine dans le cerveau humain en conséquence il n'y a pas de raisons pour qu'une machine représentant exactement la même configuration que le réseau de neurone de l'humain ne soit pas en mesure d'avoir un fonctionnement similaire. Cela pose bien sur des questions médicales (comment copier l'état de tous les neurones d'un cerveau dans une machine), des questions légistalitives et de bio-éthiques (si la machine accède à la conscience, quelles sont alors ses droits et ses devoirs).

Passionnant. Hâte de vous lire.

Antoine

[_Goel_]

La différence essentielle me semble etre qu'une machine est incapable d'apprendre une règle simple en langage humain, ce que peut faire un joueur de go, ce qui lui économise un paquet de parties à jouer avant de les retrouver par lui même.

Ben justement, j'ai l'impression qu'on dit la même chose "l'IA est plus lente parce que..." mais cette lenteur relative peut elle être considérée comme un bon étalon de l'état d'avancement du développement de l'IA ? Justement ton commentaire corrobore plus ma pensée (=oui) que l'inverse !

@verhaeghe : oulà... on va pas s'embêter à reproduire exactement le cerveau et ses contraintes si on peut faire plus simple et plus efficace !

PS : dernière avancée : l'IA d'Alibaba vient de battre les hommes à la compréhension du langage naturel. L'homme n'arrivant que... 3ème (derrière l'IA de Microsoft). J'ai vraiment l'impression que les "Est-ce que" autour de l'IA vont se transformer en "Quand...".

[pm42]

l'IA d'Alibaba vient de battre les hommes à la compréhension du langage naturel.

Ce qui n'est pas du tout contradictoire avec les affirmations qu'on lit ici ? En général étayées par de brillants raisonnements ?

[inviteef2ff547]

Il faut relativiser ce résultat.

Il s'agit - dans un paragraphe d'une dizaine de lignes - de répondre à des questions ouvertes dont les réponses ne nécessite aucun contexte extérieur.
C'est grosso-modo de la compréhension de texte, et il est vrai qu'une partie importante des collégiens n'y arrive pas. Mais ce n'est pas un résultat absolument fantastique.

En particulier, parce qu'il ne permet pas d'aborder l'une des limitations actuelles des IA sur tous ce qui est traitement de texte : la taille de l'entrée.
Elles ne sont pas - encore ? - capable de se balader dans un texte bien plus grand que leurs entrées pour trouver l'information utile.

[pm42]

.
Elles ne sont pas - encore ? - capable de se balader dans un texte bien plus grand que leurs entrées pour trouver l'information utile.

Ah bon ? Des références ?

[Archi3]

Ce qui n'est pas du tout contradictoire avec les affirmations qu'on lit ici ? En général étayées par de brillants raisonnements ?

non ce n'est pas contradictoire. Ressortir des éléments de langage d'une base de donnée n'est pas du tout la même chose que comprendre une instruction et l'appliquer. Le test fait ici n'a rien à voir avec celui que je proposais (comprendre la règle d'un jeu simple en langage humain et l'appliquer ensuite). Là , l'humain battrait la machine 100 à zéro. Essayez de dire à Siri ou à n'importe quel assistant vocal "peux tu arrêter de me répondre pendant 10 minutes stp ?" . (Sauf si bien sur un programmeur pense à programmer explicitement la réponse à cet ordre, mais il sera facile d'en trouver d'autres du même genre qu'il ne comprend pas !).

[pm42]

Essayez de dire à Siri ou à n'importe quel assistant vocal "peux tu arrêter de me répondre pendant 10 minutes stp ?" .

Ah, tu confonds Siri avec ce qu'on sait faire en IA aujourd'hui.
Ceci explique pas mal de choses.

Pour le reste et comme d'hab, on attend des références qui dépasse le "moi je pense que".

[Archi3]

Ah, tu confonds Siri avec ce qu'on sait faire en IA aujourd'hui.
Ceci explique pas mal de choses.

Pour le reste et comme d'hab, on attend des références qui dépasse le "moi je pense que".

bah alors donne moi une référence d'une IA qui sait le faire, pour nier une affirmation il suffit d'exhiber un contre exemple !

et le "moi je pense que", on le trouve partout

Concernant la singularité, je pense qu'un jour prochain (= que l'on verra de notre vivant) des ordinateurs réunis en réseau pourront reproduire l'architecture du cerveau humain.

J'ai vraiment l'impression que les "Est-ce que" autour de l'IA vont se transformer en "Quand...".

[inviteef2ff547]

Alors sur le test

Ah bon ? Des références ?

Alors sur le texte de lecture de Standford, il s'agit à partir d'un paragraphe, d'extraire l'information utile. Par exemple :

The 1973 oil crisis began in October 1973 when the members of the Organization of Arab Petroleum Exporting Countries (OAPEC, consisting of the Arab members of OPEC plus Egypt and Syria) proclaimed an oil embargo. By the end of the embargo in March 1974, the price of oil had risen from US$3 per barrel to nearly $12 globally; US prices were significantly higher. The embargo caused an oil crisis, or "shock", with many short- and long-term effects on global politics and the global economy. It was later called the "first oil shock", followed by the 1979 oil crisis, termed the "second oil shock."

l'IA doit répondre à des questions du genre : "When did the 1973 oil crisis begin?". Si les IA ont bon à cette question (réponse attendue "october 1973"), MS et Alibaba répondent 3$ à la deuxième ("What was the price of oil in March of 1974?".


C'est d'autant plus rigolo, que la traduction du paragraphe via google translate est parfaite (sans contre sens).

La crise pétrolière de 1973 a commencé en octobre 1973 lorsque les membres de l'Organisation des pays arabes exportateurs de pétrole (OAPEC, composée des membres arabes de l'OPEP plus l'Égypte et la Syrie) ont proclamé un embargo pétrolier. À la fin de l'embargo, en mars 1974, le prix du pétrole était passé de 3 dollars le baril à près de 12 dollars dans le monde; Les prix américains étaient significativement plus élevés. L'embargo a provoqué une crise pétrolière, ou «choc», avec de nombreux effets à court et à long terme sur la politique mondiale et l'économie mondiale. Il a été appelé plus tard le «premier choc pétrolier», suivi de la crise pétrolière de 1979, appelée «second choc pétrolier».

[pm42]

Alors sur le texte de lecture de Standford, il s'agit à partir d'un paragraphe, d'extraire l'information utile. Par exemple :

Effectivement, trouver 1 erreur dans un test où une IA vient justement de battre les humains prouve qu'elles ne sont pas capable de naviguer dans des textes plus grands

Chaque fil sur l'IA est hilarant et je pense que dans les années à venir, cela va l'être de plus en plus

[Archi3]

pm42, toi qui as l'air de vraiment t"y connaitre, tu vas peut etre pouvoir nous dire où trouver une IA qui ne provoque pas l'ire de M. Yann Le Cun ?

http://www.lemonde.fr/pixels/article...1_4408996.html

(apparemment le tweet "rédigé par l'IA" n'a fait que l'exaspérer encore plus !!)

[inviteef2ff547]

@pm42 Je m'excuse, je pensais que tu voulais qu'on t'apporte des éléments précis pour justifier le fait que l'article de 01 cité en référence faisait dire au test de Stanford sensiblement plus que ce qu'il prouvait. ################

[_Goel_]

C'est moi, ou on s'est éloigné de ma question sur "la vitesse d'apprentissage peut-elle être considérée comme une estimation intéressante du degré d'intelligence d'une IA"
(pour éviter les dérives sémantiques inutiles, je précise que dans "mon" contexte : intelligence = capacité à résoudre un pb non explicitement programmé)

Parler de la capacité des chatbots à simuler l'intelligence est assez complexe car ahma il n'existe pas construction permettant de sortir une courbe de progression. D'ailleurs, est-ce suffisant pour dire que parler de l'IA des chatbots est inutile et vide de sens ?

[PS : mea culpa pour mon exemple qui était très éloigné du contexte de ma question]

[invite452d5a24]

Salut,

Ah, tu confonds Siri avec ce qu'on sait faire en IA aujourd'hui.
Ceci explique pas mal de choses.

On attend des références qui dépasse le "moi je pense que".

Merci.

[JPL]

Ce que tu viens de dire n’a aucun rapport avec le message que tu cites. Attention, ici et ailleurs tu passes en mode agressif. Pour le moment je l’écris en noir mais fais attention, ne me donne pas l’occasion de l’écrire en vert, cela aurait des conséquences.

[Archi3]

ce qui est curieux avec pm42, c'est qu'il reconnait qu'il n'y a pas d'IA forte , alors qu'il s'énerve quand on fait remarquer que les IA actuelles ne savent pas apprendre en appliquant des règles expliquées en langage humain (ce qui est beaucoup plus rapide que de tout devoir retrouver par soi même, ça s'appelle "l'éducation" !) . Mais bien évidemment une IA qui saurait appliquer des règles en langage humain, ce serait une IA forte, donc c'est deux manière de dire exactement la même chose !

Une IA forte, c'est une IA qui n'aurait plus besoin d'aucun "programmeur", juste des éducateurs.

[Archi3]

D'ailleurs Turing s'est un peu loupé sur son test a mon avis (mais on peut lui pardonner vu tout ce qu'il a fait à coté!). Au lieu de demander de pouvoir tenir une conversation en langage humain, ce qui s'est révélé finalement etre assez facilement simulable par des IA "faibles" , il aurait mieux fait de demander qu'une IA soit capable de comprendre et d'appliquer des règles d'un jeu simple expliqué en langage humain. C'est autrement plus compliqué, et à ma connaissance aucune IA ne sait faire le moindre début de ça. La "singularité" n'est pas pour demain !

[pm42]

Turing contre Archi3...

Bon, ok, Turing s'est un peu raté et son test est trop facile et Archi3 a inventé mieux.
Mais on peut lui pardonner...

De plus en plus rigolo

[pm42]

Blague à part, Turing n'a jamais limité le genre de questions qu'on peut poser à l'ordinateur et n'a jamais ramené son test à une simple simulation de conversation.
Au contraire, l'expérimentateur doit poser des questions qui lui permettent de déterminer si c'est un humain ou un ordinateur en face.

Lui donner des instructions simples pour jouer à des jeux et voir si cela marche fait donc partie du test. Dans le papier original, Turing en donne même un exemple.

Donc le test proposé par Archi3 comme supérieur est juste un sous-ensemble du test de Turing.

Je maintiens que l'IA dépassera bientôt si ce n'est pas déjà fait l'intelligence de certains humains. Les fils de FS sur le sujet suffisent à le prouver

[invite6c250b59]

Ma vraie question : peut-on considérer cette vitesse d'apprentissage comme une bonne évaluation du niveau d'intelligence sur une activité spécifique ?

C'est tres joli comme idee. D'un point de vue technique un apprentissage profond c'est une marche dans un espace de tres haute dimension. Une caracteristique notable de ces espaces, c'est qu'ils sont beaucoup plus grands que ce que notre intuition percoit. Une consequence est que, en termes relatifs a la quantite de points possibles, l'etat final apres apprentissage n'est jamais tres tres loin de l'etat initial aleatoire.

Dans ce contexte cela fait effectivement beaucoup de sens de definir le niveau d'intelligence de cette facon. En termes pratiques cela voudrait dire qu'alphazero devrait etre considere comme d'un niveau d'intelligence tres inferieur a l'equivalent logiciel d'un humain (pour les raisons expliquees par Tryss2), avec donc une distnction entre l'intelligence et la performance. C'est un point de vue seduisant, et potentiellement fecond.

PS pour Archi: google 'turing test paper pdf', c'est disponible en acces libre

[Archi3]

Blague à part, Turing n'a jamais limité le genre de questions qu'on peut poser à l'ordinateur et n'a jamais ramené son test à une simple simulation de conversation.
Au contraire, l'expérimentateur doit poser des questions qui lui permettent de déterminer si c'est un humain ou un ordinateur en face.

Lui donner des instructions simples pour jouer à des jeux et voir si cela marche fait donc partie du test. Dans le papier original, Turing en donne même un exemple.

Donc le test proposé par Archi3 comme supérieur est juste un sous-ensemble du test de Turing.

j'avoue ne pas avoir lu le papier de Turing. Et est ce qu'une seule machine a une seule fois passé avec succès un test de ce genre ?

[pm42]

Dans ce contexte cela fait effectivement beaucoup de sens de definir le niveau d'intelligence de cette facon. En termes pratiques cela voudrait dire qu'alphazero devrait etre considere comme d'un niveau d'intelligence tres inferieur a l'equivalent logiciel d'un humain (pour les raisons expliquees par Tryss2), avec donc une distnction entre l'intelligence et la performance. C'est un point de vue seduisant, et potentiellement fecond.

On peut aussi le voir comme une variante de ce que développe Yann le Cun sur le fait que les humains sont capables d'apprendre à partir de très peu d'exemples et relativement rapidement une grande variété de situation comparé aux IAs.

Une objection est toutefois de faire remarquer qu'on fait un échange classique en informatique : on utilise la vitesse des ordinateurs pour travailler différemment des humains et atteindre une efficacité qui elle même va être meilleure sur certains critères et moins bonne sur d'autres.

Par exemple, pour le Go, on peut en effet dire qu'un humain va apprendre et éventuellement exceller sur largement moins de partie qu'AlphaZéro.
Mais si on prend en compte le temps pour former un adulte capable de comprendre les règles, les générations pour arriver au niveau actuel de maitrise du jeu, la sélection sur un grand nombre d'humains pour avoir un champion qui lui même devient très spécialisé, c'est moins clair.

Je ne dis pas qu'il y a équivalence. Je dis juste que ce genre de comparaison peut être faite sur de multiples critères, que chacun d'eux peut avoir un coefficient variable et qu'on peut donc arriver facilement à des conclusions très différentes.

[Archi3]

Je maintiens que l'IA dépassera bientôt si ce n'est pas déjà fait l'intelligence de certains humains. Les fils de FS sur le sujet suffisent à le prouver

c'est facile à condition de définir l'intelligence à ta manière (par exemple etre capable d'inverser de tete une matrice 4x4). Après vu que je n'ai vu aucune IA tenir le moindre dialogue sur un fil de FS, je ne vois vraiment pas en quoi leur lecture "suffit à prouver" quoi que ce soit sur le sujet. A moins que tu n'aies eu des conversations ailleurs avec une IA, autrement enrichissantes que celles que tu as sur le forum ? dans ce cas, merci d'en faire profiter tout le monde, ce qui suffira amplement à prouver au monde entier que moi et d'autres ne disent que des sottises, comme tu sembles le sous entendre !

[pm42]

. Après vu que je n'ai vu aucune IA tenir le moindre dialogue sur un fil de FS, je ne vois vraiment pas en quoi leur lecture "suffit à prouver" quoi que ce soit sur le sujet.

C'était de l'humour. Note que les IA sont assez bonnes pour le détecter elles donc merci d'illustrer mon point de vue.
P.S : c'est encore de l'humour.

##############

[invite452d5a24]

Bonjour,

Je maintiens que l'IA dépassera bientôt si ce n'est pas déjà fait l'intelligence de certains humains. Les fils de FS sur le sujet suffisent à le prouver

Comme celui là ?

Des avancées significatives ont été obtenues ces dernières années dans le domaine de la vie artificielle, mais nous sommes encore loin des entités algorithmiques autonomes qui permettraient une véritable utilisation à large échelle. (source futura)