Y-a-t'il des experts en IA sur FS

[fred3000gt]

Hello,

Je serais intéressé de savoir ce que les experts parmi vous, s'il y en a, pensent ce que sont les voies les plus prometteuses en IA pour faire une machine qui pense (i.e. qui passe -sérieusement- le test de Turing). Je précise que je connais bien ce domaine (plutot centré sur les spiking neurons, reseaux récurrents et programmation génétique), le but est ici de partager des points de vue de manière différente à l'approche standard publi/conférence. Par exemple il y a des approches que je n'ai jamais pratiquées et qui méritent peut-être le détour (echo state neworks, cartesian genetic programmimg, evolution in materio, etc...)

Merci!
-----

[pm42]

S'il y a ici quelqu'un avec ce degré d'expertise, il se cache bien physique toutes les discussions sur le sujet se ramènent à des arguments de neurologie, philosophie, etc.
Je n'ai jamais vu personne par exemple parler d'algorithme génétique.

Ceci dit, FS a comme vocation la vulgarisation et je doute que ce soit l'endroit où avoir un débat à ce niveau technicité.
Un forum spécialisé IA doit être plus adapté.

[fred3000gt]

Merci c'est sympa d'avoir répondu! Bah, je m'en doutais un peu, mais fallait essayer
Je n'ai jamais trouvé de Forum IA (fréquenté....), mais je vais chercher à nouveau...

[Paradigm]

Bonjour fred3000gt, bonjour à tous

Les voies les plus prometteuses en IA pour faire une machine qui pense (i.e. qui passe -sérieusement- le test de Turing).

Vous avez un article "Vers une théorie de l'intelligence" de Jean-Paul Delahaye qui mentionne que pour l'instant le test complet de Turing n'est toujours pas passé.

Les références bibliographiques de l'article peuvent donner des pistes de recherche dans le domaine.

Cordialement,

[A voir en vidéo sur Futura]

[Amanuensis]

Par ailleurs il me semble que l'idée du test de Turing est un peu dépassée, maintenant. Et ensuite, la notion de "machine qui pense" est clairement une idée floue, pas besoin d'être expert pour dire cela.

[invite6c250b59]

les voies les plus prometteuses en IA pour faire une machine qui pense (i.e. qui passe -sérieusement- le test de Turing).

Perso le plus prometteur me semble, du point de vue algorithmique, une combinaison de réseaux profonds activés par des réseaux récurents de type LSTM. Actuellement alphago est possiblement ce qui s'en rapproche le plus, avec des moteurs séquentiels activant trois réseaux profonds selon des règles fixées à l'avance (variante de Monte-Carlo). Du point de vue hardware, je crois que cela passera par le développement d'architectures spécifiques proches du GPU (mais c'est probablement déjà fait).

Du point de vue de la discussion, je serais très intéressé de t'écouter sur les possibilités/limites des LSTMs&affiliés, que je connais assez peu.

Concernant le genetic programming, bof. J'ai pas mal joué avec (ainsi qu'avec l'apprentissage hebbien), et en bout de ligne mon intuition est que ce sont des méthodes d'apprentissage intéressantes en soi, parfois plus jolies ou plus proches de la réalité biologique que la rétropropagation, mais je ne pense pas qu'il y ai des éléments fonctionnels indispensables à découvrir en explorant ces variantes. Bien sur je suis intéressé, si ton opinion est différente, à comprendre ce que tu y vois.

[fred3000gt]

Bonjour fred3000gt, bonjour à tous


Vous avez un article "Vers une théorie de l'intelligence" de Jean-Paul Delahaye qui mentionne que pour l'instant le test complet de Turing n'est toujours pas passé.

Les références bibliographiques de l'article peuvent donner des pistes de recherche dans le domaine.

Cordialement,

Merci, c'est un peu trop généraliste, mais je n'ai pas regardé les références je dois dire

Je dois dire que qu'il intéressant de noter qu'il y a sur FS plusieurs personnes qui semblent avoir de solides compétences en physique, mais si peu en IA.

Par ailleurs il me semble que l'idée du test de Turing est un peu dépassée, maintenant. Et ensuite, la notion de "machine qui pense" est clairement une idée floue, pas besoin d'être expert pour dire cela.

Je ne comprends pas pourquoi ce test est dépassé....maintenant au jour le jour on est malheureusement peu confronté à ce test

c'est plutot des problematiques d'apprentissage, de temps de convergence, d'instabilité ou tout simplement de bug, de scalabilité, de valeurs statistiques des expériences...

Et, en matière de recherche fondamentale (je ne parle pas des applications ponctuelles) ces efforts durent depuis plus de 25 ans sur des problèmes basiques d'automatisme (pendule inversé par exemple) ou de classification (XOR ou autre), sans que l'on ait vu de grandes percées décisives (je ne pense pas qu'un algo d'apprentissage comme la backprop pour des réseaux de topologie et de dynamique hyper spécifiques comme les multicouches en soit une).

[pm42]

Les grandes théories physiques ont plusieurs décennies, on commence leur enseignement dès le post-bac, etc.
Et la physique moderne elle même remonte en gros à Galilée.

L'IA est loin d'avoir cette histoire et cet enseignement. Ceci explique cela.

Pour le test de Turing, je suis d'accord avec toi. Il y a des articles intéressants sur ses limites, des améliorations ou alternatives proposées mais il reste toujours aussi intéressant.
Mais ici tu as avoir beaucoup d'avis de gens qui ne connaissent pas l'IA du tout mais ont des avis tranchés.

[fred3000gt]

Les grandes théories physiques ont plusieurs décennies, on commence leur enseignement dès le post-bac, etc.
Et la physique moderne elle même remonte en gros à Galilée.
L'IA est loin d'avoir cette histoire et cet enseignement. Ceci explique cela.

Je suppose que c'est cela la cause en effet, bien qu'il faut réaliser que certaines branches d'IA à la mode comme le connexionisme, le neuromimétisme (et à la différence de la logique formelle, logique floue, réseaux bayésiens, etc.. qui sont plus velus), me semblent demander bien moins de compétences et je dirais même d'intelligence que la méca Q.

Mais ici tu as avoir beaucoup d'avis de gens qui ne connaissent pas l'IA du tout mais ont des avis tranchés.

Bon d'accord... Ca ne va pas faire avancer le shmilblick

[inviteded9355b]

Pour le test de Turing, je suis d'accord avec toi. Il y a des articles intéressants sur ses limites, des améliorations ou alternatives proposées mais il reste toujours aussi intéressant.
Mais ici tu as avoir beaucoup d'avis de gens qui ne connaissent pas l'IA du tout mais ont des avis tranchés.

Il y a beaucoup de spécialistes qui pensent que le test de Turing n'a rien à voir avec l'intelligence artificielle. De fait, quand on entend parler d'un programme "qui passe le test de Turing", le programme en question n'a jamais rien à voir avec une machine qui pense. A contrario, quand on parle de progrès dans le domaine de l'IA, le test de Turing est rarement concerné, et la création de machines qui pensent est de rarement visée.

[invite6c250b59]

tu as avoir beaucoup d'avis de gens qui ne connaissent pas l'IA du tout mais ont des avis tranchés.

certaines branches d'IA à la mode comme le connexionisme, le neuromimétisme (et à la différence de la logique formelle, logique floue, réseaux bayésiens, etc.. qui sont plus velus), me semblent demander bien moins de compétences et je dirais même d'intelligence que

Vos posts sont insultants et puants d'arrogance. Si vous souhaitiez tuer d'avance toute discussion sérieuse, bravo c'est efficace.

Il y a beaucoup de spécialistes qui pensent que le test de Turing n'a rien à voir avec l'intelligence artificielle.

Cela m'intéresse, car je n'en connais aucun avec cette opinion. Pourrais-tu citer ceux auxquels tu penses?

[inviteded9355b]

Cela m'intéresse, car je n'en connais aucun avec cette opinion. Pourrais-tu citer ceux auxquels tu penses?

Bon, ok, "rien à voir avec l'intelligence artificielle", c'est un peu exagéré. Disons plutôt que la capacité à passer le test de Turing n'a pas grand chose à voir avec le niveau d'intelligence du programme. AlphaGo représente un bien plus grand progrès que Eugene Goostman.

[Amanuensis]

Je ne comprends pas pourquoi ce test est dépassé...

Le problème est que "test de Turing" n'a pas une signification fixe et consensuelle. Je parlais du test tel que décrit à l'origine, par Alan Turing, c'est à dire le "imitation game".

D'un autre côté ce n'est pas vraiment intéressant de discuter à ce niveau, les controverses de base sur le sujet sont décrites dans les encyclopédies grand public.

[Amanuensis]

Cela m'intéresse, car je n'en connais aucun avec cette opinion.

Peut-être parce que "spécialiste" dans le domaine signifie, en particulier, "qui étudie le test de Turing en relation avec l'intelligence artificielle" ?

[fred3000gt]

Perso le plus prometteur me semble, du point de vue algorithmique, une combinaison de réseaux profonds activés par des réseaux récurents de type LSTM. Actuellement alphago est possiblement ce qui s'en rapproche le plus, avec des moteurs séquentiels activant trois réseaux profonds selon des règles fixées à l'avance (variante de Monte-Carlo). Du point de vue hardware, je crois que cela passera par le développement d'architectures spécifiques proches du GPU (mais c'est probablement déjà fait).

Du point de vue de la discussion, je serais très intéressé de t'écouter sur les possibilités/limites des LSTMs&affiliés, que je connais assez peu.

Concernant le genetic programming, bof. J'ai pas mal joué avec (ainsi qu'avec l'apprentissage hebbien), et en bout de ligne mon intuition est que ce sont des méthodes d'apprentissage intéressantes en soi, parfois plus jolies ou plus proches de la réalité biologique que la rétropropagation, mais je ne pense pas qu'il y ai des éléments fonctionnels indispensables à découvrir en explorant ces variantes. Bien sur je suis intéressé, si ton opinion est différente, à comprendre ce que tu y vois.

Intéressant, j'avais raté ton post.

Je n'ai jamais programmé de LSTM donc je ne connais pas vraiment, pour ce que j'en connais, il me semble que c'est trop "over engineered", et j'ai les mêmes craintes sur les architectures combinant différents types de réseaux comme ceux que tu évoquent. En ce qui concerne Monte Carlo, je connais un peu la méthode, mais par contre j'ignorais totalement l'approche par arbre qui semble utilisée par AlphaGo. Ca ressemble à un cas particulier des arbres de Koza que j'ai extensivement utilisés avec la plateforme ECF. Je ne vois pas comment les mettre en oeuvre en dehors des jeux ou des séquences d'action discrètes, mais surtout ce n'est pas du connexionnisme, qui me semble plus prometteur (je peux argumenter ce point).

Tu parle de genetique programming et d'apprentissage avec la loi de Hebb, on est bien d'accord que ca n'a rien à voir bien sur?

Franchement la loi de Hebb avec toutes ces variantes (j'ai pas mal travaillé la variante avec l'egilibility trace), bah je n'y crois plus, ca ne marche jamais bien.

Ce que j'aime avec la programmation génétique (je parle pas d'algo genetique, on est bien d'accord hein?), c'est l'idée de laisser l'ordinateur faire tout l'engineering du systeme, et de limiter ainsi l'over-engineering (genre j'ajoute n couches la, un recurrent la, un spiking ici, etc... ca fait trop longtemps que les gens essayent, et je crois que c'est juste trop compliqué pour etre designé par un humain, en dehors bien sur des cas d'applications pratiques spécifiques). Pour l'instant on a pas mal utilisé la programmation génétique pour définir les fonctions d'activation de neurones, les méthodes de calcul pour l'apprentissage (avec les arbres de Koza) et beaucoup aussi LGP pour coder automatiquement les fonctions de transfert des neurones.

[invite6c250b59]

LSTM (...) donc je ne connais pas vraiment, pour ce que j'en connais, il me semble que c'est trop "over engineered"

Oui c'est probablement la réaction de tout le monde quand on regarde le bestiau en détail, mais les recherches récentes (ici et là, cités dans le lien donné précédemment) montrent que les différentes variantes ont des performances similaires -un peu comme l'apprentissage Hebbien qui, tout en étant moins efficace que la rétropropragation, à l'avantage de présenter un comportement robuste pour la plupart des variantes. Le second devrait t'intéresser particulièrement (exploration des variantes à l'aide d'un algorithme génétique).

, et j'ai les mêmes craintes sur les architectures combinant différents types de réseaux comme ceux que tu évoquent.

Ultimement c'est une question expérimentale, mais l'argument le plus fort est le même que le connexionnisme depuis ses débuts: le cerveau humain combine effectivement des réseaux à convolution et des réseaux récurrents (par exemple les générateurs de patron centraux), ce ne serait pas surprenant qu'une intelligence artificielle nécessite ce même type de structure fonctionnelle.

connexionnisme (...) me semble plus prometteur (je peux argumenter ce point).

STP

En ce qui concerne Monte Carlo, je connais un peu la méthode, mais par contre j'ignorais totalement l'approche par arbre qui semble utilisée par AlphaGo.

Ultraclassique pour les jeux à somme nulle. Pour les jeux vidéos la palme semble détenue par le DQN.

Franchement la loi de Hebb avec toutes ces variantes (j'ai pas mal travaillé la variante avec l'egilibility trace), bah je n'y crois plus, ca ne marche jamais bien.

Cela me parait prématuré de conclure cela sachant que la robustesse de la loi de Hebb pourrait devenir un avantage incontournable pour des réseaux de taille immense, et s'il y a une conclusion des récents progrès en deep learning c'est bien que la taille peut faire la différence (au moins pour les réseaux entraînés par rétropropagation) entre des performances modestes versus des performances dépassant les capacités humaines. Plusieurs exploits récents sont en fait attribuable aux bons vieils algorithmes des années 90, qu'on commence seulement maintenant à pouvoir utiliser sur de grandes bases de données. Cela dit, c'est vraiment par acquis de conscience (i.e. je partage ton intuition que ce n'est pas en cherchant du côté de la loi de Hebb qu'on trouvera la prochaine grande avancée)

Tu parle de genetique programming et d'apprentissage avec la loi de Hebb, on est bien d'accord que ca n'a rien à voir bien sur? (...)

Oui. Enfin, les deux sont des méthodes d'apprentissages, moins efficace que la rétropropagation pour l'optimisation mais avec d'autres avantages qui pourraient être décisifs quand les réseaux seront de taille plus conséquentes. Ou pas.

la programmation génétique (je parle pas d'algo genetique, on est bien d'accord hein?)

Non. Je n'ai aucune idée de la distinction que tu fais entre "programmation génétique" et "algorithme génétique".

[fred3000gt]

Oui c'est probablement la réaction de tout le monde quand on regarde le bestiau en détail, mais les recherches récentes (ici et là, cités dans le lien donné précédemment) montrent que les différentes variantes ont des performances similaires -un peu comme l'apprentissage Hebbien qui, tout en étant moins efficace que la rétropropragation, à l'avantage de présenter un comportement robuste pour la plupart des variantes. Le second devrait t'intéresser particulièrement (exploration des variantes à l'aide d'un algorithme génétique).


Ultimement c'est une question expérimentale, mais l'argument le plus fort est le même que le connexionnisme depuis ses débuts: le cerveau humain combine effectivement des réseaux à convolution et des réseaux récurrents (par exemple les générateurs de patron centraux), ce ne serait pas surprenant qu'une intelligence artificielle nécessite ce même type de structure fonctionnelle.


STP


Ultraclassique pour les jeux à somme nulle. Pour les jeux vidéos la palme semble détenue par le DQN.


Cela me parait prématuré de conclure cela sachant que la robustesse de la loi de Hebb pourrait devenir un avantage incontournable pour des réseaux de taille immense, et s'il y a une conclusion des récents progrès en deep learning c'est bien que la taille peut faire la différence (au moins pour les réseaux entraînés par rétropropagation) entre des performances modestes versus des performances dépassant les capacités humaines. Plusieurs exploits récents sont en fait attribuable aux bons vieils algorithmes des années 90, qu'on commence seulement maintenant à pouvoir utiliser sur de grandes bases de données. Cela dit, c'est vraiment par acquis de conscience (i.e. je partage ton intuition que ce n'est pas en cherchant du côté de la loi de Hebb qu'on trouvera la prochaine grande avancée)


Oui. Enfin, les deux sont des méthodes d'apprentissages, moins efficace que la rétropropagation pour l'optimisation mais avec d'autres avantages qui pourraient être décisifs quand les réseaux seront de taille plus conséquentes. Ou pas.


Non. Je n'ai aucune idée de la distinction que tu fais entre "programmation génétique" et "algorithme génétique".

Merci pour la réponse bien fournie!
Il faut que je prenne le temps de réfléchir pour te répondre, en particulier par rapport aux liens que tu as envoyés

Juste 2 points:
- mon argumentaire pro-connexioniste, en fait c'est exactement le même que celui que tu as donné.
- la programmation génétique c'est beaucoup plus radical que toute autre approche (au moins digitale): le source code du programme informatique dont on attend une fonction cognitive est écrit "au hasard", en mutant ou croisant les instructions. Tu peux voir sur wikipedia, par exemple Linear Genetic Programming (il y 2 autres approches), peut-etre que certains de mes arguments précédents prendront un sens différent pour toi sachant la particularité de cette approche.

[pm42]

Vos posts sont insultants et puants d'arrogance. Si vous souhaitiez tuer d'avance toute discussion sérieuse, bravo c'est efficace.

J'ai un peu de mal à voir pourquoi. On a effectivement ici les posts habituels sur le test de Turing.
Bref, des choses très simples et qui n'apprennent rien contrairement aux échanges entre fred3000gt et toi même. A ce jour, toutes les discussions IA ou presque sur FS n'ont jamais dépassé le niveau "je crois ou pas au test de Turing" ou équivalent.

Celle ci est pour le moment une exception et j'en suis ravi. Mais elle n'implique que 2 personnes.

[pm42]

- la programmation génétique c'est beaucoup plus radical que toute autre approche (au moins digitale): le source code du programme informatique dont on attend une fonction cognitive est écrit "au hasard", en mutant ou croisant les instructions. Tu peux voir sur wikipedia, par exemple Linear Genetic Programming (il y 2 autres approches), peut-etre que certains de mes arguments précédents prendront un sens différent pour toi sachant la particularité de cette approche.

Merci pour les explication mais est ce que tu peux préciser en quoi c'est fondamentalement différent d'un algorithme génétique ? Qu'est ce qu'apporte l'utilisation d'un code source ?

[fred3000gt]

Merci pour les explication mais est ce que tu peux préciser en quoi c'est fondamentalement différent d'un algorithme génétique ? Qu'est ce qu'apporte l'utilisation d'un code source ?

Mais ça change tout!

Je vais donner deux exemples.
1. Algorithme génétique: supposons que tu veux trouver la matrice de poids Wij qui relient tous les neurones d'un réseau entièrement connecté. Tu vas créer une population d'individus (=matrice de poids) W1ij W2ij... les muter (i.e. changer arbitrairement un poids de W1np par exemple) et les croiser (échanger la moitié des valeurs de W1 et W2 par exemple), puis tu gardes les meilleurs individus (par exemple), et tu recommence, jusqu'a ce que l'erreur du réseau soit nul.

2. Programmation génétique: le programme informatique écrit par exemple dans un langage arbitraire pour la sortie o d'un neurone connecté à 2 autres d'états x1 et x2, via des connections de poids 2 et 3 peut s'exprimer dans un cas de neurone basique par:
o = 1/(1+exp(-2.x1-3.x2))
Imagine que cette fois ton individu est la suite de symboles o = 1 / ( 1 + etc...
Tu peux imaginer une mutation de cet individu comme o = 2 * ( x1 - etc...
Tu peux même croiser ces 2 individus pour faire o = 2 / (x1 + etc..
Donc tu peux exécuter ces fonctions sur un ordinateur et évaluer comme précédemment l'erreur commise par le réseau.

Avec cela tu peux ainsi construire un réseau qui réalise une fonction que tu n'as pas décidé toi-même. En adoptant des langages appropriés, on peut aussi faire des conditions, des boucles, des programmes qui ne se terminent jamais. Ceci est donc généralisable à l'algo d'apprentissage, et en réalité il n'y a théoriquement même plus besoin de concepts de neurones, ni de comprendre quoi que ce soit en fait... Bon le problème bien sur c'est l'espace de recherche et le temps nécessaire pour évaluer chaque individu... (paradoxe du paradoxe du singe savant...)

En résumé, en programmation génétique, un individu est un programme, en algorithmie les individus sont des données.

[invite6c250b59]

Mais ça change tout! (...) Je vais donner deux exemples.

Merci pour ces exemples qui permettent de bien comprendre ce que tu voulais dire. Mais tu fais erreur sur un point: ces deux exemples sont fondamentalement identiques.

Pour le voir, le plus simple est de considérer qu'une fonction fixe telle que la fonction d'activation peut certes s'écrire sous forme symbolique o = 1/(1+exp(-x)), mais elle peut aussi s'écrire... sous la forme matricielle des poids synaptiques d'un réseau de neurone utilisant une autre fonction d'activation. Autrement dit, un réseau basé sur des tanh ou des relu peuvent très bien émuler un neurone possédant une fonction d'activation sigmoïde. Donc, chercher parmi un réseau dont les fonctions d'activations sont des paramètres libres (ou d'autres détails de leur fonctionnement), c'est strictement équivalent à chercher parmi un réseau (beaucoup plus grand) dont les fonctions d'activations sont fixes.

Évidement, plus l'espace de recherche est grand, plus il faut de données/moins cela convergera vite. A l'extrême, cela devient équivalent à tirer des programmes au hasard, ce qui n'est pas très prometteur... (et c'est contraire à l'idée e s'inspirer de notre propre évolution biologique, qui s'est fait avec relativement peu de changement au niveau au fonctionnement des neurones).

D'un autre côté, on peut probablement démontrer qu'à tout problème il existe une forme de codage des réseaux de neurones telle qu'un algorithme génétique standard donnera un bon résultat*. La question est alors de savoir s'il existe une forme de codage intéressante qui aurait des propriétés telles qu'elle devrait naturellement être efficace. Peut-être en adoptant une forme de notation fonctionnelle (toujours sur le blog de Colah).

* C'est plus trivial et moins intéressant que cela en a l'air: pour tout encryptage d'un message secret il existe un décodage tel que le texte Moby Dick révèle la solution...

[fred3000gt]

Merci pour ces exemples qui permettent de bien comprendre ce que tu voulais dire. Mais tu fais erreur sur un point: ces deux exemples sont fondamentalement identiques.

Pour le voir, le plus simple est de considérer qu'une fonction fixe telle que la fonction d'activation peut certes s'écrire sous forme symbolique o = 1/(1+exp(-x)), mais elle peut aussi s'écrire... sous la forme matricielle des poids synaptiques d'un réseau de neurone utilisant une autre fonction d'activation. Autrement dit, un réseau basé sur des tanh ou des relu peuvent très bien émuler un neurone possédant une fonction d'activation sigmoïde. Donc, chercher parmi un réseau dont les fonctions d'activations sont des paramètres libres (ou d'autres détails de leur fonctionnement), c'est strictement équivalent à chercher parmi un réseau (beaucoup plus grand) dont les fonctions d'activations sont fixes.

Bien compris... mais attention, j'ai pris le cas le plus simple de l’évolution d'une fonction par programmation génétique. L'approche est beaucoup plus générique. Par exemple si l'on prend le cas d'un spiking neuron du type integrate and fire, un réseau 2D connecté aux plus proche voisins, donnerait en gros en pseudocode:

while (1)
{
t+=0.1
for i=1 to 100
  for j=1 to 100
  {
    for p=-1 to 1
      for r=-1 to 1
      {
         p(i,j) += w(i,j,p,r)*o(i+p,j+r)
         if (p(i,j) > T) o(i,j) = 1 
         else {p(i,j) = 0 o(i,j) = 0}
       }
   }
}

Maintenant, considère que ce programme est un individu. Il peut muter en:

while (1)
{
t+=0.1
for i=1 to 100
  for j=1 to 100
  {
    for p=-1 to 1 step 2
      for r=-1 to 1 step 2
      {
         p(i,j) += w(i,j,p,r)*o(i+p,j+r)
         if (p(i,j) > T) o(i,j) = 1 
         else {p(i,j) = 0 o(i,j) = 0}
       }
  p(i,j) -= 0.1
  }
}

Donc on vient de passer d'un réseau 8 voisins integrate&fire à un reseau 4 voisins integrate-leak&fire... très différent! Un autre individu pourrait remplacer le calcul de potentiel par un réseau LSTM... et je n'ai pas parlé du programme d'apprentissage qui peut bien être génétiquement muté à son tour....

[invite6c250b59]

Bien compris... mais attention, j'ai pris le cas le plus simple de l’évolution d'une fonction par programmation génétique. L'approche est beaucoup plus générique.

Ma réponse l'est. Quel que soit l'exemple que tu fourniras, il sera possible et facile (?) de montrer que l'équivalence existe, la raison profonde étant l'universalité pour le calcul des réseaux de neurones.

Spécifiquement pour ton dernier exemple, les questions sont de savoir:
- si un algorithme génétique qui cherche parmi des réseaux d'une taille n fixe est équivalent à un algorithme génétique qui cherche parmi des réseaux de taille 2, 4, 8, etc. (bien sur, avec n>2, 4, 8, etc.);
- si chercher parmi des réseaux complètement connectés est équivalent à chercher parmi des réseaux avec des connexions locales 2D
- si chercher parmi des réseaux de neurones ayant une fonction d'activation spéciale est équivalent à chercher blabla

Pour le voir dans le cas des réseaux de différentes tailles, le plus pédagogique me semble:
1) montrer que l'heuristique "mettre au hasard à 0 les poids de 6,4,0 neurones" rend équivalent les algorithmes "chercher parmi des réseaux de taille 8" et "chercher parmi des réseaux de taille 2,4,8"
2) montrer que les solutions produites par "mettre à 0 les poids de 6,4,0 neurones" sont déjà explorées par "chercher parmi des réseaux de taille 8"
1+2=> conclure que les deux recherches sont équivalentes

En prenant cette démarche pour modèle il est facile de conclure également pour la restriction 2D (la fonction d'activation est légèrement plus difficile, mais traitée dans mon post précédent), et en fait je ne pense pas que tu trouveras un exemple difficile à traiter. Cela dit... ce serait très intéressant! (bien sur cela doit être difficile pour de bonnes raisons, si l'exemple est difficile parce que la description est obscure ou incomplète, cela ne compte pas )

[fred3000gt]

Merci pour la reponse, mais je ne comprend pas!
Imagine:
A - un reseau MLP multicouches standard
B - un reseau entiereement connecte avec des spiking neurones

Tu peux changer comme tu veux les connections dans le cas A, tu ne pourras jamais passer au cas B, quelque soit les connections, et vice-versa de B vers A.

A restera definitivement passif (si il n'y a rien en entree de nouveau, il n'y aura rien de nouveau en sortie, a la difference de B).

Seule la modification du source code permet de faire cela.

[invite6c250b59]

Tu peux changer comme tu veux les connections dans le cas A, tu ne pourras jamais passer au cas B, quelque soit les connections, et vice-versa de B vers A.

C'est peut-etre le cas le moins intuitif, mais oui c'est encore possible et pas specialement difficile de montrer l'equivalence.

Au lieu d'identifier les neurones de A avec les neurones de B (j'ai l'impression que c'est ce que tu sous-entends) identifies le reseau B au temps t avec un petit sous-ensemble de A, le reseau B au temps t+1 a un autre petit sous ensemble de A, etc. (tu peux meme te permettre de conserver un sous-ensemble de A (par exemple la derniere couche) identifer neurone par neurone a B, avec le reste du reseau qui gere l'horloge et l'ensemble des calculs necessaire pour une identite fonctionnelle entre les deux).

C'est moche, cela implique que A est beaucoup plus grand que B, mais l'equivalence demeure (et pouvait etre predite simplement a partir de la connaissance que des reseaux de type A sont universels pour le calcul). Par contre je ne suis pas certain que la direction inverse marche (i.e. je ne suis pas certain qu'un modele spiking tout interconnecte soit universel pour le calcul -c'est possible, je n'ai juste pas vu passer de demonstration dans un sens ni dans l'autre).

[polo974]

Bonjour,
je suis la discussion depuis un certain temps.

Merci pour la reponse, mais je ne comprend pas!
Imagine:
A - un reseau MLP multicouches standard
B - un reseau entiereement connecte avec des spiking neurones

Tu peux changer comme tu veux les connections dans le cas A, tu ne pourras jamais passer au cas B, quelque soit les connections, et vice-versa de B vers A.

A restera definitivement passif (si il n'y a rien en entree de nouveau, il n'y aura rien de nouveau en sortie, a la difference de B).

Seule la modification du source code permet de faire cela.

Le cas A tout seul (c'est à dire une fois l'apprentissage fini) n'est en gros qu'une Look Up Table compressée.
Le cas B est assimilable à une machine d'état où la notion temporelle est présente, et comme c'est entièrement connecté, on peut avoir toute sorte d'oscillateur en résultat...
Pour "faire pareil" avec A, il "suffit" de mettre reboucler extérieurement des sorties vers des entrées du réseau.

Dans les messages précédents, on parlait d'apprentissage, donc d'un feed-back de "second niveau" pour ajuster les paramètres des réseaux.
A ce niveau dire qu'on modifie l'algo ou les coeffs de l'algo ne sont que des façons de voir la chose (avec plus ou moins d'opérateurs).

Typiquement dans l'exemple des pseudocodes donnés, il "suffit" d'avoir la valeur de step et de decay en paramètres pour passer de l'un à l'autre, soit 2 variables de plus à ajuster.

On peut donc aussi envisager une variable "opérateur" qui vaudrait une des 4 opérations arithmétiques de base.

En logique, donc programmation, on peut tout ramener aux fonctions NAND (ou NOR) et RETARD.
(je fais abstraction des états métastables qui peuvent vous pourrir la vraie vie...)

Bon, c'est pas tout ça, mais le gros du problème, c'est toujours l'apprentissage...

[invite6c250b59]

Bon, c'est pas tout ça, mais le gros du problème, c'est toujours l'apprentissage...

Exactement, c'est précisément tout l'intérêt de comprendre l'équivalence de tout réseau de neurone avec un réseau simple (et avec d'autres modèles tels que les machines de Turing).

Une fois qu'on a comprit cela, alors tout changement de modèle peut se comprendre comme un changement dans la topologie de l'espace des solutions (l'espace à n dimensions, une par paramètre libre, où serait noté les erreurs correspondant à chaque modèle spécifié par ses paramètres).

Exemple: pourquoi est-il plus souvent commode de chercher parmi des réseaux de neurones plutôt que parmi des machine de Turing? Les deux sont équivalents, donc la raison n'est pas à chercher dans quelque chose que fait le réseau de neurone qui ne serait pas fait par les MT. Non, la raison est à chercher dans l'espace des solutions. Avec un codage en machine de Turing, deux algorithmes proches peuvent agir complètement différemment, ce qui fait que l'espace des solutions apparaît aléatoire -il ne semble pas y avoir d'information que l'on peut exploiter à partir d'un essai au hasard. Au contraire, avec un codage en réseau de neurone, deux réseaux proches auront une erreur proche. L'espace des solutions contient donc une hypersurface différenciable (au moins pour tout problème stochastique), i.e. un espace sur lequel on peut toujours trouver des minimums locaux à partir de points de départ aléatoire. Cette caractéristique réduit considérablement la taille apparente de l'espace des solutions, ce qui explique l'efficacité des algorithmes d'apprentissage basé sur le gradient appliqués aux réseaux de neurones.

De la même façon, toute proposition qu'un type de réseau serait plus commode qu'un autre peut probablement s'expliquer en termes d'espace de solution (...)

[invite6c250b59]

(...) un autre exemple: la raison pourquoi les réseaux de neurones à convolution sont commodes pour le traitement d'image, c'est parce que cela revient à injecter des connaissances à priori valables pour les images naturelles, à savoir 1) que la majorité de l'information est présente dans les contrastes locaux 2) que tous les pixels ont à peu près la même importance et doivent être traités de façon similaire. Cette "injection de connaissance" revient à diminuer le nombre de paramètres libres, d'où une accélération de l'apprentissage (à taille de réseau constante) ou une augmentation de la profondeur du réseau (à temps d'apprentissage constant).

A noter qu'il est fort possible de se tromper. Par exemple, l'information 2) est àmha partiellement fausse (je ne crois pas que tous les pixels ont la même importance et devraient être traités de la même façon) pour les images naturelles. Plus exactement, toute règle est à la fois nécessairement fausse pour certains problèmes et nécessairement vraie pour d'autres problèmes (toujours l'effet Moby Dick). La question est de savoir quelles règles sont justes pour les problèmes qui nous intéressent (ou, de façon équivalente, quelles règles sont fausses seulement pour des problèmes dont les solutions nous apparaissent aléatoires).

Maintenant, ce qui serait non trivial ce serait d'essayer de produire ce type d'explication pour les réseaux qui ont une dimension temporelle. Si on comprend l'impact de ce type de codage sur l'espace des erreurs, alors il sera plus facile de comprendre pour quels problèmes ceux-ci sont bien adaptés.

[invite6c250b59]

Une autre avenue, en lien cette fois avec l'opinion exprimée par fred3000gt, serait de comprendre quels sont les repliements de l'espace des solutions qui correspondent à sa proposition d'appliquer les algorithmes génétiques au code source. A un extrême, si on applique l'algorithme génétique au code machine binaire, alors cela à correspond à tirer des machines de Turing au hasard, et ma prédiction est qu'on se retrouvera à perdre tout avantage procuré par les réseaux de neurones. Si on l'applique à un code interprété (par exemple le code au message 22), et que par ailleurs on ajoute une couche de "si solution non interprétable alors refaire tirage", alors on va se retrouver avec un repliement de l'espace des solutions qui est plus complexe, et très possiblement adapté à certains problèmes naturels. Toute la question est de savoir à quel type de codage correspond quel type de repliement dans l'espace des solutions, et à quels problèmes ce type de repliement peut correspondre. Une fois qu'on a compris cela, le reste c'est de l'application, et l'application est comme on sait toujours conforme à la théorie. En théorie.

[inviteb6b93040]

L'application d'une IA qui pense ne serait elle pas une IA experte en IA plutôt qu'experte en jeux de go ?
Une IA qui viserait l’humanoïde puisque la longue évolution génétique a déjà montré que c'est la forme qui peut le mieux utiliser son intelligence.