Y-a-t'il des experts en IA sur FS

[fred3000gt]

C'est peut-etre le cas le moins intuitif, mais oui c'est encore possible et pas specialement difficile de montrer l'equivalence.

Au lieu d'identifier les neurones de A avec les neurones de B (j'ai l'impression que c'est ce que tu sous-entends) identifies le reseau B au temps t avec un petit sous-ensemble de A, le reseau B au temps t+1 a un autre petit sous ensemble de A, etc. (tu peux meme te permettre de conserver un sous-ensemble de A (par exemple la derniere couche) identifer neurone par neurone a B, avec le reste du reseau qui gere l'horloge et l'ensemble des calculs necessaire pour une identite fonctionnelle entre les deux).

C'est moche, cela implique que A est beaucoup plus grand que B, mais l'equivalence demeure (et pouvait etre predite simplement a partir de la connaissance que des reseaux de type A sont universels pour le calcul). Par contre je ne suis pas certain que la direction inverse marche (i.e. je ne suis pas certain qu'un modele spiking tout interconnecte soit universel pour le calcul -c'est possible, je n'ai juste pas vu passer de demonstration dans un sens ni dans l'autre).

Ce que tu dis est trop théorique et ne marche simplement pas en pratique. Je dis bien *pratique*, c'est a dire que ce que l'on fait au jour le jour (nous et les autres!), c'est que l'on compile des programmes en C++, puis on les lance sur la console. Les choses que tu évoques comme "tu identifies le réseau B au temps t avec un petit sous-ensemble de A (...)", ces choses ne vont pas se produire spontanement apres que j'ai lance mon programme... la seule maniere que je connaisse *en pratique* que mon programme une fois lance passe de A a B, c'est de laisser a mon programme la possibilite de generer des nouveaux programmes.

La preuve est simple: si tu ne change pas une seule ligne a l'approche A, il ne pourra jamais produire le même comportement que le programme B, et ceci quelque soient les poids.

Bonjour,
je suis la discussion depuis un certain temps.

Le cas A tout seul (c'est à dire une fois l'apprentissage fini) n'est en gros qu'une Look Up Table compressée.
Le cas B est assimilable à une machine d'état où la notion temporelle est présente, et comme c'est entièrement connecté, on peut avoir toute sorte d'oscillateur en résultat...
Pour "faire pareil" avec A, il "suffit" de mettre reboucler extérieurement des sorties vers des entrées du réseau.

Mais pour faire ce rebouclage, il faut changer le source code...

Dans les messages précédents, on parlait d'apprentissage, donc d'un feed-back de "second niveau" pour ajuster les paramètres des réseaux.
A ce niveau dire qu'on modifie l'algo ou les coeffs de l'algo ne sont que des façons de voir la chose (avec plus ou moins d'opérateurs).

C'est vrai dans l'exemple que j'ai donné entre les deux réseaux récurrent a 8 et 4 voisins.

Mais c'est vraiment beaucoup plus difficile, juste avec des paramètres, de passer d'un MLP a un réseau recurrent spiking. Et même si tu arrive a écrire un tel code, il ne sera toujours pas générique, il faudra le re-ecrire pour pouvoir passer a un réseau de type C juste avec des paramètres.

La seule manière de faire quelque chose de générique c'est de faire en sorte que les paramètres modifie le source code lui-même, ce qui est de la programmation génétique.

Typiquement dans l'exemple des pseudocodes donnés, il "suffit" d'avoir la valeur de step et de decay en paramètres pour passer de l'un à l'autre, soit 2 variables de plus à ajuster.

Meme remarque que ci-dessus, cette approche n'est pas générique, je ne vois comment *en pratique* écrire un code qui comprendra tous les paramètres qui généreront encore une 3, 4eme, etc approche différente.

On peut donc aussi envisager une variable "opérateur" qui vaudrait une des 4 opérations arithmétiques de base.

He, he, bah voila, il te manque encore les boucles et le conditions, mais continue ton raisonnement et tu aboutira... au genetic programming.

En logique, donc programmation, on peut tout ramener aux fonctions NAND (ou NOR) et RETARD.
(je fais abstraction des états métastables qui peuvent vous pourrir la vraie vie...)

A condition de changer leur ordre et leur nombre... ce qui est du LGP (Linear Genetic Programming).

Bon, c'est pas tout ça, mais le gros du problème, c'est toujours l'apprentissage...

Bah oui, le programme d'apprentissage, on le fait également écrire par l'ordinateur en genetic programming! C'est pourquoi, cette approche est générique et puissante.

(...) un autre exemple: la raison pourquoi les réseaux de neurones à convolution sont commodes pour le traitement d'image, c'est parce que cela revient à injecter des connaissances à priori valables pour les images naturelles, à savoir 1) que la majorité de l'information est présente dans les contrastes locaux 2) que tous les pixels ont à peu près la même importance et doivent être traités de façon similaire. Cette "injection de connaissance" revient à diminuer le nombre de paramètres libres, d'où une accélération de l'apprentissage (à taille de réseau constante) ou une augmentation de la profondeur du réseau (à temps d'apprentissage constant).

Je suis tout a fait d'accord avec tout ca! De la meme maniere les MLP se comportent comme des interpolateurs universels car ils sont déjà codes comme cela.

A noter qu'il est fort possible de se tromper. Par exemple, l'information 2) est àmha partiellement fausse (je ne crois pas que tous les pixels ont la même importance et devraient être traités de la même façon) pour les images naturelles. Plus exactement, toute règle est à la fois nécessairement fausse pour certains problèmes et nécessairement vraie pour d'autres problèmes (toujours l'effet Moby Dick). La question est de savoir quelles règles sont justes pour les problèmes qui nous intéressent (ou, de façon équivalente, quelles règles sont fausses seulement pour des problèmes dont les solutions nous apparaissent aléatoires).

J'ignore ce que c'est cet effet Moby Dick, et je n'ai pas trouve sur wiki.

Maintenant, ce qui serait non trivial ce serait d'essayer de produire ce type d'explication pour les réseaux qui ont une dimension temporelle. Si on comprend l'impact de ce type de codage sur l'espace des erreurs, alors il sera plus facile de comprendre pour quels problèmes ceux-ci sont bien adaptés.

Je crois que l'on ne peut pas vraiment en general, mais les LSTM sont un (rare) exemple ou on a cette explication. En gros, en fonction des paramètres le comportement est chaotique ou trivial (et sans interet), il faut naviguer a la limite des 2...

L'application d'une IA qui pense ne serait elle pas une IA experte en IA plutôt qu'experte en jeux de go ?
Une IA qui viserait l’humanoïde puisque la longue évolution génétique a déjà montré que c'est la forme qui peut le mieux utiliser son intelligence.

L’idée de cette discussion était de discuter des différentes approches techniques pour progresser en IA, pas des applications éventuelles qui est une autre (et intéressante) discussion.
-----

[inviteb6b93040]

L’idée de cette discussion était de discuter des différentes approches techniques pour progresser en IA, pas des applications éventuelles qui est une autre (et intéressante) discussion.

Vous m'avez mal compris :
1 : après les récents progrès des réseaux de neurones donnés plus par ceux de la puissance des ordinateurs que par ceux de la théories des raiseaux de neurones.
2 : considérant que la pensée est bien une notion venant de la théories de l'évolution menant à l'humanité.
3 : que cette évolution fut longue et le fruit de nombreuse catastrophe, donc difficile.
4 : qu'un réseau de neurones a des entrées qui, si on veut viser la pensée, devront être nourris par des capteurs au moins équivalents à ceux d'un humain.
La seule solution semble bien être l’humanoïde.
Il y a bien des cerveaux de théories identique dans de nombreuse espèce mais seul un humain a put conceptualiser la pensée , l'intelligence ...
Pour moi les prochains progrès sont à chercher par là

[invite51d17075]

Vous m'avez mal compris :
1 : après les récents progrès des réseaux de neurones donnés plus par ceux de la puissance des ordinateurs que par ceux de la théories des raiseaux de neurones.
2 : considérant que la pensée est bien une notion venant de la théories de l'évolution menant à l'humanité.
3 : que cette évolution fut longue et le fruit de nombreuse catastrophe, donc difficile.
4 : qu'un réseau de neurones a des entrées qui, si on veut viser la pensée, devront être nourris par des capteurs au moins équivalents à ceux d'un humain.
La seule solution semble bien être l’humanoïde.
Il y a bien des cerveaux de théories identique dans de nombreuse espèce mais seul un humain a put conceptualiser la pensée , l'intelligence ...
Pour moi les prochains progrès sont à chercher par là

bonjour EauPure,
tu retombes dans du blabla sur zinc !
ce qui fut le cas de nombreuses discussions sur l'IA ici.
en tant que lecteur, pour une fois qu'il y a une discussion plus précise sur les développements informatiques en cours, j'en profite agréablement pour apprendre.

ps : je n'en connais personnellement ( réseaux de neurones ) que les appli liées au traitement d'image ( compression, restauration, .... )

[JPL]

Vu le niveau de la discussion je déconseille fortement à EauPure d'y intervenir. Mais il pourrait apprendre des choses, même si tout n'est pas compréhensible par un non spécialiste.

[fred3000gt]

Maintenant, ce qui serait non trivial ce serait d'essayer de produire ce type d'explication pour les réseaux qui ont une dimension temporelle. Si on comprend l'impact de ce type de codage sur l'espace des erreurs, alors il sera plus facile de comprendre pour quels problèmes ceux-ci sont bien adaptés.

En réfléchissant encore à ton commentaire ci-dessus, j'avais 2 remarques:
- une très simple: bien que je sois d'accord avec cela, je pense que le désir d'expliquer (meme dans les milieux connexionistes) est peut-etre une des causes de la relative stagnation de la recherche en IA. On devrait peut-etre plus se concentrer sur des approches brute force qui essayent plein d'approches. J'ai récemment pu expérimenter certains programmes de traitement du signal qui outperforment completement les approches mathematiques standards que j'utilise normalement (filtrage morphologique et frequentiel). Le programme inventé (par programmation génétique donc) fait des calculs qui ne semblent pas avoir de sens, mais ca fonctionne.
- pour les reseaux temporels (donc récurrents sinon c'est "simple"), il y a toute la théorie du chaos, en particulier avec les attracteurs étranges, que je ne connais presque pas... Mais à laquelle je devrais peut-etre m'intéresser plus sèrieusement

[pm42]

Quand tu utilises la programmation génétique, comment est la convergence ?
Parce que la génération/mutation et l'évaluation du code ne me semble pas trivial et pas non plus quelque chose qu'on peut accélérer sur des GPU comme pour les algos classiques.

[invite6c250b59]

L'application d'une IA qui pense ne serait elle pas une IA experte en IA plutôt qu'experte en jeux de go ?

Idée très intéressante. Je ne vois pas du tout quel serait l'impact sur l'espace des solutions, mais c'est sans doute quelque chose qui mériterait d'être tenté sur la base de considérations purement biologiques (i.e., une des meilleures manières de faire évoluer des bactéries semble être non pas la sélection naturelle directe, mais par sélection de virus qui font évoluer ces bactéries). En l'absence d'indices que "faire des IA" soit une tâche facile pour une IA, c'est quand même un projet risqué, mais un projet risqué peut-être un choix idéal pour un amateur (moins de chances d'entrer en concurrence avec une équipe de pros).

Une IA qui viserait l’humanoïde puisque la longue évolution génétique a déjà montré que c'est la forme qui peut le mieux utiliser son intelligence.

Dubitatif. Une IA qui viserait l’humanoïde doit-elle avoir des cheveux et deux trous de nez? Il y a une part de contingence dans nos traits...

[invite6c250b59]

trop théorique

Quand on a parti cette discussion, tu disais qu'il était "impossible" qu'un algorithme génétique puisse parvenir aux mêmes solutions que l'approche LGP. Mon point est que c'est en fait "obligatoirement possible". Je ne vois pas quelle explication serait plus appliquée que de te demander des exemples difficiles et de te montrer la recette d'équivalence en quelques lignes. Spécifiquement, tu en as donné trois que tu pensais impossible. Est-ce que tu as encore des réserves à conclure à l'équivalence dans ces trois cas?

effet Moby Dick, et je n'ai pas trouve sur wiki.

Néologisme, en référence à un post plus haut. L'idée est qu'il est toujours possible d'encoder la complexité de l'espace des solutions dans un problème taillé sur mesure pour que l'espace des solutions soit lisse pour ce problème. Donc, à toute approche d'apprentissage, il y a nécessairement des problèmes qui sont particulièrement faciles à résoudre avec cette approche, ne serait-ce que les problèmes qu'on peut construire exprès pour l'être.

Autrement dit, quand tu soutiens que le LGP fait des choses impossibles à faire autrement, c'est soit faux (avec une lecture littérale, i.e. si tu veux dire que le LGP trouve des solutions impossibles à trouver autrement), soit trivial (avec une lecture charitable, i.e. si tu veux dire qu'il y a certains problèmes pour lesquels le LGP trouve la solution plus rapidement que toute autre approche).

Ce que tu devrais dire, c'est "il existe une classe intéressante de problèmes pour lesquels le LGP trouve des solutions plus rapidement que toute autre approche". C'est seulement une fois qu'on est rendu là qu'on peut commencer à se poser des questions non triviales. Quelles sont les limites de cette classe de problèmes? Qu'est-ce que le LGP fait à l'espace des solutions qui explique cette efficacité? Ces deux questions sont d'ailleurs pas mal équivalentes.

[invite6c250b59]

la relative stagnation de la recherche en IA

La stagnation de la recherche en IA? ...ma lecture des choses est qu'on est, depuis disons 2006, dans la décennie la plus excitante et la plus riche en avancée en IA de l'histoire. La seule autre décennie qui pourrait s'en approcher, c'est... probablement la prochaine!

- pour les reseaux temporels (donc récurrents sinon c'est "simple"), il y a toute la théorie du chaos, en particulier avec les attracteurs étranges

Peut-être, c'est une piste intéressante.

[invite6c250b59]

On devrait peut-etre plus se concentrer sur des approches brute force qui essayent plein d'approches

Pour répondre sur le fond: je suis en total désaccord que l'approche "brute force" présente un quelconque intérêt, pour les raisons expliquées plus haut (i.e. si le l'espace des solutions apparaît aléatoire, alors il n'y a aucun apprentissage possible, par définition).

Pour être complètement clair, je ne considère pas le LGP comme une approche de force brute. En effet, la recherche se fait selon un langage de programmation précis et spécifique à cette approche. Je soupçonne fortement que, quelle que soit la classe de problèmes auquel le LGP est adapté, ses limites seront explicables en fonction du repliement de l'espace des solutions imposés par l'adoption de ce langage.

[polo974]

Tout d'abord, je ne porte pas de jugement de valeur sur une voie ou une autre, j'essaye juste de montrer qu'elles sont équivalentes (à part le bouclage).

Et encore, pour le bouclage, si on élimine les solutions oscillantes (qui ne sont de toute façon pas acceptables), il "suffit" de "dérouler" les boucles jusqu'au niveau de convergence requis.
Un peu comme les filtrages IIR qu'on peut dérouler en FIR (nettement plus long).

Donc à propos du MPL avec un rebouclage (pouvant être externe).

...
Mais pour faire ce rebouclage, il faut changer le source code...

Je te l'accorde si tu considères que les connexions externes sont partie du code, mais c'est bien la seule différence.
(et encore, cf remarque sur le déroulement des boucles qu'on retrouve même dans les options de compilo (loop unrolling)...)
Et pour la suite de la comparaison je la considère comme acquise.

...
Mais c'est vraiment beaucoup plus difficile, juste avec des paramètres, de passer d'un MLP a un réseau recurrent spiking. Et même si tu arrive a écrire un tel code, il ne sera toujours pas générique, il faudra le re-ecrire pour pouvoir passer a un réseau de type C juste avec des paramètres.

La seule manière de faire quelque chose de générique c'est de faire en sorte que les paramètres modifie le source code lui-même, ce qui est de la programmation génétique.

Meme remarque que ci-dessus, cette approche n'est pas générique, je ne vois comment *en pratique* écrire un code qui comprendra tous les paramètres qui généreront encore une 3, 4eme, etc approche différente.

Juste (façon avocat du diable): le code source n'est que de la donnée pour le compilateur...
à partir du moment où le réseau est "assez grand" (pour (dans un premier temps) ne pas nécessiter de création de noeud supplémentaire), une ligne de code (non bouclée) peut se résumer à une LUT, donc à un coin de MLP.

He, he, bah voila, il te manque encore les boucles et le conditions, mais continue ton raisonnement et tu aboutira... au genetic programming.

Les conditions ne sont que des opérateurs parmi tant d'autres, leur sorties s'allument ou s'éteignent pour activer ou non un autre coin du MLP.
Les boucles, on les a dès lors qu'on a rebouclé le système...
Bref, c'est dans le package.

A condition de changer leur ordre et leur nombre... ce qui est du LGP (Linear Genetic Programming).

Ou de travailler dans un réseau assez grand pour ne pas avoir besoin de le réorganiser/redimensionner. Juste des poids synaptiques à ajuster...

Et là se posait le problème épineux de l'apprentissage.

Bah oui, le programme d'apprentissage, on le fait également écrire par l'ordinateur en genetic programming! C'est pourquoi, cette approche est générique et puissante.
...

Coté acquisition de la connaissance, il y a semble-t-il 2 approches:

• La contre réaction que je dirais "douce" qui consiste à ajuster les coefficients en parcourant le réseau des sorties vers les entrées (la rétropropagation du gradient). qui "préfère" une structure style MLP. cette technique s'applique à un même système qui évolue tel un enfant qui apprend à marcher. On pourrait parler de l'acquis.
• L'élevage sélectif qui fait croiser les meilleurs éléments et disparaître les plus mauvais. il faut donc plusieurs réseaux par génération. la complexité interne n'est même pas regardée, on en prend 2, un coup de mixer, et hop (bon, ok, c'est très imagé, mais du moment que ça marche)... On pourrait parler de l'inné.

Et comme on aime bien pimenter la chose, on ajoute un peu de random dans tout ça (erreurs d'ajustement et mutations).

Y a-t-il des approches mixtes genre acquis + inné ?
Y a-t-il des méthodes d'initialisation du réseau tendant à supprimer les symétries de réseau ? (genre (très imagé) on se débrouille pour ne pas avoir un excellent réseau gaucher et un autre excellent droitier qui si on les croise nous donne un mauvais ambidextre). je pense par exemple à des poids synaptiques dont les limites varient selon la position du noeud dans le réseau.
Ou bien y a-t-il des méthodes de tri (même partiel/approximatif) des noeuds avant croisement pour éviter le problème précédent ?

[pm42]

Pour résumer, quelqu'un a parlé ici d'une approche originale et des gens qui ne connaissaient pas expliquent pourquoi elle n'est pas intéressante sans l'avoir essayée, sans avoir lu sur le sujet avec des arguments purement théoriques.

Comme je le disais plus haut, il n'y a pas d'expert en IA sur FS.

P.S : pour préciser, l'argument de l'équivalence répété en boucle ne tient pas. Tout ce qu'on fait en info depuis des décennies est équivalent à une machine de Turing théoriquement.
Cela ne veut pas dire qu'en pratique, l'assembleur est équivalent à un langage fonctionnel ou un réseau de neurones.

[polo974]

Pour résumer, quelqu'un a parlé ici d'une approche originale et des gens qui ne connaissaient pas expliquent pourquoi elle n'est pas intéressante sans l'avoir essayée, sans avoir lu sur le sujet avec des arguments purement théoriques.

Non, je n'ai pas dit qu'elle n'était pas intéressante, et cela de façon plus qu'explicite dès la première phrase de ma réponse.

Comme je le disais plus haut, il n'y a pas d'expert en IA sur FS.

P.S : pour préciser, l'argument de l'équivalence répété en boucle ne tient pas. Tout ce qu'on fait en info depuis des décennies est équivalent à une machine de Turing théoriquement.
Cela ne veut pas dire qu'en pratique, l'assembleur est équivalent à un langage fonctionnel ou un réseau de neurones.

Tout tient donc dans les définitions du mot "équivalent"...
La pratique pour être vraiment efficace a besoin de base théorique.

[pm42]

Non, je n'ai pas dit qu'elle n'était pas intéressante, et cela de façon plus qu'explicite dès la première phrase de ma réponse.

Je ne parlais pas spécialement de tes contributions qui sont difficiles à voir au milieu du flooding...

Tout tient donc dans les définitions du mot "équivalent"...

Ce n'est pas ma définition, c'est celle de la théorie du calcul.

La pratique pour être vraiment efficace a besoin de base théorique.

Ce genre d'affirmation générale n'apporte rien au débat.

[invite51d17075]

bonjour pm42,

Je ne parlais pas spécialement de tes contributions qui sont difficiles à voir au milieu du flooding...
.

de fait, je ne comprend pas ce que tu as voulu dire.
et je n'ai pas l'impression d'un "flooding" justement.
Cdt

[pm42]

de fait, je ne comprend pas ce que tu as voulu dire.
et je n'ai pas l'impression d'un "flooding" justement.
Cdt

Je parle de réponses en 3 ou 4 posts à suivre par la même personne. Comme déjà dit, je ne suis pas convaincu par l'approche et le contenu malgré la technicité du vocabulaire utilisé.

Ceci dit, j'ai donné mon point de vue et j'arrête là pour ne pas faire dériver le fil.

[invite6c250b59]

Y a-t-il des approches mixtes genre acquis + inné ?

On sait que nos SNC s'adaptent durant le développement, non seulement à la neurogénèse mais aussi pendant les périodes dites critiques, ce qui est probablement une façon d'orienter la structure en fonction de l'espèce (évidence: si on greffe un oeil supplémentaire à un batracien en développement, son système nerveux va réagir à la présence de ce flux d'information en créant ce qui semble être des colonnes de dominance occulaire) et de retarder la maturation des certaines structures au stade de développement où elles ont les inputs les plus pertinents (évidence: il y a une certaine corrélation entre les périodes critiques des différentes aires cérébrales et les stades de développement, jusqu'au cortex préfrontal qui présente une période critique coïncidant avec l'adolescence). Donc oui, c'est une idée très prometteuse! Par contre, elle demanderais beaucoup de puissance de calcul...

Y a-t-il des méthodes d'initialisation du réseau tendant à supprimer les symétries de réseau ?

Oui, il y a des éléments comme ça dans les réseaux à convolution. Techniquement, les pooling layers de haut niveau vont avoir tendance à faire cela, de même que l'heuristique d'expansion de la base de donnée par duplication d'images auxquelles on ajoute translation et rotation (je ne crois pas que cela rentre dans la définition officielle, mais c'est une heuristique très très utilisée).

[invite6c250b59]

des gens qui ne connaissaient pas expliquent pourquoi elle n'est pas intéressante sans l'avoir essayée

Si ce n'est de polo dont tu parles c'est donc moi. Cela montre juste que tu ne lis pas ce que tu insultes .

je suis en total désaccord que l'approche "brute force" présente un quelconque intérêt (...) Pour être complètement clair, je ne considère pas le LGP comme une approche de force brute.

[mtheory]

Vos posts sont insultants et puants d'arrogance. Si vous souhaitiez tuer d'avance toute discussion sérieuse, bravo c'est efficace.


Cela m'intéresse, car je n'en connais aucun avec cette opinion. Pourrais-tu citer ceux auxquels tu penses?

Je crois que ce qu'ils veulent dire c'est que passer le test de Turing n'est pas équivalent à intelligent et conscient mais ce n'est pas le point, le point de Turing était une machine peut-elle penser comme un humain ? Toutes les formes d'intelligences conscientes ne pensent pas forcément comme un humain, ou plus précisément on ne peut pas écarter cette hypothèse, et une machine qui passe un Test de Turing ne signifie pas qu'elle pense toujours comme un humain.
J'ai déjà vu des gens sur le forum visiblement informaticien dire que le test de Turing n'était pas concluant. Je pense que leur position est correcte s'ils pensent ce que j'ai exposé plus haut mais dans le cas contraire, je ne vois pas comment ils peuvent avoir cette opinion sans avoir grossièrement tort. Si une machine réussi le test de Turing elle peut clairement penser comme un humain mais évidemment on ne peut pas a priori dire que toute machine pensante pense comme un humain car on ne sait pas vraiment définir ce qu'est le pensée, la conscience et l'intelligence.

[invite6c250b59]

ils

Attention ta citation pourrait faire croire que la deuxième phrase allait avec la première Non, les réserves contre le test de Turing étaient 100% polies.

veulent dire c'est que passer le test de Turing n'est pas équivalent à intelligent

Oui c'est comme ça que je comprend la clarification de wipe. Autrement dit: le test de Turing est un outil philosophique, pas un outil pratique destiné à évaluer les progrès des IA actuelles. Pas de désaccord là-dessus... cela me parait d'ailleurs parfaitement conforme aux propos de Turing dans son article fondateur

Why not try the experiment straight away? (...) The short answer is that we are not asking whether all digital computers would do well in the game nor whether the computers at present available would do well, but whether there are imaginable computers which would do well.

[inviteb6b93040]

Dubitatif. Une IA qui viserait l’humanoïde doit-elle avoir des cheveux et deux trous de nez? Il y a une part de contingence dans nos traits...

cela dépende de l'environnement qui lui est destiné, mettre dans l'espace un humain avec une lourde combinaison spatiale ou un humanoïde comme Valkyrie, la Nasa a vite tranché

Objectif : accélérer le développement de Valkyrie

Pour se départager les équipes devront montrer une avancée technologique significative sur un modèle d’humanoïde, et plus spécifiquement sur le modèle R5, également appelé Valkyrie. Ce-même robot sur lequel l’Agence spatiale travaille depuis des années et qu’elle a récemment livré à trois universités américaines et britanniques après plusieurs séances de relifting. Le but ? Améliorer l’habileté et l’adresse de l’humanoïde dont la partie hardware a été conçue par la Nasa mais dont le logiciel peine encore à le faire fonctionner convenablement.
https://humanoides.fr/space-robotic-challenge-nasa-r5/

Par contre sur terre

Le Dr Ishiguro dévoile sa toute dernière créature au Musée Miraikan : Alter, l’humanoïde ultra-réaliste qui se déplace tout seul grâce à un réseau de neurones.
...
A la tête de son propre laboratoire intégré à l’Université d’Osaka, le chercheur fou japonais développe des androïdes extrêmement réalistes et flirte avec la vallée de l’étrange depuis de nombreuses années.
https://humanoides.fr/ishiguro-mirai...ter-humanoide/

Le commentaire du journaliste est édifiant !

[invite80c87b9b]

Bonjour,


Ce fil est très interessant, comme mentionné plus haut, un rare post sur l'AI sans en venir à turing (mais qui n'est toujours pas loin semble-t-il)...vous apportez des termes (genetic programming linear or not, look up table, Réseau temporel, attracteur étrange...) et sujets qui permettent d'élargir la compréhension.


Si j'ai bien compris 'l'intelligence' humaine ou pas, ce n'est que le résultat de milliard et milliard d’essais et erreurs quotidiennement que chaque individu enregistre. (plus ou moins bien selon son ADN probablement)
pour ensuite le partager avec les autres si on vous a intégré les bonnes lignes de code.


Personellement je fais parti du camp de ceux que turing est semblable au loi d'Asimov ou si je compare à la physique : la téléportation quantique et les trous de vers, amha, très bon pour la télé mais très difficile à appliquer en pratique avec une méthode scientifique et réaliste de la réalité.




Merci encore de votre contribution et continuez svp.


Espéron de fred3000gt ne se lassera pas du rabrouage de certain



Cdt.

[fred3000gt]

Ouh la, que de posts! Comme cela semble intéresser j'en profite pour répondre à certaines questions que je connais.

Quand tu utilises la programmation génétique, comment est la convergence ?
Parce que la génération/mutation et l'évaluation du code ne me semble pas trivial et pas non plus quelque chose qu'on peut accélérer sur des GPU comme pour les algos classiques.

La convergence se défini par une erreur par rapport à un objectif donné. Exemple typique, le pendule inversé. Tu essaie de faire tenir un crayon en équilibre sur ton doigt. La sortie du réseau peut-être juste un neurone, définissant la force a appliquer a gauche ou a droite a la base du crayon. L'erreur c'est 1/(durée du pendule debout). Si le pendule tient indéfiniment, l'erreur est nulle. Les entrées peuvent être la position, vitesse de la base du crayon, ainsi que l'angle, voire la vitesse angulaire du crayon.

En neuromimetisme, on change les poids qui relient les neurones pour diminuer l'erreur.
En approche génétique, on parle d'individu et de fitness, c'est pareil, sauf que cette fois le fitness = durée du pendule debout.
Maintenant ce qui devient très hardcore, c'est que à l’extrême, en programmation génétique on a même plus besoin de réseaux de neurones, ça n'est plus formellement du connexionnisme du tout.
On défini 4 variables d’entrées a=position, b=vitesse, etc.. et une variable de sortie o qui commande le doigt. On a un langage de programmation qui peut accéder à ces variables. L'individu est un programme, on sélectionne les meilleurs programmes.

Maintenant tu dis que ca n'est pas trivial pour la génération/mutation. Ca depend du langage. Il y a des langages spécialisés qui permettent de modifier une ligne en une autre et toujours avoir un programme exécutable.
Pour le GPU, je ne l'ai jamais fait mais en multicore (c'est pareil en fait) tu peux accélérer car tu dois évaluer plusieurs individus (en pratique de 10'000 a plusieurs dizaines de millions pour ce qui me concerne), les problèmes que l'on voit sont plus lie a la répétabilité des expériences: soit on laisse les core tourner en parallèle librement (non répétable), soit on fixe des points de synchro (ça ralentit beaucoup....).

Quand on a parti cette discussion, tu disais qu'il était "impossible" qu'un algorithme génétique puisse parvenir aux mêmes solutions que l'approche LGP. Mon point est que c'est en fait "obligatoirement possible". Je ne vois pas quelle explication serait plus appliquée que de te demander des exemples difficiles et de te montrer la recette d'équivalence en quelques lignes. Spécifiquement, tu en as donné trois que tu pensais impossible. Est-ce que tu as encore des réserves à conclure à l'équivalence dans ces trois cas?

Mais oui, je maintiens que si tu as un MLP simple non-recurrent, tu peux changer les poids comme tu veux ca ne fera jamais une dynamique de réseau récurrent. En pratique, un MLP, si tu ne change pas l’entrée, bah la sortie ne change pas non plus. Si tu veux passer du cas 1 au cas 2, du dois changer le source code.

Allez, comme cela avait été suggéré précédemment, je te propose de considérer le cas d'utilisation de la programmation génétique pour trouver un algo d'apprentissage. Considère 2 algo d'apprentissage pour les 100 poids de la couche cachée d'un réseau MLP avec une sortie:

Algo pseudo random (on deplace un petit hypercube de cote 2a vers le minimum de l'hypersurface):
for i=1 to 100
{
Wback(i) = W(i)
W(i) = W(i)+rand(-a,a)
E=ComputeError(W)
if (E > Emin) W = Wback
}

Algo backprop très schématique (on calcule dans quel sens il faut faire varier les poids, et on les diminue, alpha est facteur d'apprentissage)
for i=1 to 100
{
dW = ComputeGradient()
W(i) = W(i)-alpha*dW(i)
}

Chacun de ces 2 programmes est aussi un individu. Je ne vois pas comment passer de l'un à l'autre sans changer le source code.

La stagnation de la recherche en IA? ...ma lecture des choses est qu'on est, depuis disons 2006, dans la décennie la plus excitante et la plus riche en avancée en IA de l'histoire. La seule autre décennie qui pourrait s'en approcher, c'est... probablement la prochaine!

Disons quand j'ai commencé à m'y intéresser (il y a 25 ans...), on faisait des multicouches, de la backprop et de petits réseaux récurrents. Aujourd'hui on fait beaucoup de couches, on déplie multicouches récurrents pour en faire encore plus de couches, et on a des petits réseaux récurrents (les LSTM dont tu as parlé au début et que je connais si peu). Les perfs ont augmenté en conséquence, il y a du bel emballage avec des mots bien maketing (genre deep learning...) mais fondamentalement les outils de base n'ont pas évolués. Et personne n'y comprend toujours pas grand chose, le milieux est devenu hyperdisciplinaire (tu peux avoir une intervention d'un psy dans une conf de machine learning, ce qui aurait fait hurler de rire a l'époque), plus par dépit que par ouverture d'esprit.

Pour répondre sur le fond: je suis en total désaccord que l'approche "brute force" présente un quelconque intérêt, pour les raisons expliquées plus haut (i.e. si le l'espace des solutions apparaît aléatoire, alors il n'y a aucun apprentissage possible, par définition).
Pour être complètement clair, je ne considère pas le LGP comme une approche de force brute. En effet, la recherche se fait selon un langage de programmation précis et spécifique à cette approche. Je soupçonne fortement que, quelle que soit la classe de problèmes auquel le LGP est adapté, ses limites seront explicables en fonction du repliement de l'espace des solutions imposés par l'adoption de ce langage.

Oui, j'ai exagéré par "force brute", mais je comparais avec l'élégance d'une backprop. La vérité c'est que notre évolution génétique est essentiellement random, et que l'on s'en inspire de plus en plus. Sa performance est surtout lié à son gigantesque parallélisme (le cote brut).
Un autre point au passage, dans une autre intervention tu avais parlé de différentiabilité des hypersurfaces d'erreur. Il faut savoir que qu'elles ne le sont parfois pas du tout.
Pour le lecteur que cela intéresse, c'est cela une hypersurface d'erreur:
Supposons que l'on a trouvé les 100 valeurs de connections w1..w100 pour qu'un réseau ait une erreur nulle à une tache donnée. Si on modifie un peu un poids disons w1, l'erreur va probablement augmenter.
Traçons alors la surface z=erreur(w1,w2), ca nous fait une belle surface en 3D (et dans le cas d'un réseau multicouche, l'algo backprop nous donne la pente en tout point, donc on a plus qu'a se laisser glisser). Maintenant la surface pour tout les poids est en 101 dimensions, c'est l'hypersurface.

Bonjour,
Ce fil est très interessant, comme mentionné plus haut, un rare post sur l'AI sans en venir à turing (mais qui n'est toujours pas loin semble-t-il)...vous apportez des termes (genetic programming linear or not, look up table, Réseau temporel, attracteur étrange...) et sujets qui permettent d'élargir la compréhension.

Si j'ai bien compris 'l'intelligence' humaine ou pas, ce n'est que le résultat de milliard et milliard d’essais et erreurs quotidiennement que chaque individu enregistre. (plus ou moins bien selon son ADN probablement)
pour ensuite le partager avec les autres si on vous a intégré les bonnes lignes de code.

Personellement je fais parti du camp de ceux que turing est semblable au loi d'Asimov ou si je compare à la physique : la téléportation quantique et les trous de vers, amha, très bon pour la télé mais très difficile à appliquer en pratique avec une méthode scientifique et réaliste de la réalité.

Merci encore de votre contribution et continuez svp.

Espéron de fred3000gt ne se lassera pas du rabrouage de certain



Cdt.

Merci, ça prends juste beaucoup de temps de lire et d'écrire tout ça, surtout en francais.... Je ne suis pas sûr de pouvoir continuer longtemps

[mh34]

Les perfs ont augmenté en conséquence, il y a du bel emballage avec des mots bien maketing (genre deep learning...)

Désolée de faire descendre le niveau, mais puisque tu en parles...c'est quoi le deep learning? C'est effectivement une expression qu'on lit souvent, mais ça veut dire quoi exactement?

mais fondamentalement les outils de base n'ont pas évolués. Et personne n'y comprend toujours pas grand chose, le milieux est devenu hyperdisciplinaire (tu peux avoir une intervention d'un psy dans une conf de machine learning, ce qui aurait fait hurler de rire a l'époque), plus par dépit que par ouverture d'esprit.

Au total, on a progressé ou pas finalement?

[invite6c250b59]

Mais oui, je maintiens que si tu as un MLP simple non-recurrent, tu peux changer les poids comme tu veux ca ne fera jamais une dynamique de réseau récurrent.

Ok, let's agree to disagree.

Et personne n'y comprend toujours pas grand chose, le milieux est devenu hyperdisciplinaire (tu peux avoir une intervention d'un psy dans une conf de machine learning, ce qui aurait fait hurler de rire a l'époque), plus par dépit que par ouverture d'esprit.

Vision surprenante. Voir ici une revue de l'approche connexionniste appliquée à la psychiatrie... qui était à jour en 1994.

[fred3000gt]

Désolée de faire descendre le niveau, mais puisque tu en parles...c'est quoi le deep learning? C'est effectivement une expression qu'on lit souvent, mais ça veut dire quoi exactement?
Au total, on a progressé ou pas finalement?

Il y a plusieurs définitions, et je ne pratique pas, mais pour ce qui se rapproche le plus de ce que je connais, il y a le cas particulier du nombre de couches, pour les raisons multicouches.

Traditionnellement, on en fait 3: une couche d'entrée, une cachée et une de sortie. Mais on peut en faire beaucoup plus, genre 2, voire 10 couches cachées... A partir de là j'ai pu lire (mais je n'en ai pas l’expérience) que ces couches cachées supplémentaires correspondent à des représentations plus abstraites. Un des progrès parait-il est de parvenir à faire marcher la backprop pour un grand nombre de couches, apparemment même si mathématiquement ça devrait marcher, en pratique plus on remonte dans les couches (donc que se rapproche des entrées) moins le gradient calculé est fiable.

C'est la compréhension que j'en ai... pour ce que ça vaut!

Au passage si on maîtrise un peu les dérivées partielles et on s'intéresse au sujet alors ça vaut la peine, au moins une fois, de redémontrer les formules de backprop pour bien sentir le sujet.

Ok, let's agree to disagree.
Vision surprenante. Voir ici une revue de l'approche connexionniste appliquée à la psychiatrie... qui était à jour en 1994.

Oui mais moi je parlais du contraire en fait: utilisation par des chercheurs connexionnistes de la psychiatrie. Mais honnêtement, je suis sur que, vu l'immense bibliographie existante dans le domaine, on peut me mettre en faute avec un petit google sur bien des choses!

[Vincent PETIT]

Bonsoir,

J'ai récemment pu expérimenter certains programmes de traitement du signal qui outperforment completement les approches mathematiques standards que j'utilise normalement (filtrage morphologique et frequentiel). Le programme inventé (par programmation génétique donc) fait des calculs qui ne semblent pas avoir de sens, mais ca fonctionne.

Tout d'abord merci à tous les participants de ce fil très intéressant et concret.

Pourrais tu, s'il te plaît, détailler ce que tu as fait avec un algorithme génétique sur un filtrage frequentiel ?

D'avance merci,
Vincent.

[inviteb6b93040]

Désolée de faire descendre le niveau, mais puisque tu en parles...c'est quoi le deep learning? C'est effectivement une expression qu'on lit souvent, mais ça veut dire quoi exactement?

Yann LeCun le définis comme ça

Le deep learning utilise lui aussi l'apprentissage supervisé, mais c'est l'architecture interne de la machine qui est différente : il s'agit d'un « réseau de neurones », une machine virtuelle composée de milliers d'unités (les neurones) qui effectuent chacune de petits calculs simples. « La particularité, c'est que les résultats de la première couche de neurones vont servir d'entrée au calcul des autres », détaille Yann Ollivier, chercheur en IA au CNRS, spécialiste du sujet. Ce fonctionnement par « couches » est ce qui rend ce type d'apprentissage « profond ». Yann Ollivier donne un exemple parlant :
« Comment reconnaître une image de chat ? Les points saillants sont les yeux et les oreilles. Comment reconnaître une oreille de chat ? L'angle est à peu près de 45°. Pour reconnaître la présence d'une ligne, la première couche de neurones va comparer la différence des pixels au-dessus et en dessous : cela donnera une caractéristique de niveau 1. La deuxième couche va travailler sur ces caractéristiques et les combiner entre elles. S'il y a deux lignes qui se rencontrent à 45°, elle va commencer à reconnaître le triangle de l'oreille de chat. Et ainsi de suite. »
A chaque étape – il peut y avoir jusqu'à une vingtaine de couches –, le réseau de neurones approfondit sa compréhension de l'image avec des concepts de plus en plus précis

En savoir plus sur http://www.lemonde.fr/pixels/article...o4FTLVIt3bc.99

Au total, on a progressé ou pas finalement?

C'est la puissance des ordinateur qui a le plus fait progressé

Les idées de base du deep learning remontent à la fin des années 80, avec la naissance des premiers réseaux de neurones. Pourtant, cette méthode vient seulement de connaître son heure de gloire. Pourquoi ? Car si la théorie était déjà en place, les moyens, eux, ne sont apparus que très récemment. La puissance des ordinateurs actuels, combinés à la masse de données désormais accessible, a multiplié l'efficacité du deep learning. « On s'est rendu compte qu'en prenant des logiciels que nous avions écrits dans les années 80, lors d'un stage par exemple, et en les faisant tourner sur un ordinateur moderne, ils fonctionnaient beaucoup mieux », explique Andrew Ng à Forbes.
En savoir plus sur http://www.lemonde.fr/pixels/article...Y1G5bs1Tcx2.99

[inviteb6b93040]

Pour le GPU, je ne l'ai jamais fait mais en multicore (c'est pareil en fait)

il y a quand même plus de coeur dans les GPU

Les GPU ont des fréquences d’horloge bien moindres que celles des CPU (20x) mais ils possèdent de nombreux cœurs (unités de calcul). A titre d’exemple, sur une carte graphique de dernière génération de marque NVidia le GPU intègre 5760 cœurs pour 12Go de mémoire. Ces composants sont parfaitement adaptés aux traitements parallélisables de données de grande dimension (multiplication de matrices, convolution etc.). Par ailleurs, les fabricants se sont attelés à repousser encore plus loin les possibilités offertes par ce type d’architecture. Les technologies SLI (NVidia) ou Crossfire (AMD) permettent utilisation jusqu’à 4 GPU dans la même machine, démultipliant quasi proportionnellement la puissance de calcul.
...
Des travaux récents produits en 2014, ont conduit à la construction d’un cluster de 64 GPU conçu spécifiquement pour l’entraînement d’un Convolutionnal Neuronal Network (CNN) à 18 couches de neurones pleinement interconnectées, soit 212.7M de poids synaptiques (w). Appliqué au cas d’usage académique Image Net Large-Scale Visual Recognition Challenge (ILSVRC) cette nouvelle architecture a décroché le nouveau record de taux de reconnaissance sur les 1,2 millions d’images classées dans 1000 catégories. Un résultat désormais supérieur à celui de l’œil humain !
http://www.technologies-ebusiness.co...lementation-22

ce serait dommage de ne pas les utiliser d'autant plus que la citation dans mon message précédant "On s'est rendu compte qu'en prenant des logiciels que nous avions écrits dans les années 80, lors d'un stage par exemple, et en les faisant tourner sur un ordinateur moderne, ils fonctionnaient beaucoup mieux », explique Andrew Ng à Forbes." pourrait vous éviter de chercher désespérément de nouvelles théorie plus performantes jusque dans les attracteurs étranges

[fred3000gt]

Bonsoir,

Tout d'abord merci à tous les participants de ce fil très intéressant et concret.

Pourrais tu, s'il te plaît, détailler ce que tu as fait avec un algorithme génétique sur un filtrage frequentiel ?

D'avance merci,
Vincent.

Oui, mais c'est de la prog genetique, pas de l'algo genetique.

On avait un simple filtrage fréquentiel d'image passe-haut par convolution. On a réalisé que si on laissait évoluer des milliers de programmes pour réaliser un filtrage arbitraire par ces codes obtenus au hasard, alors la perf etait meilleure (en algo genetique on aurait juste fait evoluer le kernel, c'est a dire la matrice disons 5x5 par laquelle on multiplie chaque pixel).

A noter que dans tous mes posts je suis limité dans les détails que je peux donner pour des raisons de propriété industrielle et de stratégie de communication.

il y a quand même plus de coeur dans les GPU
ce serait dommage de ne pas les utiliser d'autant plus que la citation dans mon message précédant "On s'est rendu compte qu'en prenant des logiciels que nous avions écrits dans les années 80, lors d'un stage par exemple, et en les faisant tourner sur un ordinateur moderne, ils fonctionnaient beaucoup mieux », explique Andrew Ng à Forbes." pourrait vous éviter de chercher désespérément de nouvelles théorie plus performantes jusque dans les attracteurs étranges

Comme programmeur j'adorerai le faire et je l'ai fait pour certain algo de traitement d'image.

Comme chercheur, c'est aussi un danger, car c'est ainsi que l'on s'écarte de la recherche fondamentale pour tomber ce que font déjà des milliers de personnes. Il aussi savoir qu'un portage sur Cuda (je connais que cela pour les GPU) est délicat car on doit gérer les transferts mémoires avec soin, sinon, bah on a un speedup inférieur à 1 (plus on ajoute de core, plus ca rame...).

Mais de toute façon, il est probable qu'on va le faire quand même

Et tant qu'à aller parallèle, il y a aussi d'autres approches intéressantes comme "l'Evolution In-Materio" que l'on regarde aussi, ca c'est déjà plus disruptif