bonjour fred ,
OK, on peut comprendre ce point.Envoyé par fred3000gt
mais si je reprend l'introduction du fil
ayant travaillé en tant que consultant dans des domaines techniques "protégés", j'ai comme un doute qu'il faudrait lever, non ?
sinon:
peut on savoir où ?Comme programmeur j'adorerai le faire et je l'ai fait pour certain algo de traitement d'image.
simple curiosité personnelle...
Cordialement.
Je suppose que l'on peut partager des approches et des concepts sans rentrer dans tous détails.
Bah non, mais est-ce important?
certes, certes.
(curieusement c'est ainsi que je proposais d'en savoir plus moi-même)
cela étant , partager les points de vue et concepts, c'est justement déjà ce qui se fait dans les publi et les conf, non ?
mais vous invitez gentiment les autres participants éventuellement callés à sortir de ce cadre si j'ai bien compris.
sans être parano
non, la réponse est cohérente.
Il y a plusieurs définitions, et je ne pratique pas, mais pour ce qui se rapproche le plus de ce que je connais, il y a le cas particulier du nombre de couches, pour les raisons multicouches.
Traditionnellement, on en fait 3: une couche d'entrée, une cachée et une de sortie. Mais on peut en faire beaucoup plus, genre 2, voire 10 couches cachées... A partir de là j'ai pu lire (mais je n'en ai pas l’expérience) que ces couches cachées supplémentaires correspondent à des représentations plus abstraites. Un des progrès parait-il est de parvenir à faire marcher la backprop pour un grand nombre de couches, apparemment même si mathématiquement ça devrait marcher, en pratique plus on remonte dans les couches (donc que se rapproche des entrées) moins le gradient calculé est fiable.
C'est la compréhension que j'en ai...merci beaucoup à tous les deux.
"Музыки хватает на всю жизнь, но целой жизни не хватает для музыки"
Rachmaninoff
Le problème c'est qu'on ne sait pas comment ça marche, et il y a des personnes qui voudraient être sure qu'il n' y aura pas de bug.
et justement des résultat ressent montrent qu'il peut y en avoir, on peut tromper facilement un réseau convolutionnel.
de ce coté la recherche de la théorie mathématique est encore à faire.
à ce sujet, une conférence intéressante de 2016 au collège de France.
Mystères mathématiques des réseaux de neurones convolutionnels
Dans cet esprit, aurais-tu un retour d'experience sur les techniques de bagging et boosting avec les algoritmes genetiques que tu as utilise? Je suis tres impressionne par les resultats quand on applique ces techniques a des arbres de classification (random forest).
Ah bah, non, je ne connaissais même pas ces termes de "bagging" et "boosting"! Et les seuls arbres que je connaisse sont ceux de Koza mais ils ne sont pas pas pour la classification, et les réseaux Bayésiens, mais je n'y touche plus depuis longtemps.
Je vais regarder ça un peu
Après avoir vus cette conférence de Yann Ollivier : Optimisation et entrainement de réseaux récurrents, je me demande si vous tenez compte de la sensibilité d'un réseau aux données d'entrées car il donne l'exemple d'une reconnaissance de caractère noir sur blanc puis blanc sur noir et le réseaux n'a pas le même taux d'erreurs dans ces 2 cas
ce qui pose un problème pour faire un réseaux universel
Pour vous faire une idée et voir aussi d'autre méthodeAh bah, non, je ne connaissais même pas ces termes de "bagging" et "boosting"! Et les seuls arbres que je connaisse sont ceux de Koza mais ils ne sont pas pas pour la classification, et les réseaux Bayésiens, mais je n'y touche plus depuis longtemps.
Je vais regarder ça un peu
http://blog.octo.com/les-methodes-en...hine-learning/
3.1 Bagging ou Bootstrap aggregating
Il consiste à sous-échantilloner (ou ré-échantilloner au hasard avec doublons) le training set et de faire générer à l’algorithme voulu un modèle pour chaque sous-échantillon.
On obtient ainsi un ensemble de modèles dont il convient de moyenner (lorsqu’il s’agit d’une régression) ou de faire voter (pour une classification) les différentes prédictions.
L’utilisation du bagging est adaptée aux algorithmes à fortes variance qui sont ainsi stabilisés (réseaux neuronaux, arbres de décision pour la classification ou la régression…), mais il peut également dégrader les qualités pour des algos plus stables (k plus proches voisins avec k grand, régression linéaire).
On générera par exemple des dizaines de classifieurs au total qu’il va falloir « bagger ». L’avantage principal de ces procédures est que la génération de ces modèles peut être naturellement parallélisée.
...
3.2 Boosting
Le principe du boosting est quelque peu différent du bagging. Les différents classifieurs sont pondérés de manière à ce qu’à chaque prédiction, les classifieurs ayant prédit correctement auront un poids plus fort que ceux dont la prédiction est incorrecte.
Adaboost est un algorithme de boosting qui s’appuie sur ce principe, avec un paramètre de mise à jour adaptatif permettant de donner plus d’importance aux valeurs difficiles à prédire, donc en boostant les classifieurs qui réussissent quand d’autres ont échoué. Des variantes permettent de l’étendre à la classification multiclasses. Adaboost s’appuie sur des classifieurs existants et cherche à leur affecter les bons poids vis à vis de leurs performances.
Merci pour les liens
En fouillant on tombe sur la réponse personnelle de LeCunn à la question du fil (entre autres)
Merci Jiav, ça m'a refait penser à Prolog que j'ai un peu appris à utiliser à la fin de mes études d'archi à Lumigny
Les japonais ont abandonné ce programme il me sembleEn France, le moteur Prolog — inventé par Alain Colmerauer à Grenoble en 1965 et développé à Marseille Lumigny dans les années 1970— est un exemple mondialement connu de moteur d'inférence en logique formelle monotone d'ordre 1 en chaînage arrière non complet déductivement. Les Japonais avaient d'ailleurs décidé de fonder leur programme de recherche sur les ordinateurs dits de « 5e génération » sur le langage français Prolog.
https://fr.wikipedia.org/wiki/Moteur_d%27inf%C3%A9rence
Mais je me demande ce que donnerait un système hybride, par exemple, un moteur d'inférence de base dont les règles seraient ensuite enrichies par du deep learning non supervisé.
Merci Jiav,
très intéressante cette analyse de LeCunn.
Si je peux me permettre un post personnel (en espérant que certain(s) n'y voi(en)t pas un flooding): je déteste ce genre d'approche.
...mais je n'aimais guère plus l'approche MCTS. Or c'est un MCTS qui gère l'interrogation des réseaux profonds d'alphaGo, avec le succès qu'on connait. Donc, oui, c'est bien possible que ce soit une idée fructueuse. Bien du plaisir à qui l'essaiera!
En y réfléchissant, la raison pour laquelle je n'aime pas tellement ces approches est que je les perçois comme profondément aliens. Dans le fond, faire une intelligence artificielle très puissante, cela ne m'excite pas tellement (nonobstant les applications évidentes). Ce qui m'intéresse, c'est de comprendre l'esprit humain.
Si l'IA est basée sur des réseaux de neurones, je m'attend à ce que la similarité de structure fonctionnelle soit tellement forte que je n'aurais pas de grandes réserves à tenir ma compréhension du modèle pour une compréhension de l'original. Certes, ce sera probablement différent sur certains détails, voir sur certaines caractéristiques fondamentales pour lesquelles la modélisation est grossière (par exemple la rétropropagation n'est possiblement pas du tout utilisée par les réseaux de neurones biologiques, et la redondance est possiblement plusieurs ordres de grandeur supérieures chez l'humain biologique à ce qu'il serait nécessaire in silico), mais si cela aboutit à des réseaux ayant fonctionnellement le même genre de structures&comportements que les réseaux biologique alors ça ne me chagrinera pas tellement.
Mais je crains de plus en plus que les approches les plus efficaces ne soient des hybrides entre d'une part, des principes analogues à la biologie, et d'autre part, des techniques mathématiques sans équivalent biologique. Alphago en est le meilleur exemple, pour lequel on voit que la combinaison d'un alien biologique (MCTS) et d'un analogue biologique (RDN profond) donne des résultats deux fois plus fort que chaque approche séparément -comme si chacune tirait sa puissance d'éléments complètement différents de l'autre. Un autre exemple: les random forest peuvent être vus (vision personnelle) comme l'hybridation d'un alien biologique (les arbres de décisions) avec un analogue biologique (les méthodes ensemblistes (historiquement issues de la statistique pure et dure, mais que je vois comme l'analogue biologique de la forte redondance neuronale) ). Ces hybrides sont des champions dans leurs domaines d'application respectif.
Alors est-ce qu'un hybride entre prolog et réseaux de neurones (par exemple un ensemble de règles formelles capables d'utiliser les éléments sémantiques présents dans les RDN pour en extraire le intelligence dotée de sens commun) pourrait devenir une intelligence tellement puissante qu'elle finisse par passer le test de Turing? Je crains que oui, c'est bien possible.
Mon erreur: Yann Lecun deux n un n
bjr,
@Jiav:
tu t'exprimes sur la forme comme si cela devait faire "peur" !
il me semble que même dans ce cas, le principe de l'auto apprentissage ( méta ) reste un soucis.
ps : je n'ai pas saisi ce qu'on entend par deep Learning non supervisé concrètement.
C'est vrai, mais développer pleinement nous entraînerait sur des débats connexes. En première approximation ma "peur" concerne la direction des recherches. Pour prendre une analogie: un passionné de Mars pourrait avoir peur qu'on trouve des montagnes d'or massif sur Mercure, sans diminuer la valeur du tas d'or ni dénigrer ceux qui se passionnent pour Mercure. C'est juste que, si c'est le cas, les prochaines fusées risquent de ne pas partir dans la direction qui l'intéresse le plus.
Tout-à-fait, j'ai juste "peur" qu'il y ai une recette alien suffisamment efficace pour que la puissance de google, facebook et autre IBM ne se tourne vers elle plutôt que vers des solutions susceptibles de faire progresser notre compréhension de l'esprit humain.
Pour le comprendre on peut commencer en partant d'un apprentissage supervisé par réseau de neurone profond. Considère l'apprentissage supervisé suivant:
1) extraire de wikipedia l'ensemble des phrases à 5 mots
2) créer un dictionnaire qui associe au hasard chaque mot avec un code numérique, disons à 16 chiffres pour 65536 mots possibles
3) associer chaque phrase trouvée dans wikipedia au code "bonne phrase"
4) créer de nouvelles phrases en remplaçant au hasard le dernier mot et associer ces phrases au code "mauvaise phrase"
5) entraîner un réseau profond à classifier les phrases comme étant "bonne" ou "mauvaise"
Avec un réseau à faible profondeur, les performances sont bonnes mais pas top. Avec les réseaux à grande profondeur disponibles depuis quelques années, les performances sont au top. Mais ce n'est pas ça qui est le plus intéressant.
Le plus intéressant, c'est quand on regarde, après l'entrainement, la carte des activations neuronales pour les différents mots. Cette carte ne parait pas du tout désordonnée. Elle possède une structure sémantique.
Ainsi, si on regarde quels sont les mots qui ont des activations proches des activations d'autres mots, on va voir que, par exemple:
-pour le mot "France", on trouve des noms de pays.
-pour le mot "Mégabits", on trouve des unités de mesure
-pour le mot "Xboxs", on trouve le nom
-etc..
Jamais on n'a demandé au réseau d'apprendre les noms de pays, les unités de mesure, les noms de consoles. Pourtant ces informations ont été apprises, d'une façon qu'on peut qualifier de non supervisée.
Un autre exemple en partant d'une devinette. "Le roi est à X ce qu'un garçon est à fille. Qui est X?"
Prenons l'activation de "garçon" et de "fille" dans l'espace des activations du réseau de neurone défini plus haut. La différence entre ces activations peut être considéré comme un vecteur. Si on applique ce vecteur à l'activation du mot "roi", quel mot va-t-on trouver?
Hé oui: "reine"! Non seulement les concepts proches sont proches, mais l'espace des activations est structuré selon des dimensions qui ont un sens. Autres exemples?
activation(France)-activation(Paris)+activation(I talie) == "Rome"
activation(Microsoft)-activation(Windows)+activation (Apple)== "Iphone".
activation(Einstein)-activation(Science)+activation (Violon)== "Mozart".
Pour moi c'est une des plus grandes réalisations en machine learning: prouver hors de tout doute raisonnable que la sémantique peut émerger de simples statistiques non linéaires. On s'en doutait, c'est conforme au computationnalisme, mais... c'est quand même quelque chose de le voir prouvé.
Maintenant, le problème identifié par LeCun, c'est que c'est nous qui voyons ces informations, de façon informelle, sans avoir de règles/techniques qui pourrait permettre à la machine de s'en rendre compte elle-même. Une machine qui aurait du sens commun, c'est une machine qui serait capable de manipuler efficacement les informations sémantiques que les réseaux profonds sont capables de générer.
PS: c'est une version courte et en français d'explications qu'on trouve en long et avec plus de détail ici, avec également les références pertinentes desquelles ces résultats ont été extraits.
merci pour l'explication ( très claire pour le sens de "non supervisée" )
le reste même si j'entend ton point de vue, me semble au contraire une voie possible, même si cela peut te sembler paradoxal.
a savoir que nous même serions très peu supervisé ( au sens utilisé ici ).
mais c'est pb HS dans ce fil.
et reste que même tout cela ne couvre pas tous les champs cognitifs.
Bonsoir Jiav,
Lorsque tu parles de "recette alien" j'ai l'impression que tu sous-entends "algorithme NP-complet" (https://fr.wikipedia.org/wiki/Probl%....C3.A9_humaine), expression prise sur wiki. Si je me trompe, peux-tu préciser ta crainte STP.
Merci.
A quoi penses-tu?
Non... ne serait-ce que parce que cela ne veut rien dire. "NP-complet" est un qualificatif qui s'applique aux problèmes, pas aux algorithmes.
En forme courte: "sans équivalent biologique".
En forme longue: "dont la compréhension ne nous permet pas d'avancer sur la compréhension de l'esprit humain"
Alors il y a une erreur dans Wikipédia.
J'irais jusqu'à parier qu'il y a au moins deux erreurs dans wikipedia.
Corrigé... mon pari tient quand même
Bonsoir,J'irais jusqu'à parier qu'il y a au moins deux erreurs dans wikipedia.
tu ne te mouilles pas vraiment sur ce coup là
Bonjour,
Je comprends que mon avis vaut pas grand chose face aux machines à écrire de ce monde, mais voici un test de turing en plein action.
Il y a probablement une partie de la population qui ne passe même pas turing...et qui possède tout de même un cerveau humain.
Cdt
oups ! en première intention à chaud:
- à la capacité d'auto-apprentissage qcq soit le sujet, j'entend par là sans repartir de 0 à chaque fois.
on pourrait rétorquer que c'est le prolongement naturel d'une telle architecture, mais il me semble que c'est plus complexe que cela.
- à la prévision, simulation : quand elle sous entend elle même pour certains sujets importants, une compréhension du fonctionnement cérébral humain.
il y a une boucle la dedans ? non ?
- à la notion d'inter-subjectivité : je vois mal comment UNE IA pourrait intégrer cette notion sans être "schizophrène".
-.......
Merci pour cet exposé super intéressant ! Histoire de fixer des idées, un réseau profond cela à combien de niveau ?
Si je comprend bien le problème, c'est que la machine n'est pas en mesure de considérer que le vecteur activation(France) - activation (Paris) est plus pertinent que le vecteur activation(Avion) - activation(Silex) ?
Si c'est le cas, qu'est-ce qui empêche de prendre ces vecteurs, de les mettre en entrée d'un nouveau réseau et de les filtrer de nouveau ? L'absence d'une base de donnée d'associations "valides" ? ou une autre difficulté ?
Bonjour Jiav,
D'abord, merci pour cette correction, merci vis à vis de tous les lecteurs de questions de mathématiques. C'était en réalité une sacrée erreur. Bien que sur le plan de la vulgarisation, le meilleur article reste celui de Jean-Paul Delahaye (https://interstices.info/jcms/c_2183...ion-de-dollars), par rapport au passage suivant,Corrigé... mon pari tient quand mêmeà cause ou grâce à l'erreur de wiki, j'avais faussement déduit que "np-complet" combiné à "algorithme" signifiait "algorithme sans calcul". Aujourd'hui, deux ans et demi plus tard, tu me confirme cette confusion et j'hésite avec cet "alien".
Pour le pari, une autre fois, assez de théorie pour ce soir, j'en resterai là.
Cdt
Merci. Je n'ai pas tout compris, mais je te laisse voir quand tu seras prêt à développer
Au moins 4, mais cela varie beaucoup en fonction des sous-types d'architectures. Typiquement 10-20 pour les réseaux à convolution. Typiquement 4 pour les LSTM (ou plusieurs centaines, dépendant comment on compte les réentrées). Dans le fond, on pourrait définir "réseau profond" comme tout réseau de neurone qui utilise des astuces intéressantes pour contourner le problème du vanishing gradiant.
Exactement.
Rien à priori ne l'empêche... ce résultat ne date que de 2013, il y a probablement des gens en train d'essayer pendant qu'on en jase.
Quelques cours pour aller plus loin (en anglais malheureusement):
http://stellar.mit.edu/S/course/6/sp.../lec8/lec8.pdf
https://stellar.mit.edu/S/course/6/s.../lec9/lec9.pdf
https://stellar.mit.edu/S/course/6/s...ec10/lec10.pdf
tu ne te mouilles pas vraiment sur ce coup là
quel point 1) 2) ou 3) ?Merci. Je n'ai pas tout compris, mais je te laisse voir quand tu seras prêt à développer
Cdt
Pour l'instant c'est plutôt le biologique qui a inspiré les RDN, je ne vois pas d'exemple dans l'autre sens
de plus les RDN profonds ne se sont inspiré que du système visuel des être vivants, et cette inspiration est déjà vielle.
Alors y a il de nouvelles découvertes du fonctionnement des zones de neurones biologique qui donneront de nouveaux RDN synthétiques ou est on assuré qu'elles fonctionnent toute sur le principe du système visuel ?
Tout à fait d'accord ( il y a quand meme les LSTM aussi mais je n'ai pas pratiqué ), et ca ne suffira pas.
Il nous faut de la dynamique, et ca veut dire recurrent, mais dés que c'est récurrent on ne peut plus apprendre...
Et autre chose, non seulement le cerveau n'est pas qu'un multicouche, mais il n'a pas non plus de backprop, donc le seul algo serieux pour l'apprentissage que l'on a n'est pas biologiquement realiste, et plus grave encore, il ne scale pas.
Je pense que l'On est plutot assuré du contraire... On peut en effet joindre n'importe quels neurones en 3 à 6 sauts (dixit Pr. Markram), et comme on sait pertinemment que le cerveau n'a pas 6 couches...
Perso je ne crois plus que la neurobiologie puisse nous aider beaucoup plus, les principes des base sont connus... (Euh a part l'apprentissage parce que Hebb c'est un peu foireux en pratique).
Mais certains disent que les détails sont importants, je sais pas. Un planeur et un oiseau volent tous les 2, on avait pas besoin des plumes. Bon, d'un autre cote ils volent pas pareil non plus, et le but est quand meme d'avoir un systeme cognitif assez similaire au notre si on veut passer Turing...
Dernière modification par fred3000gt ; 27/08/2016 à 15h44.
