Pour donner un ordre d'idées concernant les performances des GPU. (NVidia ici)
A noter la nouvelle bibliothèque Tensor RT développée spécifiquement pour les réseaux de neurones.
https://www.linformaticien.com/actua...-neurones.aspxEnvoyé par L'Informaticien 9/2016
Ah ok, je ne savais pas.
En fait, à chaque fois que j'entends parler de l'IA, j'entends les noms de Google, Facebook ou Amazon.
Par contre, j'ai fait une petite erreur dans mon message, car AMD a racheté ATI. Pour le coup AMD était parfaitement positionné pour le marché, puisqu'ils produisent à la fois des CPU et des cartes graphiques.
En fait, c'est les sociétés qui produisent le hardware qui auraient dû dominer dans le domaine. À priori, Google produit principalement du software.
Tu fais référence au problème du vanishing gradient? Le flou a en fait augmenté. Avant on pensait que la limite dans le nombre de couche était du à ce problème. Or depuis deux trois ans on a des resnets, qui ont une architecture pour laquelle ce problème n'existe à peu près plus (c'est d'ailleurs un des ingrédients d'alphago zero). Or on continue à avoir une limite dans le nombre de couches utiles même avec les resnet, ce qui suggère qu'il y a des raisons plus profondes qu'on a pas encore bien comprises.
A part l'observation triviale que certaines tâches sont réalisées (donc avec un nombre de neurone suffisant), pas vraiment. D'un côté on sait qu'augmenter le nombre de neurones augmente généralement la performance, avec convergence vers une performance asymptotique. De l'autre on constate aussi que, quand on a un réseau entraîné (ou mieux, plusieurs), on peut presque toujours l'utiliser pour entraîner un réseau beaucoup plus petit dont les performances seront très proches du gros (distillation learning). On peut en conclure que le nombre de neurones nécessaires dépend de la méthode d'apprentissage, mais cela ne permet pas de donner un estimé fiable du nombre de neurone nécessaire pour telle ou telle performance.
Tout-à-fait. Le rapport entre les ressources nécessaires à l'entraînement versus l'utilisation peut facilement être de l'ordre de 10^13. C'est pour cela que les téléphones peuvent faire tourner ces bestioles sans problème alors qu'on a besoin de matériel spécialisé pour l'entrainement.
Oui et non, en fait j'avais oublié ce problème. Comme je l'ai indiqué j'ai suivi quelques heures de cours en ligne mais cela fait deux ou trois ans et de façon dilettante. Quand il s'est agit de devoir commencer à écrire pour continuer à (bien) comprendre, j'ai laissé tombé faut de temps. Je pense avoir lâché l'affaire à peu près au moment où j'ai pris connaissance de ce problème. Mais oui, globalement c'est un peu ça, c'est à dire qu'il semble qu'on sait que ça marche, que ça peut marcher mais dans le détail on ne sait pas vraiment comment ça fonctionne et on tâtonne pour parvenir à des résultats corrects faute de méthode déterministe globale.
C'est passionnant, si ça avait existé trente ans avant comme ça existe aujourd'hui j'aurais orienté mes études dans le domaine.
Merci pour les explications en tout cas.
Dernière modification par ClairEsprit ; 05/11/2017 à 22h20.
Avec le lien vidéo je comprend que ta question est en fait plus fondamentale, non spécifique au deep learning. Il s'agit de dire que, en toute généralité, l'apprentissage est impossible. Cela parait bizarre dit comme cela, mais le truc c'est que 'en toute généralité' signifie que la fonction que l'on cherche à apprendre peut être n'importe quel association possible entre des inputs et des inputs. Or on peut montrer que l'immense majorité des associations *logiquement possibles* sont en fait des associations arbitraires, donc pour lesquelles il n'y a rien à apprendre. En pratique les associations auxquels on s'intéresse ne se comportent pas ainsi, i.e. ils ont une structure, et toute stratégie d'apprentissage peut être vue comme une méthode pour exploiter cette structure. Bref: à la question 'pourquoi l'apprentissage est possible', la réponse générique est 'parce que l'association à apprendre n'est pas arbitraire'.
A part ça, je ne suis pas convaincu que 30 ans soit irrémédiable. L'un dans l'autre, le deep learning n'est pas une discipline si compliquée à apprendre, surtout si tu as un minimum en statistique.
Non, ça ne l'est pas, ça m'a paru très abordable. Il faut juste faire des choix. Si je veux étudier le domaine je dois sacrifier d'autres choses. On verra.
Bon, je vais faire un petit hors-sujet, mais sait-on si l'intelligence artificielle pourrait nous aider à gérer ça : http://www.futura-sciences.com/plane...planete-69220/
Pas vraiment je pense.
Il suffit de se balader en forêt ou dans les parcs publiques pour constater l'incivisme d'une partie de la population.
Certains ne se gènent même plus pour lancer publiquement leurs détritus, bouteilles et autre polluants dans les plans d'eau.
Que peut faire une IA contre ça ?
Contrôler une armée de drones éboueurs ?
Contrôler une armée de drones éboueurs ?
Bon après, ces problèmes relèvent aussi d'une bonne part de technicité et il y forcément plein de choses auxquelles on a pas pensées. Je me demandais si une IA bien costaud pouvait nous aider à rationaliser tout ça dans le futur.
Le petit côté "drôle" de la chose, c'est l'optimisme qui règne dans le domaine de l'IA, mais si tout part en sucette avant...
De l'intelligence, je pense qu'on en a déjà beaucoup trop, ce n'est probablement pas ça le nœud du problème.Le petit côté "drôle" de la chose, c'est l'optimisme qui règne dans le domaine de l'IA, mais si tout part en sucette avant...
C'est très probable que l'IA aura un impact majeur, par contre bien malin qui pourrait dire dans quel sens. Il y a des raisons pour être optimistes, quand on regarde les aspects purement techniques. Ainsi, l'impact de la voiture autonome devrait largement supérieur à l'ensemble des efforts de réduction antérieurs. Mais quand on regarde les facteurs humains il y a de quoi être plus pessimiste. Ainsi les voitures d'aujourd'hui sont beaucoup plus efficace sur le plan énergétique, mais le gain n'a pas servi à diminuer les émissions, il a servi à avoir des voitures beaucoup plus grosses.
Si elle peut nous aider à diminuer la pression démographique sur notre environnement...et j'avoue que je vois pas bien comment...
"Музыки хватает на всю жизнь, но целой жизни не хватает для музыки"
Rachmaninoff
Comme je tente d'expliquer ici, le problème n'est pas tant de trouver une solution que de savoir correctement poser quel problème on veut résoudre. Dans le cas du jeu de go, c'est simple ...
Je ne parlais pas vraiment de ça, mais de tout l'aspect purement technique du problème comme l'optimisation de la gestion des ressources ou l'aide technologique.
Pour l'aspect humain, on pourrait imaginer un programme qui aide les humains à gérer leur quotidien de façon plus rationnelle. Je ne parle de ceux qui jettent leur paquet de chips dans la forêt, mais de ceux qui gaspillent des ressources sans vraiment s'en rendre compte.
en même temps, y a pas besoin d'une IA extrêmement élaborée pour isoler les maisons ...
Il n'y a pas que ça... on peut également penser aux habitudes de consommation.
Stop. Totalement hors sujet.
Rien ne sert de penser, il faut réfléchir avant - Pierre Dac
Sexbots
Pour ceux qui avaient encore un doute sur la puissance de l'approche:
https://arxiv.org/abs/1712.01815
http://www.futura-sciences.com/tech/...-echecs-61409/
Oui, c'est hallucinant.
Mon dieu !
4 heures pour dépasser deux bon siècles d'études systématique des échecs par des millions d'humains !
Et en lisant l'article, la seule limitation que j'ai trouvé c'est ça : "We trained a separate instance of AlphaZero for each game".
L'article de futura parle de starcraft. C'est presque amusant que de voir que le jeu qui résiste encore est tout récent et se joue uniquement sur ordinateur. Je me demande si le point de contention n'est pas justement la taille du plateau de jeu. Starcraft c'est grosso modo un damier de 100x100 avec plus de 30 pièces différentes, la possibilité d'en générer de nouvelles et - bien sûr - le temps réel, mais ça je ne crois pas que ce soit un obstacle.
Et plus de 50 ans de programmation du jeu d'échec par des méthodes diverses et variées qui avaient déjà donné des résultats remarquables.
Salut,
Avec les techniques habituelles (arbre de coups, minimax, alpha-bêta, etc...) c'est clair qu'un tel jeu est inabordable. Mais avec les techniques de deep learning, ce n'est en effet pas un obstacle.
Y compris par moi à l'époque où je me suis passionné du sujet (mon premier programme en basic à quatorze ans, avant même qu'on me livre mon trs80, était un programme d'échec R+D contre R).
De quoi vous dégoûter
Ca me rappelle une histoire (BD) de SF que j'avais lu et où des astronautes partent pour Pluton pour un voyage de dix ans, dans des conditions extrêmement difficiles. Et juste en arrivant, ils se font doubler par un vaisseau parti un an plus tôt
Le deep learning ça fait un peu cet effet.
"Il ne suffit pas d'être persécuté pour être Galilée, encore faut-il avoir raison." (Gould)
Sur certains périmètres, c'est en effet le cas. Cela fait penser à ce qui s'est passé il y a quelques décennies quand par exemple, on a remplacé une armée d'humains qui calculait des payes pendant des jours ou des semaines par des ordinateurs qui le faisaient dans le nuit et le sortait sur des imprimantes.
Hier, je parlais à un prof dans le domaine qui me décrivait ce qu'on fait en reconnaissance d'images et c'était tout simplement impossible il y a 20 ans.
J’ai hérité d’un fond de bibliothèque provenant de la famille de mon épouse, où l’on était notaire de père en fils, d’un livre intitulé Manuel du capitalistedatant probablement du XIXe siècle. Mis à par une dizaine de pages explicatives il est constitué uniquement de tableaux donnant les intérêts (de 3 à 6%) en abscisse pour diverses sommes de 1 à 10 000 francs de 1 jour à 366 jours, à raison d’un tableau par page ! Une lecture passionnante qui permet de mesurer le chemin parcouru.
Des milliers de valeurs calculées à la main ! Je plains de rédacteur... et le typographe (caractères agencés à la main à l’époque).
Dernière modification par JPL ; 08/12/2017 à 15h03.
Rien ne sert de penser, il faut réfléchir avant - Pierre Dac
Oui. En fait, on considère comme normal de nos jours que les ordinateurs soient plus performants que nous de plusieurs ordres de grandeur en calcul. Mais c'est très récent.
Là, ils viennent de le devenir pour d'autres tâches et je trouve cela impressionnant et un peu angoissant.
Salut,
Pas tout à fait à tort. On a déjà constaté quelques dérapages (on en reparlera certainement, éventuellement dans une autre discussion).
Et les risques et problèmes sont déjà pris à bras le corps par scientifiques, économistes et comités d'éthique. J'ai lu pas mal d'articles sur le sujet dans La Recherche (pour les aspects économiques) et dans PLS (pour l'éthique).
Je trouve que c'est pas plus mal de se poser les bonnes questions dès le départ. Il ne faut pas attendre la législation qui est toujours très tardive par rapport aux progrès scientifiques/techniques/commerciaux.
"Il ne suffit pas d'être persécuté pour être Galilée, encore faut-il avoir raison." (Gould)
Oui j'ai lu les mêmes articles mais je ne suis pas optimiste sur la capacité que nous aurions à nous restreindre collectivement. Et j'ai du mal à imaginer l'armée américaine ne pas fabriquer des Terminators quand elle le pourra même si elle réfléchit effectivement aux conséquences diverses des armes autonomes létales y compris d'un point de vue éthique.
Sur le sujet du "génie en dehors de la bouteille", tu as lu The Trigger/L'enrayeur de Arthur C. Clarke et Michael P. Kube-McDowell ? La fin est intéressante ce ce point de vue (le reste est plutôt moyen et trop USA-centré).
Bonjour,
Vraiment impressionnant.
Pour ce qui est de Starcraft, outre la taille du plateau, et le nombre de pièces, il faut ajouter des éléments absents du Go et des échecs :
1°Les ressources restreintes en quantité et leur positionnement
2°L'influence des décors (blocage, hauteur, infranchissable par ex)
3°brouillard de guerre
Eventuellement les événements extérieurs :
1°Tremblement de terre
2°éruptions volcaniques
3°Influence solaire
Ces variables ne sont pas connues à l'avance, et tu fais avec, ce qui en fait un jeu (si je ne me trompe pas) à information partielle. Et là c'est un tout autre problème pour appréhender cet ensemble. Je me demande, si pour le coup la vision humaine ne donne pas un avantage décisif (je vois tout ou partie du plateau et j'en déduit les positions à occuper, et le timing à mettre en place)
Personnellement je n'ai jamais joué à Starcraft mais ça ne me semble pas du tout impossible qu'un ordinateur arrive à battre un humain, car il a une caractéristique commune à tous les jeux : le but à obtenir est clair.
Ce qui n'est pas du tout le cas de la vie humaine "réelle", qui s'éloigne beaucoup d'une stratégie de jeu consistant à optimiser un résultat. La vie humaine est plutot le résultat d'un tas de motivations contradictoires conscientes et inconscientes, qui nous sont apportées par toutes nos expériences diverses, et qui n'ont aucun but en soi. Nous nous reconnaissons comme humain parce que nous partageons largement des caractéristiques génétiques communes, des conditions sociales et familiales comparables à d'autres (mais quand elles sont différentes, nous nous pouvons facilement considérer les autres comme "étrangers", voire "étranges"),bref les spécificités de l'humanité sont inscrites dans sa spécificité biologique et sociale, qu'un ordinateur ne pourra partager. Extrapoler les performances au jeu à un comportement "génériquement humain" est donc totalement non fondé - encore une fois Alpha Go n'a jamais dit si il avait envie de jouer à un jeu plutot qu'à un autre, et naturellement on ne le lui a jamais demandé.
Néanmoins ça reste bien sur une très belle prouesse technique, pour le but affiché.
Dernière modification par Archi3 ; 09/12/2017 à 06h02.
