Répondre à la discussion
Page 3 sur 5 PremièrePremière 3 DernièreDernière
Affichage des résultats 61 à 90 sur 150

AlphaGO Zéro



  1. #61
    LeMulet

    Re : AlphaGO Zéro


    ------

    Pour donner un ordre d'idées concernant les performances des GPU. (NVidia ici)
    A noter la nouvelle bibliothèque Tensor RT développée spécifiquement pour les réseaux de neurones.

    Citation Envoyé par L'Informaticien 9/2016
    Le fondeur propose deux nouveaux processeurs graphiques (GPU) 4 fois plus rapides que les modèles de l’année précédente en partie grâce à son architecture Pascal.

    Baptisés Tesla P4 et P40, ces deux nouveaux modèles affichent des spécifications impressionnantes.
    Le P40 fonctionne à 12 teraplops pour des calculs en simple précision et 47 trillions d’opérations par seconde pour des entiers (int8) grâce à ses 24 Go de mémoire GDDR5 dotée d’une bande passante de 364GBps.
    Le P4 est un modèle moins puissante : 5,5 teraflops, 22 trillions d’opérations, 8 Go de mémoire GDDR5 à 192 GBps.

    Ces modèles sont destinés à l’intelligence artificielle et aux réseaux de neurones.

    Le P40 sera disponible au mois d’octobre et novembre pour le P4.
    L’entreprise affirme que ces nouveaux modèles sont 4 fois plus performants que les modèles lancés l’année dernière.

    Nvidia affirme également que ces modèles sont 45 fois plus rapides et 40 fois moins consommateurs d’énergie que les modèles Intel Xeon E5-2690v4 lancés également cette année par le fondeur.

    Comprendre le contenu vidéo en temps réel

    En parallèle de ces processeurs, Nvidia lance une nouvelle bibliothèque Tensor RT pour les réseaux de neurones et un SDK DeepStream pour la gestion de multiples flux vidéos simultanés (jusqu’à 93).
    https://www.linformaticien.com/actua...-neurones.aspx

    -----
    Dernière modification par LeMulet ; 04/11/2017 à 11h56.
    Bonjour, et Merci.

  2. Publicité
  3. #62
    Topix

    Re : AlphaGO Zéro

    Citation Envoyé par Jiav Voir le message
    En fait c'est NVIDIA qui est a la pointe, et a vrai a peu pres toute seule dans les solutions commerciales. Il est possible que les TPU de google soit meilleurs, mais comme ils n'en vendent pas c'est difficile a verifier.
    Ah ok, je ne savais pas.

    En fait, à chaque fois que j'entends parler de l'IA, j'entends les noms de Google, Facebook ou Amazon.

    Par contre, j'ai fait une petite erreur dans mon message, car AMD a racheté ATI. Pour le coup AMD était parfaitement positionné pour le marché, puisqu'ils produisent à la fois des CPU et des cartes graphiques.

    En fait, c'est les sociétés qui produisent le hardware qui auraient dû dominer dans le domaine. À priori, Google produit principalement du software.

  4. #63
    Jiav

    Re : AlphaGO Zéro

    Citation Envoyé par ClairEsprit Voir le message
    Est-ce qu'on est toujours dans le flou en ce qui concerne la façon dont les neurones convergent vers la solution ou est-ce que ça reste plus ou moins une boîte noire ?
    Tu fais référence au problème du vanishing gradient? Le flou a en fait augmenté. Avant on pensait que la limite dans le nombre de couche était du à ce problème. Or depuis deux trois ans on a des resnets, qui ont une architecture pour laquelle ce problème n'existe à peu près plus (c'est d'ailleurs un des ingrédients d'alphago zero). Or on continue à avoir une limite dans le nombre de couches utiles même avec les resnet, ce qui suggère qu'il y a des raisons plus profondes qu'on a pas encore bien comprises.

    Citation Envoyé par ClairEsprit Voir le message
    Et en terme de de quantité, a-t-on une idée d'une taille critique nécessaire pour parvenir à un résultat correct, par exemple, une corrélation entre un nombre de neurones et un pourcentage d'erreur ?
    A part l'observation triviale que certaines tâches sont réalisées (donc avec un nombre de neurone suffisant), pas vraiment. D'un côté on sait qu'augmenter le nombre de neurones augmente généralement la performance, avec convergence vers une performance asymptotique. De l'autre on constate aussi que, quand on a un réseau entraîné (ou mieux, plusieurs), on peut presque toujours l'utiliser pour entraîner un réseau beaucoup plus petit dont les performances seront très proches du gros (distillation learning). On peut en conclure que le nombre de neurones nécessaires dépend de la méthode d'apprentissage, mais cela ne permet pas de donner un estimé fiable du nombre de neurone nécessaire pour telle ou telle performance.

    Citation Envoyé par ClairEsprit Voir le message
    J'ai l'impression en fait que ce qui nécessite le plus de ressources matérielles, c'est l'entraînement du réseau, non ? Ceci afin de parcourir un jeu de données le plus vaste possible dans le moins de temps possible. Mais une fois que le réseau est "initialisé" j'imagine qu'on peut le dupliquer sur une carte toute bête avec le nombre de CPU / GPU suffisant et avoir par exemple un alphago zéro pour trois fois rien dans x cm2 ?
    Tout-à-fait. Le rapport entre les ressources nécessaires à l'entraînement versus l'utilisation peut facilement être de l'ordre de 10^13. C'est pour cela que les téléphones peuvent faire tourner ces bestioles sans problème alors qu'on a besoin de matériel spécialisé pour l'entrainement.
    L'été vient.

  5. #64
    ClairEsprit

    Re : AlphaGO Zéro

    Citation Envoyé par Jiav Voir le message
    Tu fais référence au problème du vanishing gradient?
    Oui et non, en fait j'avais oublié ce problème. Comme je l'ai indiqué j'ai suivi quelques heures de cours en ligne mais cela fait deux ou trois ans et de façon dilettante. Quand il s'est agit de devoir commencer à écrire pour continuer à (bien) comprendre, j'ai laissé tombé faut de temps. Je pense avoir lâché l'affaire à peu près au moment où j'ai pris connaissance de ce problème. Mais oui, globalement c'est un peu ça, c'est à dire qu'il semble qu'on sait que ça marche, que ça peut marcher mais dans le détail on ne sait pas vraiment comment ça fonctionne et on tâtonne pour parvenir à des résultats corrects faute de méthode déterministe globale.

    C'est passionnant, si ça avait existé trente ans avant comme ça existe aujourd'hui j'aurais orienté mes études dans le domaine.

    Merci pour les explications en tout cas.
    Dernière modification par ClairEsprit ; 05/11/2017 à 21h20.

  6. #65
    Jiav

    Re : AlphaGO Zéro

    Avec le lien vidéo je comprend que ta question est en fait plus fondamentale, non spécifique au deep learning. Il s'agit de dire que, en toute généralité, l'apprentissage est impossible. Cela parait bizarre dit comme cela, mais le truc c'est que 'en toute généralité' signifie que la fonction que l'on cherche à apprendre peut être n'importe quel association possible entre des inputs et des inputs. Or on peut montrer que l'immense majorité des associations *logiquement possibles* sont en fait des associations arbitraires, donc pour lesquelles il n'y a rien à apprendre. En pratique les associations auxquels on s'intéresse ne se comportent pas ainsi, i.e. ils ont une structure, et toute stratégie d'apprentissage peut être vue comme une méthode pour exploiter cette structure. Bref: à la question 'pourquoi l'apprentissage est possible', la réponse générique est 'parce que l'association à apprendre n'est pas arbitraire'.

    A part ça, je ne suis pas convaincu que 30 ans soit irrémédiable. L'un dans l'autre, le deep learning n'est pas une discipline si compliquée à apprendre, surtout si tu as un minimum en statistique.
    L'été vient.

  7. #66
    ClairEsprit

    Re : AlphaGO Zéro

    Citation Envoyé par Jiav Voir le message
    A part ça, je ne suis pas convaincu que 30 ans soit irrémédiable. L'un dans l'autre, le deep learning n'est pas une discipline si compliquée à apprendre
    Non, ça ne l'est pas, ça m'a paru très abordable. Il faut juste faire des choix. Si je veux étudier le domaine je dois sacrifier d'autres choses. On verra.

  8. Publicité
  9. #67
    Topix

    Re : AlphaGO Zéro

    Bon, je vais faire un petit hors-sujet, mais sait-on si l'intelligence artificielle pourrait nous aider à gérer ça : http://www.futura-sciences.com/plane...planete-69220/

  10. #68
    LeMulet

    Re : AlphaGO Zéro

    Citation Envoyé par Topix Voir le message
    Bon, je vais faire un petit hors-sujet, mais sait-on si l'intelligence artificielle pourrait nous aider à gérer ça : http://www.futura-sciences.com/plane...planete-69220/
    Pas vraiment je pense.
    Il suffit de se balader en forêt ou dans les parcs publiques pour constater l'incivisme d'une partie de la population.
    Certains ne se gènent même plus pour lancer publiquement leurs détritus, bouteilles et autre polluants dans les plans d'eau.
    Que peut faire une IA contre ça ?
    Contrôler une armée de drones éboueurs ?
    Bonjour, et Merci.

  11. #69
    Topix

    Re : AlphaGO Zéro

    Citation Envoyé par LeMulet Voir le message
    Contrôler une armée de drones éboueurs ?


    Bon après, ces problèmes relèvent aussi d'une bonne part de technicité et il y forcément plein de choses auxquelles on a pas pensées. Je me demandais si une IA bien costaud pouvait nous aider à rationaliser tout ça dans le futur.

    Le petit côté "drôle" de la chose, c'est l'optimisme qui règne dans le domaine de l'IA, mais si tout part en sucette avant...
    Dernière modification par Topix ; 19/11/2017 à 01h38.

  12. #70
    LeMulet

    Re : AlphaGO Zéro

    Citation Envoyé par Topix Voir le message
    Le petit côté "drôle" de la chose, c'est l'optimisme qui règne dans le domaine de l'IA, mais si tout part en sucette avant...
    De l'intelligence, je pense qu'on en a déjà beaucoup trop, ce n'est probablement pas ça le nœud du problème.
    Bonjour, et Merci.

  13. #71
    Jiav

    Re : AlphaGO Zéro

    Citation Envoyé par Topix Voir le message
    Bon, je vais faire un petit hors-sujet, mais sait-on si l'intelligence artificielle pourrait nous aider à gérer ça : http://www.futura-sciences.com/plane...planete-69220/
    C'est très probable que l'IA aura un impact majeur, par contre bien malin qui pourrait dire dans quel sens. Il y a des raisons pour être optimistes, quand on regarde les aspects purement techniques. Ainsi, l'impact de la voiture autonome devrait largement supérieur à l'ensemble des efforts de réduction antérieurs. Mais quand on regarde les facteurs humains il y a de quoi être plus pessimiste. Ainsi les voitures d'aujourd'hui sont beaucoup plus efficace sur le plan énergétique, mais le gain n'a pas servi à diminuer les émissions, il a servi à avoir des voitures beaucoup plus grosses.
    L'été vient.

  14. #72
    mh34

    Re : AlphaGO Zéro

    Citation Envoyé par Topix Voir le message
    Bon, je vais faire un petit hors-sujet, mais sait-on si l'intelligence artificielle pourrait nous aider à gérer ça : http://www.futura-sciences.com/plane...planete-69220/
    Si elle peut nous aider à diminuer la pression démographique sur notre environnement...et j'avoue que je vois pas bien comment...
    Ω ξειν', αγγέλλει Λακεδαιμονίοις ότι τήδε κείμεθα τοις κείνων ρήμασι πειθόμενοι

  15. Publicité
  16. #73
    Archi3

    Re : AlphaGO Zéro

    Comme je tente d'expliquer ici, le problème n'est pas tant de trouver une solution que de savoir correctement poser quel problème on veut résoudre. Dans le cas du jeu de go, c'est simple ...
    Le plus dur n'est pas de piger les raisonnements compliqués, mais d'accepter les simples.

  17. #74
    Topix

    Re : AlphaGO Zéro

    Citation Envoyé par mh34 Voir le message
    Si elle peut nous aider à diminuer la pression démographique sur notre environnement...et j'avoue que je vois pas bien comment...
    Je ne parlais pas vraiment de ça, mais de tout l'aspect purement technique du problème comme l'optimisation de la gestion des ressources ou l'aide technologique.

    Pour l'aspect humain, on pourrait imaginer un programme qui aide les humains à gérer leur quotidien de façon plus rationnelle. Je ne parle de ceux qui jettent leur paquet de chips dans la forêt, mais de ceux qui gaspillent des ressources sans vraiment s'en rendre compte.

  18. #75
    Archi3

    Re : AlphaGO Zéro

    en même temps, y a pas besoin d'une IA extrêmement élaborée pour isoler les maisons ...
    Le plus dur n'est pas de piger les raisonnements compliqués, mais d'accepter les simples.

  19. #76
    Topix

    Re : AlphaGO Zéro

    Citation Envoyé par Archi3 Voir le message
    en même temps, y a pas besoin d'une IA extrêmement élaborée pour isoler les maisons ...
    Il n'y a pas que ça... on peut également penser aux habitudes de consommation.

  20. #77
    JPL

    Re : AlphaGO Zéro

    Stop. Totalement hors sujet.
    Rien ne sert de penser, il faut réfléchir avant - Pierre Dac

  21. #78
    Jiav

    Re : AlphaGO Zéro

    Citation Envoyé par mh34 Voir le message
    Si elle peut nous aider à diminuer la pression démographique sur notre environnement...et j'avoue que je vois pas bien comment...
    Sexbots
    L'été vient.

  22. Publicité
  23. #79
    Jiav

    Re : AlphaGO Zéro

    Pour ceux qui avaient encore un doute sur la puissance de l'approche:

    https://arxiv.org/abs/1712.01815
    http://www.futura-sciences.com/tech/...-echecs-61409/
    L'été vient.

  24. #80
    pm42

    Re : AlphaGO Zéro

    Oui, c'est hallucinant.

  25. #81
    HenriParisien1

    Re : AlphaGO Zéro

    Mon dieu !

    4 heures pour dépasser deux bon siècles d'études systématique des échecs par des millions d'humains !

    Et en lisant l'article, la seule limitation que j'ai trouvé c'est ça : "We trained a separate instance of AlphaZero for each game".

    L'article de futura parle de starcraft. C'est presque amusant que de voir que le jeu qui résiste encore est tout récent et se joue uniquement sur ordinateur. Je me demande si le point de contention n'est pas justement la taille du plateau de jeu. Starcraft c'est grosso modo un damier de 100x100 avec plus de 30 pièces différentes, la possibilité d'en générer de nouvelles et - bien sûr - le temps réel, mais ça je ne crois pas que ce soit un obstacle.

  26. #82
    pm42

    Re : AlphaGO Zéro

    Citation Envoyé par HenriParisien1 Voir le message
    4 heures pour dépasser deux bon siècles d'études systématique des échecs par des millions d'humains !
    Et plus de 50 ans de programmation du jeu d'échec par des méthodes diverses et variées qui avaient déjà donné des résultats remarquables.

  27. #83
    Deedee81

    Re : AlphaGO Zéro

    Salut,

    Citation Envoyé par HenriParisien1 Voir le message
    Starcraft c'est grosso modo un damier de 100x100 avec plus de 30 pièces différentes, la possibilité d'en générer de nouvelles et - bien sûr - le temps réel, mais ça je ne crois pas que ce soit un obstacle.
    Avec les techniques habituelles (arbre de coups, minimax, alpha-bêta, etc...) c'est clair qu'un tel jeu est inabordable. Mais avec les techniques de deep learning, ce n'est en effet pas un obstacle.

    Citation Envoyé par pm42 Voir le message
    Et plus de 50 ans de programmation du jeu d'échec par des méthodes diverses et variées qui avaient déjà donné des résultats remarquables.
    Y compris par moi à l'époque où je me suis passionné du sujet (mon premier programme en basic à quatorze ans, avant même qu'on me livre mon trs80, était un programme d'échec R+D contre R).
    De quoi vous dégoûter

    Ca me rappelle une histoire (BD) de SF que j'avais lu et où des astronautes partent pour Pluton pour un voyage de dix ans, dans des conditions extrêmement difficiles. Et juste en arrivant, ils se font doubler par un vaisseau parti un an plus tôt
    Le deep learning ça fait un peu cet effet.
    Tout est relatif, et cela seul est absolu. (Auguste Comte)

  28. #84
    pm42

    Re : AlphaGO Zéro

    Citation Envoyé par Deedee81 Voir le message
    Le deep learning ça fait un peu cet effet.
    Sur certains périmètres, c'est en effet le cas. Cela fait penser à ce qui s'est passé il y a quelques décennies quand par exemple, on a remplacé une armée d'humains qui calculait des payes pendant des jours ou des semaines par des ordinateurs qui le faisaient dans le nuit et le sortait sur des imprimantes.

    Hier, je parlais à un prof dans le domaine qui me décrivait ce qu'on fait en reconnaissance d'images et c'était tout simplement impossible il y a 20 ans.

  29. Publicité
  30. #85
    JPL

    Re : AlphaGO Zéro

    Citation Envoyé par pm42 Voir le message
    Sur certains périmètres, c'est en effet le cas. Cela fait penser à ce qui s'est passé il y a quelques décennies quand par exemple, on a remplacé une armée d'humains qui calculait des payes pendant des jours ou des semaines par des ordinateurs qui le faisaient dans le nuit et le sortait sur des imprimantes.
    J’ai hérité d’un fond de bibliothèque provenant de la famille de mon épouse, où l’on était notaire de père en fils, d’un livre intitulé Manuel du capitaliste datant probablement du XIXe siècle. Mis à par une dizaine de pages explicatives il est constitué uniquement de tableaux donnant les intérêts (de 3 à 6%) en abscisse pour diverses sommes de 1 à 10 000 francs de 1 jour à 366 jours, à raison d’un tableau par page ! Une lecture passionnante qui permet de mesurer le chemin parcouru.

    Des milliers de valeurs calculées à la main ! Je plains de rédacteur... et le typographe (caractères agencés à la main à l’époque).

    capitaliste.jpg
    Dernière modification par JPL ; 08/12/2017 à 14h03.
    Rien ne sert de penser, il faut réfléchir avant - Pierre Dac

  31. #86
    pm42

    Re : AlphaGO Zéro

    Oui. En fait, on considère comme normal de nos jours que les ordinateurs soient plus performants que nous de plusieurs ordres de grandeur en calcul. Mais c'est très récent.
    Là, ils viennent de le devenir pour d'autres tâches et je trouve cela impressionnant et un peu angoissant.

  32. #87
    Deedee81

    Re : AlphaGO Zéro

    Salut,

    Citation Envoyé par pm42 Voir le message
    Là, ils viennent de le devenir pour d'autres tâches et je trouve cela impressionnant et un peu angoissant.
    Pas tout à fait à tort. On a déjà constaté quelques dérapages (on en reparlera certainement, éventuellement dans une autre discussion).
    Et les risques et problèmes sont déjà pris à bras le corps par scientifiques, économistes et comités d'éthique. J'ai lu pas mal d'articles sur le sujet dans La Recherche (pour les aspects économiques) et dans PLS (pour l'éthique).

    Je trouve que c'est pas plus mal de se poser les bonnes questions dès le départ. Il ne faut pas attendre la législation qui est toujours très tardive par rapport aux progrès scientifiques/techniques/commerciaux.
    Tout est relatif, et cela seul est absolu. (Auguste Comte)

  33. #88
    pm42

    Re : AlphaGO Zéro

    Oui j'ai lu les mêmes articles mais je ne suis pas optimiste sur la capacité que nous aurions à nous restreindre collectivement. Et j'ai du mal à imaginer l'armée américaine ne pas fabriquer des Terminators quand elle le pourra même si elle réfléchit effectivement aux conséquences diverses des armes autonomes létales y compris d'un point de vue éthique.

    Sur le sujet du "génie en dehors de la bouteille", tu as lu The Trigger/L'enrayeur de Arthur C. Clarke et Michael P. Kube-McDowell ? La fin est intéressante ce ce point de vue (le reste est plutôt moyen et trop USA-centré).

  34. #89
    khurnous

    Re : AlphaGO Zéro

    Bonjour,

    Vraiment impressionnant.

    Pour ce qui est de Starcraft, outre la taille du plateau, et le nombre de pièces, il faut ajouter des éléments absents du Go et des échecs :

    1°Les ressources restreintes en quantité et leur positionnement

    2°L'influence des décors (blocage, hauteur, infranchissable par ex)

    3°brouillard de guerre

    Eventuellement les événements extérieurs :

    1°Tremblement de terre

    2°éruptions volcaniques

    3°Influence solaire

    Ces variables ne sont pas connues à l'avance, et tu fais avec, ce qui en fait un jeu (si je ne me trompe pas) à information partielle. Et là c'est un tout autre problème pour appréhender cet ensemble. Je me demande, si pour le coup la vision humaine ne donne pas un avantage décisif (je vois tout ou partie du plateau et j'en déduit les positions à occuper, et le timing à mettre en place)

  35. #90
    Archi3

    Re : AlphaGO Zéro

    Personnellement je n'ai jamais joué à Starcraft mais ça ne me semble pas du tout impossible qu'un ordinateur arrive à battre un humain, car il a une caractéristique commune à tous les jeux : le but à obtenir est clair.
    Ce qui n'est pas du tout le cas de la vie humaine "réelle", qui s'éloigne beaucoup d'une stratégie de jeu consistant à optimiser un résultat. La vie humaine est plutot le résultat d'un tas de motivations contradictoires conscientes et inconscientes, qui nous sont apportées par toutes nos expériences diverses, et qui n'ont aucun but en soi. Nous nous reconnaissons comme humain parce que nous partageons largement des caractéristiques génétiques communes, des conditions sociales et familiales comparables à d'autres (mais quand elles sont différentes, nous nous pouvons facilement considérer les autres comme "étrangers", voire "étranges"),bref les spécificités de l'humanité sont inscrites dans sa spécificité biologique et sociale, qu'un ordinateur ne pourra partager. Extrapoler les performances au jeu à un comportement "génériquement humain" est donc totalement non fondé - encore une fois Alpha Go n'a jamais dit si il avait envie de jouer à un jeu plutot qu'à un autre, et naturellement on ne le lui a jamais demandé.
    Néanmoins ça reste bien sur une très belle prouesse technique, pour le but affiché.
    Dernière modification par Archi3 ; 09/12/2017 à 05h02.
    Le plus dur n'est pas de piger les raisonnements compliqués, mais d'accepter les simples.

Sur le même thème :

    Sur le même sujet

    Définitions
Page 3 sur 5 PremièrePremière 3 DernièreDernière

Discussions similaires

  1. alphago
    Par Jiav dans le forum Actualités
    Réponses: 26
    Dernier message: 01/11/2017, 05h15
  2. Actu - Jeu de go : AlphaGo remporte son premier duel contre le n° 1 Ke Jie
    Par RSSBot dans le forum Commentez les actus, dossiers et définitions
    Réponses: 0
    Dernier message: 24/05/2017, 12h20
  3. Actu - Jeu de go : une nouvelle version d'AlphaGo a battu le N°1 mondial
    Par RSSBot dans le forum Commentez les actus, dossiers et définitions
    Réponses: 0
    Dernier message: 06/01/2017, 08h30
  4. Actualité - Alphago, de Google : la victoire de l’intelligence artificielle au go
    Par V5bot dans le forum Commentez les actus, dossiers et définitions
    Réponses: 36
    Dernier message: 07/02/2016, 15h03