intelligence artificielle (présentation par l' epita...) aller + loin?

[invite7f291776]

Pour moi, c'est vrai (= factuel), et c'est suffisamment précis.

Le terme "IA" est strictement équivalent à "algorithme", et l'emploi d'un autre terme correspond à un biais d'interprétation, pas à un quelconque fait. Et ce biais affecte toute discussion sur le sujet, forçant une interprétation qui dénote rien de plus qu'une opinion.

En réalité ce qui donne l’illusion de l’intelligence, c’est l’extrême rapidité à laquelle, les algorithmes sont exécutés dans la machine.

En réalité la machine exécute les algorithmes eux-mêmes pensés puis programmés et compilés (transcrits en langage machine) en amont par les analystes-programmeurs, en quelques fractions de seconde en général. Exemple les super-calculateurs https://fr.wikipedia.org/wiki/FLOPS

Donc en réalité la « pensée » des machines est celle des ingénieurs et des techniciens qui les ont eux-mêmes pensées et réalisées (les machines) et donc les machines elles-mêmes (en tant que machines, mécaniques ou automatismes), ne pensent pas du tout

Une machine pour sophistiquée qu'elle soit ne fait qu’exécuter automatiquement, mécaniquement ... des algorithmes
-----

[Amanuensis]

Entièrement d'accord, le débat semble avoir déraillé, Amanuensis dit "IA experte = réseaux neuronaux = algorithmes," sauf que les applications des uns et des autres sont entièrement différentes et révolutionnent nos vies.

C'est bien là le point. On confond les aspects techniques avec les conséquences sociales.

Les remarques d'Aygline sur lesquelles j'ai embrayé parlent des fondements techniques. Pas des conséquences sociales.

Parmi ces deux axes, quel est le bon "rail" de cette discussion/débat/polémique ?

[Amanuensis]

Amanuensis dit "IA experte = réseaux neuronaux = algorithmes,"

Par ailleurs, je n'ai jamais écrit cela, pas la restriction aux "réseaux neuronaux", merci de citer correctement et ne pas forcer une interprétation personnelle sur un texte de quelqu'un d'autre.

[RiketRok]

Pas d'accord avec toi, et des spécialistes très reconnus comme Yann Le Cun admettent que l'IA forte ou GAI n'est qu'un axe de recherche fondamentale balbutiant, et surtout pas qu'une question de puissance.

Je portais à l'extrême, une puissance infinie, stockage infini + calculs infinis sur une infinité d'unités de calcul parallèles, avec un tel hardware toutes les IA fortes possibles seraient inventées en un instant : il suffit de générer tous les programmes informatiques possibles et de les essayer un à un.

Par ailleurs, je n'ai jamais écrit cela, pas la restriction aux "réseaux neuronaux", merci de citer correctement et ne pas forcer une interprétation personnelle sur un texte de quelqu'un d'autre.

Au temps pour moi, j'essaie au maximum de mettre du conditionnel quand je synthétise mais j'oublie parfois. Impossible d'éditer les messages après quelques minutes.

[GBo]

Je portais à l'extrême, une puissance infinie, stockage infini + calculs infinis sur une infinité d'unités de calcul parallèles, avec un tel hardware toutes les IA fortes possibles seraient inventées en un instant : il suffit de générer tous les programmes informatiques possibles et de les essayer un à un.

Je te dis que non. Le Cunn cite souvent l'exemple de l'apprentissage de la conduite automobile chez l'Homme: une vingtaine d'heures seulement et aucun accident à déplorer. L'IA 2020 : l'équivalent de millions d'heures - donc la puissance est là - avec QUE des accidents (heureusement virtuels)
-> Il Y A QUELQUE CHOSE QUE l'ON N'A PAS COMPRIS.

[Amanuensis]

Une machine pour sophistiquée qu'elle soit ne fait qu’exécuter automatiquement, mécaniquement ... des algorithmes

Si je suis bien d'accord avec cela, le reste pose problème, et ne découle pas (non sequitur) de ce fait.

En réalité ce qui donne l’illusion de l’intelligence

Un terme mal défini ("intelligence"), et un terme métaphysique (illusion vs. être).

Donc en réalité la « pensée » des machines

Un terme mal défini (pensée) et un terme métaphysique (réalité) ici utilisé pour introduire une pétition de principe.

est celle des ingénieurs et des techniciens qui les ont eux-mêmes pensées et réalisées (les machines) et donc les machines elles-mêmes (en tant que machines, mécaniques ou automatismes), ne pensent pas du tout

Pareil, mais là on peut soupçonner que "penser" doit se comprendre comme "concevoir, planifier des actions en fonction d'un but".

Et là il me semble défendable que les techniques actuelles ne permettent pas d'attribuer une "pensée" définie ainsi aux algorithmes. Toujours et encore la question du "but".

[Amanuensis]

Amanuensis semble tirer un trait en plein milieu de la droite en disant "il y a un plafond là, j'en suis persuadé".

Cela devient agaçant (et ce sera mon dernier message vous répondant). Merci de discuter les idées, pas les personnes. Une idée existe en elle-même, elle n'a pas à être associée à une personne.

Et là encore, je n'ai jamais écrit cela. Même pas dans le lointain passé sur ce forum.

Contrairement à ce que vous insinuez, je n'imagine pas de plafond, je me contente d'affirmations sur le présent.

Et mon approche est strictement celle du "monisme matérialiste".

[Amanuensis]

Désolé d'intervenir dans l'ordre temporel inverse.

@Amanuensis: ce que je crois avoir compris de ta position, c'est que tu balayes les différences entre le fonctionnement d'un "programme" (d'informatique classique) et celui d'une "architecture" (de réseau de neurones artificiels)

Peut-être, même si balayer est trop fort. Quand on prétend que deux choses sont comparables ou non, on ne fait que donner des opinions sur ce qui est commun et ce qui distingue. "Deux tables différentes" est un oxymore, cela contient aussi bien l'identité (par le mot "table") et la non identité (par le mot "différentes").

Le langage étant limité, une phrase prise hors contexte (et souvent même en contexte) met de l'importance sur l'un ou l'autre des aspects, et donc semble "balayer" l'autre. Cela ne reflète pas nécessairement la pensée "totale" qui est derrière.

Une fois de plus, j'ai réagi à une intervention critiquant d'une autre intervention (d'Aygline), parce que pour moi cette critique n'était pas valable. On ne peut pas traiter "faux" une description sur la partie commune en invoquant la différence. Simple question de logique.

pour mieux insister sur les différences entre les neurones artificiels (déroulant un programme comme un autre, pour toi) et les neurones naturels.

Je ne me rappelle pas avoir parler de neurone naturel !

Si c'est bien cela, confirme notre désaccord de fond car je suis persuadé au contraire, en tout cas pour les applications que je connais des neurones artificiels (classification des images), que l'on a mis là le doigt sur quelque chose de profondément similaire au fonctionnement animal.

Certes, mais ce n'est certainement pas un point que j'ai avancé ou opposé.

Mais j'admets que c'est une croyance, une intuition, que je ne pourrais transformer en connaissance que lorsqu'on aura complètement décortiqué/élucidé le fonctionnement du cortex visuel d'un chat par exemple.

Ce qui apparaît est que mes interventions semblent avoir été prises comme pertinente à la comparaison entre calculateurs mécaniques et système nerveux des animaux.

C'est un malentendu.

Non seulement sur l'intention, mais aussi sur le fond. Pas l'humeur à rechercher les discussions d'il y a plus de dix ans (d'ailleurs sous mon ancien pseudo, ce qui rend les recherches très difficiles), mais j'ai participé à de très longues discussions sur ce point là. On y trouvera ma position, qui n'a guère changé.)

[GBo]

Bon je reconnais avoir surinterprété alors, désolé Amanuensis. Le seul désaccord qui resterait entre nous serait donc celui de l'assimilation d'une architecture d'ANN entrainée à un programme informatique, mais à la réflexion (oui j'ai réfléchi depuis hier ;- ), force est de constater que l'immense majorité des implémentations actuelles des architectures d'ANN le sont sous la forme de ... programmes (exécutés sur GPU, certes, pour le parallélisme, mais de programmes quand même). Je n'ai pas de contre-exemple sérieux à opposer à cela, bien que l'idée d'une implémentation 100% analogique - et donc fondamentalement différente à mes yeux - me séduit (depuis l'âge de 16 ans, j'en ai 41 de plus et je ne désespère de voir ça un jour - en dehors de protos d'études universitaires je veux dire).

[Amanuensis]

fondamentalement différente

On peut faire de longues dissertations sur le sujet. Par exemple, toute "transmission numérique" est fondamentalement analogique. Il n'y a aucun cas où le "médium de transmission" (ou de mémorisation, pareil) ne soit pas analogique. Et cela s'étend évidemment aux calculateurs.

Le mélange entre numérique (discret) et analogique (continu) est inévitable, du bas de la pile (médium) au haut ( image, son, simulations,, ...).

--

Ceci dit, il me semble aussi qu'il y a une différence significative entre le vivant et les calculateurs numériques (réseaux neuronaux compris) : en langage qui devrait nous être commun, la "hard decision" est très haute dans le premier cas, et très basse dans l'autre.


À preuve les très pauvres performance du cortex en arithmétique, et les très pauvres performances des calculateurs en conduite automobile !

[GBo]

[...] (Idéalement, ce serait bien que tous les participants à un fil IA, fassent des travaux pratiques pour mieux sentir le sujet (ce n'est pas une critique!))

+1, perso l'approche de Jeremy Howard me plait beaucoup. Son bouquin "Deep Learning for Coders with Fastai and PyTorch: AI Applications Without a PhD" (et le site course.fast.ai qui va avec) m'a bien mis le pied à l'étrier, vu que je n'ai pas de PhD
Sérieux, si l'on comprend l'anglais technique, que l'on connait un peu Python et que l'on a un ordi de gamer avec GPU NVIDIA, l'avantage de l'approche de l'université de Californie (qui en est revenue de TensorFlow) est que l'on fait fonctionner un réseau state of the art (un ResNet-34 pour les connaisseurs) DES LA PREMIERE LECON. J'ai testé et ça marche !
Voici la leçon 1 : https://www.youtube.com/watch?v=_QUEXsHfsA0&t=18s

[RiketRok]

Cela devient agaçant (et ce sera mon dernier message vous répondant). Merci de discuter les idées, pas les personnes. Une idée existe en elle-même, elle n'a pas à être associée à une personne.

Et là encore, je n'ai jamais écrit cela. Même pas dans le lointain passé sur ce forum.

Contrairement à ce que vous insinuez, je n'imagine pas de plafond, je me contente d'affirmations sur le présent.

Et mon approche est strictement celle du "monisme matérialiste".

En effet, mes excuses, en vous relisant j'ai remarqué que votre message sur les extrapolations jusqu'à un futur imaginaire et la "dernière marche de l'escalier", ont un sens bien différent de celui que je leur attribuait (je pensais que la dernière marche était la marche finale, pas la dernière marche sur laquelle on vient de mettre le pied).

[Amanuensis]

OK, désolé que mon écrit soit ambigu, c'est à peu près inévitable que cela arrive avec le langage humain. Et je n'avais absolument pas pensé que c'était cette phrase là qui était en cause.

Si on veut être prudent en faisant une critique, une première précaution est de citer le texte précis qui est visé. (Balise de citation, c'est fait pour.)

[GBo]

On peut faire de longues dissertations sur le sujet. Par exemple, toute "transmission numérique" est fondamentalement analogique. Il n'y a aucun cas où le "médium de transmission" (ou de mémorisation, pareil) ne soit pas analogique. Et cela s'étend évidemment aux calculateurs.

Oui mais mon point initial était plutôt, est-ce que l'inverse est vrai ? Un cortex visuel animal n'est pas numérique, est-il numérisable sans pertes fonctionnelles ? (valeurs discrètes et temps discret) ? Une architecture de réseau de neurones artificiels (pour faire court, "ANN" pour Artificial Neural Network) est conforme à un modèle mathématique continu qui fait penser à un circuit électro-analogique (des potards, des ampli ops, des noyaux de ferrite ou condensateurs). MAIS le fait que la réalisation des ANN soit possible et fonctionne parfaitement sur GPU montre que le "privilège analogique" tombe à l'eau, je me suis trompé sur ce point (modulo, peut-être, la vitesse d'obtention d'un résultat, donc rien de fondamental).

Le mélange entre numérique (discret) et analogique (continu) est inévitable, du bas de la pile (médium) au haut ( image, son, simulations,, ...).
--
Ceci dit, il me semble aussi qu'il y a une différence significative entre le vivant et les calculateurs numériques (réseaux neuronaux compris) : en langage qui devrait nous être commun, la "hard decision" est très haute dans le premier cas, et très basse dans l'autre.

À preuve les très pauvres performance du cortex en arithmétique, et les très pauvres performances des calculateurs en conduite automobile !

Je comprends ton vocabulaire (en traitement du signal, le SOVA par exemple ) mais pas sûr de te suivre sur les conclusions: un ANN entrainé sur une classification d'images chien vs. chat donne bien en sortie une "prédiction", avec la proba associée. Ce n'est pas un "hard bit" pour filer la métaphore.

[Amanuensis]

(Je commence par la seconde partie.)

Je comprends ton vocabulaire (en traitement du signal, le SOVA par exemple ) mais pas sûr de te suivre sur les conclusions: un ANN entrainé sur une classification d'images chien vs. chat donne bien en sortie une "prédiction", avec la proba associée. Ce n'est pas un "hard bit" pour filer la métaphore.

Mon message était quelque peu sibyllin. Je compare une décision (quelconque) a un "hard bit" (un processus de "hard decision" !). Tant qu'on met une probabilité c'est "mou" (plus ou moins), mais quand la réponse est "c'est un chat", alors c'est un "hard bit" (au sens propre s'il n'y a que deux possibilités). Ou même si la décision est "je parie x Euros que c'est un chat" (mais ce n'est plus un "bit").

Oui mais mon point initial était plutôt, est-ce que l'inverse est vrai ? Un cortex visuel animal n'est pas numérique, est-il numérisable sans pertes fonctionnelles ? (valeurs discrètes et temps discret)

C'est une bonne question (et qui a été amplement débattue dans les vieilles discussions). Cela ne peut pas être strictement "vrai", comme d'habitude, ce qui est différent présente nécessairement des différences.

Les effets des différences sont de plusieurs ordres. L'un est le déterminisme : les calculateurs et les algorithmes calculatoires sont conçus et faits pour un déterminisme aussi proche de l'absolu que possible (quand c'est violé, on parle de "bug" !). Ce qui permet une répétitivité aussi parfaite que possible (super pour l'aspect économique). En pratique, cela vient d'une part de la physique, et d'autre part du théorème de source de Shannon, et en pratique les techniques de redondance et les algorithme de correction d'erreurs). L'analogique est nécessairement entaché d'imprécision, d'indéterminisme (certains le voient intrinsèque, mais même plus pragmatiquement on ne sait pas "écranter" toutes les influences physiques à distance).

Un autre est le chaos potentiel : comment éviter, en analogique, que des toutes petites imprécisions fassent diverger totalement les résultats ? Une manifestation de cela est l'inversion de matrices mal conformées. Cela existe même en "numérisé" (traitement de l’écrêtage numérique) mais avec l'avantage que c'est plus facilement détectable (ce qui permet éventuellement à ce que l'algo finit en "je ne sais pas faire", plutôt que donner un résultat douteux).

Et il y a sûrement d'autres effets encore.

En d'autres termes, tant qu'on reste dans des cas confortables, la numérisation (= échantillonnage + discrétisation, comme indiqué) donnera "la même chose". La différence portera sur les cas limites. Quelle est l'importance pratique de ces cas ? Suffisent-il à conclure à une "perte fonctionnelle" ? Je ne sais pas.

(C'est aussi une question bien plus générale : si dans un dilemme on n'arrive pas à choisir, est-ce que le choix a une quelconque importance ? C'est la question de l'âne de Buridan !)

(modulo, peut-être, la vitesse d'obtention d'un résultat, donc rien de fondamental)

Pareil pour mon texte. (Notons quand même que l'âne de Buridan montre que la vitesse de la prise de décision n'est pas totalement neutre ! Dans tous les cas de décision le temps joue, et doit forcer la décision ou rajouter un échappatoire.)

[Amanuensis]

Une remarque au passage :

Ce qui permet une répétitivité aussi parfaite que possible

Cela devient de plus en plus incorrect quand les informations permettant l'apprentissage (l'entraînement) sont de moins en moins contrôlées par le programmeur (par exemple quand c'est un échantillonnage non contrôlé, par exemple en "piochant" sur le net). Ce qui entraîne une différence peut-être significative entre "l'informatique classique" et ce qu'on présente comme l'IA. J'imagine que le point est déjà apparu dans la discussion.

C'est peut-être ce qui permet de parler "d'une IA", si les données d'apprentissage diffèrent d'une implémentation à une autre d'un même algorithme. (Mais on peut toujours, en numérique, "cloner" parfaitement une fois l'apprentissage fait. Là encore, cela ne marche plus en allant plus loin, quand l'apprentissage est continu, mélangé avec l'application finale.)

[pm42]

L'un est le déterminisme : les calculateurs et les algorithmes calculatoires sont conçus et faits pour un déterminisme aussi proche de l'absolu que possible

La contradiction avec les affirmations plus haut est étonnante puisque justement, les IAs introduisent de l'aléatoire à plusieurs niveaux, dès l'apprentissage en fait pour éviter certains écueils et pourtant, tu expliquais que c'était des algorithmes comme les autres.

Encore une fois, ce discours s'applique à la programmation "classique" et encore, et ignore totalement ce qu'est un IA actuelle.

[invite7f291776]

là on peut soupçonner que "penser" doit se comprendre comme "concevoir, planifier des actions en fonction d'un but".

Une machine, en tant que machine, n’a pas de finalité interne car le « pour quoi » elle existe en étant ce qu’elle est, réside non en elle-même à proprement parler mais à l'extérieur, dans la pensée des ingénieurs qui l’ont fabriquée.

Dans tous les cas c’est « une construction artificielle constitué de mécanismes », que ces mécanismes soient physiques idem les rouages d’une montre, ou « eidétiques » ou « intellectifs » idem dans le cas d’un modèle social, ou autre dans ce genre :

https://philosophie.ac-versailles.fr...machine.FB.pdf :

On entendra par «machine» une construction artificielle, un objet fabriqué constitué de mécanismes; et l’on constatera simplement que ce terme est employé, au-delà de son sens technique strict, pour comprendre le fonctionnement du corps vivant, ou encore celui de l’Etat. La machine est alors considérée comme un modèle : c’est la machine vivante ou la machine politique.

Par «modèle», on entendra le sens technique d’un ensemble artificiel d’éléments qui reproduit un ensemble réel, constitue un analogue de la réalité, ou simule cette réalité (on pourra au besoin exploiter d’autres significations de cette notion, en insistant sur l’idée d’un isomorphisme, ou encore sur celle de simplification du complexe, comme on parle en économie d’un modèle, c’est-à-dire d’une représentation très schématique d’un système complexe dans le but d’une claire intellection et d’une maîtrise).

La machine peut fournir un modèle du corps vivant. Elle est alors considérée comme un analogue de ce corps. Quel est l’intérêt de ce modèle ? A quoi sert l’analogie entre le vivant et la machine ? Quels problèmes une telle analogie pose-t-elle ?

[…]

La machine peut aussi devenir un modèle de l’Etat: elle permet de se représenter les caractéristiques et le fonctionnement de l’Etat. L’analogie entre la machine et l’Etat engage une certaine conception de l’Etat, une position sur la nature et la fonction de l’Etat. Quelle est cette position? Quel est donc l’intérêt philosophique du modèle mécanique de l’Etat? Et quels problèmes pose-t-il?

Et donc représenter la Nature comme une machine c’est en quelque sorte conférer une finalité interne à la Nature qui peut-être n’en a pas par elle-même, ou « penser la Nature par machine » ou se donner à soi-même un modèle de la Nature sur lequel on a barre, que l’on domine ou maîtrise.

Et donc il est possible de parler de la « machine » scientifique au sens que les sciences physiques représentent ou se représentent, la Nature d’une certaine façon.

D’autant que « penser par machine » semble devoir être nécessaire à quiconque qui pense au moins un brin car, comment savoir sans postulats et donc sans croyances, si les théories qu’il est possible de formuler sur la Nature sont en adéquation ou pas, avec la Nature elle-même ?

L’erreur funeste étant de réduire l’intelligence humaine à un pur mécanisme et donc de dire qu’un être humain qui pense c’est analogue à 100% à une machine qui … « pense »

[FinalSpark]

Sans doute mais je pense de plus en plus que la bonne définition de l'IA est "ce qu'on ne sait pas faire faire à un ordinateur pour le moment".
Et que le jour où on aura une IA forte qui passera les tests de Turing et ceux inventés depuis, fera preuve de créativité, sera capable de détecter nos émotions et d'y répondre finement, il y aura des fils sur les forums expliquant qu'elle ne pense pas vraiment et que ce ne sont que des algorithmes

Je suis d'accord.

... et je pense que cette volonté de distantiation constante de la machine est plutot une déviance métaphysique, la plupart des gens refusent de reconnaitre qu'ils sont des machines, car sinon ils pensent perdre leur libre arbitre...

Il y a quelques mois j'avais lut un neurologue qui disait (je paraphrase) "malgré tout ce qu'on lit et malgré tous ce qu'on découvre, en fait, on ne sait toujours pas comment fonctionne le cerveau" (sous entendu, on ne connait que la pointe de l'iceberg). Et je dirais qu'en matière d'IA (par comparaison à nous) on en est au même point. Nous sommes des enfants qui découvrent qu'ils pensent

Exactement. J'ai personellement commencé à travailler en 91 sur les réseaux neuronaux, et je pense que l'on a toujours pas compris grand chose sur le cerveau et que l'on a fait aucun progrés fondamental en IA.

Tu as le droit d'avoir une opinion mais en n'ayant pas de formation solide en informatique, pas du tout en IA et en n'ayant jamais fait de projet IA, sa valeur n'est pas forcément très grande.
Là encore, on est exactement dans le cas des gens qui "trouvent des contradiction dans la Relativité" après avoir uniquement lu de la vulgarisation.

C'est pourquoi j'espére que plus personne n'ayant au moins joué à Tensorflow Playground ne postera ici

Les êtres humains ne naissent pas par génération spontanée et n'apprennent pas tous seuls dans leur coin non plus. J'ai l'impression qu'il y a un biais qui tend à mythifier l'intelligence et les émotions humaines comme quelque chose d'exceptionnel et donc à monter la barre en permanence chaque fois qu'on arrive à en reproduire certaines caractéristiques.

Je ne nie pas les différences avec l'entrainement d'un réseau de neurones bien sur, je dis juste que la plupart des remarques sur l'IA ramenée à cette vision mécanique et un peu méprisante de "ce n'est qu'un algorithme" me semble plus basée sur la mythification indiquée plus haut qu'autre chose.

Tellement d'accord!

[Amanuensis]

L’erreur funeste étant de réduire l’intelligence humaine à un pur mécanisme et donc de dire qu’un être humain qui pense c’est analogue à 100% à une machine qui … « pense »

Je ne voudrais pas que ma défense d'une interprétation d'un message de Aygline soit comprise comme un accord sur la position décrite.

J'ai fondamentalement l'opinion doublement opposée : 1) ce n'est pas une erreur, 2) ce n'est pas intrinsèquement "funeste".

(Comme déjà indiqué, mon opinion est essentiellement celle du "monisme matérialiste", c'est à dire très différente de celle exprimée dans le message d'Aygline.)

(Par contre j'ai bien compris que l'idée peut amener certains au désespoir. Ce qui est bien qualifiable de "funeste", mais ce n'est pas intrinsèque à l'idée, juste un aspect de la psychologie humaine.)

[Amanuensis]

Pour me répéter, ce que discute Aygline (et d'autres) est "ce qui serait possible ou pas". La plus grosse partie de mes interventions ne parlent que de l'état présent. Pour le "ce qui serait possible", ma position est (répétition) le monisme matérialiste. Autrement dit, le refus de l'idée qu'il y ait un obstacle absolu à ce que peuvent faire des machines en comparaison avec le cerveau des vertébrés.

Maintenant, quel est le sujet du fil ? Ce qu'on appelle "IA" et qui est réalisé aujourd'hui ou bientôt (discussion portant sur les techniques courantes), ou sur "ce qui serait possible" (vaste débat limite métaphysique) ?

Pas la même chose.

[pm42]

la plupart des gens refusent de reconnaitre qu'ils sont des machines, car sinon ils pensent perdre leur libre arbitre...

Pourtant, le concept de libre arbitre a du plomb dans l'aile avec tous les travaux en psychologie et neurologie depuis le début du XXème siècle. Mais ce n'est pas le sujet du fil.

[GBo]

Je suis d'accord.
Exactement. J'ai personellement commencé à travailler en 91 sur les réseaux neuronaux, et je pense que l'on a toujours pas compris grand chose sur le cerveau et que l'on a fait aucun progrés fondamental en IA.

Je pense que les deux assertions sont très discutables. L'AI inclue les ANNs comme on l'a vu, et l'intérêt sur les ANNs a explosé récemment quand on a compris qu'il fallait multiplier les couches. Pour le domaine du computer vision qui m'intéresse, 7 couches étaient jugés énormes en 2012 (https://arxiv.org/pdf/1311.2901.pdf), or pour ce même domaine cette archi a été déjà remplacée par son successeur, invaincu à ce jour comprenant plusieurs dizaines de couches, ça c'est vraiment du DEEEEP learning. Il y a de ces petites révolutions qui passent inaperçues mais qui changent tout : passer de la curiosité théorique à quelque chose de vraiment utilisable.

[Amanuensis]

Ce qui serait intéressant (je ne connais pas), c'est si on commence à distinguer "qualitativement" les couches, plutôt que juste constater une amélioration des performances suite à l'augmentation du nombre de couches.

Si on compare avec l'analyse des images par le cortex de vertébré (à ce que je comprends de qu'on en raconte), les couches seraient qualitativement différentes, correspondant à des "extractions d'information" différentes en nature.

Autre question, en rapprochant l'idée de couches superposées de celle d'une hiérarchie bayesienne, y-a-t'il des cas comparables à l'apparition d'une notion "méta" de caractérisation. Par exemple reconnaître indépendamment un chat ou un chien par une couche ou un ensemble de couches permet automatiquement (couche du dessus ?) de créer des classements autres. (Un jeune humain sait faire cela : si on présente des objets différant par trois (ou plus) critères binaires, et qu'on lui montre que deux des critères permettent indépendamment de trier en deux classes les objets, il inventera "de lui-même" le tri selon les autres critères. Et la cognition humaine fait ça en permanence (d'où des termes/concepts désignant des critères, comme couleur, forme, animal, vivant, etc. et même un terme comme "critère" !)

[pm42]

Ce qui serait intéressant (je ne connais pas), c'est si on commence à distinguer "qualitativement" les couches

C'est exactement ce qui est fait et elles ont des fonctions différentes.

Autre question, en rapprochant l'idée de couches superposées de celle d'une hiérarchie bayesienne, y-a-t'il des cas comparables à l'apparition d'une notion "méta" de caractérisation. Par exemple reconnaître indépendamment un chat ou un chien par une couche ou un ensemble de couches permet automatiquement (couche du dessus ?) de créer des classements autres.

Là aussi, on fait cela tout le temps ne serait ce qu'à travers le transfert-learning.

La moindre des choses, ce serait quand même de se renseigner un minimum sur le sujet avant de venir l'expliquer

[GBo]

Ce qui serait intéressant (je ne connais pas), c'est si on commence à distinguer "qualitativement" les couches, plutôt que juste constater une amélioration des performances suite à l'augmentation du nombre de couches.[...]

Oui c'est l'objet du papier que j'ai mis en lien au dessus, et c'est fascinant, vraiment, le revoici:

Visualizing and Understanding Convolutional Networks, Matthew D Zeiler, Rob Fergus
https://arxiv.org/abs/1311.2901
https://arxiv.org/pdf/1311.2901.pdf

"Mon" prof en parle là:
Lesson 2 - Deep Learning for Coders (2020)
https://youtu.be/BvHmRx14HQ8?list=PL...eU6FhfM&t=1373

[Amanuensis]

D'un point de vue mathématique, une couche ou plusieurs, c'est pareil : en gros, une matrice de matrices est encore une matrice (mais de taille croissant exponentiellement avec le nombre d'étapes). Travailler avec plusieurs couches pourrait n'être qu'une manière de pouvoir travailler avec d'énormes matrices "creuses" (pas tous les degrés de liberté). Juste une optimisation d'implémentation, transformant un accroissement linéaire (nombre de couches) en un accroissement exponentiel (sur la taille de la matrice "unique" correspondante), au prix d'une limitation à des matrices "creuses".

Non ?

[Amanuensis]

Oui c'est l'objet du papier que j'ai mis en lien au dessus, et c'est fascinant, vraiment, le revoici:

Visualizing and Understanding Convolutional Networks, Matthew D Zeiler, Rob Fergus
https://arxiv.org/abs/1311.2901
https://arxiv.org/pdf/1311.2901.pdf

Thanks .

[GBo]

D'un point de vue mathématique, une couche ou plusieurs, c'est pareil : en gros, une matrice de matrices est encore une matrice (mais de taille croissant exponentiellement avec le nombre d'étapes). Travailler avec plusieurs couches pourrait n'être qu'une manière de pouvoir travailler avec d'énormes matrices "creuses" (pas tous les degrés de liberté). Juste une optimisation d'implémentation, transformant un accroissement linéaire (nombre de couches) en un accroissement exponentiel (sur la taille de la matrice "unique" correspondante), au prix d'une limitation à des matrices "creuses".

Non ?

Oui mathématiquement, il a été PROUVE qu'une seule couche supplémentaire suffisait, tout en résolvant le problème de Marvin Minsky (un prof du MIT qui a montré l'impossibilité de faire un simple XOR avec une seule couche de neurones = perceptrons). Ca a participé à l'hiver de l'IA ...
Mais d'autres chercheurs ont trouvé qu'il était plus efficace de multiplier les couches de neurones (à ressource HW donnée).

[Amanuensis]

Minsky, celui de "The society of Mind", j'imagine ? Vielle lecture, ça.