intelligence artificielle (présentation par l' epita...) aller + loin?

[GBo]

Exact.
https://fr.wikipedia.org/wiki/Marvin_Minsky
Son bouquin sur ce dont on cause, et compris à tort par la communauté comme un "circulez il n'y a rien à voir avec les ANNs" :
https://www.amazon.com/gp/product/02...t_bibl_vppi_i4

https://en.wikipedia.org/wiki/AI_winter

AI Winter : the term first appeared in 1984 as the topic of a public debate at the annual meeting of AAAI (then called the "American Association of Artificial Intelligence"). It is a chain reaction that begins with pessimism in the AI community, followed by pessimism in the press, followed by a severe cutback in funding, followed by the end of serious research

-----

[FinalSpark]

Je pense que les deux assertions sont très discutables. L'AI inclue les ANNs comme on l'a vu, et l'intérêt sur les ANNs a explosé récemment quand on a compris qu'il fallait multiplier les couches. Pour le domaine du computer vision qui m'intéresse, 7 couches étaient jugés énormes en 2012 (https://arxiv.org/pdf/1311.2901.pdf), or pour ce même domaine cette archi a été déjà remplacée par son successeur, invaincu à ce jour comprenant plusieurs dizaines de couches, ça c'est vraiment du DEEEEP learning. Il y a de ces petites révolutions qui passent inaperçues mais qui changent tout : passer de la curiosité théorique à quelque chose de vraiment utilisable.

Multiplier les couches n’est pas, il me semble, un progrés fondamental. Avoir réduit les matrices de poids à des convolutions non plus.
Mais je conviens tout à fait de l’immense intérêt applicatif des ces 2 avancées.

[GBo]

La preuve est dans le pudding :

The depth of representations is of central importance for many visual recognition tasks. Solely due to our extremely deep representations, we obtain a 28% relative improvement on the COCO object detection dataset. Deep residual nets are foundations of our submissions to ILSVRC & COCO 2015 competitions, where we also won the 1st places on the tasks of ImageNet detection, ImageNet localization, COCO detection, and COCO segmentation.

Deep Residual Learning for Image Recognition
https://arxiv.org/abs/1512.03385
https://arxiv.org/pdf/1512.03385.pdf

[mh34]

C'est pourquoi j'espére que plus personne n'ayant au moins joué à Tensorflow Playground ne postera ici

J'espère que vous ne m'en voudrez pas de poser une question quand même, bien que n'ayant jamais joué à https://playground.tensorflow.org/#a...hideText=false

Question générale aux spécialistes du sujet sur ce fil : comment vérifiez-vous la qualité des données dont vous vous servez?

[FinalSpark]

Si, si, je t'en veux un peu quand même

Mais, un indice c'est si tu arrive à apprendre par coeur mais pas à généraliser... Malheureusement cela peut être aussi (et souvent) que ton réseau est surdimensionné (trop de neurones quoi).

Tiens, puisque l'on parle de tensorflow, tu peux l'expérimenter toi-même, rien que pour toi je t'ai créé un réseau avec un set de données hyper bruité. Tu peux voir ci-dessous que la test loss ne diminue pas, et même augmente (indice très utile) alors que la training loss diminue. Le réseau apprend juste par coeur:

[pm42]

Question générale aux spécialistes du sujet sur ce fil : comment vérifiez-vous la qualité des données dont vous vous servez?

En plus de ce que dit FinalSpark : c'est un gros travail et cela dépend beaucoup des données. Typiquement, l'analyse, le nettoyage et la mise en forme des données représente le plus gros d'un projet IA standard (dans les 80%).

Par exemple, supposons qu'on entraine un réseau pour faire de la radiologie et reconnaitre certaines pathologies. On se rend compte qu'il est plus facile d'avoir des masses de radios en Inde parce que la législation est plus laxiste.
Dans certains cas, cela n'aura pas d'impact et cela sera transposable partout dans le monde.
Pour d'autres cas, par exemple des pathologies osseuses, tu vas avoir des radios dans un pays où la taille moyenne est disons de 165 cm. Si tu appliques ça à des radios d'un pays d'Europe du Nord où la taille moyenne est de 180 cm, cela ne se généralise pas forcément.

Donc la qualité des données est un vaste sujet qui dépend aussi de l'usage final.

[GBo]

[...]
Question générale aux spécialistes du sujet sur ce fil : comment vérifiez-vous la qualité des données dont vous vous servez?

Pas encore spécialiste (par rapport à pm42 par ex.) mais précision demandée : tu parles des données servant à entrainer ? Si tu utilises un modèle déjà entrainé, tu n'a pas accès aux données qui ont servi pour l'entrainement. Si tu entraînes toi-même, tu peux vérifier le jeu des données (par exemple que les photos étiquetées "chien" présentent bien un chien, que la race indiquée est bien la bonne, etc.., mais cela peut être énorme.

[pm42]

tu peux vérifier le jeu des données (par exemple que les photos étiquetées "chien" présentent bien un chien, que la race indiquée est bien la bonne, etc.., mais cela peut être énorme.

Et même comme ça, c'est compliqué. Il y a l'exemple que j'aime bien (et authentique) des canards.
On entraine un réseau de neurones à reconnaitre des image de canards et ça marche très bien : il reconnait même des canards en plastique de baignoire alors qu'il n'en a jamais vu.
Et là, on utilise une technique qui permet de savoir comment le réseau a appris en masquant des morceaux d'images.

Et on se rend compte qu'il a appris à reconnaitre les becs des canards et que si on lui donne une image de bec sans le canard derrière, il dit "c'est un canard".
Pourtant, on avait appliqué les techniques habituelles de qualité de données sur les images.

Bon, c'est juste un exemple et on fait des progrès mais c'est juste pour dire que le concept est vraiment compliqué. Dans le cas présent, le réseau fonctionnait bien : il avait très peu de faux négatifs.
Par contre, il y avait toute une catégorie de faux positifs (les becs tous seuls) qui n'arrive presque jamais et qui suivant l'application peut être sans importance ou très génante.

[GBo]

Excellente anecdote !
Ah, et dans le bouquin cité au-dessus, Howard insiste sur l'intérêt des modèles pré-entrainés, d'après lui le cas général : on importe un modèle pré-entrainé, par exemple un CNN qui sait déjà classer un millier de catégories à partir de plus d'un million d'images étiquetées de la librairie libre ImageNet, et tu n'as plus qu'à ré-entraîner la dernière couche pour ton application "chiens vs. chats". Les perfs sont bien meilleures qu'un entrainement exclusif chien vs. chat from scratch. La raison en serait que:

your model, before you’ve even shown it any of your data, is already very capable.
And as you’ll see, in a deep learning model, many of these capabilities are things you’ll need, almost regardless of the details of your project. For instance, parts of pretrained models will handle edge, gradient, and color detection, which are needed for many tasks.

[pm42]

Oui, c’est le transfer learning dont je parlais plus haut. C’est efficace.

[JPL]

Et on se rend compte qu'il a appris à reconnaitre les becs des canards et que si on lui donne une image de bec sans le canard derrière, il dit "c'est un canard".
Pourtant, on avait appliqué les techniques habituelles de qualité de données sur les images.

Donc si on lui montre un ornithorynque, il répondra canard ?

[pm42]

Donc si on lui montre un ornithorynque, il répondra canard ?

En fait, c'est exactement ça mais plus subtil : si dans son apprentissage, il a va des ornithorynques et qu'il a appris ce que ce n'est pas des canards, il va faire la différence.
Sinon, il peut très bien se tromper et c'est comme ça aussi que les humains apprennent, notamment les enfants.

Par ex, quand il a appris à parler, mon gamin connaissait "voiture" et "tracteur". Sauf que "tracteur", c'était tout ce qui était plus gros donc les tracteurs mais aussi les camions, pelleteuses...

C'est le même mécanisme à l'oeuvre sauf qu'effectivement, les humains ont besoin de beaucoup moins d'exemples pour apprendre (un des sujets de recherche actuellement).

P.S : on pourrait sans doute aller plus loin et remarquer que ce que nous considérons parfois comme des raisonnements "non pertinents", c'est un apprentissage incomplet qui pousse à ne pas distinguer des catégories en effet. Sur le forum, le cas le plus présent est la confusion entre "j'ai fait un raisonnement par analogie basé sur de la vulgarisation" et "je fais de la recherche".
En général, la personne en question n'a jamais été exposée à "la recherche" et n'a donc pas appris à reconnaitre cette catégorie et a extrapolé depuis la plus proche.
On pourrait arguer que c'est pratiquement la même chose que de confondre canards et ornithorynques à cause du bec.

[Amanuensis]

E... tu n'as plus qu'à ré-entraîner la dernière couche pour ton application "chiens vs. chats". Les perfs sont bien meilleures qu'un entrainement exclusif chien vs. chat from scratch. La raison en serait que:

" For instance, parts of pretrained models will handle edge, gradient, and color detection, which are needed for many tasks."

Le pré-entraînement dont il est question est-il spécifiquement dirigé pour les détections indiqués, chacune indépendamment (le programmeur choisit d'entraîner pour un critère, puis un autre, etc., éventuellement en fixant une partie des matrices (par couche par exemple) ? Ou le pré-entraînement a été fait sur des reconnaissances proches (entraînement exclusif genre vache vs. chimpanzé, exemple inventé de toutes pièces), ce qui aurait généré automatiquement des "parts" qu'on analyse après coup comme "handling" tel ou tel critère ?

[GBo]

Bonjour,

Le pré-entraînement dont il est question est-il spécifiquement dirigé pour les détections indiqués, chacune indépendamment (le programmeur choisit d'entraîner pour un critère, puis un autre, etc., éventuellement en fixant une partie des matrices (par couche par exemple) ? Ou le pré-entraînement a été fait sur des reconnaissances proches (entraînement exclusif genre vache vs. chimpanzé, exemple inventé de toutes pièces), ce qui aurait généré automatiquement des "parts" qu'on analyse après coup comme "handling" tel ou tel critère ?

Ta question revient à demander comment par exemple, pour rester dans le domaine de la Machine Vision, ResNet-50 a été entrainé par Microsoft avant d'être mis à disposition du public afin de servir de base à du Transfer Learning dans un domaine similaire (mais spécifique) de classement de ses propres images. Je ne sais pas répondre à la question dans l'état actuel de mes connaissances, mais je partage ce webinaire au titre prometteur en espérant qu'il y répondra, je le découvre en même temps que vous:

Microsoft Vision Model ResNet-50: Pretrained vision model built with web-scale data
https://youtu.be/oQqxkO3BN3Q

[FinalSpark]

Il me semble que ce qui est critique pour le XOR est les classifications non-linéaires en général n'est pas le nombre de couches mais d'utiliser une fonction d'activation non-linéaire.

A titre d'illustration voici 2 copies d'écrans de simulations pour le probléme du XOR ou j'ai utilisé:
1. D'abord 2 couches cachées linéaires (échec)
2. Puis une seule couche cachée mais avec une activation sigmoide (Ok pour le problème booléen XOR):

[GBo]

Il n'y a plus de problème de XOR dès qu'il y a au moins une couche cachée, c'est qui ce qui été montré il y a plusieurs décennies, c'est "historique".

[FinalSpark]

Il n'y a plus de problème de XOR dès qu'il y a au moins une couche cachée, c'est qui ce qui été montré il y a plusieurs décennies, c'est "historique".

Bah non, une couche cachée ne suffit pas.
Il faut aussi une activation non-linéaire (sinon toutes les couches se raménent à une seule couche par produit matriciel).

[GBo]

Où ai-je dit que cela suffisait ?

[FinalSpark]

Où ai-je dit que cela suffisait ?

En écrivant "Il n'y a plus de problème de XOR dès qu'il y a au moins une couche cachée".

[GBo]

Ok, mais c'est moins faux que de faire accroire que le nombre de couches n'est pas un problème pour le XOR alors qu'il en faut au moins 2 (donc au moins une cachée).

[FinalSpark]

Tu peux avoir un nombre de couches infinies, tu ne pourras toujours pas résoudre le XOR avec une activation linéaire, donc c'est infiniment faux

et... c'est pas grave, je crois que l'on s'est compris et en plus on est un peu HS...

[GBo]

J'ai surtout compris que tu n'admettais pas ton erreur de fond

[Amanuensis]

Euh... Je pense que Finalspark n'a pas fait d'erreur.

[GBo]

Entre nous, c'est ce que j'espérais de lui (en tant qu'expert autoproclamé) pour clore le débat puisque j'ai fait l'économie de recherches poussées, je me suis contenté d'un slide du cours déjà cité qui dit que le problème de Minsky a été surmonté grâce à une seconde couche de neurones (ce qui laisse uen part d'ombre entre le nécessaire et le suffisant): qu'il nous montre alors un XOR avec une seule couche et le débat sera clos.
Et ne jouons pas sur les mots SVP : je ne parle pas d'une seule couche "cachée", mais d'une seule couche "tout court".

[Amanuensis]

J'avais tiqué à la réponse #119, mais rien dit. Mais n couches linéaires se ramènent à une seule couche, c'est ce que j'avais indiqué et que Finalspark a confirmé.

Le problème du XOR n'est pas le nombre de couches mais leur nature. Si on considère qu'une couche "normale" est sous-entendue linéaire, faut bien pour le XOR (puis faire ensuite quelque chose du résultat), une couche anormale (non-linéaire) et au moins une couche "normale', soit deux couches.

Cela rend cohérent les deux points de vue, et aussi qu'il n'y a pas d'erreur côté Finalspark (il n'a pas écrit qu'une seule couche non-linéaire suffisait pour le XOR).

[mh34]

Merci à tous les trois ( Finalspark, pm42 et GBo) pour vos réponses.
j'ai posé cette question parce que le point a été évoqué lors d'un tout récent congrès sur l'échographie fœtale, au cours duquel il y a eu un topo sur IA et écho fœtale. Point soulevé par un des pontes du domaine et...qui n'a pas vraiment eu de réponse.

[pm42]

j'ai posé cette question parce que le point a été évoqué lors d'un tout récent congrès sur l'échographie fœtale, au cours duquel il y a eu un topo sur IA et écho fœtale. Point soulevé par un des pontes du domaine et...qui n'a pas vraiment eu de réponse.

Dans ce cas, on peut aussi faire "pragmatique" : on entraine avec des données et on regarde ce que ça donne ensuite sur des images jamais vues.
Si c'est meilleur qu'un humain ou plus régulier (parce que comme tu sais, la perf des humains varie avec leur fatigue, leur humeur, etc), cela veut dire qu'on a le bon algo et les bonnes données d'apprentissage.

Si on n'arrive pas au bon résultat, on creuse pour savoir d'où ça vient : données pas assez nombreuses, problème de qualité, algo inadapté ou problème à la limite de ce qu'on sait faire actuellement...

Mais c'est entre autre pour cela qu'un vrai projet IA coûte cher en argent et en temps.

[GBo]

Bonsoir,
En préambule de mes commentaires au post d'Amanuensis, je présente mes excuses à FinalSpark pour le ton que j'ai employé, un désaccord de fond ne méritait une telle acidité de ma part. J'espère qu'il n'en a pas pris ombrage et qu'il reviendra sur le fil (avec son playground ou pas, mais plutôt avec please :- )

J'avais tiqué à la réponse #119, mais rien dit. Mais n couches linéaires se ramènent à une seule couche, c'est ce que j'avais indiqué et que Finalspark a confirmé.

Je suis pris en flagrant délit de manque de rigueur, en #119 je ne voulais pas dire "il suffit", mais "il faut" (je voulais donc dire : "il faut au moins 1 couche cachée pour résoudre le problème du XOR"). Et encore, c'est mal retranscrire les slides de formation que je voulais paraphraser, puisqu'il y est dit que l'addition d'une couche de neurones intermédiaire (et donc la création d'une couche cachée) est la solution trouvée historiquement, sans affirmer pour autant que c'est la seule.

Le problème du XOR n'est pas le nombre de couches mais leur nature. Si on considère qu'une couche "normale" est sous-entendue linéaire, faut bien pour le XOR (puis faire ensuite quelque chose du résultat), une couche anormale (non-linéaire) et au moins une couche "normale', soit deux couches. [...]

Pourtant en regardant de plus près un autre cours que j'avais survolé l'an dernier, celui du CNAM (plus dispo sur Fun Mooc), la non résolution du XOR est présentée sur un perceptron monocouche affine avec fonction d'activation non-linaire intégrée, donc le problème pour moi reste entier.

cdlt,
GBo

[FinalSpark]

Bonsoir,
En préambule de mes commentaires au post d'Amanuensis, je présente mes excuses à FinalSpark pour le ton que j'ai employé, un désaccord de fond ne méritait une telle acidité de ma part. J'espère qu'il n'en a pas pris ombrage et qu'il reviendra sur le fil (avec son playground ou pas, mais plutôt avec please :- )

Je suis pris en flagrant délit de manque de rigueur, en #119 je ne voulais pas dire "il suffit", mais "il faut" (je voulais donc dire : "il faut au moins 1 couche cachée pour résoudre le problème du XOR"). Et encore, c'est mal retranscrire les slides de formation que je voulais paraphraser, puisqu'il y est dit que l'addition d'une couche de neurones intermédiaire (et donc la création d'une couche cachée) est la solution trouvée historiquement, sans affirmer pour autant que c'est la seule.

Pourtant en regardant de plus près un autre cours que j'avais survolé l'an dernier, celui du CNAM (plus dispo sur Fun Mooc), la non résolution du XOR est présentée sur un perceptron monocouche affine avec fonction d'activation non-linaire intégrée, donc le problème pour moi reste entier.

cdlt,
GBo

Ta mise en perspective t'honore, et je n'étais certainement pas irréprochable!

Je pense aussi qu'une seule couche avec activation non-linéaire et monotone ne peut pas marcher (je viens d'ailleurs d'essayer sans succés sur Tensorflow). Par contre, il semble que des gens y parviennent avec des fonctions non monotones (qui montent et descendent quoi...) comme:
- http://hsmazumdar.net/single_layer_neural_net.htm
- https://stackoverflow.com/questions/...n-the-same-way

[Archi3]

Une petite question : une IA peut elle etre entrainée pour reproduire correctement les illusions d'optique , c'est à dire en se trompant de la même façon qu'un humain ?

par exemple détecter un mouvement dans cette image ?