Réseau de neurones

[PhilOK]

@pm42
Je te sens un peu énervé sur le coup.
C’est dommage.
Bien sûr, tu as raison quand tu dis

Mais globalement, il t'arrive ce qui est fréquent quand on découvre l'IA par le biais de la vulgarisation : on s'imagine un truc très impressionnant parce qu'on a une vision mythifiée de l'intelligence.

Ce que je trouve difficile, c’est justement de ne pas trouver d’explications intermédiaires entre la vulgarisation dont tu parles et, à l’opposé, les articles destinés aux initiés.
Et en plus, ce n’est pas toujours facile de bien interpréter ce qui est dit.
Par exemple, ta première réponse

Non, elle repose sur le fait que le réseau a appris à reconnaitre des trucs qui ressemblent à un 8 sur une grande base d'images,
Comme il est probable que dans cette base d'images, tu as des gens qui font leur 8 en serrant tellement une des 2 boucles qu'elle devient un trait, cela va marcher quand même.

a un peu dévalorisé l’image que j’avais du réseau de neurones.
En tout cas, merci pour toutes tes réponses !
-----

[pm42]

Je te sens un peu énervé sur le coup.

Parce que l'IA est un domaine technique et qu'à chaque fil, on se retrouve avec des considérations mystico-philosophiques et autres.

Ce que je trouve difficile, c’est justement de ne pas trouver d’explications intermédiaires entre la vulgarisation dont tu parles et, à l’opposé, les articles destinés aux initiés.

Ca doit exister mais c'est vrai que pratiquement toute la vulgarisation grand public est complètement dans l'hyperbole.

Par exemple, ta première réponse a un peu dévalorisé l’image que j’avais du réseau de neurones.

Ca ne devrait pas. Ce qu'on fait avec les réseaux de neurones est incroyable et totalement impossibles il y a 20 ans.
On reconnait les images et les sons, on génère des images et des textes, on traduit automatiquement à la volée depuis l'appareil photo de nos smartphones, on conduit des voitures en autonome, on a atteint un niveau tel aux échecs et au go qu'aucun humain ne peut s'en approcher...

En gros, quand on a inventé les ordinateurs, c'était des super calculatrices : ils étaient meilleurs que les humains pour faire du calcul mais c'est tout.
Ensuite, on les a rendu meilleurs pour d'autres tâches : faire du traitement de texte, transférer de l'information, jouer à certains jeux.

Mais certains domaines leur étaient inabordables dont ceux cités plus haut. Les réseaux de neurones leur ont permis de devenir sur ces sujets aussi bon et parfois largement meilleurs que les humains.

Bien sur, on est loin de la science-fiction, des IAs fortes et du délire de la vulgarisation tapageuse mais cela reste remarquable.

En cas de doute, tu télécharges un truc comme Google Translate sur ton smartphone, tu le mets en mode photo et tu pointes un texte dans une langue étrangère, par exemple une page Web en anglais sur l'écran de ton ordi.
Il va détecter le texte dans l'image, reconnaitre la langue, la traduire et afficher le résultat par dessus.

Même si on sait comme ça marche, c'est magique.

[PhilOK]

Même si on sait comme ça marche, c'est magique.

Et moi, je cherche justement à savoir - au moins un peu - comment ça marche.

La vision la plus avancée que j’ai d’un réseau de neurone, c’est qu’il s’agit d’une approche de catégorisation optimisée, non linéaire, à travers des couches, et des liaisons caractérisées par des poids et des biais.

Mais :
A) je ne sais pas ci c’est bien ça
B) si c’est bien ça, je voudrais comprendre un peu plus l’organisation et l’éventuelle lecture - même partielle - que l’on pourrait faire du réseau optimisé.

[pm42]

La vision la plus avancée que j’ai d’un réseau de neurone, c’est qu’il s’agit d’une approche de catégorisation optimisée, non linéaire, à travers des couches, et des liaisons caractérisées par des poids et des biais.

D'un point de vue théorique, c'est ça mais ça oublie la phase la plus importante qui est l'apprentissage avec les technique de rétropropagation du gradient, etc.
Et ce n'est pas que de la catégorisation, ça fait de la régression aussi.

En pratique, ce qu'on fait :
- on choisit des algorithmes : statistiques ou réseau de neurones. Si réseau, on en construit un adapté au problème (ce qui nécessite du métier) ou on peut en adapter un existant (c'est du transfer-learning). Et il existe plein d'algos statistiques et plein de types de réseaux de neurones.
- le gros du boulot est ensuite de trouver la donnée et de la préparer : virer les parties fausses, déterminer qu'elles sont celles qui sont pertinentes, en créer de nouvelles (par exemple, quand on apprend sur des images, on ajoute les mêmes après rotation, recadrage...)
- puis on fait l'apprentissage ce qui là aussi nécessite pas mal d'essais/erreurs pour déterminer ce qui marche le mieux

Le gros du boulot est là.

B) si c’est bien ça, je voudrais comprendre un peu plus l’organisation et l’éventuelle lecture - même partielle - que l’on pourrait faire du réseau optimisé.

Tu peux comprendre une organisation au niveau macro mais sur un vrai réseau, il y a trop de neurones et on ne sait pas vraiment en faire de lecture.
On utilise d'autres techniques pour comprendre comment ils fonctionnent.
Par exemple, pour de la reconnaissance d'image, une fois qu'il est entrainé, on lui donne des images, on voit ce qu'il dit puis on en masque différentes parties. On peut déduire pas mal de choses de ce qui se passe, par exemple savoir qu'elles sont ses critères. S'il reconnait des gens par exemple et qu'il continue à le faire avec juste les yeux, on sait quelque chose.

Mais si tu veux commencer à apprendre en mode ludique et facile, tu peux essayer https://playground.tensorflow.org
Tu construis des réseaux simples, tu détermines ce que tu donnes en entrée et tu essayes de lui faire séparer les points rouges et bleus. Tu lances l'apprentissage et tu vois comment le réseau progresse.
Le 1er jeu de données est facile. Mais tu en as d'autres dans "Data" et la spirale est un bon exercice.

Attention, là on parle de modèles jouets pour débuter. Un vrai réseau moderne est loin de ça : GPT-3 a 175 milliards de paramètres. Mais même sans aller à l'extrême, un réseau "normal" est largement plus compliqué et va nécessiter un apprentissage qui peut être rapidement en heures.

[Ernum]

Salut,

il y a aussi cette chaine vidéo, en français, qui par l'exemple (tutoriel) traite du machine learning et deep learning en python. L'approche mathématique est mise en avant. Je ne sais pas si tu connais pm42, bien que je n'ai pas les compétences pour en juger, comme première approche ça me semble pas mal, qu'en penses-tu?

https://www.youtube.com/c/MachineLearnia

[PhilOK]

Merci à vous, c’est sympa de me guider comme vous le faites.
J’apprécie beaucoup !

[pm42]

il y a aussi cette chaine vidéo, en français, qui par l'exemple (tutoriel) traite du machine learning et deep learning en python. L'approche mathématique est mise en avant. Je ne sais pas si tu connais pm42, bien que je n'ai pas les compétences pour en juger, comme première approche ça me semble pas mal, qu'en penses-tu?

https://www.youtube.com/c/MachineLearnia

Je suis dans un endroit avec un Internet limité donc j'ai juste pu jeter un oeil, pas assez pour me faire une opinion.
Je peux toutefois te dire que toutes les formations IA insistent sur les bases mathématiques et c'est important de savoir comment ça marche pour éviter certains pièges.
Cela l'est également pour les gens qui font des choses pointues notamment de la conception/améliorations d'algos ou de réseau.

Mais on peut très bien faire de l'IA au quotidien sans jamais avoir besoin de rentrer dans ce niveau de détail. Une analogie imparfaite serait de dire que c'est la même chose qu'utiliser un langage sans savoir comment marche le compilateur.

[Ernum]

Merci pm42,

j'avais jeté un œil sur les vidéos deep learning, l'exemple pris est trivial ( on travaille ici sur une fonction affine), ça ma permis de mieux comprendre ce qui se passe derrière ce qui est présenté dans le lien que tu nous a proposé au post#34 (tu nous l'avais déjà donné).

[Ernum]

Merci à vous, c’est sympa de me guider comme vous le faites.
J’apprécie beaucoup !

Avec plaisir, mais je ne revendique aucunes compétentes, je parle sous couvert d'intervenant comme pm42.

[fred3000gt]

En plus, de tensorflow playground qui est un vraie bénédiction pour le béotien, on peut aussi s’amuser à retrouver l’expression du gradient et donc les bases théoriques de la rétro-propagation, ca ne requiert que quelques bases élémentaires de calcul différentiel.

Le top reste encore de coder sois-même un petit réseau, mais sans tricher, c’est à dire sans Tensorflow ou pyTorch, en implémentant sois-même l’inférence.