IA, TFlops et neurones

[invite73192618]

Qu'elle soit creuse, c'est sur, qu'elle soit à peu près diagonale, beaucoup moins...

Bon donc on se comprend au moins sur le sparse. Pourrais-tu STP expliciter ton critère pour "à peu près diagonale" ainsi que les obstacles que tu perçois comme associés à l'absence de cette caractéristique?
-----

[obi76]

Bon donc on se comprend au moins sur le sparse. Pourrais-tu STP expliciter ton critère pour "à peu près diagonale" ainsi que les obstacles que tu perçois comme associés à l'absence de cette caractéristique?

Que les interconnexions entre les noeuds de calcul doivent etre le plus court possibles (donc la plupart des éléments qui communique avec un noeud de calcul doivent etre à proximité). Sinon ça fait de la distance, des switch, et donc de la saturation. Or, si on prend un problème 2D, sur un calculateur cablé en 2D, alors ça sera optimal puisque les plus proches voisins sont "physiquement" ceux que l'on a. Quand on passe au 3D (ou bien à des problèmes où les communications sont globales, type équation de Poisson), alors la disposition des noeud devient critique. Dans ces cas là (simulation de 3D avec communications aux voisins), la topologie de branchement des noeuds devient cruciale lorsqu'on souhaite de vraies grosses puissances de calcul.

Donc, plus la matrice de connexion est "diagonale" (en tous cas les coefficients pas trop loin de la diagonale), moins les distances entre noeuds sont grandes. Et ça, si on a une topologie 3D (donc une matrice NxNxN), alors les coefficients seront plus proches de la diagonale que si on prend des connexion 3D que l'on projete sur une topologie 2D (i.e. avoir une matrice de connexion en NxN).

[invite73192618]

Donc, plus la matrice de connexion est "diagonale" (en tous cas les coefficients pas trop loin de la diagonale), moins les distances entre noeuds sont grandes.

Concrêtement, quel est l'aspect quantitatif qui te convaincrait qu'un système est suffisament proche de 2D pour être facile ou suffisament proche de 3D pour être difficile?

[obi76]

En HPC la question est délicate. En gros moins les noeuds sont éloignés les uns des autres sur des communications critiques (synchronisées, ou avec barrières, ou réduction globales, par exemple), plus ça ira vite. Et des saturations de bande passante, ça apparaîtra d'autant plus vite qu'il y a un grand nombre de noeuds et qu'ils sont éloignés (et que la quantité de donnée est élevée, évidement). Quantitativement, ça dépend de quasiment tous les paramètres hardware et algorithmiques de ce que l'on veut faire.

Alors après si la topologie de branchement des noeuds est en hyper-tore (ça s'est fait), alors on optimise la distance pour des configurations 3D. Mais à ma connaissance peu de supercalculateurs ont une telle architecture (si je ne dis pas de betise, les seuls que je connais sont le GENCI à Montpellier). Si on les relie en 3D, alors on restreint la manière dont les calculs sont distribués.

[invite73192618]

moins les noeuds sont éloignés les uns des autres sur des communications critiques (synchronisées, ou avec barrières, ou réduction globales, par exemple), plus ça ira vite. (...) ça apparaîtra d'autant plus vite qu'il y a un grand nombre de noeuds et qu'ils sont éloignés

Pourrais-tu formuler une relation quantitative quelquonque, que ce soit une borne supérieure ou en borne inférieure ou les deux? Par ailleurs qu'est-ce que tu qualifierais de "communication critique", spécifiquement dans un réseau de neurone artificiel comportant 50% de dropout toutes les deux trois couches?

PS: pour des infos sur la connectivité des cerveaux biologiques voir ici. En bref on a presque la moitié des synapses qui connectent des neurones à leur plus proche ou second plus proche neurone, et le nombre de connection varie de façon inversement proportionnelle à la distance, avec disons 90% de connection locales aux quelques mm, 9% locales à quelques cm, et 1% de connections réellement longues distances.

[obi76]

Pourrais-tu formuler une relation quantitative quelquonque, que ce soit une borne supérieure ou en borne inférieure ou les deux?

Non, trop de paramètres, trop spécifique au matos.

Par ailleurs qu'est-ce que tu qualifierais de "communication critique", spécifiquement dans un réseau de neurone artificiel comportant 50% de dropout toutes les deux trois couches?

Communication bloquante si vous préférez.

PS: pour des infos sur la connectivité des cerveaux biologiques voir ici. En bref on a presque la moitié des synapses qui connectent des neurones à leur plus proche ou second plus proche neurone, et le nombre de connection varie de façon inversement proportionnelle à la distance, avec disons 90% de connection locales aux quelques mm, 9% locales à quelques cm, et 1% de connections réellement longues distances.

1% sur de longues distance, ça fait une matrice de connectivité avec des termes très loin de la diagonale, et ce sont bien ceux là qui vont être embêtant.

[invite73192618]

Non, trop de paramètres, trop spécifique au matos.

Alors fixons les paramètres et le matos, disons dans le cas d'un resnet et d'une carte GPU NVIDIA-like. Pour mémoire un resnet comporte m blocs identiques recevant chacun les entrées plus le résultats du bloc précédent. Dans une version récente chaque bloc comporte 2 séries de trois couches 2D (chacune de taille n*n) alternant batch normalisation, relu et convolution. Quels obstacles vois-tu, avec des GPU NVIDIA-like, pour faire tourner un resnet de taille (m, n)?

Communication bloquante si vous préférez.

Qu'est-ce que tu qualifierais de "communication bloquante", spécifiquement dans un réseau de neurone artificiel comportant 50% de dropout toutes les deux trois couches?

[invite73192618]

PS: bien entendu on sait déjà le faire pour un certain m,n. La question est de savoir si tu vois (et peux expliquer) un obstacle au scaling de m,n dans ce cas de figure?

[obi76]

Alors fixons les paramètres et le matos, disons dans le cas d'un resnet et d'une carte GPU NVIDIA-like. Pour mémoire un resnet comporte m blocs identiques recevant chacun les entrées plus le résultats du bloc précédent. Dans une version récente chaque bloc comporte 2 séries de trois couches 2D (chacune de taille n*n) alternant batch normalisation, relu et convolution. Quels obstacles vois-tu, avec des GPU NVIDIA-like, pour faire tourner un resnet de taille (m, n)?

Je crois que l'on ne parle pas tout à fait de la meme chose. Je parlais d'un cluster constitué de N noeuds (allez, bi-Xeon chacun à la limite), avec un bon gros infiniband entre eux (et donc les switch 40Gb/s qui vont avec, et qui du coup peuvent etre rapidement saturés si les comm sont anarchiques et/ou distantes entre les noeuds).

Qu'est-ce que tu qualifierais de "communication bloquante", spécifiquement dans un réseau de neurone artificiel comportant 50% de dropout toutes les deux trois couches?

Recherche d'un max dans tout le domaine, par exemple.

[invite73192618]

Je crois que l'on ne parle pas tout à fait de la meme chose. Je parlais d'un cluster constitué de N noeuds (allez, bi-Xeon chacun à la limite), avec un bon gros infiniband entre eux (et donc les switch 40Gb/s qui vont avec, et qui du coup peuvent etre rapidement saturés si les comm sont anarchiques et/ou distantes entre les noeuds).

Quel est le rapport avec l'IA?

Recherche d'un max dans tout le domaine, par exemple.

Ok merci, mais... même question.

[obi76]

Quel est le rapport avec l'IA?

Pour faire du multiagent massif, il faut beaucoup de coeurs, les CG en sont une architecture, tout comme un cluster de calcul, c'est tout.

Ok merci, mais... même question.

Ben s'il y a une communication bloquante, elle se cale sur la transmission la plus lente, c'est tout.

[invite73192618]

Bon, si je résume tu vois un problème de scaling en HPC pour du multiagent massif comportant des communications critiques/bloquantes, ce qui correspond à la modélisation de plusieurs problèmes physiques mais à aucun modèle d'IA actuel. Bon résumé?

[obi76]

Bon, si je résume tu vois un problème de scaling en HPC pour du multiagent massif comportant des communications critiques/bloquantes, ce qui correspond à la modélisation de plusieurs problèmes physiques mais à aucun modèle d'IA actuel.

Ben si, les système multi-agent...

Bref.

[invite73192618]

les système multi-agent...

Ben oui, dans mon esprit c'était un truc mort et enterré, mais tu as raison que c'est encore utilisé par certaines équipes dans certains sous-domaines en IA. On leur souhaite bonne chance.

[obi76]

Ben oui, dans mon esprit c'était un truc mort et enterré, mais tu as raison que c'est encore utilisé par certaines équipes dans certains sous-domaines en IA. On leur souhaite bonne chance.

C'est justement parce que j'en ai encore vu passer il y a peu que je parlais de ça. Après c'est sur que si on parle d'autres modèles, leur implémentation peut ne pas poser ce genre de soucis, là je ne me suis pas penché sur le sujet.