Fabrication d'une Ferme de Calcul

[invitea0febe21]

Bonjour à tous,

J'ai pour projet de fabriquer une ferme de rendu dédié à des calculs mathématiques, et non à du rendu 3D. En effet, j"ai besoin pour certains calculs de beaucoup de mémoire, et un seul PC ne me suffit pas.

Est-il possible de créer une ferme de rendu pour du calcul brut ? Si oui l'Os doit-il obligatoirement être Linux ?

Je pensais prendre 2 PC un processeur i7 et 16Go de RAM chacun. Comment les connecter ?

Enfin, au niveau software, existe-t-il des logiciels distribuant automatiquement les opérations entre les différentes machines ? Si non, est-il possible de le faire au moyen en .NET ?

J'ai déjà recherché sur le net, mais je n'ai trouvé que quelques tutos uniquement pour le rendu 3D, où la distribution est automatique...

Merci d'avance
-----

[invitee75a95d8]

Bonjour,

Si c'est pour mettre seulement 2 PC et donc 2 processeurs, les constructeurs sérieux ont dans leur gamme professionnelle des ordinateur équipés de 2 processeurs (et la possibilité de mettre 32Go de RAM, voire plus) sans se compliquer la vie avec 2 machines complètes séparées.

Bien entendu, qui dit multicoeurs dit calculs parallélisables et parallélisés, donc programme adapté...

[invitea0febe21]

L'idée était d'acheter 2 PC au début, puis d'en rajouter au fur et à mesure... :/

De plus, j'ai retrouvé un vieux carton avec une 25 cartes mères de Netbook Pro (PSION) avec chacune 512Mb de RAM. J'aimerais bien leur trouver une utilité !

Sinon ton idée est bonne, mais il faudra que je me renseigne pour le prix...

Actuellement, j'ai un HP portable avec un i7-3610QM à 2.30GHz et 12Go de RAM, et ça commence à devenir juste pour les calculs compliqués (cryptage RSA de plusieurs Go,...), et mettre les 20 cartes mères en série sur mon PC portable (si c'est possible) serait génial...

[invitee75a95d8]

En même temps, je n'ai jamais vu un professionnel faire du calcul de masse sur un pc portable...
Ton application est dans un cadre professionnel ?
Tu as quel budget ?

Tes cartes mères, elles ont quelle âge ? Parce que si c'est pour faire marcher 25 antiquités qui n'iront pas plus vite qu'un bête pc de maintenant à 500€...

[A voir en vidéo sur Futura]

[JPL]

Ces cartes mères ont été conçues pour un processeur Intel XScale PXA255 400MHz datant exactement de 10 ans !

http://www.psion.com/documents/com/NETBOOK_PRO.pdf

[bisou10]

Lol

Tu demandes à faire du calcul distribué sans compétences, avec éventuellement 4 lignes de code en .NET pour faire un ordonnanceur spécifique ? C'est du délire

Pour un particulier, tu peux déjà chercher à exploiter la puissance de ta carte graphique à travers CUDA (nvidia). Le GPU est capable de paralléliser un grand nombre de calculs et de releguer ton CPU au rang de petit calculeur. CUDA te permet de paralléliser tes calculs, en fait regarde juste si ton logiciel prend en charge ce moyen (via un patch).

Ensuite tu peux, avec un lien réseau rapide, mutualiser plusieurs ordinateurs. Il y a des des distributions Linux spécifiques.

[invitea0febe21]

Merci beaucoup pour vos réponses...

En effet les cartes sont extrêmement vieilles, donc je crois qu'elles vont finir à la poubelle...

Et je ne suis pas un professionnel, c'est pourquoi la récup' de ces cartes aurait pu m'éviter de dépenser plus d'argent dans d'autres PC. ^^

Je vais donc voir pour acheter un kit de ferme pré-construit sur Internet et je vous tiens au courant !

[invite32f57b05]

Bonjour.
Je suis en train de faire exactement la même chose pour du calcul scientifique également (ça tourne déjà, j'ai juste des ajustements à faire pour gérer le bruit).

J'ai acheté un serveur équipé de 2 quad cores à 2.5Ghz et 16 Gb de ram en seconde main à 200 euros. Les quad cores me servent pour les calculs les plus complexes et difficiles à paralléliser.
Pour les calculs les plus massivement parallélisables (et tout particulièrement pour ceux pour lesquels du single point suffit), j'utilise 2 GPU M1060 que j'ai acquis en seconde main également à 50 euros l'un.
Bilan des courses, ça me fait 8 processeurs, et 488 cores sur les GPU (sur mon application, ça me permet d'aller entre 150 et 300 fois plus vite que sur les processeurs) pour un budget de 300 euros. Quand j'aurais besoin de plus de puissance, je rajouterai en priorité des GPU.

C'est pas forcément rentable de rajouter des PC ; ça peut être plus intéressant d'opter pour des composants plus performants. Mais tout dépend des calculs que tu veux faire.
Par contre, faut quand même faire gaffe aux problèmes de bruit et de conso ; mon truc tire entre 600 et 1100W, et c'est pas de la tarte à refroidir.

[invitebac61674]

Tu peux utiliser l'os que tu veux mais il faut un os serveur pour le serveur qui héberge les fichiers (Linux ou Windows Server) car les Windows non serveurs n'acceptent pas plus de 5 clients connectés.

Mettre en réseau des PC pas puissant c'est tentant mais ça sers à rien. Ils vont occuper de la place, consommer de l'énergie et ralentir l'ensemble plutôt qu'autre chose.

Pense à prendre un réseau de qualité et rapide. De bons câbles et de bons switch. Il ne faut pas utiliser plein de petit switch 5 ports mais plutôt des grands car les connexion entre switch feraient goulot d'étranglement.

Pour simplifier le développement tu peux utiliser des programmes de gestion de ferme de calcul. Ils sont conçus pour fonctionner avec des logiciels de rendu 3D mais la plupart sont paramétrables pour fonctionner avec n'importe quel programme en ligne de commande. Il y'en a une foule, beaucoup sont open source et presque toutes les solution payantes sont gratuite pour peu de postes (jusqu'à une 20 aine de cœurs). J'aime bien squidnet. Si tu dois développer toi même une solution, le plus simple est de faire que les clients demandent régulièrement au serveur quelle est la prochaine tâche à accomplir.

Il faut que chaque PC aie suffisamment de mémoire pour faire tourner l'algo. On ne peut pas cumuler la mémoire de plusieurs PC, et si on pouvait on obtiendrait des performances minables quand un CPU traiterait les données dans la mémoire d'un autre PC.
Pour que ton calcul fonctionne il faut qu'il soit divisable en tâche plus petites et moins gourmandes.

Si ton programme est en JAVA, regarde du coté de terracotta, c'est juste terrible pour utiliser la puissance de plusieurs PC. Les algos comme map reduce t’intéresseront aussi.

Si ton but est d'encrypter des gros fichiers, je crois que le goulot d'étranglement viens plus de l'accès aux données que du calcul. Et là ta ferme de rendu ne t'aidera pas. Si c'est le cas regarde du coté des contrôleur RAID hardware et du coté du RAID0 pour un petit budget (attention au RAID0 il faut sauverader régulièrement car la moindre panne de disque est fatale).

Si tu as besoin de faire un réseau ultra performant entre plusieurs PC et que tu as un budget limité. Le plus interessant est d'utiliser de l'infiniband. Ce système d'interconnexion est sacrément délaissé en ce moment. Je pense que c'est à cause des câbles qui sont galère à manipuler et leur longueur limitée. De nombreux centres de calcul sont désassemblés et on retrouve sur ebay des cartes 10Gb à 20€ et 40Gb à 50€ alors que des cartes 10GB ethernet coûtent près de 1000€. Il n'y a pas besoin de switch pour connecter deux PC. L'infiniband permet de faire transiter des Go par seconde, bien plus que ne peuvent fournir des disques durs.

Voilà quelques infos.

[invitea0febe21]

Merci beaucoup pour toutes vos réponses...

De mon côté j'ai aussi un peu avancé :
- J'ai exploité la puissance de mon second ordinateur de bureau connecté en LAN (8Go de RAM, 3.2GHz) ;
- J'ai codé un petit add-on compatible avec tous MES logiciels qui distribue les tâches en fonctions de la vitesse de chaque poste ;

Le seul problème étant que je n'ai absolument aucune connaissance avec Windows Server, j'ai opté pour une solution qui à mon avis est beaucoup plus lente : le poste principal "publie" les tâches à effectuer dans un fichier de log uploadé sur un serveur FTP, contenant principalement ce que a déjà été fait par les autres machines. Les postes esclaves actualisent le fichier à la fin de chaque tâche pour vérifier s'il y en a de nouvelles.

Ce système n'est pas très pratique, mais en le testant avec un algorithme de test de primalité, j'augmente la vitesse de calcul de 2,5 fois par rapport à mon ordinateur portable seul. Le problème pour le moment, c'est que je n'utilise que le CPU (inutile d'utiliser le GPU sur mon pc portable), mais que j'aimerais tirer parti de la mémoire graphique de mon ordinateur de bureau.

J'irai donc faire un tour sur le site des logiciels open-source de partage réseau, et si les moyens me le permettent, je m'achèterai peut-être quelques coeurs à monter...

Je vous tiens au courant !

[invite32f57b05]

Regarde si ton truc est massivement parallélisable ou pas ; il est plus facile et moins couteux d'exploiter des GPU que des CPU à cette échelle.
Un GPU tesla de seconde main à 70 euros, c'est 240 cores à 1,3GHz, facilement exploitable en fortran, C++ et cie (et sous Matlab).

[invitebac61674]

Regarde si ton truc est massivement parallélisable ou pas ; il est plus facile et moins couteux d'exploiter des GPU que des CPU à cette échelle.
Un GPU tesla de seconde main à 70 euros, c'est 240 cores à 1,3GHz, facilement exploitable en fortran, C++ et cie (et sous Matlab).

Ce n'est pas qu'une question d'être parallélisable ou pas, il faut que le code convienne au GPU. Les GPU ne savent pas tout faire, ce sont des cœurs très spécialisés.

[invite32f57b05]

Nope, ça c'est faux.
A moins que tu ne fasse des trucs très très exotiques, tu trouveras ce dont tu as besoin en CUDA.

Perso, j'utilise mes GPU pour :
- du calcul matriciel de base, résolution de système d'équadiff
- traitement/analyse de signal, fft et compagnie
- fit non linéaire et stats bayésiennes.

[invitebac61674]

Ryuujin : peux tu préciser ce que tu trouves faux dans ce que j'ai dit ?
C'est peut être le "très spécialisé" qui te pose problème.

Les GPU sont très performants pour manipuler de grandes quantité de matrices à base de float. Appliquer le même traitement sur de grandes quantité de données. Ils évoluent et on fait beaucoup de progrès notamment pour le traitement de nombre entiers, mais de là à dire qu'ils peuvent tout faire sauf les algorithmes très très exotiques... je trouve que tu exagères. Si c'était le cas, on se passerait de CPU dans les PC.

Les GPU ne sont pas utilisés pour :
- des requêtes SQL, du filtrage de dataset selon des critères. Même si des travaux sont en cours dans ce sens, les plateformes de traitement distribués à base de map reduce n'utilisent pas les GPU.
- des moteurs de rendu 3D. Il y a bien quelques expériences de raytracing accéléré par GPU et des moteurs en partie accélérés comme OctaneRender, mais en pratique les moteurs couramment utilisés : mental ray, vray, renderman, maxwell render n'utilisent pas les GPU
- le rendu de vidéo. Les logiciels de compositing comme after effect, fusion, nuke, peuvent utiliser les GPU pour la prévisualisation mais les calculs de rendus en render farm sont encore effectués au CPU (en particulier à cause des différences de résultats que l'on obtient selon les GPU utilisés)
- la compression de données, je parle de compression sans perte à base de ricecoding, dictionnaires et autres... Certaines étapes en compression vidéo (comme les transformation de fourrier) sont accélérés, mais les données résultantes doivent ensuite être compressées sans perte.

FlashMeNot travaille sur des tests de primalité, il s'agit surement de grand nombres qui ne rentrent même pas dans les registres d'un GPU. Je ne vois pas trop comment accélérer ces tests avec un GPU.

[invite32f57b05]

Yep : c'est pour ça qu'on a des architectures avec des CPU ET des GPU.
Perso, je ne balance sur le GPU que ce qu'il est capable de faire plus rapidement, et c'est 95% de mon temps de calcul, les GPU étant particulièrement bons sur les trucs les plus intensifs. Pour le reste, mes 8 cores suffisent généralement.

Pour ce qui est de l'application de filtres et compagnie, ma solution a été de tout passer en matriciel. Ca pose pas de gros problèmes.
Pour du calcul scientifique lourd et parallélisable, hors exception, ça tourne très bien sur GPU. Dans le pire des cas, je ne vois pas de gain en terme de performance, mais pas de perte significative non plus.

De même, il y a des astuces pour contourner la limitation à 32/64 bits ; voir par exemple CUDALucas.
http://www.ece.neu.edu/groups/nucar/...iles/thall.pdf
Dernièrement, ils ont quand même sorti un nombre premier à 34 millions de chiffres en 3.6 jours, quand sur un serveur à 32 cœurs ça en a pris 6. On peut toujours discuter de la conso d'énergie, de la facilité à coder etc... mais en terme d'accessibilité et de prix, ya pas photo.
Le GPU tesla 2050 qu'ils ont utilisé se trouve entre 400 et 600 euros en seconde main, et prends un port PCI. Pas vraiment comparable à un serveur 32 cœurs (qui a même pas fait aussi bien), et encore moins à une ferme de calcul bricolée en mettant des PC en réseau.

C'est vrai qu'il y a encore énormément de trucs qu'on ne peut pas trouver tout programmés pour des GPGPU. Mais ya quand même un certain potentiel là, pour peu qu'on ait du temps à y consacrer.

[invitebac61674]

Ryuujin : on est bien d'accord. Les GPU sont formidablement puissants et encore largement sous exploités. Et c'est bien dommage.

Par exemple je trouve aberrant que des softs comme photoshop commencent à peine à les utiliser et seulement pour l'affichage, alors que les cartes graphiques de base ont 1Go voire 2Go de ram aujourd'hui. Largement assez pour contenir les images traitées, fusionner les calques, appliquer des filtres.

Toi qui a l'air d'en connaître pas mal sur les GPU. Sais-tu si il est possible de filtrer un Dataset et faire un tri des résultats ensuite (ce que fait une requête SQL). A ma connaissance il manquait des fonctionnalités relativement simple à implémenter.

[invite32f57b05]

C'est sûr que c'est assez dommage. Surtout que la gamme Tesla change pas mal la donne (mes GPU à 50 euros ont 4 GB de ram par exemple) en fournissant un truc vraiment conçu pour le calcul.
Mais visiblement, ça n'en est encore qu'au début : c'est vrai que coder en CUDA, c'est pas forcément de la tarte quand on est habitué à bosser sur des CPU.

Toi qui a l'air d'en connaître pas mal sur les GPU. Sais-tu si il est possible de filtrer un Dataset et faire un tri des résultats ensuite (ce que fait une requête SQL). A ma connaissance il manquait des fonctionnalités relativement simple à implémenter.

Si c'est du numérique, oui. C'est un des premiers trucs que j'ai tenté sur un GPU, sous matlab à l'époque.
Pour contre, pour tout ce qui est chaine de caractères, pour l'instant j'éviterais d'essayer de peur de passer plus de temps à coder que ce que ça rapporte.