Mettre en commun puissance GPU ou CPU

[macla7]

Bonjour tout le monde,

Tout d'abord je m'excuse si ce n'est pas le bon endroit.

Avec un ami on a besoin de mettre en commun la puissance de calcul de nos deux pc pour accélérer la vitesse de calcul de notre algorithme (a peu près 3h de calcul pour un i5 2.3ghz double coeur)
On aimerait savoir si c'est possible de mettre en commun la puissance de calcul de nos deux pc avec un pc qui sera master, en sachant que les composants et os de nos pc sont différents et que l'on souhaiterais faire ca en wan ?

Merci

ps : Si aucun projet OpenSource existe on aimerait faire ce programme en python.
-----

[obi76]

Bonjour,

Avant de vouloir paralléliser, si vous voulez de la vitesse, pourquoi restez vous en python ? Le python n'est pas fait pour aller vite. Avez vous regardé côté F90, C ou C++ ?

A un moment vous n'y couperez pas : ça sera à vous de coder... Et j'espère que vous êtes sous linux, du parallèle sous windows, il ne faut pas rêver.

Et enfin, tout dépend de l'algorithme en question... C'est quoi ? Certains se parallélisent bien, d'autres très mal, et encore d'autres pas du tout...

Bref, un peu plus de contexte permettrait d'y voir plus clair.

[pm42]

La remarque d'Obi76 est pertinente : sauf cas particuliers, Python n'est pas rapide et quand il l'est, c'est parce qu'on appelle des librairies écrites en C ou C++.

Pour ce que tu veux faire, il y a pas mal de solutions et l'une des plus connues est Apache Spark mais c'est plutôt fait pour du parallélisme massif et de très gros volumes.
Pour un cas très simple comme le tien, une communication via une queue codée à la main pour se faire les dents serait probablement plus adapté.


Mais quand on veut faire du traitement parallèle se pose la question du partage des données, de la synchronisation et de la perte que tout cela engendre. Bref, il n'est pas sur que le gain avec 2 machines soit très fort et encore moins sur un Wan. Pour cela, il faudrait que les traitements soient quasiment indépendants et que les transferts de donnée soient minimaux.