Calculs par ia , ia pour tous?

[BeGust]

Peut-on demander à une ia (pas générative) de trouver une autre manière
d'enregistrer des informations?
Comme on a réussi à trouver de meilleurs processeurs, de meilleurs moteurs
de fusée, etc.?

Mais je me trompe peut-être de rubrique chers lecteurs, Salut

Et si c'est le cas, désolé. J'irai ailleurs poser ces 2 questions :

Peut-on, vu le prix du matos pour faire fonctionner une ia chez soi,
mettre en commun plusieurs ordis à travers le monde (comme
l'ont fait des scientifiques avec des supercalculateurs), afin de
faire fonctionner une ia sans changer d'ordi?
J'exclus donc ici les ia open source et respectant la vie privée (RGPD etc.)
Le monde ou juste une région, on pourrait aller jusqu'au niveau d'un hameau ?
(genre 10 ordis par ex. Jouable?)
-----

[Gwinver]

Il existe des initiatives pour mettre à contribution des PC pour résoudre des problèmes complexes, évitant ainsi le recours à des ordinateurs plus puissants.

Par exemple le projet BIONIC:

https://fr.wikipedia.org/wiki/Berkel...work_Computing

BOINC, acronyme de Berkeley Open Infrastructure for Network Computing (« infrastructure ouverte de Berkeley dédiée au calcul en réseau ») est une plate-forme de calcul distribué qui permet de gérer des projets de calcul sur la base du volontariat. Développée à l'origine pour le projet de recherche d'intelligence extraterrestre SETI@home par l'université de Californie à Berkeley, elle a été généralisée pour de nombreuses autres applications scientifiques. Le but de BOINC est de mettre à disposition des chercheurs la puissance de calcul de nombreux ordinateurs personnels dans le monde entier.

[pm42]

Peut-on demander à une ia (pas générative) de trouver une autre manière
d'enregistrer des informations?

Définir "une IA pas générative" pour qu'on sache de quoi on parle. Parce que je sais ce que ça fait et comment ça marche mais j'ai l'impression qu'on est dans le fantasme.

Comme on a réussi à trouver de meilleurs processeurs, de meilleurs moteurs
de fusée, etc.?

Avec des humains qui réfléchissent.

Peut-on, vu le prix du matos pour faire fonctionner une ia chez soi,

Cela ne coûte pas spécialement cher. Tout dépend de ce qu'on veut faire tourner.

mettre en commun plusieurs ordis à travers le monde (comme
l'ont fait des scientifiques avec des supercalculateurs), afin de
faire fonctionner une ia sans changer d'ordi?

En pratique non pour des questions de vitesse de transfert de données et surtout quel intérêt ? Au passage, on ne fait pas tourner les IA sur des ordinateurs mais sur des GPU.

J'exclus donc ici les ia open source et respectant la vie privée (RGPD etc.)

Donc le but serait quoi ? De faire tourner des IA propriétaires ne respectant pas la vie privée sur des ordinateurs normaux ? Cela n'a pas vraiment de sens et à plusieurs niveaux.

[BeGust]

Bonjour les gens

Donc le but serait quoi ? De faire tourner des IA propriétaires ne respectant pas la vie privée sur des ordinateurs normaux ? Cela n'a pas vraiment de sens et à plusieurs niveaux.

Une couche (ne te sens pas visé, fais comme moi) de cuivre sur une plaque de résine : une ia pourrait trouver d'autres façons de faire circuler
les signaux électriques ou de nouveaux systèmes de stockage, etc.
Une ia à calculs computationnels comme ici
https://www.youtube.com/watch?v=Qgxu...NvaXIgbW90ZXVy

Ou là https://www.youtube.com/watch?v=NHga...1pY29kZQ%3D%3D

Vous voulez dire, en 8b ? Ou 0.6b ? Ou encore d'autres paramètres ?

Merci de rester poli
Et merci aussi pour vos réponses assez pointues

[A voir en vidéo sur Futura]

[AtomeCurieux]

Je pense qu’il y a peut-être deux choses différentes dans la discussion.
Les projets comme BOINC fonctionnent bien pour des calculs distribués où chaque machine peut traiter un petit morceau du problème indépendamment (simulation, recherche, etc.).

Pour l’IA moderne, surtout les modèles neuronaux, c’est souvent plus compliqué car il faut échanger énormément de données entre GPU pendant l’entraînement. Sur Internet la latence et le débit deviennent vite un problème.

Par contre, pour certaines tâches de recherche ou d’optimisation (par exemple tester beaucoup de configurations possibles pour des circuits ou des matériaux), un système distribué pourrait rester intéressant.

[MissJenny]

Au passage, on ne fait pas tourner les IA sur des ordinateurs mais sur des GPU.

ah tiens, pourquoi est-ce qu'on utilise ces processeurs particuliers? A cause du parallélisme? Ou bien il y a une raison qui in terdit d'utiliser un processeur classique?

[pm42]

ah tiens, pourquoi est-ce qu'on utilise ces processeurs particuliers? A cause du parallélisme? Ou bien il y a une raison qui in terdit d'utiliser un processeur classique?

Parce que les GPUs sont optimisés pour faire du calcul matriciel massivement parallèle ce dont on a besoin quand on fait du graphisme. Et qu'une bonne partie de l'IA est aussi basée sur ce genre de calcul.
Un processeur classique est capable de faire plus de types d'opérations mais beaucoup moins parallélisé : pour l'IA, on perd un facteur 10 ou plus.

[MissJenny]

ok. C'est ce que j'imaginais.

par rapport à la question initiale, on est capable de mettre en commun les GPU d'ordinateurs personnels en réseau? schant qu'ils peuvent être de types différents.

[pm42]

par rapport à la question initiale, on est capable de mettre en commun les GPU d'ordinateurs personnels en réseau? schant qu'ils peuvent être de types différents.

Non, pas vraiment, le réseau est trop lent par rapport à la masse de données et au besoin de synchronisation.
Ce qu'on fait, c'est soit de faire des config multi-gpu sur un PC ou pour les vrais datacenter où on met les GPU en cluster de dizaines de milliers ou même centaines de milliers, on le groupe par paquet de quelques dizaines/centarines sur un rack avec connections ultra-rapides et ensuite avec des réseaux qui vont de 200 Gpb à 800 Gbps.

[MissJenny]

et cette puissance de calcul, c'est seulement pour l'apprentissage, ou bien elle est nécessaire pour l'exploitation de l'IA ?

[pm42]

et cette puissance de calcul, c'est seulement pour l'apprentissage, ou bien elle est nécessaire pour l'exploitation de l'IA ?

Elle est beaucoup plus élevée pour l'apprentissage mais elle est nécessaire aussi pour l'exploitation.
Pour être plus précis : entrainer une IA nécessite beaucoup de puissance et de temps.

Une fois cela fait, faire fonctionner la dite IA pour 1 utilisateur nécessite de la puissance mais donne des réponses rapides. Faire tourner pour des centaines de millions d'utilisateurs par contre nécessite beaucoup de puissance aussi.

[WizardOfLinn]

Ca dépend quand même du besoin. J'ai installé des modèles en local pour tester, et tant que ça tient en mémoire vive, ça ne marche pas si mal sur mon PC, sans GPU, avec processeur Xeon et 32 Go (en exploitation évidemment).

[pm42]

Oui, pour jouer, on n'a pas besoin de plus. Je parlais de choses sérieuses genre ça : https://www-cs-faculty.stanford.edu/...ude-cycles.pdf

Pour ceux qui ne savent pas qui est Knuth, il est un poil devant Dieu en informatique.

[MissJenny]

il est toujours actif? il avait déjà cette réputation de gourou quand j'étais en thèse il y a... 45 ans.

[pm42]

il est toujours actif? il avait déjà cette réputation de gourou quand j'étais en thèse il y a... 45 ans.

Oui et il travaille toujours sur "The Art of Computer Programming".