Implémentation IA embarquée

[ThibDouil]

Bonjour,

Je travaille en ce moment sur un drône autonome à inspection industrielle avec le but d'y implémenter une IA embarquée. L'IA serait utilisée pour reconnaître et signaler des défauts sur des sites industriels (tuyaux d'usine, etc.). Le modèle resterait assez simple avec la détéction faite sur de simples photos.

Je compte utiliser un microcontrôleur possédant une mémoire Flash d'au moins 1 Mo pour la partie IA. Ai-je besoin d'une mémoire externe pour stocker le modèle ou la mémoire du uC suffit-elle ?

Y'a-t'il également un type ou une famille de microcontrôleurs (hors Raspberry) que je devrais privilégier pour ce genre d'application ?
-----

[jiherve]

bonsoir,
d’après ce que l'on peut lire il faut plus de 8 Giga de RAM pour de l'IA basique, mais je n'ai pas trouvé la taille du code.
JR

[pm42]

Je vais faire quelque chose qui normalement n'est pas une bonne idée mais qui ici me semble pertinent.
Parce que si on fait de l'IA, c'est une bonne idée d'utiliser l'IA. Voici la réponse du o1, le dernier modèle d'OpenAI :

Pour répondre à vos questions :

La mémoire du microcontrôleur est-elle suffisante ?

Un microcontrôleur avec au moins 1 Mo de mémoire Flash peut être limitant pour une application d'IA impliquant la détection de défauts sur des images, même si le modèle reste simple. Les réseaux de neurones convolutifs (CNN) utilisés pour l'analyse d'images peuvent facilement occuper plusieurs mégaoctets. De plus, il faut considérer la mémoire RAM nécessaire pour le traitement des images en temps réel et le stockage des variables intermédiaires du modèle. Même en réduisant la résolution des images, le traitement requiert une quantité significative de mémoire.

Besoin d'une mémoire externe ?

Il est probable que vous aurez besoin d'une mémoire externe, que ce soit pour le stockage du modèle ou pour le traitement des données. L'ajout de mémoire Flash ou RAM externe vous permettra d'utiliser des modèles plus complexes et d'améliorer la précision de la détection. Cela facilitera également le traitement d'images de meilleure qualité, essentiel pour identifier des défauts industriels avec fiabilité.
Types de microcontrôleurs à privilégier :
Vous devriez envisager des microcontrôleurs spécialement conçus pour les applications d'IA embarquée, offrant davantage de mémoire et de puissance de calcul :

STMicroelectronics STM32 Series (STM32H7, STM32F7) : Ces microcontrôleurs haute performance disposent de ressources suffisantes et peuvent être associés à l'outil STM32Cube.AI pour convertir des modèles de réseaux de neurones en code optimisé pour le microcontrôleur.

NXP i.MX RT Series : Ces microcontrôleurs "crossover" combinent la facilité d'utilisation des MCU avec la performance des MPU. Ils offrent une mémoire étendue et des interfaces pour la mémoire externe, ce qui est avantageux pour les applications d'IA.

Kendryte K210 : Basé sur une architecture RISC-V, ce microcontrôleur intègre un accélérateur matériel pour les réseaux de neurones et dispose de 8 Mo de SRAM, idéal pour les applications d'IA embarquée.

Espressif ESP32-S3 : Ce modèle possède des fonctionnalités d'accélération pour l'IA et une mémoire RAM augmentée par rapport aux versions précédentes, ce qui le rend adapté pour des tâches d'apprentissage automatique légères.

Microchip SAM E70/S70 Series : Offrant jusqu'à 2 Mo de Flash et 384 Ko de RAM, ces microcontrôleurs sont adaptés pour des applications nécessitant des performances élevées et une mémoire substantielle.

En résumé, un microcontrôleur avec seulement 1 Mo de mémoire Flash sera probablement insuffisant pour votre application sans mémoire externe. Il est recommandé de choisir un microcontrôleur disposant de plus de mémoire ou capable de s'interfacer avec une mémoire externe, et qui offre des outils et un support pour le développement d'applications d'IA embarquée. Cela vous permettra de développer un système plus performant et fiable pour la détection de défauts industriels.

[Gyrocompas]

Bonjour,
La notion d'IA est plutôt vague.
La quantité de calculs nécessaires va dépendre de la question centrale, quelle détection, en combien de temps etc.
A première vue, il semblerait pertinent d'utiliser le drone comme un simple capteur qui renverrait sa vision vers une base de calculs au sol dans un premier temps.
Quand l'analyse sera au point, un bilan des besoins devrait permettre de quantifier la charge à emporter + ses alimentations.

[A voir en vidéo sur Futura]

[ThibDouil]

Bonjour,
C'est ce à quoi j'avais pensé initialement. Je souhaiterais tout de même à terme pouvoir l'intégrer à mon système et je sais que les contraintes seront plus importantes qu'une IA dite "classique". Je m'informe donc en amont des différentes possibilités. Développant un drone, rajouter ne serait-ce qu'un composant pourrait avoir une influence sur toute la performance finale.