Projet industriel, API, dashboard, data visualisation

**El_muchacho** · 14/12/2019, 04h56

Bonjour,

Je vais essayer de faire court.

Je suis étudiant, je dois réaliser un projet en industrie.
Au sein de l'équipe industrie 4.0 j'aurai pour tache de:
Réaliser un dashboard de suivi de production (suivi de production, % de production journalière atteint, et pourquoi pas des indicateur un peu plus poussés) depuis les données transmises par les PLC (API) installés sur une série de machines identiques (au total un cinquantaine de machines sur deux usines voisines).

Mon background: Élève en génie industriel.

- J'ai fait de la programmation sur des solver (IBM CPlex, IVE express, Python) pour des problèmes 'classiques' appliqués industriel, ordonnancement de production, planification de la capacité, etc.

-Data science: j'ai suivi un cours udemy sur le machine learning et deep learning avec un partie sur les outils de traitement/visualisation de données, très succinct (matplotlib, seaborn, etc.) (https://www.udemy.com/course/python-...ning-bootcamp/)

Honnêtement je pense que ce que j'ai fait est assez loin de ce qui m'est demandé, mais aussi plus compliqué mathématiquement. Le dashboard en question serait un affichage 'en direct' des données et indicateurs, sur des écrans placés surement en usine/ bureau.

J'ai toujours aimé les retours que j'obtiens sur ce site. Peut-être que certains ont même déjà réalisé un projet similaire.

Ma question est simplement est-ce que ce projet est réalisable en utilisant Python uniquement?, considérant que le fournisseur de machines fera en sorte que je reçoive les données directement 'sur mon pc' dans un format utilisable?

Y-a-til un moyen pour moi de trouver des projets/ exercices similaire à ce projet pour m’entraîner avant? (ex: kaggle, udemy, coursera? https://www.udemy.com/course/interac...otly-and-dash/)

J'ai un peu de temps pour me préparer (1 mois ou deux de vacances), dites moi ce que vous en pensez.

J'attends vos retours avec impatience! Merci

Kada

**pm42** · 14/12/2019, 06h08

Envoyé par El_muchacho

Ma question est simplement est-ce que ce projet est réalisable en utilisant Python uniquement?, considérant que le fournisseur de machines fera en sorte que je reçoive les données directement 'sur mon pc' dans un format utilisable?

Sans aucun problème. C'est même un des langages qui sont utilisés en ce moment pour ce genre de choses dans l'industrie.

Envoyé par El_muchacho

Y-a-til un moyen pour moi de trouver des projets/ exercices similaire à ce projet pour m’entraîner avant? (ex: kaggle, udemy, coursera? https://www.udemy.com/course/interac...otly-and-dash/)

Un cours de programmation Web python, sans doute mais je ne suis pas spécialiste.
Ceci dit, tu peux déjà commencer ici :

https://towardsdatascience.com/how-t...l-4f4257c18a7f

goaoute · 14/12/2019, 19h22

C'est quoi le "format utilisable" ? A part ça pour visualiser des données n'importe quel langage fait l'affaire, même du Basic de 1980

**El_muchacho** · 15/12/2019, 05h11

Merci pm42, n'étant pas un spécialiste non plus je manque de visibilité et ne veux pas me lancer sans être sure de pouvoir faire aboutir le projet.

C'est quoi le "format utilisable" ?

Je ne sais pas vraiment, je suppose que le fournisseur de machine se chargera de faire en sorte que les infos soient transmises de la machine vers mon pc de façon 'continue', je n'ai pas connaissance du moyen qu'ils utiliseront mais peut-être un fichier csv, etc. Je manque d'experience sur cette partie là.

A voir en vidéo sur Futura · Aujourd'hui

goaoute · 15/12/2019, 14h37

Si c'est une liaison série ça simplifie pas le problème because y va falloir trier les lentilles
Tant que tu ne connais ni le format ni le type de transmission, c'est wait and see, faudra revenir avec de l'info.

Fustigator · 16/12/2019, 15h38

Envoyé par goaoute

C'est quoi le "format utilisable" ? A part ça pour visualiser des données n'importe quel langage fait l'affaire, même du Basic de 1980

Oui, si on a du temps à perdre.

Fustigator · 16/12/2019, 15h41

Envoyé par goaoute

Si c'est une liaison série ça simplifie pas le problème because y va falloir trier les lentilles
Tant que tu ne connais ni le format ni le type de transmission, c'est wait and see, faudra revenir avec de l'info.

Une liaison série ? La dernière entreprise où vous avez travaillé doit pas être récente.

**pm42** · 16/12/2019, 15h50

Envoyé par Fustigator

Oui, si on a du temps à perdre.

En effet. De nos jours et sauf besoin particulier, on fait ça en mode Web pour que ce soit accessible de partout y compris les téléphones et tablettes.

Envoyé par Fustigator

Une liaison série ? La dernière entreprise où vous avez travaillé doit pas être récente.

Il existe encore des cas où c'est utilisé mais effectivement, cela devient rare et vu ce qu'écrivait El_muchacho, il semble qu'il y a une mise à disposition de fichiers, d'une base ou d'une API.

J'ai un peu de mal à voir ce que cela vient faire dans ce fil, tout comme le Basic de 1980 si ce n'est de faire une séquence nostalgie des technos obsolètes, lentes et peu efficaces ?

Fustigator · 16/12/2019, 15h54

Envoyé par pm42

J'ai un peu de mal à voir ce que cela vient faire dans ce fil, tout comme le Basic de 1980 si ce n'est de faire une séquence nostalgie des technos obsolètes, lentes et peu efficaces ?

Je suis d'accord, mais ce n'est pas moi qui ai initié ces réflexions d'archéologie IT.
On se rappellera que la dérive vient de quelqu'un qui estime (dans d'autres fils) que toutes les versions de Windows post XP sont des régressions insupportables.

Ceci dit, si archéologie IT l'intéresse, on évoque l' HDLC ici : https://forums.futura-sciences.com/i...ml#post6480230

goaoute · 16/12/2019, 16h38

Bah, y avait du 8 bits parallèle et même de l'automate full TTL. Nostalgiiiiiie.

**pm42** · 16/12/2019, 17h48

Envoyé par Fustigator

Je suis d'accord, mais ce n'est pas moi qui ai initié ces réflexions d'archéologie IT.

Je sais?

Envoyé par Fustigator

Ceci dit, si archéologie IT l'intéresse, on évoque l' HDLC ici : https://forums.futura-sciences.com/i...ml#post6480230

20 ans ? Petit jeune va

Dans le genre archéo, j'ai écrit un émulateur open-source de ma calculatrice de lycée, sortie en 1981.
Tiens d'ailleurs, il y avait un Basic simple dedans.

Et plus récemment, j'ai aidé sur le projet WP-34s, un firmware alternatif pour HP-30b que justement on flashe en série ce qui n'est pas de tout repos de nos jours : les adaptateurs USB -> série n'étant pas tous égaux.

Bon, j'arrête là le coté "je suis un vieux con et fier de l'être".

**Ikhar84** · 16/12/2019, 23h02

Envoyé par El_muchacho

Y-a-til un moyen pour moi de trouver des projets/ exercices similaire à ce projet pour m’entraîner avant?*

Sans connaître précisement le format utilisable des données... c'est mission impossible.

L'autre point à connaître immédiatement c'est la plateforme qui va heberger la visualisation. Histoire d'avoir une idée des possibilité et des choix possible en langage et techno...

En général, on utilise un version plus ou moins embarquée de W, liée via ethernet aux api et utilisant un protocole de com plus ou moins proprio, avec fonctions plus ou moins documentés (plus moins que plus...).tu auras de la chance si tu as accés à un protocole plus ouvert, du genre modbus...

Tu peux déjà regarder ce qui se fait en supervision et en "simulation"...

En général, les langages utilisés sont plus C et C++ mais tu seras quasiment seulement limité par la plateforme hôte (d'où l'importance de sa définition dès maintenant...), après la récupération des données et le protocole utilisé, cela dépendra des apis fournies et de tes capacités à étudier les docs... en tout cas pour les fonctions qui te seront ouvertes...

Edit: histoire de faire avancer un petit peu le schilmblick malgrès le peu d'info...

Fustigator · 17/12/2019, 07h00

Envoyé par Ikhar84

Sans connaître précisement le format utilisable des données... c'est mission impossible.

L'autre point à connaître immédiatement c'est la plateforme qui va heberger la visualisation. Histoire d'avoir une idée des possibilité et des choix possible en langage et techno...

Mouais, cela ne me semble pas si important.

Si on regarde bien, il est même possible qu'il puisse gérer son problème avec une simple stack ELK, sans écrire une ligne de code.
Tout dépend des formats d'entrées et de la visualisation souhaitée.

**pm42** · 17/12/2019, 07h43

Envoyé par Fustigator

Mouais, cela ne me semble pas si important.
Si on regarde bien, il est même possible qu'il puisse gérer son problème avec une simple stack ELK, sans écrire une ligne de code.
Tout dépend des formats d'entrées et de la visualisation souhaitée.

Oui. En fait, la question est de savoir si de son point de vue, il est dans un contexte d'informatique industrielle avec accès plus ou moins direct aux machines ou si les données lui sont délivrées dans un format classique sur son serveur Web et qu'il a juste un projet de site à faire.

De ce que j'ai lu de son 1er message, je parierai sur la 2nd solution, données reçues en CSV, XML, JSON ou autre mais tant qu'il n'en saura pas plus, on ne peut pas lui donner de conseils détaillés.

Fustigator · 17/12/2019, 08h14

Envoyé par pm42

De ce que j'ai lu de son 1er message, je parierai sur la 2nd solution, données reçues en CSV, XML, JSON ou autre mais tant qu'il n'en saura pas plus, on ne peut pas lui donner de conseils détaillés.

Je pense pareil, mais, même si ce n'est pas le cas (concernant les formats d'entrées) il est plus facile de créer un agent de collecte qui "balancera" le tout dans une stack de supervision off-the-shelf (ELK, Nagios, ou autre ...) que de réinventer l'eau tiède avec une chaîne complète sur mesure.

**pm42** · 17/12/2019, 08h57

Envoyé par Fustigator

Je pense pareil, mais, même si ce n'est pas le cas (concernant les formats d'entrées) il est plus facile de créer un agent de collecte qui "balancera" le tout dans une stack de supervision off-the-shelf (ELK, Nagios, ou autre ...) que de réinventer l'eau tiède avec une chaîne complète sur mesure.

Je suis bien d'accord. Ceci dit, c'est curieusement à la fois un truc fabuleux et un problème aujourd'hui : il y a tellement d'outils pour tout que le boulot du programmeur est presque plus de bien connaitre l'écosystème et de le configurer que de concevoir.

Ceci dit, je ne vais pas me plaindre de ne pas avoir à réinventer la roue ou l'eau tiède en effet.

**JPL** · 17/12/2019, 16h20

Je pense qu’il vaut mieux attendre que El_muchacho en dise plus.

**El_muchacho** · 18/12/2019, 02h16

Sans connaître précisement le format utilisable des données... c'est mission impossible.

L'autre point à connaître immédiatement c'est la plateforme qui va heberger la visualisation. Histoire d'avoir une idée des possibilité et des choix possible en langage et techno...

En général, on utilise un version plus ou moins embarquée de W, liée via ethernet aux api et utilisant un protocole de com plus ou moins proprio, avec fonctions plus ou moins documentés (plus moins que plus...).tu auras de la chance si tu as accés à un protocole plus ouvert, du genre modbus...

Tu peux déjà regarder ce qui se fait en supervision et en "simulation"...

En général, les langages utilisés sont plus C et C++ mais tu seras quasiment seulement limité par la plateforme hôte (d'où l'importance de sa définition dès maintenant...), après la récupération des données et le protocole utilisé, cela dépendra des apis fournies et de tes capacités à étudier les docs... en tout cas pour les fonctions qui te seront ouvertes...

Edit: histoire de faire avancer un petit peu le schilmblick malgrès le peu d'info...

Encore une fois je ne peux faire que des supposition. Vous avez cité beaucoup de choses qui me sont inconnues. Mon but est, peu importe le moyen, le support , etc., d'experimenter une première fois ce genre de projets, peu importe comment, ça ne pourra jamais être inutile.
Ensuite si vous avez assez experience pour prédire quelles seront les issues les plus probables je suis preneur, mais j'ai l'impression qu'il y a divergence sur quelques points..

Oui. En fait, la question est de savoir si de son point de vue, il est dans un contexte d'informatique industrielle avec accès plus ou moins direct aux machines ou si les données lui sont délivrées dans un format classique sur son serveur Web et qu'il a juste un projet de site à faire.

De ce que j'ai lu de son 1er message, je parierai sur la 2nd solution, données reçues en CSV, XML, JSON ou autre mais tant qu'il n'en saura pas plus, on ne peut pas lui donner de conseils détaillés.

Je dirais que je suis d'accord avec toi pm42. Durant mon entretien il a été question de travailler avec les fournisseurs machines pour mon projet, je pense qu'eux se chargeront de rendre les données 'collectables' pour moi.

Pour faire avancer les choses partons de la supposition la plus probable.
Encore une fois le plus 'pratique' pour moi serait de continuer avec python, mais si cela vaut le coup, pourquoi pas changer de language de programmation.

Ma version (d'après vos messages):
Donc imaginons que les données des machines soient mises en réseau et de façon continue/régulière sous un format CSV, XML, JSON.
Me voila avec un dossier avec une cinquantaine de sous dossiers contenant les fichiers de données des machines, mis à jour régulièrement.
Je traite les données avec du Python et monte une petite appli web dashboard accessible à tout le monde depuis le réseau entreprise.
J'achète des écrans et les instal en atelier/bureau et les connecte en réseau pour y afficher mon dashboard.

Merci à tous pour vos retour.

**pm42** · 18/12/2019, 05h16

Envoyé par El_muchacho

Encore une fois le plus 'pratique' pour moi serait de continuer avec python, mais si cela vaut le coup, pourquoi pas changer de language de programmation.

Quand on évalue le temps pour faire un projet, chaque fois que le programmeur ne connait pas quelque chose, le langage, la technologie, le domaine métier, le type de tâche, on multiplie son évaluation par 2 ou 3.

Tu vas devoir apprendre à programmer des dashboards, sans doute en environnement web et éventuellement du traitement de données en entrée, stockage en base ou fichier...

Si tu ajoutes un nouveau langage, cela fait beaucoup.

**El_muchacho** · 18/12/2019, 08h58

Envoyé par pm42

Quand on évalue le temps pour faire un projet, chaque fois que le programmeur ne connait pas quelque chose, le langage, la technologie, le domaine métier, le type de tâche, on multiplie son évaluation par 2 ou 3.

Tu vas devoir apprendre à programmer des dashboards, sans doute en environnement web et éventuellement du traitement de données en entrée, stockage en base ou fichier...

Si tu ajoutes un nouveau langage, cela fait beaucoup.

Très bien, si tout est faisable avec Python, la question ne se pose pas alors.. Merci pour le recap, très utile.

https://www.udemy.com/course/interac...otly-and-dash/
https://www.udemy.com/course/python-...s-using-flask/
https://www.udemy.com/course/learn-m...-from-scratch/

En ayant fait ses trois cours je devrais déjà éviter d'arriver en touriste complet, vous en pensez quoi?

Fustigator · 18/12/2019, 09h07

Envoyé par El_muchacho

Très bien, si tout est faisable avec Python, la question ne se pose pas alors..

Comme je l'ai mentionné plus haut, il est possible que tu n'ais rien à développer; cela dépend du contenu du dashboard voulu.
Il est très possible qu'une stack de supervision soit capable de remplir le besoin.
Jette un oeil aux stacks que j'ai mentionné.

goaoute · 18/12/2019, 09h08

Cite El_muchacho: "Réaliser un dashboard de suivi de production" Il y a gros à parier que ça ne sera pas des fichiers mais de la connexion directe (temps réel).

**Ikhar84** · 18/12/2019, 09h55

Envoyé par goaoute

Cite El_muchacho: "Réaliser un dashboard de suivi de production" Il y a gros à parier que ça ne sera pas des fichiers mais de la connexion directe (temps réel).

Avec une cinquantaine de machines... je le vois venir gros comme une maison...

C'est le boulot du fournisseur, il va pas s'embeter à centraliser 50 csv gratuitement, et on demande à un stagiaire de faire une simple présentation de ces données...

Fustigator · 18/12/2019, 09h57

Envoyé par goaoute

Cite El_muchacho: "Réaliser un dashboard de suivi de production" Il y a gros à parier que ça ne sera pas des fichiers mais de la connexion directe (temps réel).

Ce qui a un impact à peu près nulle sur la chaîne applicative puisque cela ne concerne que l'agent de collecte de flux.
Les principes basiques de "SoC" vous sont largement étrangers ou c'est juste moi qui fait du mauvais esprit ?

**El_muchacho** · 18/12/2019, 15h55

Si j'ai bien compris, en considérant que je reçoive des fichiers de données; je peux utiliser une stack de supervision ou bien python.
Si, comme vous le voyez venir, il s'agit d'une connexion directe, alors??
En tous cas j'aime beaucoup cette discussion, ca m'avance énormément. Je reste complètement étranger au domaine donc je compte sur vous.

**pm42** · 18/12/2019, 16h07

Envoyé par El_muchacho

Si j'ai bien compris, en considérant que je reçoive des fichiers de données; je peux utiliser une stack de supervision ou bien python.

Oui genre ELK comme déjà cité par Fustigator.
Suivant les données et le besoin, cela peut être une possibilité intéressante en effet.

Envoyé par El_muchacho

Si, comme vous le voyez venir, il s'agit d'une connexion directe, alors??

On ne le voit pas venir. C'est une possibilité, pas la plus probable.

Là encore et comme le dit Fustigator, cela ne change pas grand chose. Tu te retrouves avec 2 projets : 1 qui lit les données de connexion directe et les stockent dans des fichiers ou en base de données.
Et 1 qui fait l'affichage, celui dont on parle depuis le début.

Le seul cas où les 2 devraient être intégrés seraient si tu devais être en quasi temps-réel mais ce serait plus qu'étonnant parce que la description que tu donnes ne laisse pas le penser et que cela ne fait pas de sens.

De plus, même en séparant en 2 projet, collecte/stockage d'un coté et affichage de l'autre, on va se retrouver avec un délai largement en dessous du temps de lecture/réaction d'un humain.

**El_muchacho** · 19/12/2019, 05h12

Envoyé par pm42

Là encore et comme le dit Fustigator, cela ne change pas grand chose. Tu te retrouves avec 2 projets : 1 qui lit les données de connexion directe et les stockent dans des fichiers ou en base de données.

Compris. Quels domaines/sujets sont impliqués dans ce projet là? Si tu peux être plus spécifique, je comprendre mais vois mal de quoi il s'agit.

**pm42** · 19/12/2019, 05h47

Envoyé par El_muchacho

Compris. Quels domaines/sujets sont impliqués dans ce projet là? Si tu peux être plus spécifique, je comprendre mais vois mal de quoi il s'agit.

C'est simple : comment récupérer les données ce qui nécessite de connaitre le mécanisme pour, dans quel format sont elles, dans quel format veut on les stocker pour les exploiter dans le dashboard et comment les stocker.

Après, tant qu'on n'a pas plus de détail, chaque étape est plus ou moins simple et difficile à décrire parce que les cas sont très variées et les solutions possibles nombreuses.

On peut aussi voir cela comme une forme d'ETL (Extract-Transform-Load) et tu peux lire sur le sujet ou regarder des outils comme Kafka du projet Apache.

Toutefois et au risque de me répéter, tant qu'on n'a pas plus d'infos précises, on parle un peu dans le vide.

**El_muchacho** · 20/12/2019, 03h41

D'accord super. Merci pour votre aide, ça m'avance pas mal. Plus qu'à me renseigner sur tout ce dont on a parlé.
Pour info, j'ai 6-10 mois pour ce stage (ce qui va vous paraître très large). Ce que j'ai compris c'est que vous étiez tous plus ou moins dans les domaines des IT (et plus ou moins 'anciens').

L'autre partie de mon projet est un projet d'optimisation appliqué aux lignes de production. Je n'ai encore une fois aucune idée de la nature exacte, mon responsable de stage en entreprise a mentionné pendant l'entretien qu'il voulait profité de l'occasion pour faire cela aussi (je le soupçonne d'avoir eu l'idée pendant notre entretien). J'ai fait des projets 'académique' d'optimisation mais ça sera une experience nouvelle pour moi (récolte des données, traitement, modèle mathématique, etc).

**pm42** · 20/12/2019, 07h05

Envoyé par El_muchacho

L'autre partie de mon projet est un projet d'optimisation appliqué aux lignes de production. Je n'ai encore une fois aucune idée de la nature exacte, mon responsable de stage en entreprise a mentionné pendant l'entretien qu'il voulait profité de l'occasion pour faire cela aussi (je le soupçonne d'avoir eu l'idée pendant notre entretien). J'ai fait des projets 'académique' d'optimisation mais ça sera une experience nouvelle pour moi (récolte des données, traitement, modèle mathématique, etc).

L'étape numéro 1 si tu as les données et le dashboard, c'est le plus souvent d'en profiter pour les étudier "à la main" et donc de voir si des informations évidentes qui apparaissent.
Cela donne des pistes pour savoir quelle type d'optimisation on peut envisager de mettre en place, avec quelles méthodes et outils.

Projet industriel, API, dashboard, data visualisation