Aidez-moi à y voir plus clair dans les systèmes dynamiques

[fred3000gt]

Bonjour,

Quelqu’un est-il capable d’expliquer de manière synthétique les commonalités et différences entre les modèles dynamiques suivants?
1. controlleur PID: modulation d’une commande en vue d’obtenir une consigne en tenant d’une mesure, de sa dérivé et de son intégrale temporelle
2. apprentissage par renforcement: découverte d’une stratégie de commande en tenant compte de la probabilité qu’une action place un agent dans un état le rapprochant de l’objectif
3. chaines de Markov: la probabilité d’un état dépend uniquement de l’état précédent
4. process de Hawkes: la probabilité d’un état est la somme d’une probabilité fixe et d’une probabilité d’auto-excitation

Je suppose que les points 1 et 2 rèvevent plus de la théorie du controle que de la description d’un système.
Le lien entre les points 2 et 3 est largement documenté.

Merci de ne pas être trop dur si j’ai écris des anneries et de m’expliquer comme à un enfant…
-----

[SULREN]

Bonjour,

Je ne suis pas du tout le mieux placé pour répondre à votre demande car je ne connais bien que le point 1.
Mais je le connais plutôt bien, car je suis ingénieur automaticien et que j'ai passé toute ma carrière professionnelle dans l'ingénierie d'automatisation des grandes usines à processus physico-chimiques.

Je dirai juste qu'il me semble que le point 1 ne joue pas du tout dans la même cour que les autres, qu'il est de nature différente, donc pas sujet à comparaison.

Il n'est pas un outil de modélisation dynamique, mais un outil (un contrôleur) de régulation d'une grandeur. Et on règle les trois paramètres P, I et D de ce contrôleur après avoir procédé à une modélisation du comportement dynamique de la grandeur qu'on veut maintenir au point de consigne qu'on lui affecte.
Ce contrôleur commande la variable qui influence le plus cette grandeur, pas les variables perturbatrices qui l'influence de façon secondaire.

Exemple: Dans une centrale thermique:
Un contrôleur PID agira sur la vanne de combustible, donc sur le débit de combustible, pour maintenir la pression de la vapeur sortant de la chaudière à 190 bars.
Un autre contrôleur PID agira lui sur la vapeur d'injection d'eau de de-surchauffe pour maintenir la température de cette vapeur sèche à 545 ° C.

Mais dans les deux cas on aurait préalablement procédé à la modélisation du comportement dynamique de chacune de ces grandeurs (pression, température) suite aux variations de leur grandeur réglante (débit combustible, débit d'eau)

La modélisation (qu'on appelait souvent "identification" dans les années 1970) se fait par différentes méthodes d'analyse.

[MissJenny]

3. chaines de Markov: la probabilité d’un état dépend uniquement de l’état précédent

un processus de Markov c'est pas ça. C'est : la probabilité conditionnelle du futur sachant le passé est égale à la probabilité conditionnelle du futur sachant le présent (en d'autres termes le présent résume le passé).