Optimal Control Theory pour les nuls...

[kinette]

Bonjour,
J'ai peu d'espoir de recevoir une réponse, mais je tente quand même car j'en ai marre de bloquer sur la compréhension de la méthode de l"optimal control theory" developpée par Pontryagin pour résoudre certains problèmes d'optimisation (où un "facteur de contrôle" permet de contrôler l'évolution d'un système).

J'ai assez globalement compris qu'on réduit le système à l'hétude d'une fonction "hamiltonienne", qu'on utilise des dérivées partielles... mais il me manque une grosse partie du mode d'emploi, et tout ce que j'ai trouvé est soit beaucoup trop compliqué et technique pour moi, soit saute des étapes et n'explique pas comment on passe d'une équation à l'autre...

Si jamais quelqu'un a des connaissances dans le domaine, j'ai de plus un petit problèmes "simple" (enfin à mon avis) à traiter, je pourrai alors expliquer.

K
-----

[invite6b1e2c2e]

Salut,

Présent ! Je suis prêt à essayer de t'aider si tu me donnes des problèmes plus précis.

Essentiellement, j'en avais compris que le contrôle était toujours dans un état saturé pour des raisons de minimalité, mais je ne pourrais pas expliquer en quelques lignes comment ça marche précisément...

__
rvz

[kinette]

Bonjour,

Bon, pour expliquer mon problème: j'essaie de comprendre la méthode utilisée par Macievicz et Oster dans un article pour prédire l'allocation optimale d'une colonie (d'insectes) entre croissance et reproduction.

Les équations d'origine sont:

évolution du nombre d'ouvrières: u est le paramètre de contrôle qu'on cherche à optimiser, et qui dirige les ressources soit vers la production de nouvelles ouvrières, soit vers celles d'individus sexués. b est la productivité des ouvrières, et m leur mortalité.

évolution du nombre de sexués produits: c est leur coût respectivement à celui des ouvrières, v est leur mortalité

A t=0, le nombre d'ouvrières est 1 et celui de sexués est 0.
On a une saison de durée définie (T) et on cherche à optimiser le total des individus sexués produits durant la saison (c'est-à-dire l'intégrale de entre 0 et T) en modifiant la variable u en fonction du temps .

Le problème dans sa version originale est en fait facilement résolu sans les méthodes d'Optimal Control Theory (il suffit de chercher à quel temps t la production d'une ouvrière ne permettra plus de produire suffisamment de sexués pour compenser son coût). Mais on peut le faire avec la méthodes du maximum de Pontryagin... et je ne comprends déjà pas tout!

Ensuite, il y a une version plus complexe du problème, où on introduit une non-linéarité dans la production d'ouvrières (plus il y a d'ouvrières, moins elles arrivent à produire d'autres ouvrières): l'équation devient


Avec cette modification, les auteurs disent toujours trouver des résultats similaires... mais ils n'ont pas envisagé le cas où on introduit une densité-dépendance aussi dans la seconde équation (ce qui biologiquement semble plus juste car il n'y a pas de raison qu'une grande colonie ait une productivité réduite d'ouvrières et pas de sexués):


Bon, voilà donc où j'en suis et je me prends la tête en essayant de comprendre comment on calcule cette mystérieuse fonction Hamiltonnienne...

Merci d'avance,
K
PS: j'ai des résultats en utilisant une méthode de programmation dynamique mais j'aurais souhaité avoir un résultat plus général pour un problème qui ne me semble pas si compliqué que ça!

[invite6b1e2c2e]

Ca m'étonne que tu n'aies aucune contrainte sur u:

Je pense que tu cherches u = u(t) une fonction du temps comprise entre 0 et 1. C'est bien ça ?
__
rvz

[A voir en vidéo sur Futura]

[kinette]

Ca m'étonne que tu n'aies aucune contrainte sur u:

Je pense que tu cherches u = u(t) une fonction du temps comprise entre 0 et 1. C'est bien ça ?
__
rvz

Hello,
Oui c'est exactement ça: u est compris entre 0 et 1 (désolée d'avoir oublié de préciser).

Il est facile de comprendre que u en fin de saison atteindra 0, car on n'a plus aucun intérêt à investir dans la croissance de la colonie. Dans le cas le plus simple, comme on n'a pas d'interaction avec la taille de la colonie, on a un investissement dans u de type "bang-bang" (terme consacré), c'est-à-dire qu'à partir d'un temps donné, on passe directement d'un u=1 à u=0

Ce qui m'intéresse est de montrer quelle sera la forme de u(t) dans le cas où on introduit une densité-dépendance (et là pour l'instant je bloque sur la solution mathématique en utilisant le maximum de Pontryagin ; avec des simulations, je peux montrer qu'on a une période avec un investissement u intermédiaire, qui permet de conserver une colonie ayant la productivité maximale, mais je ne sais pas si c'est une solution générale).

K

[invite6b1e2c2e]

En fait, si mes souvenirs sont exacts, il suffit de regarder bien dans les yeux le problème sur l'ensemble A des u tels que
0< u(t) <1 en un certain t_0, pour vérifier qu'aucun minimiseur n'est dans cet ensemble. Donc tu essayes de dériver tes solutions par rapport aux contrôles u et tu devrais pouvoir voir que un choix optimal de u ne peut pas être dans cet ensemble et que les contraintes sont forcément saturés.

Pour être plus précis, je te suggère de prendre une fonction phi(t) qui vaut 0 partout sauf sur un voisinage de t_0 et de dériver q(T) = q(T,u+ \epsilon \phi) par rapport à \epsilon en \epsilon = 0. Si u est un point critique, alors cette dérivée doit être nulle ce qui implique certaines égalités qui ne sont pas possible.

__
rvz

[invite6de5f0ac]

Bonjour,

Les réponses précédentes me paraissent suffisamment argumentées pour ne pas en rajouter une couche. Quand on a cité Pontryaguine, on a quasiment tout dit... Simplement, en français, "optimal control theory" se dit "recherche opérationnelle". En googlant pour ce terme tu devrais avoir pas mal de réponses. J'ai travaillé dans ce domaine pendant 17 ans, mais il est vrai que c'est un peu passé de mode...

-- françois

[kinette]

Bonjour,
C'est vraiment gentil d'essayer de m'aider
Par contre... hum, comment dire... mes faibles connaissances ne m'ont pas permis de tout comprendre, et j'ai beau regarder le problème dans les yeux...

Donc tu essayes de dériver tes solutions par rapport aux contrôles u et tu devrais pouvoir voir que un choix optimal de u ne peut pas être dans cet ensemble et que les contraintes sont forcément saturés.

Qu'appelles-tu "solutions"? Veux-tu parler des dw/dt et dq/dt?

Pour être plus précis, je te suggère de prendre une fonction phi(t) qui vaut 0 partout sauf sur un voisinage de t_0 et de dériver q(T) = q(T,u+ \epsilon \phi) par rapport à \epsilon en \epsilon = 0.

Techniquement je ne comprends pas bien la procédure, et pas trop non plus les notations que tu utilises (peut-être qu'en utilisant la fonction TeX du forum ça m'aiderait)
Quand je vous disais que j'étais nulle

fderwelt merci pour la traduction en français... je vais googliser un peu, des fois qu'en français je trouve des choses plus claires...

K

[invite6de5f0ac]

Rebonjour,

À la relecture, tes équations sont très proches des équations "proie-prédateur" dites de Lotka-Volterra. Qui sont notoirement connues pour n'avoir principalement que des solutions chaotiques... Il est donc illusoire d'espérer une solution analytique. Ou alors, juste à la limite, et pour certaines valeurs du paramètre. Désolé de jouer les rabat-joie...

-- françois

[invite6b1e2c2e]

Bonjour,
C'est vraiment gentil d'essayer de m'aider
Par contre... hum, comment dire... mes faibles connaissances ne m'ont pas permis de tout comprendre, et j'ai beau regarder le problème dans les yeux...

Qu'appelles-tu "solutions"? Veux-tu parler des dw/dt et dq/dt?

Ce que je veux dire, c'est que tu veux maximiser
q(T,u) sur l'ensemble A des u admissibles. Ce que je veux dire, c'est qu'à chaque u est associé une valeur q(T,u). Tu peux donc voir ton problème comme la recherche d'un minimum de la fonction
.

Or on sait qu'en un extrémum (disons maximum pour fixer les idées) local (et donc en particulier s'il est global) une petite perturbation ne peut pas augmenter f, ce à condition de rester admissible. Ici, c'est précisèment que tu fais. Tu supposes que f a un extremum local atteint en un point u_0 intérieur à A. Dans ce cas, tu peux dériver (Gateau différentielle ou bien direction par direction comme je le suggérais) et la dérivée s'annule. Si les conditions que tu obtiens ne sont pas compatibles, alors c'est que les extrema de f (atteints car A est compact pour une certaine topologie...) sont sur le bord de A.

Un exemple particulièrement simple. Regarde
sur le carré . Cette fonction admet des extrema puisque le carré est compact. Si c'est atteint en un point intérieur (a,b), alors forcément la dérivée est nulle donc on doit avoir 2a = 0 et 1+2b+ 3b^2 = 0, donc a = 0, ce qui ne correspond nullement à un point intérieur, donc les extrema sont atteints sur le bord du carré.

J'espère avoir éclairci tout ça, mais n'hésite pas si tu as d'autres questions,
__
rvz

[invite6b1e2c2e]

Rebonjour,

À la relecture, tes équations sont très proches des équations "proie-prédateur" dites de Lotka-Volterra. Qui sont notoirement connues pour n'avoir principalement que des solutions chaotiques... Il est donc illusoire d'espérer une solution analytique. Ou alors, juste à la limite, et pour certaines valeurs du paramètre. Désolé de jouer les rabat-joie...

-- françois

Salut,

Je ne pense pas que ce soit vraiment grave. Au contraire, je pense que c'est plutot une bonne nouvelle théorique, puisqu'une action très petite du contrôle va permettre de modifier considérablement le système. Le problème est évidemment que numériquement ou physiquement, ça ne va pas vraiment pouvoir s'appliquer... En bref, ça devrait être bon pour la théorie et pas pour la pratique ! Heureusement qu'on est sur le forum maths, sur le forum physique ça aurait été une mauvaise nouvelle ! ouf

__
rvz

[invite9c9b9968]

Tututut, au contraire les physiciens ils aiment ce genre de trucs, ça s'appelle la dynamique non-linéaire et c'est bourrin

Bon voilà, c'était la remarque inutile du jour...

PS : ça faisait un moment rvz que je ne t'avais pas vu ; un grand bonjour alors

[kinette]

Bonjour,

Merci d'avoir essayé de m'aider... en fait pour tout dire, je n'ai pas tellement avancé dans ma compréhension. Je pense que ça dépasse mon niveau, que j'aurais trop à rattraper, et que les différents documents que j'ai n'utilisent jamais la même méthode, ce qui ne simplifie pas.
De plus mon problème n'est apparemment pas simple à traiter, vu que même dans le papier dont j'aurais aimé partir ils passent un peu rapidement sur les méthodes et ne traitent pas le problème en entier (ils assument directement qu'on a une fonction de type "bang-bang", alors qu'il serait possible qu'il y ait plusieurs switchs).

S'il y a des personnes intéressées par le papier en question, je le mets en fichier attaché.-> arg, ça doit être trop gros... bon je peux l'envoyer par email

K