Méthode des moindres carrés récursifs

[Sir Hidetoshi]

Bonjour,

Je travaille actuellement sur l'identification des paramètres d'un moteur à courant continu à l'aide de la méthode des moindres carrés récursifs. Le souci c'est que je découvre tout juste cette méthode. J'avais donc quelques questions de base à vous poser.

Doit-on nécessairement avoir un bruit dans l'équation de notre système ? Car mon prof m'a dit de ne pas en mettre, or sur tous les sites je vois un terme de bruit.

J'ai actuellement une équation de la forme :

y[k+1] + a*y[k]+b*y[k-1]=c*u[k]

avec u l'entrée du système et y la sortie.
-----

[Dlzlogic]

Bonjour,
A mon avis, vous faites un amalgame de plusieurs choses :
1- la méthode des moindres carrés. Je vous en donnerai une définition personnelle : soir un ensemble d'observations d'un même phénomène, comportant plusieurs paramètres. On connait la fonction qui lie ces différents paramètres et variables. Le nombre d'observations est plus grand que le nombre de paramètres à définir, les équations sont donc en sur-nombre. Alors la méthodes des moindres carrés permet de trouver la valeur des paramètres la plus probable, on dit aussi avec le maximum de vraisemblance.

2- la récursivité. Il peut arriver que les équations obtenues par annulation des dérivées partielles ne donnent pas un système linéaire. Il est nécessaire de trouver des méthodes de résolution particulières, par exemple la récursivité.

3- le bruit. C'est un terme que je trouve amusant pour dire "erreur accidentelle" ou "écart aléatoire" surtout lorsqu'il s'agit de moteur électrique ou de peinture. Il parait assez évident que toute mesure est entachée d'une erreur. (On laisse de côté les erreurs systématiques qui sont synonyme d'étalonnage.) C'est probablement ce que vous appelez "bruit". La question n'est ni "doit-on nécessairement avoir un bruit" ni "ne pas en mettre". En fait je suppose que vous parler qu'un terme additionnel dans la fonction. Ce terme apparait à titre pédagogique, et il est égal à "valeur observée" moins "valeur calculée", cette différence sera élevée au carré, et la méthode consiste à écrire que la somme de ces carrée est minimum.

[leon1789]

la méthodes des moindres carrés permet de trouver la valeur des paramètres la plus probable, on dit aussi avec le maximum de vraisemblance.

...pour la n-ième fois, c'est incorrect de parler de probabilité dans ta conclusion car la situation du problème ne présente aucun espace probabilisé...

Et de plus, si effectivement il y avait un contexte de probas dans l'énoncé, le résultat que tu annonces serait faux : la méthode des moindres carrés n'a pas de lien avec le maximum de vraisemblance.
La méthode des moindres carrés est une méthode d'optimisation : http://fr.wikipedia.org/wiki/M%C3%A9...es_carr%C3%A9s
Le maximum de vraisemblance est une notion probabiliste : http://fr.wikipedia.org/wiki/Maximum_de_vraisemblance

[Dlzlogic]

@Léon

...pour la n-ième fois,

Qu'attends-tu pour répondre à la question, au lieu de passer ton temps à me contredire.
Tu pourras expliquer à Sir Hidetoshi la différence que tu fais entre "optimiser", "chercher la valeur la plus probable" et "chercher le maximum de vraisemblance".

[A voir en vidéo sur Futura]

[leon1789]

@Léon
Qu'attends-tu pour répondre à la question, au lieu de passer ton temps à me contredire.

C'est très simple : contrairement à toi, je préfère m'abstenir de répondre des bêtises.
Et comme on te l'a déjà dit (ici ou sur un autre forum), si tu n'aimes pas qu'on dénonce tes affirmations, évite d'écrire et réécrire toujours les mêmes erreurs.

Tu pourras expliquer à Sir Hidetoshi la différence que tu fais entre "optimiser", "chercher la valeur la plus probable" et "chercher le maximum de vraisemblance".

Je pense qu'il est assez grand pour le demander s'il a besoin de ces explications. Mais cela m'étonnerait qu'il le demande puisque les probas sont hors sujet.

[toothpick-charlie]

(...)la méthode des moindres carrés n'a pas de lien avec le maximum de vraisemblance..

il faudrait tempérer cette affirmation. Dans le modèle linéaire avec erreurs i.i.d. gaussiennes les deux coïncident (au passage ce n'est pas un hasard si la loi normale s'appelle loi de Gauss et si CF Gauss a inventé la méthode des moindres carrés).

[gg0]

Bonjour Sir Hidetoshi.

j'ai un peu peur que tu n'obtiennes pas de réponse utile ici (*), car il s'agit de méthodes très particulières, peu connues des matheux en général. peut-être sur un forum consacré au traitement d'images.
Si ton prof t'a conseillé de ne pas mettre de bruit, fais-le, va au bout. Rien ne t'empêche, une fois cette exprérience faite, de voir ce qui change quand tu rajoutes par exemple un bruit blanc, ou un bruit gaussien.

Cordialement.

NB : j'ai une idée du domaine, ayant travaillé avec des traiteurs de signaux, mais je ne connais ça que de très loin.
(*) des réponses de gens qui ne savent pas de quoi tu parles, tu peux en avoir

[leon1789]

il faudrait tempérer cette affirmation. Dans le modèle linéaire avec erreurs i.i.d. gaussiennes les deux coïncident (au passage ce n'est pas un hasard si la loi normale s'appelle loi de Gauss et si CF Gauss a inventé la méthode des moindres carrés).

Ok, avec les hypothèses très particulières ad hoc, on a un lien.
C'est un peu comme si je disais un rectangle n'a pas de lien avec un losange...ok, il existe des carrés.

Gauss a inventé plein de choses, pas forcément liées entre elles
Je crois que Gauss a obtenu la gaussienne en utilisant le maximum de vraisemblance.

[Sir Hidetoshi]

Merci à vous en tout cas

Je vais essayer d'avancer !

[toothpick-charlie]

Ok, avec les hypothèses très particulières ad hoc, on a un lien.

hypothèses particulières mais quand-même assez usuelles.

C'est un peu comme si je disais un rectangle n'a pas de lien avec un losange...ok, il existe des carrés.

exact. C'est faux de dire qu'un rectangle n'a pas de lien avec un losange.

Gauss a inventé plein de choses, pas forcément liées entre elles

oui mais là justement elles sont liées.

Je crois que Gauss a obtenu la gaussienne en utilisant le maximum de vraisemblance.

en tout cas pas sous cette forme puisque le principe du maximum de vraisemblance a été formulé par Fisher dans les années 1920.

[leon1789]

hypothèses particulières mais quand-même assez usuelles.

oui, le modèle linéaire est usuel, la loi normale aussi, mais le monde est-il restreint à cela ? Le problème posé est-il lié à ce cas ?

exact. C'est faux de dire qu'un rectangle n'a pas de lien avec un losange.

Je préfère tout de même dire que les rectangles et les losanges sont des objets différents, plutôt que de dire qu'ils sont liés.

en tout cas pas sous cette forme puisque le principe du maximum de vraisemblance a été formulé par Fisher dans les années 1920.

Même remarque de vocabulaire pour "loi normale", "courbe gaussienne" : oui, certes, Gauss n'a pas employé ce vocabulaire.
Mais, dans le texte écrit par Gauss, je crois me souvenir qu'il utilise ce que nous appelons maintenant le maximum de vraisemblance.
En revanche, je ne me souviens pas de l'utilisation de la méthode des moindres carrés pour établir la formule exp(-x²/2) .

[invite06622527]

Bonjour Sir Hidetoshi.

j'ai un peu peur que tu n'obtiennes pas de réponse utile ici (*), car il s'agit de méthodes très particulières, peu connues des matheux en général. peut-être sur un forum consacré au traitement d'images.
Si ton prof t'a conseillé de ne pas mettre de bruit, fais-le, va au bout. Rien ne t'empêche, une fois cette exprérience faite, de voir ce qui change quand tu rajoutes par exemple un bruit blanc, ou un bruit gaussien.

Cordialement.

NB : j'ai une idée du domaine, ayant travaillé avec des traiteurs de signaux, mais je ne connais ça que de très loin.
(*) des réponses de gens qui ne savent pas de quoi tu parles, tu peux en avoir

Mon avis rejoint celui de ggO : dans ce qui précède, c'est la seule réponse appropriée à ta question.
Les discussions qui s'y sont greffées sont, certes, justifiées d'un point de vue de statisticiens. Mais elles "polluent" un peu ici, car hors du strict domaine qui t'intéresse.

[leon1789]

Je ne peux résister à l'envie de signaler ce document : http://leon1789.perso.sfr.fr/proba/Gauss-traduit.pdf
C'est la traduction en français (1855) d'écrits de Gauss sur les observations, mesures, erreurs, etc.

pages 117+ du document (pages 129+ du fichier pdf), on voit comment Gauss a exhiber la fonction exp(-x²/2) en analysant (ce que nous appelons maintenant) un maximum de vraisemblance.

pages 121 du document (pages 133+ du fichier pdf), on voit comment un problème de calcul de maximum de vraisemblance (dans la situation d'un problème précis) revient à employer la méthode des moindres carrés.

[GrisBleu]

sur tous les sites je vois un terme de bruit.

Salut

Des bonnes explications se trouvent sur wiki: http://en.wikipedia.org/wiki/Recursi...squares_filter ou ici http://www.cs.tut.fi/~tabus/course/ASP/LectureNew10.pdf
Il n'y est pas fait mention de bruit
As tu un lien vers un site qui introduit ce bruit ? Est ce lie au "Noise Cancelling" ?
Cdlt