Bonjour,
Voici un petit problème théorique.
On dispose d'une liste de couples (x,y). Les couples de cette liste sont censés être liés par la fonction de Gauss.
Rappel : toutes les courbes de Gauss sont superposables, c'est à dire à une mise à l'échelle près.
Il y a donc trois paramètres à calculer.
bonjour,
si ce que tu veux dire c'est que tu as une suite de couples (xi,yi) où yi=f(xi) et f est la fonction a*exp(-b(x-c)^2) et si tu veux estimer le triple (a,b,c) tu peux effectivement le faire par moindres carrés, par exemple à l'aide de la fonction nlm de R.
Bonjour,
MinusHabens, je ne connais pas R, mais d'après les doc, il semblerait que la fonction nlm (non linear minimization) optimise la somme des carrés des écarts sur y, c'est à dire qu'elle suppose que les valeurs de x sont sans erreur
Existe-il des paramétrages (ou peut-être une fonction différente) qui permettent le calcul quand il y a également une erreur aléatoire sur les valeurs x, ce qui pourrait donner des optima très différents?
Dernière modification par Resartus ; 26/03/2017 à 09h33.
Why, sometimes I've believed as many as six impossible things before breakfast
J'ai supposé qu'il n'y avait d'erreurs ni sur x ni sur y. Dlzlogic n'a pas été très explicite. Je ne sais pas s'il existe un package R qui traite le problème général du modèle non linéaire avec des erreurs en x et y
Bonjour,
Merci pour vos réactions.
En fait, on peut voir le problème sous deux aspects différents :
1- on a une série d'observation d'une même chose, on sait que la répartition des écarts à la moyenne respecte la courbe de Gauss. (Ca, c'était pour mémoire et pour préciser les choses)
2- tel que l'énoncé est donné, on a une série de couples. Il faut reconnaitre que c'est une question assez théorique, puisque ce cas doit rarement se rencontrer.
D'abord, j'ai mis le sujet dans le forum mathématiques et non informatique. "R" je connais pas.
La régression par les moindres carrés, oui, bien sûr. Cette méthode, prise comme telle, conduit forcément à un système linéaire. Dans le cas présent, cela me parait difficile, mais pourquoi pas, il faudrait essayer d'écrire le système.
Ce que R appelle "régression non linéaire" serait par exemple la régression conique ?
Suite, après lecture de la question de Minushabens.
"On a une liste". Par définition, une liste de réels ne peut pas représenter des valeurs exactes.
J'ai un exemple réel, authentique. On a divisé les écarts sur des résultats, par classe, et on a compté le nombre pas classe.
Les bornes de classes sont "exactes" les comptages sont des nombres entiers.
De toute façon, si R est la solution, je voudrais savoir la méthode.
bonjour
et pourquoi ne serait-elle pas f(x) = d + a*exp( -b ( x - c )^2) ?Envoyé par minushabens
car si on opère une mise à l'échelle (= homothétie en x et y avec les coeff b et a respectivement) et qu'on effectue une translation (en x et en y avec les coeff c et d respectivement), on a besoin de 4 paramètres.
Bonjour,
Pourquoi pas 4 paramètres, le sujet ne concerne pas l'analyse de la question mais sa résolution.
J'ai dit par erreur que c'était une question théorique. En fait, outre le fait que cela rentre dans le cadre très général des régressions et validité des données, cela peut être utilisé pour une représentation graphique. D'où son importance.
Bonjour,Désolé, mais pour répondre à une question, il faut bien l'analyser et comprendre de quoi il s'agit.
S'il s'agit de fitter une Gaussienne sur un histogramme sans préciser l'erreur que l'on veut minimiser on peut procéder ainsi :
- choisir d = 0
- Normer l'histogramme pour que la somme des aires valent 1 (équivalent à définir le coeff a)
- estimer l'écart-type et l'espérance de la va associée à l'histogramme (donnant b et c)
s'il s'agit d'autre chose il faut préciser ce que l'on veut...
Bon, je reprécise la question.
On dispose d'une liste de paires (x,y).
On sait, ou on suppose, ou on est sûr que cette liste correspond à la courbe de Gauss.
Dans le cas d'une liste correspondant à une fonction affine, ou logarithmique, ou exponentielle, ou polynomiale de degré 4 etc. on sait bien calculer la fonction correspondante avec les paramètres les plus satisfaisants, on utilise la méthode des moindres carrés.
Ici, il s'agit de la fonction de Laplace, mais les hypothèses sont strictement les mêmes. Il est bien évident que la liste doit comporter un nombre de coupes suffisant.
Alors si on écrit proprement les choses on a une liste de points (x_i,y_i) tel que f(x_i) = y_i, avec
ou
Si l'égalité f(x) = y est exacte il suffit de 2 à 4 points pour résoudre un système non linéaire de 2 à 4 inconnues et ce sera fait.
Si on cherche les paramètres (a,b,c,d) tels que f(x_i) soit au plus proche de y_i il faut dire dans quel sens on veut le "au plus proche" (classiquement au sens de la norme 1, 2 ou infinie).
S'il s'agit de la norme 2 on cherche à minimiser
La fonction objectif est différentiable et le gradient se calcule facilement, on peut donc aisément appliquer une méthode de descente (gradient, quasi-Newton, Newton si on calcule la hessienne).
Dans le cas à 2 paramètres il n'est pas impossible que l'on puisse trouver une formule analytique à la solution (comme dans les moindres carrés linéaires).
Encore faut-il préciser de quel type de fonction il s'agit, et l'erreur que l'on souhaite minimiser.
Il ne s'agit pas d'un exercice scolaire. S'il y plusieurs choix, qui peut décider ?
Celui qui pose la question.
Savoir ce que l'on veut minimiser dans un problème de regression agite beaucoup la communauté du Machine Learning ou du traitement de l'image... Et il y a bien plus qu'un choix
(Moindre carrés, maximum de vraisemblance, lasso, square-root lasso, ridge, logit, huber, berhu....).
Un exemple plus simple : la moyenne arithmétique est la valeur qui minimise la norme 2, la médiane est celle qui minimise la norme 1. Peut-on dire que "la moyenne" est meilleure (ou moins
bonne) que la médiane ? Non, elles ont des propriétés différentes, et l'une et l'autre ont leurs intérêts.
Idem pour savoir parmis quelles fonctions chercher.
Donc soit tu spécifie ton problème théorique (en donnant l'ensemble des fonctions parmis lesquelles chercher et l'erreur à minimiser) soit tu expliques ton application et on
t'aide à faire les choix adaptés.
Je suis tout à fait d'accord avec feanorel.
On peut aussi minimiser la norme sup (à savoir la différence maximale en valeur absolue max entre y_i et f(x_i) ) : c'est intéressant quand on sait qu'il y a eu des mesures avec des gros arrondis.
on peut mais comme estimateur du paramètre de position c'est assez mauvais...
Je n'ai jamais dit que je me plaçais en terrain probabiliste.
Bon alors, je choisis le maximum de vraisemblance. Ce sont les valeurs Y qui sont entachées d'imprécision.
Comment faire ?
Dans ce cas, il s'agit d'estimer les paramètres d'une loi normale (loi de probabilité), donc il n'y a que 2 paramètres dans la distribution ! (moyenne et écart-type)
Dernière modification par bon prof math ; 28/03/2017 à 10h03.
L'estimateur du max de vraisemblance d'une gaussienne uni-variée est simplement donné par
La courbe que tu cherches seras alors donnée par
Bonjour,
Rappel, mon message #5.
La méthode proposée par "bon prof" ne convient pas. En effet rien ne dit que la liste proposée représente le résultat complet d'une expérience. Par exemple le résultat d'observations aléatoires, donc satisfaisant aux hypothèses théoriques, mais une partie des tirages seraient absents du résultat final.
C'est la formule proposée par Minushabens qu'il y a lieu de "fitter".
Mais il s'agit de Maths. Je rappelle aussi qu'une application pourrait être le dessin de la courbe de Gauss en surexposition.si ce que tu veux dire c'est que tu as une suite de couples (xi,yi) où yi=f(xi) et f est la fonction a*exp(-b(x-c)^2) et si tu veux estimer le triple (a,b,c) tu peux effectivement le faire par moindres carrés, par exemple à l'aide de la fonction nlm de R.
Tu supposes que dlzlogic a une échantillon x1,..xn issu d'une loi normale de paramètres inconnus mais ce n'est pas ce qu'il a dit au début (quid des y?)
Bonjour feanorel,
Là, tu donnes les expressions de la moyenne et de l'écart-type.
Attention, puisque la valeur mn est la moyenne arithmétique des xi, alors, pour calculer sigma (l'écart-type) le dénominateur est (n-1). Ce n'est une question de "biaisé" ou "pas biaisé", c'est une question de "faute de calcul ou pas".
Par ailleurs, la question ne concerne pas le TCL mais le "fitting" d'une liste suivant la fonction de Laplace, selon la formule donnée par MinusHabens.
je n'ai proposé aucune méthode... je me demande juste quelle est la consistance de l'énoncé !!
ok...
Alors pourquoi la limite de y=f(x) est nulle quand x tend vers l'infini ? C'est une donnée de l'énoncé ?
Dernière modification par bon prof math ; 28/03/2017 à 11h29.
Bon, je vais essayer de le prendre par un autre bout.
J'ai un liste de couples XY. Je cherche à trouve une fonction qui pourrait replacer cette liste et ainsi me permettrait de calculer y=f(x), directement et sans avoir besoin de chercher les deux points les plus proches, faire une interpolation ou même une extrapolation, ce qui n'a aucune justification. Je vais faire ce qu'on a l'habitude d'appeler "régression".
Pour calculer cette régression, il faut savoir quelle fonction utiliser, fonction affine, logarithmique, puissance etc. Il y a deux méthodes, soit on dessine les points et on profite de son expérience pour choisir la fonction à adopter, soit on calcule la régression avec toutes les fonction que l'on connait (ou on le fait faire par une machine à qui on a appris à le faire), et on adopte la meilleure. J'oublie volontairement le cas où la fonction à utiliser est précisée dans l'énoncé.
Les régressions linéaires ne posent pas de problème majeur. On écrit que la somme des carrés des écarts entre la valeur observée et la valeur calculée est minimum et si tout se passe bien, on obtient un système de n équations linéaires à n inconnues.
Pour certaines fonctions, cela ne se passe pas bien, exemple le cercle, la sinusoïde.
Il en est de même pour la fonction de Laplace bien connue sous la forme de courbe de Gauss.
Donc, ma question : j'ai une liste de couples XY. Je suppose que cette liste correspond à la fonction de Laplace et je cherche à calculer les paramètres de cette fonction.
[HS] On sait que cette fonction est aussi connue sous le nom de "loi normale". Cela n'a aucun rapport avec ma question.[/HS]
Non, tu as dis "je voudrais fitter via le maximum de vraisemblance". J'ai interprété comme : "je dispose de réalisations x_1, ..., x_n que je suppose indépendantes et tirées selon une loi normale quel sont les paramètres qui maximise la vraisemblance" et qui permettront donc de tracer une courbe de Gauss par dessus un histogramme.
Je t'ai donné le maximum de vraisemblance dans ce cadre (voir wiki ou n'importe quel cours de proba). L'estimateur du maximum de vraisemblance de la variance est /n et est bien un estimateur biaisé. Si ce n'est pas ce que tu veux, ce n'est pas ce qu'il faut demander.
Oui, donc cela n'a rien à voir avec le maximum de vraisemblance...
oui, c'est donc bien le modèle f(x) = d + a*exp( -b ( x - c )^2) à 4 paramètres a,b,c,d
On a d=0 si et seulement si la limite de f(x) = 0 quand x tend vers l'infini... Est-ce réellement le cas ? Rien ne le dit dans l'énoncé.
Réponse déjà faite plus haut :
- il faut définir l'erreur à minimiser (ex: somme des carrés des écarts - i.e. norme 2 -, somme des valeurs absolues des écarts -i.e. norme 1-, maximum des valeurs absolues des écarts -i.e. norm infinie)
- il faut définir l'ensemble de fonctions parmis lesquelles on cherche à minimiser (ici j'ai l'impression que tu as choisit de minimiser sur a b et c)
Si tu prends la norme 2 le problème en question est différentiable et le calcul du gradient aisé. On peut donc appliquer aisément un algo de descente (type gradient, gradient conjugué ou quasi-newton)
pour trouver les paramètres de la fonction. Il faudrait encore vérifier que l'on converge bien vers un minimum global ce qui ne me paraît pas évident.
Cette expression "maximum de vraisemblance" est facilement compréhensible par un non-matheux, personnellement je préfère "le plus probable".
J'ai bien précisé dans l'énoncé qu'on voulait trouver la fonction correspondant à la courbe de Gauss, c'est à dire la fonction de Laplace. Il me semble que cela ne fait de doute pour personne que l'une des caractéristiques de cette fonction est de tendre vers 0 quand x tend vers l'infini, à droite et à gauche.
@ feanorel,
Il est écrit ceci dans un cadre rouge dans l'article que tu cites.
De toute façon, c'est hors-sujet.La section qui suit semble contenir un travail inédit ou des déclarations non vérifiées
