quelles combinaisons minimisent l'erreur finale?

[invited31683c1]

Bonjour, voici mon problème:
j'ai N1 mesures d'une grandeur y1 avec l'incertitude e1 (la même pour toutes mes mesures). Cette incertitude correspond au bruit de mon détecteur. Soit le triplet (N1,y1,e1).
De même pour 3 autres grandeurs: (N2,y2,e2) (N3,y3,e3) et (N4,y4,e4)

Je cherche à combiner ces mesures (censé représenté la même grandeur) pour en minimiser l'erreur final:

Y=(n1y1+n2y2+n3y3+n4y4)/(n1+n2+n3+n4) ou médiane, moy pondéré,...
et l'erreur final s'écrit:
E=sqrt[(n1e1²+n2e2²+n3e3²+n4e4²)/(n1+n2+n3+n4)]
Je dois en fait trouver n1<=N1 , n2<=N2, ... tels que E soit minimum. C'erst à dire résoudre le système suivant:
dE/dn1=0
dE/dn2=0
dE/dn3=0
dE/dn4=0

j'aboutis à une résolution matricielle du type Ax=(0 0 0 0) avec A matrice 4*4 avec des 0 sur la diagonale et la partie triangulaire up opposé à la triangulaire down (Aii=0 et Aij=-Aij) et x=(n1 n2 n3 n4)
Ce qui me donne n1=n2=n3=n4=0!
Ca ne résout pas mon problème!pouvez vous m'aider SVP?
-----

[KerLannais]

Salut,

Oui, c'est sûr c'est pas étonnant, c'est bien un minimum Tu peux poser

et rajouter la condition

et tu fais des extréma liés (multiplicateurs de Lagrange).

[invited31683c1]

Je dois donc chercher le minimum de la fonction
avec la contrainte , Ei étant des constantes.
Le lagrangien s'écrit donc
et je cherche tels que
c'est bien ça?

ps= désolé, certains de mes lambda apparaissent mal, si un modérateur peut corriger SVP?

[invite986312212]

à mon avis, si les lambda_i sont compris entre 0 et 1, leur somme valant 1, et les Ei des constantes, tu cherches à minimiser une moyenne pondérée des Ei, et le minimum va être atteint pour le minimum des Ei.

[A voir en vidéo sur Futura]

[invited31683c1]

Je n'y arrive pas: j'obtiens 5 équations (les 5 dérivées):





Je pense me tromper dans la façon d'utiliser les multiplicateurs de lagrange. Pouvez vous m'aider SVP?
@ambrosio: oui, c'est la moyenne pondérée des Ei. Je cherche la pondération qui me donne une valeur mini pour cette moyenne pondérée. Qu'entends tu par le mini des EI? Ce sont des constantes

[invite986312212]

ah je n'avais pas lu le post initial. du coup je ne suis pas sûr de bien comprendre: les e_i sont les écarts-types de tes mesures?
et pourquoi ne pas prendre tout le monde?

[invited31683c1]

Alors pour faire le lien avec la physique de mes mesures:
il s'agit de mesures satellitaires (effectuées en visant différentes étoiles) destinées à détecter les concentrations des différents gaz de l'atmosphère. Le rapport signal-sur-bruit d'une mesure est si pourri (la source est très faible) qu'il est impossible de détecter dans le signal (qu'on note y_i, l'indice i désignant l'étoile i) les très faibles absorbeurs (parmi les gaz atmosphériques). Ainsi, je combine différentes mesures (méthode dite du binning) pour augmenter ce rapport signal sur bruit et ainsi pouvoir détecter la signature des faibles absorbeurs.
Je prends par exemple toutes les mesures localisées entre 70 et 75 degré nord au mois de janvier 2008 pour l'étoile 1 : (N1,y1,e1) N1 étant le nb de ces mesures, y1 les signaux de chacune de ces mesures et e1 l'incertitude sur ces mesures (c'est la même pour les N1 mesures) de même pour l'étoile 2, ....
J'obtiens en combinant un signal moyen caractéristique de cette bande de latitude et de ce mois. Le rapport signal sur bruit est ainsi suffisant pour distinguer les très faibles absorbeurs.
Le problème est qu'il faut que j'augmente ce rapport de façon optimale c'est à dire en minimisant le bruit défini par E=sqrt[(n1e1²+n2e2²+n3e3²+n4e4²)/(n1+n2+n3+n4)] en ne choisissant pas forcement n1=N1 mais <=n1
D'ou l'utilisation des multi de Lag (suggéré par KerLannais) pour trouver les valeurs de n₁,n₂,n₃ et n₄ qui minimisent cette fonction E(n₁,n₂,n₃,n₄).
J'espère être clair.
Il existe peut etre d'autres méthodes de minimisation d'une fonction de plusieurs variables? Laquelle est la mieux adaptée à mon pb?
merci

[invite986312212]

y1 est donc un vecteur de longueur N1 ?

[invited31683c1]

oui, mais si au final, n1 est différent de N1, ce sera un vecteur de longueur n1

[invite986312212]

et pourquoi ne pas prendre ni=Ni ? je ne sais pas ce que c'est que tu appelles "bruit" mais ta formule me fait penser à l'écart-type d'une moyenne. Si l'analogie est correcte, il n'y a pas d'avantage à écarter de l'information: prends tout le monde!

[invited31683c1]

Le bruit, c'est l'erreur sur ma mesure: plus elle est petite, plus le rapport signal sur bruit est élevé. Je combine justement pour minimiser ce bruit.
Effectivement si ni=Ni, tout va bien. Mais j'aimerai m'en assurer! Penses tu que c'est inutile?
Je veux dire que si j'ai 200 mesures (étoile 1) avec un rapport correct de 100 (par exemple) et 2000 mesures (étoile 2) avec un rapport petit de 20, est-il nécessaire de prendre ces 2000 mesures? Cela me permet aussi de diminuer le computer time

[invite986312212]

Le problème est qu'il faut que j'augmente ce rapport de façon optimale c'est à dire en minimisant le bruit défini par E=sqrt[(n1e1²+n2e2²+n3e3²+n4e4²)/(n1+n2+n3+n4)] en ne choisissant pas forcement n1=N1 mais <=n1

sinon, pour minimiser E sous la contrainte 0<= ni <= Ni, en supposant sans perte de généralité e1 = min (ei)
la solution est n1=1 et n2=n3=n4=0

mais je ne suis pas convaincu que c'est bien là la traduction de ton problème de mesure.

[KerLannais]

Salut,

Pour le problème d'affichage de lambdas, et de façon générale pour les problème d'affichage de tex, j'utilise l'astuce suivante qui a toujours fonctionné: si à l'affichage une commande tex semble déconner, rajouter un espace devant le \ de la commande, le résultat s'affichera correctement. Quand il y en a plusieurs il faut les traiter dans l'ordre du texte (en effet, une commande qui déconne peut affecter les suivantes). Il semble qu'une longue expression de tex sans espace fasse planter le traducteur.

Sinon, ambrosio a raison en ce qui concerne la solution du problème de minimisation. Il me semble que le problème est mal posé mais je ne sais pas trop comment le poser moi même.

Ambrosio, te seras peut-être d'un plus grand secours, je ne suis pas statisticien, j'ai juste fait un petit peu de statistiques. Il me semble que c'est un problème suffisament classique pour les statisticiens aient déjà travailler dessus. C'est de la statistique inférentielle.

Si j'ai bien compris, tu suppose par exemple que ta valeur suive une loi normale:

(grosso modo ça veut dire que si tu fais pleins de mesures de ta valeurs elles seront aléatoires puisque tu obtiendra pleins de valeurs différentes mais en les rassemeblant sur un graphique tu obtiendra une courbe en cloche)
est l'espérance c'est la valeur finale plus précise que tu veux obtenir et sera l'incertitude finale. Si tu ne tiens pas compte des incertitudes sur tes mesures (si par exemple elles ont toute la même incertitude), tu calcule l'espérance empirique et la variance empirique (ou d'autres estimateurs plus sophistiqués c'est loin pour mo tout ça) et si tu as suffisamment de valeurs les théorème de statistiques t'assurent que tu est proche des valeurs réelles. Tu peux même faire un test statistique pour vérifier si tes données suivent bien la loi que tu as statué avec les paramètres empiriques que tu as calculé. Si maintenant tu veux prendre en compte les incertitudes, l'idée naturelle est bien entendu de pondérer les données en donnant un poids plus fort au valeurs plus sures. Il faut donc changer d'estimateur. Mais j'ai peur que le "meilleur" estimateur soit celui qui consiste à ne considérer que les valeurs de plus faibles incertitudes et pas les autres, et que l'incertitude finale ne saurait être plus petite que la plus petite des incertitudes là est le problème. Mais peut-être qu'il y a un autre estimateur connu des statisticiens pour ce genre de situation (en tout cas moi je ne le connais pas).

A mon sens le problème de statistiques est donc le suivant, on se donne une variable aléatoire qui vérifie une loi normale
on veut retrouver de façon empirique les paramètres de cette loi avec un certain intervalle de confiance, c'est juste que au lieu de se donner un échantillon de valeurs, à la place on se donne un ensemble d'intervalles de largeurs différentes, qui contienne chacun une valeurs de l'échantillon.

Ou sinon, une méthode plus élémentaire est de regarder l'intersection de tous les intervalles, de dire que la vraie valeur se trouve dedans. L'intersection est un intervalle. On prend la valeur du milieu, l'incertitude est donnée par la moitié de la longueur de l'ntervalle, elle peut-être plus petite que la plus petite des incertitudes. Le problème avec cette méthode c'est que quand l'intersection est vide qu'est-ce qu'on fait A part le fait qu'on ait mis en évidence le fait qu'on ne pouvait avoir confiance en nos incertitudes, on est bien obligé de se ramener à une méthode du type précédent. Néantmoins, si les incertitudes sont sures (c'est l'hypothèse qu'on a tendance à faire en physique, du moins on calcule les incertitudes en se débrouillant pour qu'elles soient raisonnablement sures (pour un physicien, les mateux sont maniacs ils ne peuvent être raisonnables)) alors c'est la bonne méthode.

[invited31683c1]

Bonjour,
voilà mon problème est résolu. Je me posais en fait une mauvaise question car je formulais mal mon problème:
Quand différentes expériences mesurent la même grandeur physique et donne un ensemble de réponse y_i avec différentes erreurs e_i, alors le meilleur estimateur de y et sa précision E est donné par:

et

Avec ces nouveaux estimateurs, il devient évident que jjue dois utiliser toutes les mesures que j'ai, même les pourries (avec un gréand e_i) car celles-ci seront pondérées par 1/e_i²

Merci de votre aide