Regression quasi-linaire

[Scorp]

Bonjour à tous,

J'aimerais faire une régression sur des données expérimentales (y, environ 10.000 échantillons). Je sais (d'après la théorie) que mon système est quasi-linéaire du type:


Comme vous le voyez dans le modèle, mes données expérimentale sont de deux type (+) et (-) dépendant de la variable explicative x2. Le problème c'est que tout est mélangé donc je ne peux pas séparer mes expé (typiquement y+ et y- chacun de leur côté)... Si je ne fais rien de particulier, la régression va surement me trouver a2=0 car en moyenne ca sera le plus pertinent (car la moitié du temps je vais tombé sur y+ et l'autre moitié du temps sur des y-). Du coup je ne vois pas comment obtenir ce fameux coefficient a2 par régression. Est ce qu'il y a moyen de faire ca ?

Merci de votre aide et n'hésitez pas à poser des questions si ce n'est pas très claire.
-----

[toothpick-charlie]

tu n'as pas une variable qui dit si c'est + ou - ?

[Scorp]

Malheureusement non, je n'ai pas une variable spécifique pour dire si c'est + ou - (ce sont deux solutions de mon système qui peuvent co-exister), c'est bien le problème. Je me demandais du coup si on pouvait faire un truc d'intelligent sur la régression pour prendre en compte cet effet.

Par exemple peut être qu'en deux étapes ca serait possible, non ?
1) Je fais régresser mes données sur le modèle linéaire pour estimer uniquement et .
2) Ensuite je fais un changement de variable type en utilisant à la fois mes données expé () et ma première régression ().
3) Je dois pouvoir faire régresser cette variable z sur un nouveau modèle type: pour estimer le coefficient (qui devrait correspondre au même ) que le modèle que je voulais précédemment étudier.

C'est la seule façon que je vois de faire pour le moment, mais si quelqu'un à une autre idée et/ou des critiques sur la méthode que je propose, je suis preneur.

[toothpick-charlie]

Tu as donc ce qu'on appelle un problème avec données incomplètes. Tu peux l'aborder par la méthode EM (expectation-maximization). Ca revient à supposer qu'il existe une variable cachée, disons Z, qui prend les valeurs -1 et 1, et poser le modèle Y =a +bZX + erreur. L'algorithme EM revient à estimer alternativement les paramètres du modèle conditionnellement à Z, et Z conditionnellement au modèle.

[A voir en vidéo sur Futura]

[Scorp]

Merci beaucoup, je ne connaissait pas du tout... je vais aller voir cette méthode et la comparer à celle que je proposais au poste du dessus (si ca marche).
Merci encore !

[Scorp]

J'ai vu beaucoup de choses théoriques à propos de ton idée sur le net mais très peu sur l'implémentation. Concrètement, si je veux faire une regression sur le modèle f=a+b*x+c*Z*y avec Z=[+1 ou -1] je ne vois pas bien comment mettre toute la méthode en place pour estimer 1) Les paramètres du modèle (donc a, b et c) conditionnellement à Z puis 2) 'Z conditionnellement au modèle', phrase que je ne suis pas alors très sûr de comprendre: le but de cette seconde étape c'est de pouvoir déterminer les valeurs de cette variable non-observées Z ? Si oui ces valeurs vont dépendre de quels paramètres, je ne vois pas bien ...

[Scorp]

Si je comprends bien, la fonction de vraissemblance de mon modèle (données expé s, variable explicatives connues x et y et variable non connue Z):

où est l'écart type de l'erreur du modèle

Mais une fois qu'on a fait ca, comment prendre en compte le fait qu'on ne connait rien sur Z et comment on aboutit à la régression ?

Merci de votre aide en tout cas

[toothpick-charlie]

En fait c'est un algorithme itératif. Au départ les Zi sont fixés arbitrairement, par exemple la moitié à -1 l'autre moitié à +1. Une fois les Zi fixés tu estimes tes paramètres par moindres carrés ordinaires (puisque çà revient à changer le signe de la moitié des Yi). Une fois tes paramètres estimés, il faut modifier les Zi. Je suppose (je ne suis pas très familier avec cette méthode) qu'on choisit pour chaque i le Zi qui minimise le résidu correspondant (pas sûr). En tout cas, une fois les Zi modifiés on retourne à la première étape d'estimation, et ainsi de suite. L'algorithme est censé converger. Je ne peux malheureusement t'en dire plus, il faut que tu trouves un cours.

[Scorp]

OK merci beaucoup pour m'avoir montré la méthode, j'ai implémenté le tout et ca marche vraiment bien ! J'ai une bonne convergence au bout de 4 étapes seulement et le coefficient final de corrélation et de l'ordre de 0.997

Pour information, j'ai fait comme tu m'as dis pour l'étape de minimisation: je choisi chaque Zi pour minimiser le résidu espilon_i associé (dans mon cas c'est très simple car Z ne peut avoir que deux valeurs).

Encore merci !