Choix de modèle

[invitefefb98f4]

Bonjour,

Travaillant sur un sujet où je cherche à valider mes hypothèses de recherche avec un modèle.

Avant je vous expose mes variables:

j'ai 3 ou 4 variables qui correspondent à des montants (chiffres)
et une variable que j'appelle ici T qui est binaire 1 ou 0
L'objectif de ma recherche est d'étudier l'impact de T plus que les autres variables explicatives.

J'ai donc essayé une régression linaire mais je ne trouve pas que c'est significatif. On m'a conseillé de faire une régression avec effets fixes. Disposant de statistica...je ne sais pas comment faire.

Pouvez vous me conseiller une autre modélisation qui me permet d'améliorer la significativité de mes tests et le cas échéant un logiciel pour les effectuer.

Je vous remercie par avance.

Bien cordialement.
-----

[inviteae4072e1]

Tu peux utiliser R qui est libre et assez, voir très complet.
Sinon Matlab c'est le top à mon sens, mais payant

[invitefefb98f4]

Bonjour,
Je vous remercie.
En effet, j'ai suivi votre conseil. Je suis confronté à une véritable problématique. Quand je fais mes tests, Le R2 n'est pas du tout élevé et ma variable binaire n'est pas validée. J'ai regardé un peu dans des livres...sans avoir une idée précise....ANOVA, ANCOVA.....régressions à effets fixes....je vous prie de m'assister....je crois que je ne peux obtenir des résultats significatifs si une autre variable n'est pas ajoutée à mon modèle....d'après ce que j'ai pu lire....il faut ajouter des "dummy" pour faire une ANOVA.....je ne sais pas à quoi ca correspond...malgré mes efforts.

Votre aide serait précieuse.

Je vous remercie par avance.

Bien cordialement.

[invite6f25a1fe]

Si ton R² est mauvais, c'est que tu n'arrives pas à estimer correctement ton problème. Selon moi, ca peut provenir de deux choses :
- mauvais choix de modèle et/ou de paramètres
- mauvais choix dans la façon d'opérer et d'approximer ton modèle

Pour ma part, j'utilise assez souvent les plans d'expériences. C'est idéal pour rechercher des tendances et faire de la recherche d'influence de paramètres. Avec 5 variables, tu peux te permettre un plan complet à 2 niveaux (donc 32 expériences). Bien sûr, ceci n'est possible que si tes 5 variables sont controlées (c'est à dire si tu peux faire des expériences en imposant la valeur de ces variables et en mesurant une, ou plusieurs, sorties).

Pour le moment, j'ai toujours eu de bons résultats avec cette méthode (ou des methodes dérivées), même sur des problématiques très complexes.

Perso j'utilise Matlab. Mais si tu as besoin de faire des plans d'expériences un peu tordus, alors il te faudra un logiciel spécialisé.

[A voir en vidéo sur Futura]

[invitefefb98f4]

Bonjour,

Je vous remercie de m'avoir mis sur une nouvelle piste.
J'ai effectué ce que m'avez indiqué en mettant:
- Type de plan: factoriel à 2 niveaux (générateurs par défaut).
- Nb de facteurs : 5
- Dans plan: j'ai mis Fac. complet avec 32 essais.
- Points centraux par bloc: 0
- Nombre de répliques: 1
- Nb de blocs:1
Voila ce que j'obtiens :

OrdreStd OrdEssai PtCentr Blocs A B C D E
30 1 1 1 1 -1 1 1 1
28 2 1 1 1 1 -1 1 1
13 3 1 1 -1 -1 1 1 -1
8 4 1 1 1 1 1 -1 -1
2 5 1 1 1 -1 -1 -1 -1
25 6 1 1 -1 -1 -1 1 1
29 7 1 1 -1 -1 1 1 1
14 8 1 1 1 -1 1 1 -1
27 9 1 1 -1 1 -1 1 1
15 10 1 1 -1 1 1 1 -1
31 11 1 1 -1 1 1 1 1
21 12 1 1 -1 -1 1 -1 1
9 13 1 1 -1 -1 -1 1 -1
20 14 1 1 1 1 -1 -1 1
18 15 1 1 1 -1 -1 -1 1
6 16 1 1 1 -1 1 -1 -1
19 17 1 1 -1 1 -1 -1 1
1 18 1 1 -1 -1 -1 -1 -1
12 19 1 1 1 1 -1 1 -1
17 20 1 1 -1 -1 -1 -1 1
3 21 1 1 -1 1 -1 -1 -1
10 22 1 1 1 -1 -1 1 -1
16 23 1 1 1 1 1 1 -1
23 24 1 1 -1 1 1 -1 1
22 25 1 1 1 -1 1 -1 1
4 26 1 1 1 1 -1 -1 -1
11 27 1 1 -1 1 -1 1 -1
32 28 1 1 1 1 1 1 1
5 29 1 1 -1 -1 1 -1 -1
26 30 1 1 1 -1 -1 1 1
24 31 1 1 1 1 1 -1 1
7 32 1 1 -1 1 1 -1 -1

Sachant que 735 observations.

Je ne sais pas si vous êtes en mesure de m'aider ou me mettre sur une autre piste.

Je vous remercie par avance.

Bien cordialement.

[invite6f25a1fe]

Si tu as 5 paramètres, alors 32 expériences te donneront un plan complet.

Entre autres, ca veut dire que tu peux estimer les interactions à tout ordre en plus des effets linéaires (ca ne côute pas plus cher de les mettres, donc autant les rajouter, non ?). La matrice que tu donnes ici étant la matrice d'expériences associée uniquement à la constante+effet linéaires.

Pour obtenir les interactions, il suffit de rajouter les colonnes par produit de celles que tu as déjà : Pour l'interaction entre le paramètre A et B, il suffit de créer une nouvelle colonne dans ta matrice avec les valeurs A.*B

Si tu veux poursuivre dans cette voie, il faut que tu fasses les 32 expériences/simulations qui sont décrites par ta matrice. Tu places ces donnees dans une matrice Y (nb colonne = nb de sorties que tu souhaites observees).

Tu obtiendras les paramètres de ton modèle par régression linéaire : avec X la matrice d'expériences (celle que tu donnes dans ton post précédent, avec des colonnes en plus si tu veux les interactions).
Si tu uilises Matlab, utilises stepwise() ca sera plus pratique. Cela te permettra de connaitre les coef R² de ta régression, puis d'isoler uniquement les paramètres influents.

Enfin, il te faudra faire une étape de validation du modèle.

[invitefefb98f4]

Bonjour,

Je vous remercie pour votre réactivité. J'essaie de comprendre et appliquer ce que vous venez de me dire. Je suis incapable de tout comprendre et d'effectuer ce que vous me dites...gentiment.

Puis-je vous envoyer mon fichier excel.....pour que vous regardiez....si je ne vais pas perdre mon temps a essayer l'impossible.

Vous ne savez pas à quel point cela me rendra service....je n'ai pas du tout de spécialiste de la discipline dans mon entourage.

Bien cordialement.

[invite6f25a1fe]

Tu peux m'envoyer ton fichier excel pour que je puisse comprendre un peu mieux ton problème (tu dois pouvoir le faire par MP je pense).

Pour mieux comprendre la méthode, tu peux chercher un peu de doc sur internet (recherche à "planification optimale"). Il y a beaucoup de choses sur internet provenant d'écoles d'ingénieurs ou de fac qui sont assez bien détaillées sur le sujet.

[invitefefb98f4]

Bonjour,

Je ne sais pas par quel moyen je peux vous faire parvenir le fichier.
En effet, je cherche à valider mon hypothèse (une principalement sur cinq) (d'une manière efficace) sans faire appel à des techniques très élaborées....jamais utilisées dans ma discipline.

Comme je vous ai dit votre aide serait précieuse pour me sortir de cet impasse. Vous l'avez compris je ne suis pas un statisticien.

Je vous remercie.

[invite6f25a1fe]

Normalement cette méthode devrait fonctionner pour valider ton hypothèse. Ce n'est pas spécialement compliqué, mais il faut prendre un peu de temps tout de même (on n'a rien sans rien malheureusement). Tu peux poster ton fichier Excel sur ce forum (cf. onglet joindre) ou alors le mettre sur un serveur (megaupload, rapidshare etc...) et transmettre le lien.

Pour débuter, la méthode est assez simple : la première étape est de faire les simulations nécessaire. Tu prends tes 5 paramètres A, B, ... E. Pour chaque paramètre, tu prends la plage de variation que tu souhaites : ex : A varie de -3 à 15.
On commence par normaliser ce paramètre : A*=-1 quand A=-3 et A*=+1 quand A=13.

Il faut que tu choisisses les plages de variation de façon à ce que :
- tu puisses faire tes 32 expériences( obtenir à chaque fois une valeur pour ta sortie Y)
- Essayer d'avoir la plage de variation la plus large possible.

Il suffit ensuite que tu fasses les 32 expériences décrites dans le fichier Excel que j'ai mis en pièce jointe (et que tu mettes dans Y la valeur de la réponse que tu obtiens)
Il serait bien aussi que tu fasses une simulation au centre du domaine (ou deux), en prenant tout tes paramètres à leur valeur moyenne (cad A*=0, B*=0 etc...).
Dans notre exemple ou A=-3 à 13, il faudrait donc faire une exp avec A=8 !
Il faudra surement que tu fasses 2 exp de ce genre, vu qu'on te paramètre E est binaire si j'ai bien compris (0 ou 1, donc impossible de prendre la moyenne)

S'il y a trop d'expériences/simulation à faire (trop couteux, trop de temps), il est possible de réduire leur nombre (on verra plus tard si besoin est).

Selon moi, c'est la meilleure méthode (sauf si ton système est fortement non-linéaire ou alors ca devient plus difficile de la mettre en place)

[invitefefb98f4]

Bonsoir,
Je vous remercie vraiment pour l'ensemble de ces explications.
Ci-joint le document....Je vais également explorer une nouvelle piste....une étude longitudinale.

Je vous remercie par avance et dès que je reçois votre réponse je vais essayer de la comprendre et vous tiens au courant dès vendredi soir....pour finaliser les résultats le week-end prochain afin d'être dans les délais.

Encore mille mercis.

Bien cordialement.

[invitefefb98f4]

ci-joint le document.

[JPL]

Je suis un peu gêné pour valider ta feuille de calcul de voir qu'elle cite une foultitude de sociétés connues. Je me demande donc si ces données peuvent être publiques.

[invitefefb98f4]

Bonjour,

Votre réaction est la preuve que le forum est bien tenu...je vous en félicite.
Néanmoins, concernant, le document...aucune donnée n'est confidentielle....ces entreprises sont connues et les chiffres sont publics....(si je ne dis pas c'est quoi ces chiffres c'est parce que leur collecte sur les sites internet des entreprises...demande du temps).

Maintenant si vous considérez que c'est contraire à la charte du forum je respecte votre décision.

Bien à vous.

[JPL]

OK je valide donc.

[invitefefb98f4]

Je vous remercie.
Bien cordialement.

[invite6f25a1fe]

Ok, donc si je comprends bien, tu ne travailles qu'avec des données récoltées ? Tu n'as donc pas la possibilité de faire des simulations/expériences en choisissant toi même la valeur des variables explicatives ?

C'est important parce que ca change tout. La méthode optimale est de pouvoir placer les expériences là où on le souhaite pour obtenir LE meilleur résultat (cad approximer ta variable expliquée avec le minimum d'écart-type)

Si tu n'as que les données du fichier Excel, ca devient beaucoup plus complexe (en tout cas avec une régression standard). Tu peux toujours tenter une régression brutale, mais rien ne garanti la qualité du résultat (ca dépend si tes données sont bien ou mal conditionnées : il faut essayer et voir ce que ca donne...).

[invitefefb98f4]

Bonsoir,

En effet, malheureusement je ne peux agir ni sur ma variable expliquée ni sur les variables explicatives.
Je peux éventuellement agir sur la taille de mon échantillon...mais j'ai essayé ca ne donne rien...j'ai même ajouté des "1" supplémentaires dans la variables explicative binaire...sans que cela m'aide à obtenir le résultat souhaité c-à-d sans que la variable binaire soit significative.
J'ai essayé la régression multiple; l'ANCOVA;....mais rien!
Vous m'avez gentiment suggéré la régression brutale...ca correspond à quoi exactement? C'est ou dans Minitab 15?
Je vous remercie, à nouveau, pour votre aide.
Bien cordialement.

[invite986312212]

Je peux éventuellement agir sur la taille de mon échantillon...mais j'ai essayé ca ne donne rien...j'ai même ajouté des "1" supplémentaires dans la variables explicative binaire...sans que cela m'aide à obtenir le résultat souhaité c-à-d sans que la variable binaire soit significative.

eh c'est pas comme ça que ça marche les stats: c'est pas manipuler les données jusqu'à obtenir un test significatif.

[invitefefb98f4]

Bonjour,

Votre commentaire ne manque pas de mépris.
Lorsque j'ai dit ajouter des "1" dans la variables binaires...je le disais dans le sens où je l'ai fait pour savoir si la faiblesse de la significativité n'est pas due au manque d'observations contenant le "1".
Cordialement.

[invite6f25a1fe]

Tu dis que tu as essayé la régression multiple ? Pourquoi ca n'a pas marché ? Ton coefficient R² était mauvais c'est ca ? Est ce que tu sais pourquoi (provient des données, ou du choix de modèle ?).

1) Si c'est les données, c'est qu'elles sont mal conditionnees (regarde la matrice X'X de tes donnees : est ce qu'elle est diagonale ou pas ? Au moins à diagonale dominante ou pas ?)

Il existe un moyen (qui va d'ailleurs contredire Ambrosio car c'est de la pure bidouille, et pourtant c'est des stat ), c'est essayer de mofier l'équationde regression par un coefficient afin de re-conditionner ta matrice.
Au lieu de faire , on va faire avec k un nombre à optimiser (souvent par essais et erreurs). En clair, on vient biaiser le résultats pour essayer de reconditionner la matrice ce qui devrait (pour certaines valeurs de k) réduire l'écart-type de l'erreur et donc globalement améliorer le résultat (c'est la regression ridge).

2) Si ca vient du modèle, alors tu peux essayer de nouvelles choses. Tu as fais quoi pour le moment dans ta regression multiple ? Juste une constante et des effets linéaires ? Tu peux mettre des interactions, voire des effets carrés ou cubes (si c'est pertinent) ...

[invitefefb98f4]

Bonjour,

Je vous remercie infiniment pour la suggestion de faire une régression ridge....j'ai essayé sans que cela donne des R2 améliorés....c'est désespérant.
J'aurais aimé en effet, revenir vers vous pour dire que j'ai trouvé une solution à mon problème...mais ce n'est pas le cas...de quoi déprimer.

Néanmois, je viens de voir une recherche faite par "une analyse quali-quantitative, avec des tests non paramétriques et analyse de clusters"...je n'ai rien compris...pouvez vous m'éclairer éventuellement me donner des liens vers des cours....exemples...pour savoir comment faire cela.

Comme vous le savez...vous êtes mon seul recours.

Merci beaucoup par avance.

Bien cordialement.

[invite9fb33daf]

Bonjour,

Tu peux essayer également de le faire avec STATISTICA. tu trouveras une version d'évaluation sur le site de StatSoft (www.statsoft.fr, et tu as une aide en ligne très complète accessible via la touche F1 qui te donne plein d'exemples...
Thomas