Réseau neuronal VS. Régression

[invite6f25a1fe]

Bonjour,

J'aimerais savoir s'il est possible de répondre à la question : quelle est la meilleure méthode pour approximer une fonction : la régression (linéaire ou non-linéaire) ou un réseau de neurones ???

1) Par exemple, dans le cas où l'estimateur est purement linéaire (forme polynomiale par exemple), on sait que la regression linéaire donnera LA meilleure approximation au sens de la norme 2. Que donnerait un réseau (quel est la précision maximale qu'on peut atteindre avec un réseau neurones ?). A résultat équivalent (à variance équivalente par exemple), quelle est la méthode la moins couteuse en expériences ? (on sais par exemple que la planification optimale des expériences marche très bien pour les régressions linéaires. Peut-on appliquer ces méthodes aux réseaux de neurones ?)

2) Même question pour le cas où l'estimateur est non linéaire, mais donné par un modèle analytique connu : ex modèle logistique

3) Dans le cas où on ne peut pas donner une forme analytique simple (ex : saturation etc...), je suppose qu'une régression n'est pas possible et que seul le réseau de neurones peut donner un bon résultat, non ?

Pour info, si je me pose ces questions, c'est que je trouve que les réseaux sont à la mode en ce moment, mais j'ai parfois l'impression qu'on les utilise à tort et à travers (sans savoir vraiment quel est le résultat qu'on peut en attendre, ni même savoir comment ils marchent : quel type de réseau utiliser, comment les optimiser etc...)

Merci pour votre aide
-----

[invite986312212]

bonjour,

je ne connais pas la réponse à ta question, s'il y en a une. Mais je relève les deux points suivants:

1) la notion de "meilleure" méthode ne se résume pas au choix entre norme L2 ou L1 ou.. il faut tenir compte de l'aspect probabiliste des choses: un estimateur est une variable aléatoire, donc tu vas pouvoir parler de "convergence en L2 presque sûre" par exemple (L2 signifiant somme des carrés d'écarts, pas espérance du carré)

2) tu souhaites comparer régression linéaire et réseau de neurones, mais il y a d'autres sortes de régression, soit paramétrique non linéaire, soit non-paramétrique (arbres de régression, régression à noyau, etc). Je ne connais pas bien les réseaux de neurones mais il me semble qu'il faudrait essayer de voir s'ils n'appartiennent pas à une classe plus large d'estimateurs, pour lesquels on aurait des résultats de convergence.

[invite6f25a1fe]

bonjour,

je ne connais pas la réponse à ta question, s'il y en a une. Mais je relève les deux points suivants:

1) la notion de "meilleure" méthode ne se résume pas au choix entre norme L2 ou L1 ou.. il faut tenir compte de l'aspect probabiliste des choses: un estimateur est une variable aléatoire, donc tu vas pouvoir parler de "convergence en L2 presque sûre" par exemple (L2 signifiant somme des carrés d'écarts, pas espérance du carré)

ce que je voulais dire, c'est qu'avec une régression (linéaire ordinaire pour faire simple) on est "sûr" de minimiser l'écart-type de l'erreur, alors que pour les réseaux, je n'ai encore trouvé aucun résultat claire sur leur "précision" théorique.

2) tu souhaites comparer régression linéaire et réseau de neurones, mais il y a d'autres sortes de régression, soit paramétrique non linéaire, soit non-paramétrique (arbres de régression, régression à noyau, etc). Je ne connais pas bien les réseaux de neurones mais il me semble qu'il faudrait essayer de voir s'ils n'appartiennent pas à une classe plus large d'estimateurs, pour lesquels on aurait des résultats de convergence.

C'est bien là mon problème, je ne connais pas assez la théorie liée au réseaux de neurones pour me faire une idée de leurs convergences.
Mon but étant d'essayer de me faire une idée de : quand est-ce qu'il est préférable d'utiliser des outils type régression, quand est-ce qu'il est préférable d'utiliser des outils type réseaux de neurones (sachant qu'il en existe tout une tripoté avec des structures et propriétés différentes).
Je suppose donc que la réponse à cette question n'a rien de simple, mais peut être qu'on peut en dégager quelques grandes lignes...

[invite986312212]

dans ce livre : http://www.amazon.com/Extending-Line.../dp/158488424X faraway écrit ceci:

NNs are generally good for prediction but bad for understanding. The NN weights are almost uninterpretable. Although one can gain some insight from plotting the marginal effect of predictors, the NN inevitably introduces complex interactions that often do not reflect reality. Furthermore, without careful control, the NN can easily overfit the data resulting in overoptimistic predictions.

il cite ce papier où les réseaux de neurones sont comparés à des méthodes statistiques plus classiques:
Faraway, J. and C. Chatfield : Time series forecasting with neural networks : a case study. Applied Statistics, 1998, 47: 231-250

[A voir en vidéo sur Futura]

[invite6f25a1fe]

Merci beaucoup. Je vais voir de plus près ce que donne ce doc. vu que ca à l'air de répondre un peu à ma question