Bonjour,
J'utilise excel pour travailler sur des données expérimentales et j'aimerai ajouter une courbe de tendance à mes donnés. Cependant une modélisation exponentielle ne modélise pas correctement la tendance de mes courbes.
Je sais que mes données peuvent être approximées comme une sommes d'exponentielles telles que :
Est il possible de tracer une courbe de tendance (de différents ordres?) qui fitte avec mes nuages de points?
Merci pour votre temps.
Cookie
Bonjour à tous,
Je me permets un petit up. J'ajoute que j'aimerai simplement connaître les coefficients donc s'il existe un moyen de les calculer (mathématiquement) pour fitter au mieux avec mes courbes je suis prenneur
Merci d'avance
Cookie
Je ne sais pas si cela existe sur EXCEL. De façon plus générale :
Il s'agit d'un problème de régression non linéaire. Les algorithmes et logiciels traitant ce genre de problèmes procèdent par calcul itératif, en partant de valeurs estimées (ou subodorées) des paramètres à optimiser. C'est la principale difficulté d'utilisation de ces méthodes car des valeurs initiales trop mauvaises entrainent souvent une non-convergence du processus itératif ou la convergence sur des points non valides.
Il existe une méthode non classique, directe (non itérative) et qui ne demande pas de valeurs estimée au départ. Son principe est décrit dans l'article ''Régressions et équations intégrales'' : https://fr.scribd.com/doc/14674814/R...ons-integrales
Le cas d'une fonction à double exponentielle est traité pages 71-73.
L'adaptation de cette méthode à une fonction comportant encore plus d'exponentielles est théoriquement possible, mais demanderait du travail complémentaire pour expliciter la procédure de calcul pour ces cas plus compliqués.
Dernière modification par JJacquelin ; 07/07/2015 à 08h13.
@ Captain_Cookie :
Si vous pouvez poster un exemple de vos données numériques, il serait possible de les traiter avec le programme existant. Cela donnerait une indication de la pertinence de cette méthode dans le cas de vos données.
Merci JJacquelin pour votre reponse, je vais etudier le lien que vous m'avez fourni.
Je vous envoie un fichier txt comme exemple comportant mes fonctions IP et Q en fonction de l'altitude dont je voudrais connaitre la fonction continue.
Merci pour votre temps
@ Captain_Cookie :
J'ai bien pris note de vos données. Le format de votre fichier me convient, mais néanmoins, il demande une petite adaptation à l'entrée de mon programme pour être correctement importé.
Etant sur le point de partir, je dois différer ce travail. Si votre problème n'est pas résolu d'ici environ un mois, je l'étudierai à mon retour.
En attendant, je vais signaler cette discussion à un spécialiste de ce genre de questions, qui sera probablement intéressé.
@ JJacquelin :
Merci pour votre temps, je vais continuer les recherches sur les regressions non lineaires de mon coté.
C'est avec grand plaisir que j'accepte l'aide d'une autre personne.
A la demande de JJAcquelin, je me suis penché sur votre problème.
Il y a la solution que JJAcquelin propose et qui présente l'avantage de ne pas nécessiter de valeurs initiales pour démarrer la régression non linéaire.
Une autre démarche consiste à balayer l'espace des paramètres qui rendent le modèle non linéaire (les coefficients dans les exponentielles). On se ramène alors à une régression linéaire à 3 paramètres (solution immédiate). On cherche le point correspondant à la somme des carrés minimum et on a tout pour démarrer.
Dans l'exemple que vous avez fourni, une régression à une seule exponentielle donne un coefficient de l'ordre de 0.40. J'ai donc balayé les paramètres de 0.01 à 1.00 par pas de 0.01 (seule une moitié du triangle doit être considérée. Le minimum se trouve avec des coefficients de 0.22 et 0.62.
La régression finale donne
Y=213.897 +35915. e^{-0.61788 x}+16817.5 e^{-0.216527 x}
C'est facile à mettre en oeuvre sous Excel.
Bonjour CFL,
Merci pour votre réponse. J'ai comparé le résultat de votre régression avec mes données et votre expression est exactement le type de résultat que je recherche. Par contre je n'arrive pas à mette en oeuvre votre procédé sur excel.
Pourriez vous me donner quelques indications sur la marche à suivre pour obtenir ce résultat?
Merci encore pour votre temps.
Cookie
Bonjour
Il est assez facile de rechercher les coefficients d'une régression sur Excel en utilisant le solveur, à condition de définir soit même l'équation.
Si on ne sait pas choisir un modèle il est possible d'utiliser Eureqa : http://www.nutonian.com/products/eureqa/
La version d'essai est pleinement fonctionnelle.
Bonjour,
Etant donné que j'aimerai par la suite importer des données d'autres logiciels pour les comparer, j'aimerai rester sur Excel pour automatiser le procédé. Supposons que l'on reste avec le modèle d'ordre 2, il y a donc 5 constantes à déterminer. Pour utiliser le solveur, il me faut donc 5 équations..
Je parle d'une chose dont je ne suis absolument pas au point pour le moment mais, si j'utilise la méthode des moindres carrés, n'ai-je pas 5 coefficients à déterminer?Envoyé par CFL
Rebonjour,
Désolé pour le doublon mais au final j'ai réussi à résoudre mon problème. Du coup j'ai 2 nouvelles questions. Vaut il mieux chercher les coefficients qui minimisent la somme des déviations carrés ou ceux qui maximisent le coefficient de corrélation?
Ces deux procédés me retournent des résultats différents. Mais dans tous les cas ils me retournent un résultat avec B0=0 à chaque fois. De plus mes modèles ont un coeff R² légèrement supérieur à celui de CFL (0.999995 au lieu de 0.999993) cependant en regardant mes données elles sont plus éloignées qu'avec le modèle de CFL.
Je reviens donc sur ma 1ere question, je suppose qu'il existe une autre expression à optimiser plutot que la SSD ou le R².. ou alors ça viendrait de mes valeurs initiales de calcul?
Et alors ? Tu détermines tes 5 équations, tu lances le solveur, et c'est tout, où est la difficulté ? Et pourquoi 5 équations ? N'est-ce pas une équation avec 5 coefficients ?
Dernière modification par Boumako ; 13/07/2015 à 18h06.
@ Captain_Cookie : En parcourant les messages qui ont été postés je note que vous envisagez de : << importer des données d'autres logiciels pour les comparer >>. J’interviens pour attirer l’attention sur les risques d’erreur d’interprétation des résultats de ce genre de démarche. En effet, pour un même jeu de données, on peut obtenir autant de résultats différents que l’on veut, selon le critère d’optimisation que l’on décide d’appliquer. Ainsi, la comparaison entre logiciels reflètera le critère d’optimisation que vous choisissez vous-même (lorsque le logiciel offre un choix) ou le critère implicitement utilisé selon le logiciel. Si deux algorithmes différents comportent le même critère d’optimisation, leurs résultats sont pratiquement identiques.
Par ’’optimisation’’ j’entends la recherche des paramètres d’une fonction, tels qu’un indicateur d’écart soit minimum (entre les valeurs restituées par la fonction ajustée et les valeurs expérimentales données au départ) . En fait, le critère d’optimisation est l’indicateur d’écart choisi. Par exemple :
MSE : erreur quadratique moyenne. Ou RMSE : erreur type, racine carrée du précédent.
MAE : erreur absolue moyenne.
MAPE : erreur absolue moyenne en pourcentage (Erreur relative moyenne)
Etc.
Il existe beaucoup de possibilités pour définir un indicateur d'écart et pour chacune, le résultat de l’ajustement des paramètres sera différent. Pour bien faire, le critère d’optimisation devrait être choisi selon le problème que l’on a à traiter. C’est donc cela qu’il est important de considérer en priorité. Ce choix conditionne la méthode mathématique qui sera ensuite mise en œuvre pour l’appliquer.
Par exemple, la méthode des ’’moindres carrés’’, au sens habituel, assure la minimisation de MSE. Mais, bien que conduisant à une erreur quadratique moyenne minimum, elle est peu satisfaisante en pratique lorsque les valeurs expérimentales s’étendent sur une large plage d’ordres de grandeurs. En effet, la fonction sera bien ajustée pour les valeurs expérimentales les plus élevées, alors que les erreurs seront d’autant plus grandes pour les petites valeurs expérimentales.
Si l’on cherche à obtenir un bon ajustement sur toute la plage des valeurs expérimentales, il est préférable de choisir MAPE comme indicateur d’écart.
Pour illustrer ce commentaire, voici les résultats comparés avec plusieurs critères d’optimisation différents (table ci-dessous).
Avec la minimisation de RMSE ou de MAE, le résultat est en excellent accord avec celui donné par CFL ( Que je salue à cette occasion et dont je remercie l’intervention à la suite de mon message). Je vous conseille donc d’utiliser sa méthode, si son critère d’optimisation vous convient. Si non, il est certainement très facile de modifier la méthode proposée par CFL pour minimiser l’erreur relative moyenne, au lieu de l’erreur absolue moyenne.
La méthode utilisant l’optimisation des paramètres de l’équation intégrale (avec une adaptation à la fonction à 5 paramètres au lieu de 4 ) donne un résultat nettement plus proche de l'indicateur MAPE que MAE. Dans le cas présent, elle est donc à conseiller si l’on cherche une optimisation acceptable pour tous les ordres de grandeurs et si l’on veut un calcul direct, ne nécessitant pas de balayage systématique des paramètres, ni de calcul itératif.
Sur les figures jointes, les points expérimentaux sont représentés par les croix noires et la courbe représentative de la fonction optimisée est tracée en rouge.
MEAP minimum.JPGComparaison.JPGRMSE minimum.JPGEquation intégrale.JPG
Mon message précédent donnais des résultats d'optimisation de la fonction à deux exponentielles, soit 5 paramètres ajustables.
Voici maintenant la fonction à trois exponentielles (7 paramètres ajustables)
Il convient de signaler que la méthode de calcul qui est décrite pages 71-73 dans https://fr.scribd.com/doc/14674814/R...ons-integrales
doit être adaptée au cas présent :
En effet, cette méthode repose sur des intégrations numériques. La précision est insuffisante si certaines précautions ne sont pas prises dans le cas où l'intégration s'étend sur des ordres de grandeurs très différents (il faut débuter l'intégration à partir des petites valeurs et non l'inverse). Ceci est particulièrement important lorsqu'on a à calculer une intégrale triple, ce qui est le cas ici).
De plus, l'indicateur d'écart est choisi du type "minimum de l'erreur relative moyenne" puisqu'il y a un facteur de près de 200 entre les plus petites et les plus grandes valeurs expérimentales (dans la publication, l'indicateur d'écart était du type "minimum de l'erreur absolue moyenne"). La méthode est modifiée en conséquence.
Il me semble difficile de publier en détails la méthode de calcul sur le forum. Les personnes désirant l'obtenir peuvent me contacter par la messagerie personnelle de Futura-Sciences.
En complément, le résultat donné dans le cas de l'indicateur d'écart MAPE a été obtenu par une méthode totalement différente (algorithme itératif initialisé par le résultat précédent de la méthode par équation intégrale). Il est présenté à titre comparatif. Comme on s'y attend, il en améliore l'optimisation.
Minimum MAPE 7.JPGEquation intégrale 7.JPG
Bonjour JJacquelin,
Merci pour votre explication très claire. Pour ce qui est de l'importation de données, ce ne sont que des données brutes qui passeront ensuite dans la machine à modèle sur Excel. Le critère d'optimisation restera donc le même.
Par contre votre explication pointe la faiblesse de la minimisation de MSE pour le genre de données que je traite et je n'avais pas fait attention à ce détail. Je vais implémenter la méthode de minimisation de MAE et regarder mes résultats de plus près. Merci également pour votre conseil sur la résolution de l'intégration numérique, je n'ai pas encore eu le temps de regarder cette méthode de près mais ça ne saurait tarder.
Autre chose, je vous ai présenté des données allant de 0 à 25 mètres d'altitude mais je ne m'intéresse réellement qu'à une plage de données couvrant une quinzaine de mètres. Je minimise donc les erreurs sur une plage de donnée plus restreinte et j'obtiens une meilleure précision sur cette plage tout en restant -relativement- proche des données hors plage.
En effet, si vous n'utilisez que les 151 premiers points de votre exemple, l'ajustement de la fonction est nettement amélioré sur cette plage. Voici, ci-joints, les résultats (que l'on peut comparer à ceux obtenus précédemment avec les 251 points) :
