Hello à tous,
Question con mais sur laquelle je bloque.... J'ai un fichier qui sort d'une acquisition de données et qui fait 35 colonnes par 170 000 lignes... Autant dire que par excel c'est la loose. J'essayer de tracer une courbe pour voir si des points sont hors specs et si la tendance est stable, à la montée, à la descente ou variable dans le temps.
Si vous avez des conseils/idées je suis preneur !! Pour l'instant je regarde ce que ça donne via gnuplot.
Merci à tous,
Ivan
Bonjour.
Il faudrait être un peu plus précis. As-tu 35 vecteurs à 170 000 composantes ? 170 000 vecteurs à 35 composantes ? 35*170000 nombres successifs ? etc.
Tu parles de temps, donc tu as aussi des dates relatives. A préciser.
Cordialement.
NB : Le traitement de très nombreuses données est toujours délicat.
Oui c'est toujours délicats, d'où mon soucis...
Sinon ce sont des mesures dans le temps mais la donnée temporelle m'importe peu, je peux la remplacer par un incrément quelconque. Ce qui me fait un excel ou csv composé de 35 colonnes et 170 000 lignes, chaque case comporte une donnée de distance. Je caractérise un capteur de mesure sur 7 distances et toutes les 60ms je prends 5 valeurs instantanées d'où les 35 colonnes et les 170 000lignes représentent environ une heure de mesure. Et je cherche une technique ou un modèle mathématique qui pourrait m'aider à voir si j'ai des points foireux qui se baladent.
C'est plus clair ?
Bonjour,
35*170000 nombres, cela ne fait guère qu'un peu moins de 48 Mo de données (en supposant un codage de 8 octets par nombre). Ce n'est pas énorme, mais excel est (très) vite dépassé.
Si j'étais vous, je passerais par un logiciel plus "sérieux" pour le traitement des données, comme Octave: https://www.gnu.org/software/octave/
Pour celui-ci, il n'y aura aucun problème à traiter cette quantité de données. Par contre il faudra mettre les mains dans le "cambouis" (coder en langage Matlab) pour obtenir ce que vous souhaitez.
Bonjour.
Je n'ai pas trop compris si tu as une série temporelle de 7 ou de 5 mesures, mais en tout cas, tu dois pouvoir traiter ton fichier pour séparer les séries temporelles. Ensuite, reste à savoir comment tu caractérises les données aberrantes, et ce que tu veux faire des autres.
Dernière modification par gg0 ; 27/04/2019 à 12h38.
Une manière de caractériser les données aberrantes est de passer par le calcul des quartiles: https://en.wikipedia.org/wiki/Interquartile_range (paragraphe "outliers").
Pas mal le logiciel Octave ! Maintenant y a plus qu'a comprendre plus en détail.
Mmm... octave/matlab a toujours été casse-couille pour lire des gros fichiers (et même des petits en fait) . La courbe d'apprentissage sera plus gentille en y allant avec python qui a des outils beaucoup plus puissants.
Bonjour
Deux choses :
- la problématique semble plutôt relever de l'IT que des maths.
- sur ce genre de cas, on ne se pose pas trop de questions, on stocke le tout dans une base outillée pour faire des requêtes statistiques. (ça marche très bien en SQL standard)
Vu qu'on parle de taille de données relativement petite et d'une seule table, je serais plutôt de l'avis de Jiav : Python et tous les outils qu'il a et on met ça dans un Dataframe Panda stocké dans un fichier ultra-rapide avec une librairie comme Feather.Envoyé par Fustigator
J'ai récemment fait cela pour des données un peu plus grosses, 1 à 2 millions de lignes et on passe de 2 min en MySql à 2 sec avec cette approche.
Et les traitement sur le dataframe en mémoire sont plus flexibles et plus rapides que du SQL.
C'est très possible; je ne connais pas le "dataframe panda"; je me suis contenté de décrire une solution de facilité, sachant que j'aurais exclu dans tous les cas la manip via un tableur.
Après il faut voir si c'est du "one-shot" ou un processus à industrialiser; les deux cas pouvant entraîner des réponses différentes.
En fait, j'étais parti comme toi sur une base de données SQL et cela me semblait logique. C'est en faisant l'expérience que je me suis rendu compte que pour pas cher et moins de lignes de codes, on pouvait gagner en vitesse et souplesse.
En fait la réponse est probablement la même, i.e. les pandas sont à la fois un des plus simples à maitriser et un des meilleurs au niveau performance. La seule exception c'est probablement pour quelqu'un qui souhaiterait utiliser des ressources publiques sur le cloud, auquel cas on n'a pas vraiment le choix de maitriser un peu de SQL.
(+1 je ne sais pas pourquoi le forum math attire des questions qui seraient mieux en info)
Dernière modification par Jiav ; 29/04/2019 à 13h58.
J'avoue qu'avec les dataframe python et panda, vous m'avez un peu perdu lol
Sinon pour le moment je suis arrivé à un truc sympa sur SciLab mais je ne pense que ce soit optimale... Du coup je vais essayer de regarder du côté de Python et compagnie pour faire un test automatiser. Si vous avez de bon tuto, je suis preneur !!
