Matlab : regroupement de données

[OursDesMers]

Bonjour à tous,

Un collègue et moi travaillons sur un code en matlab destiné à calculer des erreurs de positionnement de satellites pour valider notre année.
Le problème est que nous devons regrouper des données et cela risque de prendre énormément de temps manuellement.
Les données sont toutes sur un même site web et nous n'avons absolument aucune idée de la façon dont il faut écrire une telle fonction.
Pourriez vous nous fournir quelques indications ?

Merci d'avance
-----

[Antoane]

Bonjour,

Il faudrait que tu donnes plus d'infos sur ces "données" : type, taille, etc. Et surtout : où sont-elles, sous quelle forme ("un site web") et comment tu les récupères.

[lou_ibmix_xi]

Je plussois. Site web -> soit ils ont une fonction d'export, soit une API pour attaquer (ce qui sera difficile avec MATLAB), soit il va falloir wget/grep/sed/awk si c'est possible.... Si tu peux poster le lien. La suite dépendra de sous quel forme tu récupères tes données.

[OursDesMers]

Voici un exemple : ftp://ftp.igs.org/pub/glonass/products/1569/
C'est le site dont on va devoir récupérer les données.
L'objectif est de faire les calculs sur une grande partie de la base de données

[A voir en vidéo sur Futura]

[lou_ibmix_xi]

Tu es vernis pas de javascript et autre api rest, ça devrait pouvoir ce faire en quelques coups de bash SI les nom des fichiers sont "formatés". IE leur noms reflètent leur contenu, ie, tu as un moyen de reconstituer l'URL du fichier que tu veux télécharger/traiter. Après C'est un wget, un dezippeur, et du grep/awk pour obtenir un cvs importable sous MATLAB.

[OursDesMers]

J'ai fait le code mais quelque chose ne vas pas : des fichiers vides se créent dans mon répertoire et la fonction mget me renvoie l'erreur 500 de FTP
Pourriez vous regarder le code ?

function []=download()
msg_input = input('Un dossier du nom de IGS_DATA va être créé à l adresse que vous choisirez pour stocker les données à télécharger, appuyez sur une touche pour continuer','s')
repertory = input('Veuillez choisir un répertoire (exemple : C:\Users\User\Dossier) :  ','s')
cd(repertory)
mkdir IGS_DATA
cd('IGS_DATA')
ftpobj=ftp('igs.ensg.ign.fr','anonymous','')
for year = 1991:2018
    start=0
    if year == 1991
        start = 146
    else
        start = 1
    end
    for day = start:366
        day_string = num2str(day)
        len_day = length(day_string)
        if len_day ~= 3
            while len_day ~= 3
                day_string = strcat('0',day_string)
                len_day = len_day + 1
            end
        end
        year_string = ''
        if year < 2000
            year_string = num2str(year - 1900)
        else
            year_string = num2str(year - 2000)
        end
        len_year = length(year_string)
        if len_year ~= 2
            while len_year ~= 2
                year_string = strcat('0',year_string)
                len_year = len_year + 1
            end
        end
        broadcast_name = strcat('brdc',day_string,'0','.',year_string,'n','.Z')
        try
            mget(ftpobj, broadcast_name)
        end

        end
    end
    pause(0.05)
end

[Ikhar84]

Et en mettant directement la ressource en paramètre de mget au lieu de broadcast_name ?
L'erreur 500 indique une erreur de syntaxe, une commande incorrecte ou qu'une action n'a pu être réalisée, la création d'un fichier vide en est la conséquence directe (aucune donnée n'a été rapatriée).
En deuxième étape, il faudrait s'assurer que la procédure de connexion (anonymous) est correcte, avec, par exemple, un client ftp basique...

Nota: les doublons sont interdits, les modos vont pas apprécier, d'autant que les mêmes pistes ont été proposées... avant le dernier post de ce fil...

Edit j'ai pas été très clair: mettre en dur l'adresse de la ressource au lieu d'une variable à la construction alambiquée...

[OursDesMers]

Voila ce qui est affiché lorsque je remplace broadcast_name par le chemin complet vers le fichier : Error using ftp/mget (line 65) Cannot create "C:\Users\User1\Desktop\Work\I GS_DATA\ftp:\igs.ensg.ign.fr\p ub\igs\data\1991\146\brdc1460. 91n.Z".
Et voici ce que j'ai ajouté pour avoir le chemin dans la boucle :
broadcast_address = strcat('ftp://igs.ensg.ign.fr/pub/igs/data/',num2str(year),'/',day_string,'/',broadcast_name)
mget(ftpobj, broadcast_address)

[Ikhar84]

Déjà, la ressource demandée n'existe pas.
Il y a des espaces en trop un peu partout dans l'url, des slashs (le caractère '/' manquants) ...

ftp:\igs.ensg.ign.fr\p ub\igs\data\1991\146\brdc1460. 91n.Z

Si on corrige l'url, par:

ftp://igs.ensg.ign.fr/pub/igs/data/

On a la bonne liste des répertoires distants...

Donc déjà, remplacez :

mget(ftpobj, broadcast_address)

Par:

mget(ftpobj, 'ftp://igs.ensg.ign.fr/pub/igs/data/1991/146/brdc1460.91n.Z')

Note: pour moi le répertoire distant est vide...
Note 2: il faut vraiment utiliser les balises code pour être plus lisible et pas obliger les modos à corriger manuellement...

[OursDesMers]

Vous remarquerez que c'est exactement ce que j'ai fais, cependant le programme me renvoie ce message d'erreur avec cette forme bizarre "d'adresse" : C:\Users\User1\Desktop\Work\I GS_DATA\ftp:\igs.ensg.ign.fr\p ub\igs\data\1991\146\brdc1460. 91n.Z

[Ikhar84]

Moi je lis:

broadcast_address = strcat('ftp://igs.ensg.ign.fr/pub/igs/data/',num2str(year),'/',day_string,'/',broadcast_name)

mget(ftpobj, broadcast_address)

Et pas:

mget(ftpobj, 'ftp://igs.ensg.ign.fr/pub/igs/data/1991/146/brdc1460.91n.Z')

Pour identifier le problème, il faut simplifier au maximum l'instruction, et il n'y a rien de plus simple qu'un litteral (chaine de caractère en dur...).

Edit: il faut bien évidemment s'assurer de l'existence de la ressource, avec un client ftp ou un navigateur... est ce fait ?

[OursDesMers]

Oui j'ai bien vérifié l'existence des fichiers en question avec le navigateur
J'ai été voir avec l'invite de commande windows et voila ce que ça a donné : 500 illegal port command 425 use PORT or PASV first après avoir entré get brdcXXXX.YYn.Z
J'ai ensuite essayé : literal pasv pour passer en mode passif et j'ai réitéré la requête et on m'a renvoyé la même erreur

J'ai remarqué que si l'on entre le chemin complet sur le navigateur on télécharge directement le fichier, je vais essayer avec cette méthode