[VBA Excel] Décodage page web

**NicoEnac** · 04/08/2010, 13h54

Bonjour à tous,

Pour vous situer mon niveau, je suis autodidacte en VBA Excel et j'ai commencé il y a un an environ.

J'essaie actuellement de développer un petit utilitaire qui génère un tableau mais qui doit manipuler internet pour cela. En gros, dans la première colonne se trouvent toute une série de liens hypertextes vers des @ Internet.

Mon but est d'ouvrir ces @ une par une et d'extraire de la page ouverte uniquement certaines données afin de construire mon tableau.

Créer la fenêtre internet, entrer l'@ et attendre le chargement de la page, OK je sais faire. Là où ça coince, c'est dans le "décodage" de la page : d'habitude, j'enregistre la page en local puis l'ouvre avec un éditeur de texte, je recherche les balises puis avec getElementsByTagName ou getElementsByName je m'en sors.

Cependant, lorsque j'ouvre avec mon cher éditeur texte cette page d'apparence très simple (du texte, du texte et quelques liens), je tombe sur 10 lignes maxi sans retrouver toutes les données présentes dans la page. Voici le fichier complet

Code:

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Frameset//EN">
<!-- saved from url=(0173)http://XX.XX.X.XXX:XXXX/XXXXX -->
<!-- Template Loading Information
 --><HTML><HEAD><TITLE>gtabcdef (User): ABCDE_fgh</TITLE>
<META content="text/html; charset=windows-1252" http-equiv=Content-Type>
<SCRIPT language=JavaScript1.1>

		// Give focus to this window
		window.focus();

	</SCRIPT>

<META name=GENERATOR content="MSHTML 8.00.6001.18904"></HEAD><FRAMESET 
frameSpacing=0 border=0 rows=40,*,40><FRAME noResize marginHeight=0 
src="gtabcdef%20(User)%20ABCDE_FGH_fichiers/PTwebCA0GEPNN.htm" frameBorder=0 
name=subbuttonbar marginWidth=10 scrolling=no><FRAME noResize marginHeight=10 
src="gtabcdef%20(User)%20ABCDE_FGH_fichiers/PTwebCAYA3OH3.htm" frameBorder=0 
name=workspace marginWidth=10><FRAME noResize marginHeight=2 
src="gtabcdef%20(User)%20ABCDE_FGH_fichiers/PTwebCABRAJ3M.htm" frameBorder=0 
name=pt_status marginWidth=10 scrolling=no></FRAMESET></HTML>

D'où mes questions : comment puis-je faire ? Quelqu'un pourrait-il expliquer au moins comment fonctionnent ces pages ? Sont-ce des scripts qui tournent derrière pour afficher ce qu'Excel ne peut voir ?

Bref, je suis dans le noir total et je vous serais reconnaissant si quelqu'un pouvait au moins craquer une allumette.

**NicoEnac** · 05/08/2010, 07h47

Re,

Personne ne maitrise le VBA ?

**ProgVal** · 05/08/2010, 16h52

Bonjour,

Tu n'as pas choisi le plus facile. Cette page est un Frameset, qui est un ensemble de frames. Une frame, c'est quand tu prends tout le contenu d'une autre page, et que tu le mets dans la première page.
Personnellement, je vois mal comment on fait une page plus sale que ça... Ah si, je vois, avec un générateur de pages (technologie d'ailleurs également utilisée ici)

En l'occurence, il y a trois pages qui sont incorporées :
gtabcdef%20(User)%20ABCDE _FGH_fichiers/PTwebCA0GEPNN.htm
gtabcdef%20(User)%20ABCDE _FGH_fichiers/PTwebCAYA3OH3.htm
gtabcdef%20(User)%20ABCDE _FGH_fichiers/PTwebCABRAJ3M.htm

Cordialement,
ProgVal

**fouga** · 06/08/2010, 00h33

Bonjour,

c'est un projet intéressant que t'as là, je connais quelqu'un qui faisait aussi de l'analyse de pages web, pour gagner en bourse en scannant les cours. ça marchait pas mal mais lui Excel saturait au bout d'une semaine, on sait pas pourquoi...

Pour ton problème, comme il a été dit par ProgVal c'est une histoire de structure de pages et donc plus un problème d'analyse web.

Tu peux jeter un oeil sur ce lien pour la technologie des frames:
http://www.commentcamarche.net/conte...tmlframes.php3

Elle est encore utilisée de manière minoritaire mais je la trouve personnellement archaïque par rapport à ce qu'on fait en CSS actuellement.
ça fait très longtemps que j'ai pas fait de sites en utilisant les frames, mais pour faire simple, pour ton problème, il va falloir décomposer la page finale en ses différentes frames (ici il y en a 3).
Pour cela, tu peux extraite le lien indiqué après src= dans chaque balise frame et l'ouvrir dans une nouvelle page/fichier.
C'est cette page (ou ces pages ici) qui contiendra le contenu dont tu veux te servir pour faire ton tableau.

Bon courage!

A voir en vidéo sur Futura · Aujourd'hui

**NicoEnac** · 06/08/2010, 07h41

Merci beaucoup pour ces réponses ProgVal et fouga, je commençais réellement à désespérer. Je vous tiens au courant sur mon avancement.

**NicoEnac** · 06/08/2010, 10h13

Et bien merci beaucoup, ma macro fonctionne nickel !

Mon chef vous remercie également

**NicoEnac** · 19/11/2010, 07h14

Re,

Je déterre ce fil car le sujet est similaire.

Je cherche à faire une macro toute bête qui, à partir de données d'une feuille excel, se connecte à GoogleMaps, clique sur le bouton "Itinéraire", remplit les champs "A" (adresse de départ) et "B" (adresse d'arrivée) puis clique sur le bouton "submit".

Tout ça c'est bon, c'est assez facile.

Par contre, j'aimerais récupérer le nombre de kilomètres du trajet et là ça se corse... En effet, comme toujours j'enregistre ma page Web et fait une recherche du texte (pour récupérer les noms des balises) que je recherche et là...rien du tout ! Pas la moindre trace du texte.

Alors je suppose que la page elle-même ne contient pas les infos mais que ce sont des javascripts qui affectent ces valeurs dans des variables locales à la page et dont les valeurs ne sont pas dans la page telle que je l'enregistre.

Suis-je clair ? Pouvez-vous m'aider svp ?

**Philou67** · 19/11/2010, 08h48

Le contenu des informations est inséré dans un <iframe> contenu dans la page retournée par google :
Exemple que je viens de faire :

Code HTML:

<iframe src="/mapfiles/home3.html" name="vp" id="vp" class="offscreen"></iframe>

Je suppose que l'URL est variable, tu dois donc trouver l'attribut src d'une balise iframe dont l'attribut name est vp (ou l'id au choix).

Mais c'est assez coton pour les extraire. Exemple perdu au milieu d'un code indéchiffrable ou presque (une entité CDATA) :

Code HTML:

distance:"951 km",time:"8 heures 53 minutes",summary:"A31 et A7",warning:[{text:"Ce trajet emprunte des autoroutes."}],distance_classification:{local_road_distance_meters:19760.506,highway_distance_meters:931018.88}},{routes:[{vias:[{query:"",is_via:true,latlng:{lat:47.135797799999999,lng:5.4657676999999998},geocode:"FTU8zwIdp2ZTACnhpFlVzrLyRzHg2mbANM4JEw"}]}],distance:"995 km",time:"9 heures 17 minutes",summary:"A7",distance_classification:{local_road_distance_meters:20163.908,highway_distance_meters:974528.06}},{routes:[{vias:[{query:"",is_via:true,latlng:{lat:45.842228200000001,lng:9.0180842999999999},geocode:"FTR_uwId5JqJACn9YzmMsYKGRzEQsMum653pqg"}]}],distance:"929 km",time:"9 heures 38 minutes",summary:"A2",distance_classification:{local_road_distance_meters:6499.3804,highway_distance_meters:922454.38}}],waypoints:[{query:"mackwiller",status:1,geocode:"FfaN6gIdYHptACnL6E_3ETuURzGwUTmauV8KBA"}

Edit : sous Firefox, pour enregistrer la totalité des informations d'une page, y compris les pages liées, il faut faire "Enregistrer-sous" et choisir "Page web complète"

**NicoEnac** · 19/11/2010, 09h59

Envoyé par Philou67

Edit : sous Firefox, pour enregistrer la totalité des informations d'une page, y compris les pages liées, il faut faire "Enregistrer-sous" et choisir "Page web complète"

Sous IE également. On obtient un fichier "*.htm" ainsi qu'un dossier contenant tout ce qu'il faut.

Pour ce qui est de l'IFRAME, je l'ai trouvée. Il y a bien un attribut src ("Waterford,%20Co_%20Comté%20d e%20Waterford,%20Irlande%20à%2 0Youghal,%20Co_%20Cork,%20Irla nde%20-%20Google%20Maps_fichiers/maps.htm") mais que dois-je en faire pour accéder à CDATA ? D'ailleurs qu'est ce que CDATA ? Une variable ? Une balise ? Je m'y perds un peu...

**Philou67** · 19/11/2010, 10h24

Le CDATA est une séquence d'échappement dans un document XML, donc en gros, ce n'est pas du XML, et le format à l'intérieur peut être quelconque (ici, sans doute, propriétaire).

Je ne sais pas s'il y a des moyens de récupérer son contenu depuis Excel/VBA, désolé. Utilises-tu une API XML pour analyser le fichier .htm ? Pourrais-tu simplement utiliser une recherche textuelle à la place ? (chercher les distances=... à l'aide d'une expression régulière par exemple).

**NicoEnac** · 19/11/2010, 10h35

Je ne connais pas les API XML.

Je suis autodidacte en VBA donc je ne connais pas les termes techniques mais en gros, pour décoder une page internet, je l'enregistre, je l'ouvre sous format texte, je cherche les balises ayant le contenu qui m'intéresse et j'y accède à l'aide de : IE.document.getelementsbyname( "id_balise_qui_m_intéresse ") ou getelementsbytagname (IE étant mon objet InternetExplorer).

**Philou67** · 19/11/2010, 10h40

getelementsbyname fait bien partie de l'API XML et tu ne trouveras pas l'entité CDATA avec.
Il existe peut-être d'autres fonctions de l'API pour trouver les CDATA...

Sinon, il faudrait que tu utilises d'autres fonctions VBA pour analyser ton fichier, comme des fonctions de recherche de texte, ou de recherche de motif (pattern) avec des expressions régulières. Je ne connais pas VBA, mais ça doit se trouver. Voir ici : http://www.vbfrance.com/tutoriaux/EX...IERES_520.aspx

Avec une regexp, tu peux capturer des portions de motif comme avec
/distance=([0-9]+)/

**NicoEnac** · 19/11/2010, 12h09

Désolé d'insister (même si vous m'avez déjà bien aidé) mais il y a quelque chose que je ne comprends pas : si Internet Explorer affiche quelque chose (en l'occurrence l'itinéraire), c'est que ce doit être compris dans mon objet IE que je manipule. Je ne vois vraiment pas pourquoi je n'arrive pas à le trouver...

**Philou67** · 22/11/2010, 10h54

Si les données CDATA ne sont pas modélisées dans les objets IE, il n'y a aucune chance pour que tu les y trouve. Je ne connais pas l'API que tu utilises, et donc, je ne sais pas si la construction de cet objet permet de conserver ces données CDATA, et d'y accéder par une méthode.

En revanche, lire le fichier sous forme d'un objet "texte" simple te permettra d'y accéder.

**Stan_94** · 22/11/2010, 11h44

Bonjour,
je n'ai pas trop le temps de me pencher sur le sujet, donc je vais peut-être écrire une ânerie... mais bon... Je me lance quand même.
Pour ramener le kilométrage entre 2 adreeses, plutôt que de passer par une page web, pourquoi ne pas utiliser directement les API fournient par Google ?

**Philou67** · 22/11/2010, 12h14

Sont-elles accessibles directement depuis Excel ?

**Stan_94** · 23/11/2010, 11h47

J'avoue ne pas en être sur. Mais j'ai vu sur le net une feuille Excel affichant une carte Google map, c'est donc qu'il doit être possible d'appeler des fonctions javascript depuis VBA... Si je trouve du temps (Ca manque pas mal en ce moment...) je creuserai le sujet !

[VBA Excel] Décodage page web

[VBA Excel] Décodage page web

Re : [VBA Excel] Décodage page web

Re : [VBA Excel] Décodage page web

Re : [VBA Excel] Décodage page web

Re : [VBA Excel] Décodage page web

Re : [VBA Excel] Décodage page web

Re : [VBA Excel] Décodage page web

Re : [VBA Excel] Décodage page web

Re : [VBA Excel] Décodage page web

Re : [VBA Excel] Décodage page web

Re : [VBA Excel] Décodage page web

Re : [VBA Excel] Décodage page web

Re : [VBA Excel] Décodage page web

Re : [VBA Excel] Décodage page web

Re : [VBA Excel] Décodage page web

Re : [VBA Excel] Décodage page web

Re : [VBA Excel] Décodage page web

Discussions similaires

Vba excel

vba excel

excel vba

Re : page web + page de demarrage intempestives + problems

Impression excel / vba