Site Web local interrogation site internet

[Great.J]

Bonjour,

Je cherche une façon de recueillir des informations de films / séries, à la manière des media center sous forme d'un fichier csv, txt ... TMDB (Cf lien).
J'ai cherché des applications qui pourrrait faire le travail (EMDB notamment) mais trouve pas mon bonheur ...

Depuis peu, je me suis initié au langage web côté client (HTML, CSS, JAVASCRIPT) mais pas serveur (PHP, MySQL) ... et je voulais savoir s'il était possible d'interroger un site web (base de donnée je suppose) via un site web local (langage client uniquement) ? Existe-il des librairies ou cela est-il tout bonnement impossible ?

A y être, si vous connaissez un logiciel qui vous conviens, je suis preneur (bien que cette demande n'ai rien à faire au sein de la discussion "Programmation et langages, Algorithmique" ...

Merci à vous !
-----

[vande545]

Bonjour

Parcourir le web comme le font les robots des moteurs de recherche et stocker l'info chez soi «en vrac» ou par page entière ne doit pas être bien compliqué ; mais ne récupérer qu'un type d'information me parait difficile sans connaître à l'avance la structure de la page interrogée.

je voulais savoir s'il était possible d'interroger un site web (base de donnée je suppose) via un site web local (langage client uniquement) ?

Oui c'est possible mais ce n'est pas la seule solution. Aujourd'hui n'importe que langage de programmation permet cela.
Il y a très longtemps, j'ai fait cela avec une macro Excel : http://cherbe.free.fr/xl2mysql1.php

[vgondr98]

Tu veux faire du scrapping ?
https://www.scraperapi.com/blog/the-...craping-tools/

https://www.dataquest.io/blog/web-sc...eautiful-soup/

Sinon, si tu t'intéresse à des sites en particulier, le mieux, je pense c'est de voir s'ils ont développés des api publics.

[CM63]

je voulais savoir s'il était possible d'interroger un site web (base de donnée je suppose)

Tu peux "parser" le html envoyé par un site, mais certainement pas interroger directement la base de données de ce site. D'ailleurs les infos que tu y glanerais seraient encore plus difficiles à exploiter qu'en parsant le html.

Il faut savoir quand même que ce que tu envisages de faire s'apparente à de "l'aspiration de site", chose qui "n'est pas protégé par la loi", pour ne pas dire pire. Les seules sources d'information que nous sommes autorisés à exploiter (en tant que "trouveur d'information" (documentaliste)), sont celles qui sont ouvertement promues par les responsables des sites : les flux rss et autres flux "de syndication" : déjà là y'a du boulot et c'est légal.

[A voir en vidéo sur Futura]

[CM63]

...voir s'ils ont développés des api publics.

C'est une autre possibilité, oui. S'ils publient des API, ils nous autorisent de fait à interroger leur site de cette façon.

[pm42]

Je pense que le problème est le niveau débutant du primo-posteur.
Il n’y a pas besoin de «*site web local*», juste d’un langage de programmation ou même d’un simple shell-script.

Et le lien qu’il donne est justement la doc d’une API.
Essayer déjà de récupérer de l’info avec wget ou curl serait un bon début.

[vgondr98]

Pour ma part, j'utilise postman pour tester les api.
https://www.postman.com/downloads/

[pm42]

Pour ma part, j'utilise postman pour tester les api.
https://www.postman.com/downloads/

Bonne remarque : il y a en effet pas mal d’outils graphiques qui permettent de tester facilement les requêtes, format d’URL et de voir les résultats facilement.

[Great.J]

Merci de vos réponses !
Je ne recherche rien d"'illégal" si tenté que ce mot ait un sens en informatique ...
Concrètement, j'aurais aimé savoir s'il est possible d'exploiter l'API ouverte de tmdb via du javascript uniquement car les logiciels que j'ai pu tester (qui au passage font un sacré bon boulot) ne font pas tout ce que j'aimerai qu'il fassent ... (à moins que vous connaissez un site qui fait le job).

Du coup, si j'ai bien compris, cela a l'air d'être possible ... Pouvez-vous m'en dire un peu plus afin que j'oriente mes recherches (si ça peux m'éviter de loongues heures de documentation 'inutile' sur de fausses pistes ...) ?

Merci encore en tout cas !

[pm42]

Concrètement, j'aurais aimé savoir s'il est possible d'exploiter l'API ouverte de tmdb via du javascript uniquement

Bien sur. Il suffit de faire des fetch sur les URLs donnés dans la doc : https://developer.mozilla.org/fr/doc...PI/Using_Fetch puis de traiter le JSON renvoyé.

Mais il est sans doute plus simple d'utiliser une des nombreuses librairies qui font ça : https://openbase.com/categories/js/b...-api-libraries

[umfred]

sur les pages de l'API TMBD, ils proposent des wrappers de l'API pour différents langages, dont javascript (il y en a 2 de répertorier tmdb-js et themoviedb-javascript-library (https://www.themoviedb.org/documenta...pers-libraries )