Programmer un site avec un ""ALGORITHME"" qui parcourt plusieurs site pour afficher des resultats

[invite8481e418]

Bonjour,
je veux veux programmer un site avec un ""algorithme"" qui parcourt plusieurs site pour afficher les résultats que l'on recherche , du style des comparateurs de vols qui affichent les meilleurs prix, je suis débutant je sais que ce n'est pas si facile que ça et qu'on y arrivent pas en 2-3 mois avec 0 connaissances, je suis prêt à me former pendant 1-2 ans voir plus pour enfin y arriver, j'ai commencé mes recherches et le "PHP" ressortait beaucoup, j'ai commencé aussi les vidéos de Mr.Pierre Giraud, qu'en pensez-vous? je vous remercie d'avance d'avoir lu et répondu à ce message.
-----

[CM63]

Tu peux regarder aussi https://openclassrooms.com/fr/ , tu n'es pas obligé de payer, j'y ai suivi pas mal de cours sans payer, il y a juste certaines vidéo auxquelles on n'a pas droit, ou quelque chose comme ça.

[Loupsio]

j'ai commencé mes recherches et le "PHP" ressortait beaucoup

Hum, je suis pas expert, mais je suis pas sur que ce soit le php le plus important la dedans, php c'est pour rendre dynamique un site et non pas "fixe"
mais je dirai que pour ce genre de truc au dela de l'aspect html/css/php qui est plus pour la fabrication du site en lui meme, il faut utiliser les bases de données, faire des requêtes ... touça touça non? un peu genre SQL non? ou peut être par l'utilisation d'API,
Enfin, je n'y connais pas grand chose et si je me trompe, attend que quelqu'un vienne infirmer ca, si jamais je dis des bêtises, mais je pense que c'est ce genre d'éléments qui vont servir à aller pêcher les infos sur les sites prédéterminés à l'avance

[Ikhar84]

Bonjour.
On ne programme pas un site ou une app, on conçoit ou on code (suivant l'étape)

C'est mal barré:
1. Tout d'abord c'est illégal, à moins d'avoir l'autorisation (pas orale) des éditeurs de sites scannés. Aucun site commercial n'accepterait de fournir gratuitement ses données (commerciales) gratuitement à un inconnu, avec sa bande passante et ses ressources (lors du scan, les ressources du site visé sont utilisés de façon plus intensive que lors d'une navigation classique), et encore moins d'être comparés à des concurrents sans avoir un minimum de maîtrise...
Il suffit de lire les CGV des sites visés, et de s'attendre à une floppée de procés... les seuls robots tolérés sont les robots d'indexation, et encore, ils sont interdits d'accès dans certaines parties des sites...

De plus la volatilité des données exigent des données en (quasi) temps réel, donc pas possible de se créer une grosse base de données perso, il faut requêter les sites en direct pour avoir des données fraîches, quite à mettre en place un système de cache en base de données pour accèler le système.
2. Si on analyse un site et en extrayons les données, a un moment, rien ne prouve que le site ne va pas évoluer, et rendre notre analyse obsolète et rendre impossible toute récuperation de données, sans compter tous les systèmes anti-robot et pièges à scanner que compte tout site sérieux...
3.si c'est vrai que c'est faisable (je l'ai fais plusieurs fois pour des clients qui prennaient leurs responsabilités) avec une bonne analyse et une bonne technique, que l'on ne possède pas si on en est à se renseigner sur PHP, le meilleur moyen d'agreger des données de différents sites reste d'utiliser des techniques faites pour ça et éprouvée.
Il y en a 3 principales:
Il faut avoir accès aux directement aux données du site, comme prestataire, par exemple certaines agences de voyages ont accès directement au systèmes de réservation.
Il faut s'appuyer sur une API fournit par l'éditeur du site, qui permet de faire croire au système que ton site en est une extension (une image pour comprendre).
Il faut faire appel à des services web auxquels on soumet les requêtes des cliens et qui nous retourne les bonne données.

Ces méthodes ne peuvent se faire sans l'accord, voir l'assistance des éditeurs, et sont rarement gratuites...

[A voir en vidéo sur Futura]

[pm42]

En fait, il y a 3 choses : aller chercher les infos sur les sites en questions, les stocker dans une base puis faire le site qui permet de les afficher.
Pour chacune de ces étapes, il y a plein de technologies possibles.

PHP n'est plus à la mode mais pour faire l'affichage de données stockées, c'est largement suffisant. On peut aussi chercher parmi les nombreux outils plus ou moins "tout fait".

Pour le stockage, tout dépend de la quantité de données, du format et du rafraichissement. On peut utiliser des fichiers, une base SQL genre MySql ou une base NoSql genre MongoDb.

Reste la recherche des données : suivant les protocoles et formats à utiliser, on peut avoir une préférence mais en gros, n'importe quel langage généraliste fera l'affaire.

Perso, je commencerait par apprendre un langage (Python par ex) et à écrire des programmes pour récupérer les données et les écrire dans des fichiers.
Ensuite, je ferais un micro-site qui affiche les résultats des dits fichiers en Python ou PHP.
Après, je regarderais comment aller plus loin.

[invite8481e418]

Je prends note merci à tous