Bonjour
N'ayant pas de connexion internet je voulais savoir s'il y a un aspirateur web qui soit capables de faire fonctionner ce genre de page en mode hors ligne sur le PC:
https://www.magic-ville.com/fr/rech_avancee
https://www.magic-ville.com/fr/decks/submit
Merci
J'ai vachement appris grâce à internet. Tout ces livres qu'on trouve dans les poubelles
Dans le temps, il y avait httrrack qui aspirait très bien et donnait une version locale fonctionnelle...
Pour la partie "privée" (avec connexion), il y avait une astuce en récuperant le cookie de session, je ne sais pas si le robot est maintenant capable de gerer ça seul...
Attention, aspirer un site est en général contraire aux conditions générales d'utilisation, sans compter qu'il est mal vu de faire exploser le besoin en bande passante du site... suivant le plan d'hébergement du propriétaire, cela peut même lui entraîner des frais supplémentaires...
J'ai glissé Chef !
Cela suppose que le site puisse fonctionner en local sans ressources récupérées dynamiquement, sans base de données derrière.Envoyé par Ikhar84
Cela existe mais ce n'est pas le plus fréquent de nos jours.
Oui htttrack reconstruisait tous les liens en relatif après avoir téléchargé toutes les ressouces (pages, feuilles de style, images et autres médias, ...), tout étant configurable et filtrable, dont le type de fichier ou la "profondeur" des liens...
Le problème étant plus le côte plus ou moins toléré de l'apsiration "sauvage" maintenant facilement détéctable et bloquable côté serveur... et j'insiste sur le côté légal ou "moral" de l'action d'aspirer des ressources sans l'autorisation explicite du propriétaire...
Edit:
Mais j'avoues qu'aux premiers temps du Ternet, et de mes premiers pas en info, il m'a bien aidé à me construire mes clones locaux de supers sites de l'époque...
Dernière modification par Ikhar84 ; 29/07/2020 à 21h03.
J'ai glissé Chef !
Moi c'est juste pour l'utiliser hors ligne et je me demandais si ça fonctionnerais pour les moteurs de recherches notamment
J'ai vachement appris grâce à internet. Tout ces livres qu'on trouve dans les poubelles
Tu veux aspirer tous les liens retournés par une requête sur un moteur de recherche ?
Tu as combien de peta-octets à diposition ?
J'ai glissé Chef !
On ne parle pas de Google
J'ai vachement appris grâce à internet. Tout ces livres qu'on trouve dans les poubelles
La réponse est non quand même.
Perso j'ai bien fait attention à ne citer aucun moteur en particulier !
De toute façon la question est plus sûrement:
Peut-on utiliser un système d'indexage et de recheche sur le miroir local d'un site aspiré ?
Afin de pouvoir lancer des recherches avec requêtes comme si on était en ligne, depuis un moteur de recherche local...
J'ai glissé Chef !
On en revient au même point que plus haut : la recherche n'est pas une fonction locale, elle est faite par le serveur.
On peut aspirer tout ce qu'on veut, on ne récupère pas le code et les données coté serveur et là encore, redite, 99.9% des sites web en ont besoin.
Oui il faut obtenir et les codes sources et un dump de la base de données pour monter un serveur local.
Et même là, le moteur de recherche ne peut être que local est forcément relativement limité, et surtout limité à une seule instance de site (pas moyen de chercher un thème dans l'ensemble des données de tous les sites "mirrorés", à moins moins d'écrire ses propre scripts...
J'ai glissé Chef !
Bonjour à tous,
on est dans un cas particulier où un aspirateur pourra ptet faire quelque chose, puisque le moteur de recherche intégré est ainsi fait (qui a dit "mal" ?) qu'il semble tout montrer quand on ne lui demande "rien" (=Ø), voir
https://www.magic-ville.com/fr/resultats?zbob=1
Du coup, un aspirateur pourrait ptet tout ramasser.
(penser avant de le lancer de fixer une limite en taille)
Si je devais parier, je dirais que les 21787 cartes qu'il ramène sont stockées dans une base de données, pas dans le code source.
J'ai donc eu la réponse que j'attendais l'aspirateur ne pourra pas faire fonctionner le moteur sur le pc bon faut que je trouve un logiciel qui fait la même chose.
Merci pour les réponses
J'ai vachement appris grâce à internet. Tout ces livres qu'on trouve dans les poubelles
À moins de le réaliser toi-même, tu ne trouveras aucune solution.
Notes que l'on ne fait que des suppositions depuis le début de ce fil, tu n'as toujours pas explicité clairement ce que tu avais en tête ?
Edit: tu as au moins essayé un aspirateur comme HTTtrack ?!?
J'ai glissé Chef !
Bah le but de la question c'est que tout est un calvaire sur ce PC donc je prefere eviter d'y passer une journée si c'est sûr que ça va pas fonctionner !!!
J'ai vachement appris grâce à internet. Tout ces livres qu'on trouve dans les poubelles
Ah ok...
Et comme c'est tout un calvaire pour nous de réflechir à des solutions à te proposer ... pas la peine de te les proposer...
Plus sérieusement, si tu ne prends même pas la peine d'exposer clairement tes besoins, ni prend la peine de tester les solutions proposées...
Installer un aspirateur ça prends quelquds secondes... tester un site simple à aspirer (juste quelques pages suffisent pour un test), au pire 2 heures au mcdo du coin !
J'ai glissé Chef !
heu non car là déjà j'en suis à plusieurs jours de bug pour essayer d'installer des mises à jour pour plus avoir les bugs des navigateurs...
Mais oui je vais ensuite essayer les solutions proposées, merci
J'ai vachement appris grâce à internet. Tout ces livres qu'on trouve dans les poubelles
CTKI bug, sans doute.
