Récupérer une base de données

invite17a570c1 · 15/04/2009, 22h29

Hello, tout le monde

J'ai un gros souci : il me faut les fiches contenues dans une DB, mais pour l'instant tout ce que je fais pour automatiser le processus rate

Donc, elle est interrogeable via une interface web (http://www-is.biotoul.fr/) et je sais que le code d'une page est un mélange entre html et javascript :

Code:

<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Frameset//EN" "http://www.w3.org/TR/html4/frameset.dtd">
<html>
<head>
<title>IS Finder</title>
<meta http-equiv="Content-Type" content="text/html; charset=iso-8859-1">
<meta name="keywords" content="Insertion Sequence
IS Finder
IS Database">
<link rel="icon" href="favicon.ico" type="image/x-icon">
<link rel="shortcut icon" href="favicon.ico" type="image/x-icon">
<script language="JavaScript">
var fr3 = "page-is.html"
var str = location.search;
var pos = str.indexOf("?is_special_name=");
if (pos != -1) {
	var str3 = str.substring(pos + 17, str.length);
	var fr3 = "/is/scripts/is_spec.php?name=" + str3;
}
</script>
</head>
<script language="JavaScript">
document.write(	
'<frameset rows="*" cols="152,*" frameborder="NO" border="0" framespacing="0">',
  '<frame src="f-gauch-is.html" name="leftFrame" scrolling="NO" noresize>',
  '<frameset rows="137,*" frameborder="NO" border="0" framespacing="0">', 
    '<frame  src="f-haut-is.html" name="topFrame" scrolling="NO" noresize>',
    '<frame  src="', fr3, '" name="mainFrame">',
  '</frameset>',
'</frameset>'
);
</script>
<noframes> 
<body bgcolor="FCECD2" text="#000000">
</body>
</noframes> 
</html>

Donc, bon, je n'arrive à avoir aucune info de celles dont j'ai besoin...
J'ai essayé des bots genre wget, impossible... Le souci est que j'ai besoin des séquences qui y sont, les gens qui en sont responsables filent des infos au compte-goutte mais mon stage finit dans 1 mois et demi et la seule solution que j'aie c'est faire du copier-coller de chaque bout de fiche contenue dans cette DB

Chose absurde...

Quelqu'un aurait-il une idée...?

Merci beaucoup d'avance

invite770d9cfe · 16/04/2009, 19h09

Est-ce que cette base est confidentielle ? Si elle ne l'est pas, tu peux me l'envoyer. Autre question : elle est écrite en quoi ?

invite4ad25ccf · 16/04/2009, 20h16

As tu un exemple de requete que tu souahite envoyer pour récupérer un bout (genre mettre XXX dans le champs YYY etc) ?

Et sinon, d'un point de vu purement légal, as tu pris soin de contacter les administrateurs, car je doute qu'ils ne t'autorise à dumper sauvagement leur BDD, surtout que cela peut s'aparanter à du dénis de service si tu fais trop de requetes rapidement

**SuperTux** · 16/04/2009, 21h06

Envoyé par Towl

Et sinon, d'un point de vu purement légal, as tu pris soin de contacter les administrateurs, car je doute qu'ils ne t'autorise à dumper sauvagement leur BDD, surtout que cela peut s'aparanter à du dénis de service si tu fais trop de requetes rapidement

Le resultat de la recherche renvoit un 403 avec wget si on ne fake pas le user agent............

A voir en vidéo sur Futura · Aujourd'hui

invite17a570c1 · 17/04/2009, 00h33

Envoyé par Towl

Et sinon, d'un point de vu purement légal, as tu pris soin de contacter les administrateurs, car je doute qu'ils ne t'autorise à dumper sauvagement leur BDD, surtout que cela peut s'aparanter à du dénis de service si tu fais trop de requetes rapidement

Disons que ce sont censés être des collaborateurs qui s'étaient engagés à fournir les fichiers, mais depuis 2 mois... Ils n'ont apparemment rien à fiche que la seule solution qui me reste est le copier-coller et que des requêtes vers leur base sont une étape clé de ce que je fais...

Donc, bon, puisque je n'ai pas que ça à faire, je pensais à faire (difficilement, mais avec de l'aide ça devrait aller

) un parseur html et récupérer juste ce dont j'ai besoin. Ainsi, ils gardent leurs infos et moi je ne passe pas 5 jours à faire du copier-coller parfaitement stérile, inintéressant et amenant à la crise de nerfs. Si je fais toutes les requêtes via l'interface web (très difficilement exploitable), je vais tout saturer vu le nombre de séquences que j'ai à indexer...

@SuperTux : oui, c'est le premier truc que j'ai essayé

Vu le 403, j'ai fait différemment, sans utiliser wget.

Cela dit, j'ai réussi à avoir un fichier .csv avec les noms

Il me reste à récupérer le 3e frame de chaque page... Mais cette étape nécesitera que je prenne des actions chez UPSA, alors je vais au dodo.

**SuperTux** · 17/04/2009, 03h15

Je ne suis pas très calé en bash mais si cela peut rendre service voici une petite bidouille qui devrait à peut près marchoter, cela donne au moins une idée de la procédure :

Code:

wget --post-data='output=files&tout=human&namecond=contains&name=&familycond=contains&family=&origincond=contains&origin=&commentscond=contains&comments=&referencescond=contains&references=&Submit=Submit' --user-agent='Mozilla/5.0' http://www-is.biotoul.fr/is/scripts/is_mini.php

cat is_mini.php | grep "is_spec.php?name=" | sed -e "s/<tr><td>[0-9]*<\/td><td><A href='/http:\/\/www-is.biotoul.fr\/is\/scripts\//g" | sed -e "s/'>[0-9A-Za-z]*<\/a><\/td>//g" > urls.txt

rm is_mini.php
wget -i urls.txt --user-agent='Mozilla/5.0'
rm urls.txt

for file in ./* ; do
grep "<table border='0' width='600'><tr><th bgcolor='c2b09a'><b>IS_SEQ: </b></th></tr><tr><td><tt>" $file | sed -e "s/<table border='0' width='600'><tr><th bgcolor='c2b09a'><b>IS_SEQ: <\/b><\/th><\/tr><tr><td><tt>//g" | sed -e "s/<\/tt><br><\/td><\/tr><\/table>[a-zA-Z0-9?,.;/:!*%=)_-(<>#&'\"]*//g" | sed -e "s/<br>//g" > $file.adn
done

Inutile de parser le html, les pages sur le serveur étant générées par un script php, elles sont toujours presque identique, il suffit de repérer le "motif" avant et après la séquence adn.

invite770d9cfe · 17/04/2009, 09h49

Les données dont tu as besoin sont dans une seule table au format CSV ?
Si c'est le cas, il est très facile de récupérer le contenu des champs qui la constituent et d'en extraire uniquement ce qui t'intéresse. Il suffit de connaître le type de séparateur, le nombre de champs par enregistrement et le rang des champs à extraire.

invite17a570c1 · 20/04/2009, 12h36

Envoyé par TiClic

Les données dont tu as besoin sont dans une seule table au format CSV ?
Si c'est le cas, il est très facile de récupérer le contenu des champs qui la constituent et d'en extraire uniquement ce qui t'intéresse. Il suffit de connaître le type de séparateur, le nombre de champs par enregistrement et le rang des champs à extraire.

Non, malheureusement...

Mais j'ai réussi à tout récupérer ce we, sans faire de parseur html, mais en m'inspirant du bash de SuperTux

Donc, j'ai les presque 3 000 séquences dans un fichier avec les titres au format que je veux. Bash powa

Merci à tous pour les conseils et suggestions

Bonne journée.

Récupérer une base de données

Récupérer une base de données

Re : Récupérer une base de données

Re : Récupérer une base de données

Re : Récupérer une base de données

Re : Récupérer une base de données

Re : Récupérer une base de données

Re : Récupérer une base de données

Re : Récupérer une base de données

Discussions similaires

akota medion recuperer donnees

connection à une base de données avec Acrobat

Logiciel à utiliser pour créer une base de données documentaire

ORACLE XE - Créer une base de données