Utilisez ScraperWiki pour obtenir régulièrement des données de votre site Web

Si vous utilisez le service "ScraperWiki", vous pouvez utiliser Web Scraping sans avoir à louer un serveur vous-même. 82% A6% E3% 82% A7% E3% 83% 96% E3% 82% B9% E3% 82% AF% E3% 83% AC% E3% 82% A4% E3% 83% 94% E3% 83% B3% E3% 82% B0) peut être effectué régulièrement.

Caractéristiques de ScraperWiki

• Le script Scraper peut être édité et exécuté sur le navigateur
• Peut exécuter des scripts régulièrement
• Vous pouvez exporter les données acquises avec csv ou les acquérir via l'API JSON.
• Les données acquises peuvent être affichées sous forme de tableau ou de graphique.
• Gratuit jusqu'à 3 jeux de données

capture d'écran

Écran d'édition de script

DB

Exemple de script Scraper

#!/usr/bin/env python
import scraperwiki
import lxml.html
import json

url = "http://target.website.hoge/index.html" #Site cible à gratter
html = scraperwiki.scrape(url)		#acquisition de documents html
root = lxml.html.fromstring(html)	#Obtenir l'objet élément racine

data = []
id = 0
for el in root.cssselect("#hoge_contents > li > span"):  #Extraire des éléments avec le sélecteur CSS
    data.append({'id':id, 'text':el.text })	#Enregistrez le texte de l'élément extrait
    id = id + 1

print repr(data)	#Sortie des données enregistrées vers la console


# Saving data:
unique_keys = [ 'id' ] #Spécifiez une clé unique
scraperwiki.sql.save(unique_keys, data)	#Enregistrer dans la base de données

Exemple réellement utilisé http://shimz.me/blog/d3-js/3353