Ceci est un extrait de la partie Spider qui est au cœur de l'exploration. J'ai utilisé Beutiful Soup pour l'analyse.

tabelogcrawl/spiders/tlspider.py

# -*- coding: utf-8 -*-

from urllib.parse import urlparse, parse_qs
from datetime import datetime
import pytz
import scrapy
from scrapy.contrib.spiders import CrawlSpider
from bs4 import BeautifulSoup
from tabelogcrawl.items import TabelogcrawlItem

#Combien d'articles à obtenir par page(Réglé sur 1 lors de la vérification du fonctionnement)
LIMIT_GET_PER_PAGE = 20

class TLSpider(CrawlSpider):

    name = "tlspider"
    allowed_domains = ["tabelog.com"]
    start_urls = (
        'https://tabelog.com/tokyo/A1319/rstLst/ramen/1/?Srt=D&SrtT=rt&sort_mode=1',
    )

    def parse(self, response):
        #Extraire les informations du magasin et stocker les scores de la liste.
        soup = BeautifulSoup(response.body, "html.parser")
        summary_list = soup.find_all("a", class_="cpy-rst-name")
        score_list = soup.find_all(
            "span", class_="list-rst__rating-val", limit=LIMIT_GET_PER_PAGE)

        for summary, score in zip(summary_list, score_list):
            #Stockez les informations nécessaires pour chaque magasin dans TabelogcrawlItem.
            jstnow = pytz.timezone(
                'Asia/Tokyo').localize(datetime.now()).strftime('%Y/%m/%d')
            item = TabelogcrawlItem()
            item['date'] = jstnow
            item['name'] = summary.string
            item['score'] = score.string
            href = summary["href"]
            item['link'] = href

            #Pour obtenir la latitude et la longitude du magasin
            #La page de détails est également explorée et stockée dans TabelogcrawlItem.
            request = scrapy.Request(
                href, callback=self.parse_child)
            request.meta["item"] = item
            yield request

        #page suivante.
        soup = BeautifulSoup(response.body, "html.parser")
        next_page = soup.find(
            'a', class_="page-move__target--next")
        if next_page:
            href = next_page.get('href')
            yield scrapy.Request(href, callback=self.parse)

    def parse_child(self, response):
        #Extrayez la latitude et la longitude du magasin.
        soup = BeautifulSoup(response.body, "html.parser")
        g = soup.find("img", class_="js-map-lazyload")
        longitude, latitude = parse_qs(
            urlparse(g["data-original"]).query)["center"][0].split(",")
        item = response.meta["item"]
        item['longitude'] = longitude
        item['latitude'] = latitude
        return item

Pour Django, la partie vue est extraite. La partie où la couleur est décidée en fonction du score est appropriée, je voudrais donc la colorer un peu mieux par normalisation, etc.

tabelogmap/gmapi/views.py

# -*- coding: utf-8 -*-

import codecs
import ast

from django import forms
from django.shortcuts import render_to_response
from gmapi import maps
from gmapi.forms.widgets import GoogleMap

SAVE_FILE = "../tabelog_data.txt"


class MapForm(forms.Form):
    map = forms.Field(
        widget=GoogleMap(
            attrs={'width': 1850, 'height': 900}))

def index(request):
    json_path = SAVE_FILE
    raw_list = codecs.open(json_path, "r", encoding="utf-8").read().split("\n")

    gmap = maps.Map(opts={
        'center': maps.LatLng(35.70361991852944, 139.64842779766255),
        'mapTypeId': maps.MapTypeId.ROADMAP,
        'zoom': 15,
        'mapTypeControlOptions': {
            'style': maps.MapTypeControlStyle.DROPDOWN_MENU
        },
    })
    info = maps.InfoWindow({
        'content': 'Délinquance à Ramen',
        'disableAutoPan': True
    })

    for raw_data in raw_list:
        try:
            json_data = ast.literal_eval(raw_data)
        except:
            continue

        if float(json_data["score"]) > 3.5:
            color = "FF776B"
        elif float(json_data["score"]) > 3.0:
            color = "FFBB00"
        else:
            color = "FFFFFF"

        marker_info = {
            'map': gmap,
            'position': maps.LatLng(
                float(json_data["longitude"]),
                float(json_data["latitude"])),
            "label": "%s(%s)" % (
                json_data["name"],
                json_data["score"]),
            "color": color
        }

        marker = maps.Marker(opts=marker_info)

        maps.event.addListener(marker, 'mouseover', 'myobj.markerOver')
        maps.event.addListener(marker, 'mouseout', 'myobj.markerOut')
        info.open(gmap, marker)

    context = {'form': MapForm(initial={'map': gmap})}
    return render_to_response('index.html', context)

</ i> Impressions