1. Motivation

** "Utilisez le grattage pour trouver un restaurant délicieux et puissant quel que soit le score du journal de consommation! 』**

J'utilise souvent le journal des aliments lorsque je mange au restaurant, mais le score du journal des aliments est ** faible alors qu'il y a peu de critiques **. En fait, il existe une telle description. (Https://tabelog.com/help/score/)

En tant qu'indice reflétant la voix des utilisateurs, le système est tel que le score augmente à mesure que des évaluations plus élevées sont collectées auprès des utilisateurs qui ont une influence. Par exemple, si le degré d'influence est le même, un magasin avec 100 évaluations à 5 points obtiendra un score plus élevé qu'un magasin avec seulement 2 évaluations à 5 points.

Mais depuis qu'il vient d'ouvrir ** Il doit y avoir un magasin qui propose une excellente cuisine et un service avec peu de critiques **.
Cependant, si vous comptez simplement sur la recherche de classement comme moi, vous ne rencontrerez jamais un tel magasin.
Par conséquent, nous utiliserons pleinement le grattage pour extraire les restaurants qui sont réellement très bien notés dans les premiers jours de l'ouverture.
Je suis content d'avoir un délicieux riz, et je suis sûr que ce sera comme "Vous connaissez cette boutique! Bien!". ~~

2. Code implémenté

Code pour obtenir des informations de manger le journal en Python

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import requests
from bs4 import BeautifulSoup
import math
import time

root_url = 'https://tabelog.com/'
res = requests.get(root_url)
soup = BeautifulSoup(res.content, 'html.parser')
a = soup.find_all('a', class_='rsttop-area-search__target js-area-swicher-target')

area_url = {}
for area in a:
    area_dict = {}
    splitted = area.get('data-swicher-area-list').split('"')
    for i in range(int((len(splitted)-1)/8)):
        area_dict[splitted[i*8+3]] = splitted[i*8+7]
    area_url[area.get('data-swicher-city').split('"')[3]] = area_dict

visit_areas = ['Shibuya / Ebisu / Daikanyama']
url_dict = {}
for visit_area in visit_areas:
    url = area_url['Tokyo'][visit_area]
    time.sleep(1)
    res = requests.get(root_url + url[1:])
    soup = BeautifulSoup(res.content, 'html.parser')
    a = soup.find_all('a', class_='c-link-arrow')
    for area in a:
        href = area['href']
        if href[-21:-8]!=url:
            continue
        else:
            url_dict[area.text] = href

max_page = 20
restaurant_data = []
for area, url in url_dict.items():
    time.sleep(1)
    res_area = requests.get(url)
    soup_area = BeautifulSoup(res_area.content, 'html.parser')
    rc_count = int(soup_area.find_all('span', class_='list-condition__count')[0].text)
    print('There are ' + str(rc_count) + ' restaurants in ' + area)
    for i in range(1,min(math.ceil(rc_count/20)+1,max_page+1,61)):
        print('Processing...  ' + str(i) + '/' + str(min(math.ceil(rc_count/20)+1,max_page+1,61)-1))
        url_rc = url + 'rstLst/RC/' + str(i) + '/?Srt=D&SrtT=nod'
        res_rc = requests.get(url_rc)
        soup_rc = BeautifulSoup(res_rc.content, 'html.parser')
        for rc_div in soup_rc.find_all('div', class_='list-rst__wrap js-open-new-window'):
            rc_name = rc_div.find('a', class_='list-rst__rst-name-target cpy-rst-name').text
            rc_url = rc_div.find('a', class_='list-rst__rst-name-target cpy-rst-name')['href']
            rc_score = rc_div.find('span', class_='c-rating__val c-rating__val--strong list-rst__rating-val')
            if rc_score is None:
                rc_score = -1.
            else:
                rc_score = float(rc_score.text)
            rc_review_num = rc_div.find('em', class_='list-rst__rvw-count-num cpy-review-count').text
            if rc_review_num != ' - ':
                page = 1
                score = []
                while True:
                    rc_url_pg = rc_url + 'dtlrvwlst/COND-2/smp0/?smp=0&lc=2&rvw_part=all&PG=' + str(page)
                    time.sleep(1)
                    res_pg = requests.get(rc_url_pg)
                    soup_pg = BeautifulSoup(res_pg.content, 'html.parser')
                    if 'Je ne trouve pas la page que je recherche' in soup_pg.find('title').text:
                        break
                    try:
                        station = soup_pg.find_all('dl', class_='rdheader-subinfo__item')[0].find('span', class_='linktree__parent-target-text').text
                    except:
                        try:
                            station = soup_pg.find_all('dl', class_='rdheader-subinfo__item')[0].find('dd', class_='rdheader-subinfo__item-text').text.replace('\n','').replace(' ','')
                        except:
                            station = ''
                    genre = '/'.join([genre_.text for genre_ in soup_pg.find_all('dl', class_='rdheader-subinfo__item')[1].find_all('span', class_='linktree__parent-target-text')])
                    price = soup_pg.find_all('dl', class_='rdheader-subinfo__item')[2].find('p', class_='rdheader-budget__icon rdheader-budget__icon--dinner').find('a', class_='rdheader-budget__price-target').text
                    score = score + [score_.next_sibling.next_sibling.text for score_ in soup_pg.find_all('span', class_='c-rating__time c-rating__time--dinner')]
                    page += 1
                    if page == math.ceil(int(rc_review_num)/100)+1:
                        break
                restaurant_data.append([area, rc_count, rc_name, rc_url, rc_score, rc_review_num, station, genre, price, score])

De plus, pour des explications sur le code et des détails, consultez Journal de raclage et de consommation - Je veux trouver un bon restaurant! ~ (Travail), alors jetez un œil si vous êtes intéressé.

3. Quel est le résultat qui vous intéresse? ??

Tracer et visualiser les données

Le résultat est le suivant! Les 400 meilleurs restaurants de Shibuya, Ebisu et Daikanyama sont visés par ordre d'ouverture.

L'axe vertical est le score du journal alimentaire, et l'axe horizontal est la valeur moyenne du score du bouche-à-oreille.
Les restaurants avec peu d'avis sont codés par couleur afin qu'ils deviennent rouges et noirs à mesure que le nombre d'avis augmente.
Comme il y a des restaurants qui n'ont pas reçu de note dans le journal alimentaire, ils sont représentés par un score de 2,9.

Implication

Ce que vous pouvez lire sur ce diagramme de dispersion est ...

** Il existe une corrélation positive entre le score moyen de bouche à oreille et le score du journal alimentaire **, ce qui est particulièrement perceptible dans les magasins avec de nombreux avis (la couleur du marqueur est proche du noir).
Les magasins avec peu d'avis (la couleur du marqueur est proche du rouge) ont généralement de faibles scores de journal alimentaire, mais le score moyen du bouche-à-oreille varie considérablement.
Parce qu'il y a peu de critiques ** Il y a certainement des magasins de bonnes affaires avec des critiques faibles mais des critiques élevées! !! ** Les magasins dans la zone inférieure droite du diagramme de dispersion correspondent à cela.
Lorsque vous regardez réellement les pages de chaque restaurant, vous trouverez des critiques très positives.
Cependant, comme il peut s'agir de marketing du côté des restaurants, il est nécessaire de prendre en compte lors de la visite. Dans certains cas, un magasin affilié d'un restaurant qui est déjà ouvert dans d'autres endroits et qui a un score élevé dans le journal des repas a ouvert à Shibuya, et dans un tel cas, il semble être assez fiable.
Je suis désolé, mais je ne veux pas être confondu avec l'utilisation des données du journal alimentaire pour autre chose que pour un usage privé, je m'abstiendrai donc de lister des noms de restaurants spécifiques ici.

4. Examen plus approfondi

A partir de là, je vais y réfléchir un peu plus, avec ma curiosité.

Distribution des scores

En regardant le diagramme de dispersion plus tôt, j'étais curieux de voir que la distribution des scores du journal des repas était déformée et que les restaurants étaient concentrés sur un score spécifique. Donc, si vous regardez la distribution Je suis également préoccupé par le fait que les restaurants sont concentrés sur un score spécifique, mais je suis également préoccupé par le fait qu'il y ait extrêmement peu de restaurants sur un score spécifique.

3,04 (41 cas) → 3,05 (7 cas)
3,09 (83 cas) → 3,10 (10 cas)
3,29 (20 cas) → 3,30 (2 cas)
3,34 (40 cas) → 3,35 (7 cas)

J'ai enquêté sur la relation avec le nombre d'avis, mais je n'ai pas pu obtenir de résultat qui pourrait expliquer cela ... Peut-être que la clé est les données non acquises cette fois, comme le nombre de jours depuis l'ouverture. Selon la rumeur, il existe une théorie selon laquelle la cotisation annuelle payée par le restaurant au journal alimentaire limite le score du journal alimentaire, ce qui peut également avoir un effet. Cependant, selon la façon de penser, le score du journal alimentaire est faible en raison de la fixation de la limite supérieure du score, mais le score de bouche-à-oreille est un facteur qui provoque des restaurants élevés. Vous pouvez trouver un magasin **.

5. Résumé

J'ai pu collecter des données du journal de consommation en grattant.
Bien qu'il y ait une corrélation entre le score du journal alimentaire et le score du bouche-à-oreille, il y a certainement des magasins où le score du bouche-à-oreille est élevé mais le score du journal alimentaire est faible.
J'irai manger et vérifier la vraie capacité d'un tel magasin à partir de maintenant! Lol
Bien que cela s'écarte de l'objectif de cette période, si nous prenons un peu plus de temps pour élucider plus profondément le mécanisme de notation, il semble qu'une ** stratégie marketing efficace pour les restaurants ** puisse être dérivée. C'est quand j'en ai envie à nouveau ~

[Python] Je veux être une personne gourmande [Approche basée sur les données] Choisir un magasin pour les fêtes de fin d'année et du Nouvel An