Que faire lorsque le résultat téléchargé via scrapy est en anglais

Lorsque je regarde la page dans un navigateur, elle est en japonais, mais lorsque je la télécharge via scrapy, la page en anglais peut être téléchargée. C'est parce que Accept-Lauguage est ʻen` par défaut quand scrapy fait une demande au serveur web, donc vous pouvez demander une page japonaise en écrivant le contenu suivant dans settings.py.

DEFAULT_REQUEST_HEADERS = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'ja,en-US;q=0.8,en;q=0.6',
}

référence: https://doc.scrapy.org/en/latest/topics/settings.html#std:setting-DEFAULT_REQUEST_HEADERS

Recommended Posts

Que faire lorsque le résultat téléchargé via scrapy est en anglais
Que faire lorsque le type de valeur est ambigu en Python?
Que faire lorsque l'avertissement "L'environnement est cohérent ..." apparaît dans l'environnement Anaconda
Que faire quand n'est pas dans le fichier sudoers. Cet incident sera signalé.
Que faire lorsque seule la fenêtre est affichée et que rien ne s'affiche dans le pygame
Que faire lorsqu'un message d'avertissement est affiché dans la liste des pip
[Python] Que faire en cas de violation de PEP8 lors du processus d'importation à partir du répertoire ajouté à sys.path
Que faire si l'abandon s'affiche lors de la saisie d'une vidéo de caméra dans OpenCV
Que faire lorsque le graphique n'apparaît pas sur le notebook Jupyter (IPython)
[openpyxl] Que faire lorsque IllegalCharacterError apparaît dans pandas.DataFrame.to_excel
curl: (60) Que faire lorsque le certificat de l'émetteur n'est pas valide.
Que faire si la barre de progression n'est pas affichée dans tqdm de python
Procédures à suivre lorsque le japonais n'est pas affiché dans matplotlib
Que faire lorsque la police PyCharm est étrange ou déformée
Que faire lorsque "SSL: CERTIFICATE_VERIFY_FAILED _ssl.c: 1056" apparaît en Python
Que faire lorsque "En-tête HTTP_HOST non valide" apparaît dans Django
Que faire s'il n'y a pas de réponse en raison des paramètres de proxy dans le scraping Web Python
Que faire si l'image n'est pas affichée à l'aide de matplotlib etc. dans le conteneur Docker
Que faire lorsqu'un artefact manquant se produit dans un fichier jar qui n'est pas défini dans pom.xml
[AWS] Que faire lorsque la commande ping provoque un "délai d'expiration"
Comment donner et signifier l'option des contraintes dans scipy.optimize.minimize
Que faire lorsque les paramètres de l'extension jupyterlab ne sont pas reflétés
Que faire si «Sans nom: 0» est ajouté dans to_csv-> read_csv des pandas
Que faire lorsque l'inode est épuisé sur EC2 Linux
Que faire si vous ne pouvez pas utiliser la poubelle dans Lubuntu 18.04.
Que faire lorsque vous obtenez "Je ne peux pas voir le site !!!!"
Que faire quand UnicodeDecodeError se produit pendant read_csv dans pandas (pd.read_table ())
Animer ce qui se passe dans l'espace de fréquences lorsque la fréquence de Nyquist est dépassée
Que faire lorsque ModuleNotFoundError: Aucun module nommé'XXX 'ne se produit en Python
Que faire lorsqu'une partie de l'image d'arrière-plan devient transparente lorsque l'image transparente est combinée avec Oreiller
NameError: le nom global'dot_parser 'n'est pas défini et que faire quand il apparaît en python
Qu'est-ce que "mahjong" dans la bibliothèque Python? ??
Lorsque la cible est Ubuntu 16.04 dans Ansible
Que faire s'il y a un décimal dans python json .dumps
Que faire si l'environnement Pipenv est corrompu en mettant à jour Homebrew
[Docker] Que faire en cas d'erreur Impossible de trouver le git binaire apparaît
[Python] Que faire lorsqu'une erreur liée à l'authentification SSL est renvoyée
[OSX] [pyenv] Que faire lorsqu'une erreur SSL se produit dans pip
Que faire lorsque "Quelque chose est déjà en cours d'exécution sur le port 8000" s'affiche lorsque la commande de développement de Gatsby est exécutée.
Comment écrire quoi faire lorsque l'application est affichée pour la première fois dans Qt pour Python avec Designer
Que faire lorsque "Erreur OS: [WinError 126] Le module spécifié est introuvable" apparaît dans la torche d'importation
Exemple de ce qu'il faut faire lorsque l'exemple de script ne fonctionne pas (OpenCV-Python)
Que faire si CERTIFICATE_VERIFY_FAILED se produit lorsque nltk.download () est effectué sur macOS pyhon
Que faire si pipreqs aboutit à UnicodeDecodeError
[python] Que faire si vous obtenez une erreur avec send_keys dans le chrome sans tête
Qu'est-ce que wheezy dans l'image Docker Python?
Que faire lorsqu'une erreur SSL se produit avec pip dans l'environnement Windows10, miniconda, VScode
Que faire lorsqu'un avertissement apparaît autour de l'intégration de Python dans CheckHealth de Neovim
Que faire si vous obtenez l'erreur RuntimeError: Python n'est pas installé en tant que framework lorsque vous essayez d'utiliser matplitlib et pylab dans Python 3.3
Que faire lorsque "TypeError: type de données non compris" apparaît dans numpy.zeros de python
Que faire quand une PermissionError dans tempfile.mkstemp se produit
Que faire lorsque [Errno 2] Aucun fichier ou répertoire de ce type n'apparaît en Python
Que faire pour obtenir une feuille de calcul Google en Python
Que faire si une erreur de version se produit dans le pilote Selenium Chrome
[EC2] Que faire lorsque le sélénium est bloqué et que le traitement ne se poursuit pas
Que faire si (base) est affiché au début du terminal Mac
Qu'advient-il du journal d'accès lorsque le site Web est automatiquement accédé par sélénium-webdriver