Que faire s'il n'y a pas de réponse en raison des paramètres de proxy dans le scraping Web Python

Notez ce qu'il faut faire si vous êtes bloqué dans une erreur lorsque vous essayez de créer un programme qui extrait automatiquement les informations Web requises pour le scraping avec Python.

J'essayais de créer un programme de scraping Web avec urllib et Beautifulsoup de Python. Cependant, j'ai eu une erreur (un message comme celui ci-dessous) indiquant que le premier urllib.request.urlopen (...) n'a pas répondu.

Il semble que la communication n'ait pas été établie en raison de l'existence du serveur proxy. Le proxy était le suivant dans Internet Explorer.

Le script de configuration automatique était http://proxy.-----.co.jp/proxy.pac. (----- n'est pas le vrai, il est dans le vide.)

Avant urlopen, je l'ai résolu en préparant ProxyHandler pour urllib.request, en le définissant dans build_opener et en installant build_opener.

L'exemple de code est ci-dessous.

scrapetest.py


import urllib.request
proxies ={'http':'http://proxy.-----.co.jp/proxy.pac'}
proxy_handler = urllib.request.ProxyHandler(proxies)
opener = urllib.request.build_opener(proxy_handler)
urllib.request.install_opener(opener)
html = urllib.request.urelopen("http://wwww.pythonscraping.com/pages/page1.html")
print(html.read())

L'environnement de développement est Python 3.5.2 par Anaconda sur Windows.

Vous en apprendrez davantage sur la programmation du web scraping dans le livre ci-dessous. Web scraping avec Python (O'Reilly)

Recommended Posts

Que faire s'il n'y a pas de réponse en raison des paramètres de proxy dans le scraping Web Python
Que faire lorsque ModuleNotFoundError: Aucun module nommé'XXX 'ne se produit en Python
Que faire lorsque le type de valeur est ambigu en Python?
Que faire s'il y a un décimal dans python json .dumps
Que faire lorsque [Errno 2] Aucun fichier ou répertoire de ce type n'apparaît en Python
[Python] Que faire quand Aucun module nommé "pyproj.datadir" n'apparaît lors de la création d'Exe avec PyInstaller
Que faire lorsque "SSL: CERTIFICATE_VERIFY_FAILED _ssl.c: 1056" apparaît en Python
Il n'y a pas de commutateur en python
NameError: le nom global'dot_parser 'n'est pas défini et que faire quand il apparaît en python
Que faire si aucune documentation Python trouvée pour ... apparaît dans pydoc
[Python] Que faire lorsqu'une erreur liée à l'authentification SSL est renvoyée
Que faire lorsque l'avertissement "L'environnement est cohérent ..." apparaît dans l'environnement Anaconda
Que faire lorsqu'un message d'avertissement est affiché dans la liste des pip
[Python] Que faire en cas de violation de PEP8 lors du processus d'importation à partir du répertoire ajouté à sys.path
Comment écrire quoi faire lorsque l'application est affichée pour la première fois dans Qt pour Python avec Designer
Que faire pour obtenir une feuille de calcul Google en Python
Que faire lorsqu'un avertissement apparaît autour de l'intégration de Python dans CheckHealth de Neovim
Que faire si l'abandon s'affiche lors de la saisie d'une vidéo de caméra dans OpenCV
Que faire lorsque l'imitation est intégrée à Python
[openpyxl] Que faire lorsque IllegalCharacterError apparaît dans pandas.DataFrame.to_excel
curl: (60) Que faire lorsque le certificat de l'émetteur n'est pas valide.
Que faire lorsque "impossible d'importer le nom xxx" [Python]
Je ne peux pas utiliser le shell pipenv ... que dois-je faire?
Je veux faire quelque chose avec Python à la fin
[Python] Erreur de type: l'objet 'WebElement' n'est pas itérable Que faire lorsqu'une erreur se produit
Que faire quand n'est pas dans le fichier sudoers. Cet incident sera signalé.
Que faire quand "Aucun noyau pour le langage python trouvé" apparaît dans Hydrogen
Que faire lorsque seule la fenêtre est affichée et que rien ne s'affiche dans le pygame
Que faire si vous obtenez une erreur lors de l'importation de matplotlib en Python (Mac)
Que faire si la barre de progression n'est pas affichée dans tqdm de python
Que faire si vous ne voyez pas IntelliSense de Python dans VS Code sous Windows
Que faire lorsque ʻarguments [0] .scrollIntoView (); `échoue dans python sélénium
Procédures à suivre lorsque le japonais n'est pas affiché dans matplotlib
Que faire lorsqu'un artefact manquant se produit dans un fichier jar qui n'est pas défini dans pom.xml
Que faire lorsque swagger-codegen est terminé avec python et Erreur d'importation: aucun module nommé n'apparaît
Que faire lorsque "En-tête HTTP_HOST non valide" apparaît dans Django
Lorsque "Aucune modification détectée" s'affiche dans python3 manage.py makemigrations
ImportError: Pas de module Que faire quand on vous dit
Que faire lorsque le type de valeur est ambigu en Python?
Que faire s'il y a un décimal dans python json .dumps
Qu'est-ce que "mahjong" dans la bibliothèque Python? ??
Qu'est-ce que wheezy dans l'image Docker Python?
Que faire quand n'est pas dans le fichier sudoers. Cet incident sera signalé.
Que faire si la barre de progression n'est pas affichée dans tqdm de python
Résoudre un coup (retour en arrière sans récursivité en Python)
Que faire s'il n'y a pas de réponse en raison des paramètres de proxy dans le scraping Web Python
Que faire si un message d'erreur "Un problème est survenu lors de l'affichage de cette page Web" s'affiche dans le pilote Web de Chrome (Selenium)
Que faire si vous obtenez `locale.Error: unsupported locale setting` lors de l'obtention de la date du jour en Python
Dans la fusion via pull request, il n'y a pas d'informations de committer dans la réponse de l'API Github
Que faire si un avertissement de plate-forme non sécurisée apparaît lors de l'exécution de Python
Que faire si «Sans nom: 0» est ajouté dans to_csv-> read_csv des pandas
Que faire quand UnicodeDecodeError se produit pendant read_csv dans pandas (pd.read_table ())
Que faire avec la sortie de PYTHON?
[Mac OS] Que faire lorsque Python n'est pas installé en tant que framework S'affiche lors de l'importation de matplot lib.
Que faire si PyInstaller3.5 provoque une erreur dans Python3.8 (TypeError: un entier est requis (obtenu les octets de type))
Que faire si vous ne pouvez pas utiliser la recherche de grille de sklearn en Python
Comment écrire une chaîne de caractères lorsqu'il y a plusieurs lignes en python
Lors de l'émission d'une instruction INSERT en Python, aucune colonne de ce type n'est affichée
Après tout, que dois-je utiliser pour faire des comparaisons de types en Python?