Vous serez ingénieur dans 100 jours ――Jour 74 ――Programmation ――À propos du scraping 5

Cliquez ici jusqu'à hier

Vous deviendrez ingénieur dans 100 jours-70-Programmation-À propos du scraping

Vous deviendrez ingénieur dans 100 jours - Jour 66 - Programmation - À propos du traitement du langage naturel

Vous deviendrez ingénieur dans 100 jours - Jour 63 - Programmation - À propos de la probabilité 1

Vous deviendrez ingénieur dans 100 jours - Jour 59 - Programmation - À propos des algorithmes

Vous deviendrez ingénieur dans 100 jours --- Jour 53 --Git --À propos de Git

Vous deviendrez ingénieur dans 100 jours - Jour 42 --Cloud --À propos des services cloud

Vous deviendrez ingénieur dans 100 jours - Jour 36 --Base de données --À propos de la base de données

Vous deviendrez ingénieur dans 100 jours-24 jours-Python-Bases du langage Python 1

Vous deviendrez ingénieur dans 100 jours --Jour 18 --Javascript --Les bases de JavaScript 1

Vous deviendrez ingénieur dans 100 jours - Jour 14 --CSS --CSS Basics 1

Vous deviendrez ingénieur dans 100 jours - Jour 6 --HTML - Bases du HTML 1

Cette fois, c'est aussi une continuation du grattage.

Le principe du grattage est révolu jusqu'à la dernière fois. Aujourd'hui, c'est l'histoire de Selenium.

À propos de Selenium

Selenium est un logiciel cadre pour automatiser le fonctionnement des navigateurs WEB.

En utilisant Selenium, vous pouvez le faire uniquement avec la bibliothèque de requêtes Python`. Vous pourrez obtenir des informations qui ne peuvent être obtenues par grattage.

Alors, quelles sont les informations qui ne peuvent pas être obtenues?

Dans la bibliothèque normale requests, les informations qui peuvent être obtenues par la méthode get etc. sont la source du HTML.

Si certains des éléments sont écrits pour être rendus en Javascript Si Javascript ne fonctionne pas, il ne sera pas reflété sous forme de données.

Par conséquent, les éléments générés dynamiquement par Javascript sont dans la bibliothèque requests. Il ne peut pas être obtenu.

Selenium exécute un navigateur WEB pour obtenir des données, donc ce n'est pas différent d'accéder avec un navigateur normal. Javascript fonctionne également et vous pouvez obtenir les données rendues.

Ce dont vous avez besoin pour exécuter Selenium

Les trois suivants sont nécessaires pour exécuter "Selenium" sur un PC ou autre.

** Navigateur WEB ** Chrome, Firefox, Opera, etc.

WebDriver Logiciel d'exploitation du navigateur

Selenium Une bibliothèque qui exploite le navigateur par programmation en coopération avec WebDriver

Installation de divers outils

La méthode d'installation est la suivante.

** Installation du navigateur WEB ** Téléchargez depuis le site de téléchargement de divers navigateurs et installez

Google Chrome

Firefox

Opera

** Télécharger WebDriver ** WebDriver n'a pas besoin d'être installé, il suffit de le télécharger et de le déployer. Après le téléchargement, placez-le dans un répertoire à proximité du programme.

Le pilote changera au fur et à mesure que la version du navigateur sera mise à jour, téléchargez-le donc en fonction de la version à chaque fois.

Google Chrome

Firefox

Opera

** Installation de Selenium ** La méthode d'installation en Python est la suivante.

pip install selenium

Exécutez Selenium

Comme procédure pour déplacer Selenium

  1. Installation du navigateur
  2. Téléchargez et déployez WebDriver
  3. Installez Selenium est.

Ici, exploitons «Google Chrome» à partir de «Selenium».

from selenium import webdriver

#Paramètres du pilote
chromedriver = "Pass complet du conducteur"
driver = webdriver.Chrome(executable_path=chromedriver)

driver.get('URL d'accès')

Cela lancera le navigateur.

J'utilise "webdriver.Chrome" car le navigateur à lancer est "Google Chrome". La méthode correspondante change en fonction du navigateur. Firefox:webdriver.Firefox Opera:webdriver.Opera

J'écris le chemin WebDriver dans chemin_exécutable Il ne semble pas le reconnaître à moins qu'il ne s'agisse d'un chemin complet (chemin absolu). Mettons le pilote Web dans une hiérarchie peu profonde.

Avez-vous pu lancer votre navigateur avec Selenium jusqu'à présent?

La prochaine fois, je vais commencer à utiliser le navigateur à partir d'ici.

Résumé

Avec du sélénium, avec des techniques de grattage normales C'est pratique car vous pouvez facilement obtenir des informations qui ne peuvent pas être obtenues.

Si vous rencontrez des difficultés pour obtenir des données, essayez le sélénium.

26 jours jusqu'à ce que vous deveniez ingénieur

Informations sur l'auteur

HP d'Otsu py: http://www.otupy.net/

Youtube: https://www.youtube.com/channel/UCaT7xpeq8n1G_HcJKKSOXMw

Twitter: https://twitter.com/otupython

Recommended Posts

Vous serez ingénieur dans 100 jours ――Jour 74 ――Programmation ――À propos du scraping 5
Vous serez ingénieur dans 100 jours ――Jour 73 ――Programmation ――À propos du scraping 4
Vous serez ingénieur dans 100 jours ――Jour 75 ――Programmation ――À propos du scraping 6
Vous serez ingénieur dans 100 jours ――Jour 70 ――Programmation ――À propos du grattage
Vous serez ingénieur dans 100 jours ――Jour 61 ――Programmation ――A propos de l'exploration
Vous deviendrez ingénieur dans 100 jours --Jour 68 --Programmation --A propos de TF-IDF
Vous serez ingénieur dans 100 jours ――Jour 81 ――Programmation ――À propos de l'apprentissage automatique 6
Vous serez ingénieur dans 100 jours ――Jour 82 ――Programmation ――À propos de l'apprentissage automatique 7
Vous serez ingénieur dans 100 jours ――Jour 79 ――Programmation ――À propos de l'apprentissage automatique 4
Vous serez ingénieur dans 100 jours ――Jour 76 ――Programmation ――À propos de l'apprentissage automatique
Vous serez ingénieur dans 100 jours ―― Jour 80 ―― Programmation ―― À propos de l'apprentissage automatique 5
Vous serez ingénieur dans 100 jours ――Jour 78 ――Programmation ――À propos de l'apprentissage automatique 3
Vous serez ingénieur dans 100 jours ――Jour 84 ――Programmation ――À propos de l'apprentissage automatique 9
Vous serez ingénieur dans 100 jours ――Jour 83 ――Programmation ――À propos de l'apprentissage automatique 8
Vous serez ingénieur dans 100 jours ――Jour 77 ――Programmation ――À propos de l'apprentissage automatique 2
Vous serez ingénieur dans 100 jours ――Jour 85 ――Programmation ――À propos de l'apprentissage automatique 10
Vous serez ingénieur dans 100 jours ――Jour 63 ――Programmation ――À propos de la probabilité 1
Vous serez ingénieur dans 100 jours ――Jour 65 ――Programmation ――A propos de la probabilité 3
Vous serez ingénieur dans 100 jours ――Jour 64 ――Programmation ――À propos de la probabilité 2
Vous serez ingénieur dans 100 jours --Jour 86 --Base de données -
Vous serez ingénieur dans 100 jours ―― Jour 60 ―― Programmation ―― À propos de la structure des données et de l'algorithme de tri
Vous serez ingénieur dans 100 jours - Jour 27 - Python - Exercice Python 1
Vous serez ingénieur dans 100 jours - Jour 31 - Python - Python Exercice 2
Vous devenez ingénieur en 100 jours ――Jour 67 ――Programmation ――A propos de l'analyse morphologique
Vous devenez ingénieur en 100 jours ――Jour 66 ――Programmation ――À propos du traitement du langage naturel
Vous serez ingénieur dans 100 jours ――Jour 24 ―― Python ―― Bases du langage Python 1
Vous serez ingénieur dans 100 jours ――Jour 30 ―― Python ―― Bases du langage Python 6
Vous serez ingénieur dans 100 jours ――Jour 25 ―― Python ―― Bases du langage Python 2
Vous serez ingénieur dans 100 jours - Jour 29 - Python - Bases du langage Python 5
Vous serez ingénieur dans 100 jours - Jour 33 - Python - Bases du langage Python 8
Vous devenez ingénieur en 100 jours - Jour 35 - Python - Ce que vous pouvez faire avec Python
Vous serez ingénieur dans 100 jours --Jour 32 --Python --Basiques du langage Python 7
Vous serez ingénieur dans 100 jours --Jour 28 --Python --Les bases du langage Python 4
Lorsqu'une erreur se produit dans le scraping python (requêtes)
Vous devez faire attention aux commandes que vous utilisez quotidiennement dans l'environnement de production.
Ce que les débutants pensent de la programmation en 2016