Vous serez ingénieur dans 100 jours ――Jour 74 ――Programmation ――À propos du scraping 5

Cliquez ici jusqu'à hier

Cette fois, c'est aussi une continuation du grattage.

Le principe du grattage est révolu jusqu'à la dernière fois. Aujourd'hui, c'est l'histoire de Selenium.

À propos de Selenium

Selenium est un logiciel cadre pour automatiser le fonctionnement des navigateurs WEB.

En utilisant Selenium, vous pouvez le faire uniquement avec la bibliothèque de requêtes Python`. Vous pourrez obtenir des informations qui ne peuvent être obtenues par grattage.

Alors, quelles sont les informations qui ne peuvent pas être obtenues?

Dans la bibliothèque normale requests, les informations qui peuvent être obtenues par la méthode get etc. sont la source du HTML.

Si certains des éléments sont écrits pour être rendus en Javascript Si Javascript ne fonctionne pas, il ne sera pas reflété sous forme de données.

Par conséquent, les éléments générés dynamiquement par Javascript sont dans la bibliothèque requests. Il ne peut pas être obtenu.

Selenium exécute un navigateur WEB pour obtenir des données, donc ce n'est pas différent d'accéder avec un navigateur normal. Javascript fonctionne également et vous pouvez obtenir les données rendues.

Ce dont vous avez besoin pour exécuter Selenium

Les trois suivants sont nécessaires pour exécuter "Selenium" sur un PC ou autre.

** Navigateur WEB ** Chrome, Firefox, Opera, etc.

WebDriver Logiciel d'exploitation du navigateur

Selenium Une bibliothèque qui exploite le navigateur par programmation en coopération avec WebDriver

Installation de divers outils

La méthode d'installation est la suivante.

** Installation du navigateur WEB ** Téléchargez depuis le site de téléchargement de divers navigateurs et installez

Google Chrome

Firefox

Opera

** Télécharger WebDriver ** WebDriver n'a pas besoin d'être installé, il suffit de le télécharger et de le déployer. Après le téléchargement, placez-le dans un répertoire à proximité du programme.

Le pilote changera au fur et à mesure que la version du navigateur sera mise à jour, téléchargez-le donc en fonction de la version à chaque fois.

Google Chrome

Firefox

Opera

** Installation de Selenium ** La méthode d'installation en Python est la suivante.

pip install selenium

Exécutez Selenium

Comme procédure pour déplacer Selenium

Installation du navigateur
Téléchargez et déployez WebDriver
Installez Selenium est.

Ici, exploitons «Google Chrome» à partir de «Selenium».

from selenium import webdriver

#Paramètres du pilote
chromedriver = "Pass complet du conducteur"
driver = webdriver.Chrome(executable_path=chromedriver)

driver.get('URL d'accès')

Cela lancera le navigateur.

J'utilise "webdriver.Chrome" car le navigateur à lancer est "Google Chrome". La méthode correspondante change en fonction du navigateur. Firefox:webdriver.Firefox Opera:webdriver.Opera

J'écris le chemin WebDriver dans chemin_exécutable Il ne semble pas le reconnaître à moins qu'il ne s'agisse d'un chemin complet (chemin absolu). Mettons le pilote Web dans une hiérarchie peu profonde.

Avez-vous pu lancer votre navigateur avec Selenium jusqu'à présent?

La prochaine fois, je vais commencer à utiliser le navigateur à partir d'ici.

Résumé

Avec du sélénium, avec des techniques de grattage normales C'est pratique car vous pouvez facilement obtenir des informations qui ne peuvent pas être obtenues.

Si vous rencontrez des difficultés pour obtenir des données, essayez le sélénium.

26 jours jusqu'à ce que vous deveniez ingénieur

Informations sur l'auteur

HP d'Otsu py: http://www.otupy.net/

Youtube： https://www.youtube.com/channel/UCaT7xpeq8n1G_HcJKKSOXMw

Twitter： https://twitter.com/otupython