Grattage avec du sélénium en Python

introduction

J'ai résumé Selenium en grattant avec Python. Le grattage est assez amusant. Je l'ai utilisé à d'autres fins, telles que l'automatisation des achats et la collecte de données.

environnement

Windows10 Python Selenium Pilote de navigateur dédié que vous souhaitez utiliser (par exemple, pilote Chrome)

Installation de sélénium

Si vous n'avez pas encore créé d'environnement Python, cliquez sur ici. Comment créer un environnement pour Python est publié. (Version Windows)

Si vous avez déjà construit un environnement Python, veuillez installer Selenium.

pip install selenium

Télécharger le pilote du navigateur

Vous aurez besoin d'un pilote correspondant au navigateur que vous utilisez. (Exemple: pilote Chrome)

Ouvrez un navigateur utilisant Selenium en Python

Ouvrez votre navigateur en utilisant Selenium.

from selenium import webdriver

driver = webdriver.Chrome() #()Chauffeur en_décrire le chemin
driver.get(URL)
driver.close()
driver.quit()

Tout d'abord, ouvrez le navigateur sur la première ligne Spécifiez l'URL que vous souhaitez ouvrir dans la deuxième ligne La troisième ligne ferme la page La ligne 4 quitte le navigateur

driver_path est ok sans description lorsque le pilote est dans le même répertoire.

Obtenir l'élément

Vient ensuite l'acquisition des éléments nécessaires au fonctionnement de la page. J'utilise souvent ces deux.

id get_id = driver.find_element_by_id (" écrire l'ID dans ce ") Il est recommandé car l'identifiant sera sûrement obtenu.

xpath get_xpath = driver.find_element_by_xpath (" écrire xpath dans ce ") Comme cela change souvent lorsque l'écran change, je réécris le xpath à chaque fois.

Et si vous ne pouvez pas l'obtenir parce que ce n'est pas sur HTML, mais que vous voulez cette valeur, il est recommandé de l'obtenir à partir de js. price = driver.execute_script (" décrire le traitement js ") En écrivant comme ci-dessus, vous pouvez obtenir la valeur qui n'est pas à l'écran mais qui est traitée du côté js.

Il y a des moments où js ne l'a pas non plus, donc je n'ai pas d'autre choix que d'abandonner à ce moment-là: suer:

Cliquez sur le bouton

Lorsque vous souhaitez cliquer sur un bouton d'un formulaire, vous pouvez cliquer dessus avec click ().

`driver.find_elemnt_by_id ('écrire l'ID dans ceci'). click () Vous pouvez cliquer sur l'élément bouton dans le processus ci-dessus.

Utilisons le traitement du sommeil

Il arrive souvent qu'un élément ne puisse pas être supprimé et qu'une erreur se produise. Dans ce cas, utilisez sleep () et attendez que l'écran apparaisse.

en conclusion

Il existe de nombreuses autres façons d'utiliser le sélénium, mais j'ai écrit cet article pour vous dire ce que vous pouvez faire. Si vous souhaitez en savoir plus, consultez les articles écrits par d'autres personnes et augmentez vos connaissances. Et automatisons tout!

référence

https://kurozumi.github.io/selenium-python/installation.html https://qiita.com/nadechin/items/0a34e2182132cc1a821b

Recommended Posts

Grattage au sélénium en Python
Grattage avec du sélénium en Python
Scraping avec Selenium en Python (Basic)
Grattage avec du sélénium [Python]
Grattage avec Selenium + Python Partie 1
Grattage avec Tor en Python
Grattage avec Selenium + Python Partie 2
Grattage au sélénium
Grattage avec Python
Grattage avec Python
Grattage avec du sélénium
J'étais accro au grattage avec Selenium (+ Python) en 2020
Grattage réussi avec Selenium
Grattage en Python (préparation)
Essayez de gratter avec Python.
Grattage avec Python + PhantomJS
ScreenShot avec Selenium (édition Python)
Pratiquer le web scraping avec Python et Selenium
Scraping avec Python + PyQuery
Scraping RSS avec Python
Connectez-vous à Yahoo Business avec Selenium Python
Réalisez le scraping avec le sélecteur Python et CSS en 1 minute
J'ai essayé de gratter avec Python
Web scraping avec python + JupyterLab
Exploitez LibreOffice avec Python
Grattage festif avec Python, scrapy
Débogage avec pdb en Python
Python: travailler avec Firefox avec du sélénium
Gérer les sons en Python
Tweet avec image en Python
Combiné avec ordinal en Python
Web scraping avec Selenium (Python)
Scraping prévisions météorologiques avec python
[Python + Selenium] Conseils pour le grattage
J'ai essayé de gratter avec du python
Web scraping débutant avec python
Gratter la page i-town avec du sélénium
[Scraping] Scraping Python
Reconnaissance des nombres dans les images avec Python
Essayez de gratter avec Python + Beautiful Soup
Tester avec des nombres aléatoires en Python
Scraping avec Node, Ruby et Python
GOTO en Python avec Sublime Text 3
Travailler avec LibreOffice en Python: import
Analyse CSS avec cssutils en Python
Web scraping avec Python Première étape
J'ai essayé webScraping avec python.
Grattage avec Python et belle soupe
Numer0n avec des objets fabriqués avec Python
Gratter avec une belle soupe en 10 minutes
Utiliser rospy avec virtualenv dans Python3
Ecrire le code de test du sélénium en python
Faisons du scraping d'images avec Python
Utiliser Python mis en pyenv avec NeoVim
Heatmap avec dendrogramme en Python + matplotlib
Obtenez les tendances Qiita avec le scraping Python
Lire des fichiers en parallèle avec Python
Générer un mot de passe pour le manuel avec python