Grattage réussi avec Selenium

Grattage avec du sélénium

Je l'ai écrit afin de répondre à l'exigence que les 55 pages et 24 images de produits par page doivent être acquises. Le sélénium est vraiment pratique. Si vous connaissez le nom du produit, l'URL du produit et le code SRC de l'image du produit sous forme de texte, c'est OK pour le moment, donc c'est très concis.

seleniumer.py


import os, re
import time
from selenium import webdriver

DRIVER_PATH = os.path.join(os.path.dirname(__file__), 'chromedriver')
browser = webdriver.Chrome(DRIVER_PATH)
url = 'https://www.XXXXXXXX'
browser.get(url)

for i in range(56):
    try:
        img_list = []
        urls_list = []
        name_list = []

        for i in browser.find_elements_by_xpath('//*[@id="find-results"]/div/div/div/a[1]/img[1]'):
            imgs = i.get_attribute('src')
            img_list.append(imgs)

        for a in browser.find_elements_by_xpath('//*[@id="find-results"]/div/div/div/a[1]'):
            urls = a.get_attribute('href')
            urls_list.append(urls)

        for t in browser.find_elements_by_xpath('//*[@id="find-results"]/div/div/div/a/div/span[1]/span'):
            name = t.text
            name_list.append(name)

        for img_src, urls_href, name_title in zip(img_list, urls_list, name_list):
            print (name_title, urls_href, img_src, "\n+++++++++++++++++++++++++++++++++++++++++++++++++++")

        link_elem = browser.find_element_by_class_name('control-page-next-button')
        link_elem.click()

        time.sleep(3)
    except:
        print ('not found!')

browser.close()

Si vous souhaitez connaître le xpath utilisé dans browser.find_elements_by_xpath, vous pouvez le coller à partir de COPY dans Chrome. J'ai été impressionné par le fait qu'il a une fonction extrêmement utile.

Il semble que la méthode find_elements () doive être inversée pour.

Recommended Posts

Grattage réussi avec Selenium
Grattage au sélénium
Grattage au sélénium ~ 2 ~
Grattage avec du sélénium
Grattage avec du sélénium [Python]
Grattage au sélénium en Python
Grattage avec Selenium + Python Partie 1
Grattage avec du sélénium en Python
Grattage avec Selenium + Python Partie 2
Gratter la page i-town avec du sélénium
Scraping avec Selenium en Python (Basic)
Grattage avec Python, Selenium et Chromedriver
Grattage avec Python
Grattage avec Python
Commençant par Selenium
Pratiquer le web scraping avec Python et Selenium
Grattage en Python (préparation)
Essayez de gratter avec Python.
Grattage avec Python + PhantomJS
Grattage avec coquille tremblante
ScreenShot avec Selenium (édition Python)
Scraping avec Python + PyQuery
Gratter avec une belle soupe
Scraping RSS avec Python
J'étais accro au grattage avec Selenium (+ Python) en 2020
J'ai essayé de gratter avec Python
Télécharger automatiquement des images avec grattage
Web scraping avec python + JupyterLab
Grattage avec chromedriver en python
Grattage festif avec Python, scrapy
Enregistrez des images avec le web scraping
Python: travailler avec Firefox avec du sélénium
Grattage Web facile avec Scrapy
Grattage avec Tor en Python
Web scraping avec Selenium (Python)
Scraping prévisions météorologiques avec python
Souvenirs de combats avec Selenium
Gratter la moyenne du Nikkei avec le dramaturge-python
Essayez Selenium Grid avec Docker
[Python + Selenium] Conseils pour le grattage
J'ai essayé de gratter avec du python
Web scraping débutant avec python
Update_with_media réussi avec l'API Twitter
Grattage de table avec belle soupe
[Python, Selenium, PhantomJS] Une histoire lors de la capture d'un site Web avec une charge paresseuse
Essayez de gratter avec Python + Beautiful Soup
Racler plusieurs pages avec Beautiful Soup
Scraping avec Node, Ruby et Python
Grattage WEB avec BeautifulSoup4 (page en couches)
Gratter le classement Web d'Alexa avec pyQuery
Résumé de la relation de grattage (sélénium, pyautogui)
Web scraping avec Python Première étape
J'ai essayé webScraping avec python.
Grattage avec Python et belle soupe
sélénium
Gratter avec une belle soupe en 10 minutes
Des tests plus familiers avec Selenium