Sélénium, Phantomjs et BeautifulSoup4

Installation des packages requis

$ cat /etc/lsb-release
DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=16.04
DISTRIB_CODENAME=xenial
DISTRIB_DESCRIPTION="Ubuntu 16.04 LTS"

$ sudo aptitude install phantomjs xvfb
$ pip install selenium pyvirtualdisplay
from selenium import webdriver
from pyvirtualdisplay import Display
display = Display(visible=0, size=(800, 600))
display.start()
# <Display cmd_param=['Xvfb', '-br', '-nolisten', 'tcp', '-screen', ' - snip -

driver = webdriver.PhantomJS()
driver.get("http://www.example.com)
type(driver.page_source)
# <class 'str'>

driver.page_source
# '<!DOCTYPE html><html itemscope="" itemtype="http://schema.org/Web - snip -

from bs4 import BeautifulSoup
soup = BeautifulSoup(driver.page_sourve)
i = [ {"href": x["href"], "text": x.string, "class": x._class } for x in soup.find_all("a") ]
print(i)
# [{'class': None, 'text': 'MENU', 'href': 'javascript:;'}, {'class': None, 'text': 'haut de page', 'href': '/'}, {'class': None, 'text': 'Plate-forme', 'href': '/pf/'},  - snip -

Même maintenant (septembre 2016), il y a les problèmes suivants, donc si vous souhaitez utiliser Phantomjs sur Ubuntu 16.04, vous devez l'installer par la procédure normale au lieu de partir du package. https://bugs.launchpad.net/ubuntu/+source/phantomjs/+bug/1578444

Recommended Posts

Sélénium, Phantomjs et BeautifulSoup4
phantomjs et sélénium
python sélénium chromedriver beautifulsoup
sélénium
Re: La vie Heroku à partir de zéro avec Flask ~ Selenium & PhantomJS & Beautifulsoup ~
Mémo BeautifulSoup4
Redémarrez le routeur en utilisant Python, Selenium, PhantomJS
Utilisez le pilote Web phantomjs de sélénium avec unittest de python