Mémorandum d'extraction par requête python bs4

C'est un mémorandum au moment du scribing web avec python.

from bs4 import BeautifulSoup
import reuest
import os
"""Prise en charge du proxy"""
os.environ["https_proxy"] = "http://xxx.xx.xx.xx:8080"
url = "https://www.python.org/"
html = requests.get(url)
soup = BeautifulSoup(html.text, "lxml")
print(soup)
print("----------------------------------------------")
# python.Si vous souhaitez obtenir uniquement la chaîne dans org
name = soup.find_all("div", class_="introduction")
# name = soup.find_all("div", {"class": "introduction"}Peut être décrit comme.
name = name[0].text
print(name)
title = soup.find_all("title")
title = title[0].text
print(title)

résultat

Python is a programming language that lets you work quickly and integrate systems more effectively. Learn More

Welcome to Python.org

Recommended Posts

Mémorandum d'extraction par requête python bs4
[Python] Un mémorandum de belle soupe4
Mémorandum du processus de suppression de chaîne python
Mémorandum of scraping & machine learning [technique de développement] par Python (chapitre 4)
Mémorandum of scraping & machine learning [technique de développement] par Python (chapitre 5)
Un mémorandum sur l'appel de Python à partir de Common Lisp
Regrouper par éléments consécutifs d'une liste en Python
Remarque sur la compilation du noyau
Un petit mémorandum d'openpyxl
Extraction de mots-clés par MeCab (python)
Mémorandum sur la corrélation [Python]
Un mémorandum sur le simulacre de Python
Un mémorandum d'utilisation de eigen3
Un mémorandum où je suis tombé sur mon HEROKU & Python personnel (Flask)
[Python] Comment créer une liste de chaînes de caractères caractère par caractère
Un enregistrement de patcher un package python
Une bonne description des décorateurs Python
Extension du dictionnaire python par argument
Un bref résumé de la collection Python
Mémorandum de dossiers sous conf.d
10 sélections d'extraction de données par pandas.DataFrame.query
Comportement de python3 par le serveur de Sakura
Mémorandum du débutant Mouvement "isdigit" Python
Un mémorandum du contenu de l'enquête de clôture
Histoire d'approximation de puissance par Python
Mémorandum de l'outil de gestion de paquets Python ez_setup
[Python] Mémo des phrases fréquemment utilisées dans les scripts Python
Une analyse simple des données de Bitcoin fournie par CoinMetrics en Python
Lire la sortie standard d'un sous-processus ligne par ligne en Python
Impressions de toucher Dash, un outil de visualisation de données réalisé par python
Un mémorandum concernant l'acquisition de l'examen de base de certification d'ingénieur Python3
Explication du modèle d'optimisation de la production par Python
Mémorandum Python
[Mémo d'apprentissage] Bases de la classe par python
Mémorandum Python 2
Un mémorandum sur l'utilisation de la fonction d'entrée de Python
Extraction de tweet.js (json.loads et eval) (Python)
Branchement conditionnel de Python appris avec la chimioinfomatique
Un mémorandum de la vitesse de diagonalisation arbitraire des degrés
Créer un diagramme de relations des modules Python
Mémorandum des débutants en python
Mémorandum sur le QueryDict de Django
Échelle de gris par matrice-Reinventor of Python image processing-
Exemple d'analyse de squelette tridimensionnelle par Python
Mémorandum Python
[python] Obtenir une liste de variables d'instance
[python] [meta] Le type de python est-il un type?
mémorandum python
Pandas du débutant, par le débutant, pour le débutant [Python]
mémorandum python
Analyse d'image de microtomographie à rayons X par Python
L'histoire du traitement A du blackjack (python)
Mémorandum Python
mémorandum python
[Python] Obtenir une liste de dossiers uniquement
Mémorandum Python
Un manuel pour les débutants réalisé par des débutants Python
Un mémorandum de problème lors du formatage des données
Obtenez une liste d'articles publiés par les utilisateurs avec Python 3 Qiita API v2
[python] Comment trier par le Nth Mth élément d'un tableau multidimensionnel