Python) Enregistrez le contenu de scraping sur un PC local

Les débutants en programmation apprennent le grattage. Pour le moment, le contenu récupéré peut maintenant être téléchargé dans un fichier local, alors faites une note comme mémorandum avant de l'oublier.

#Exemple pour récupérer des articles et des URL de sites Web et télécharger les résultats sur un PC local

#Importer les modules requis
from bs4 import BeautifulSoup
import requests
import pandas as pd

#Créer un bloc de données
columns = ["Le titre de l'article", "URL"]
df = pd.DataFrame(columns = columns)

#Obtenez le contenu du site Web avec les demandes et traitez le contenu avec Beautiful Soup
res = requests.get("https:~~ URL du site Web que vous souhaitez gratter ~~")
soup = BeautifulSoup(res.content, 'html.parser') #Belle initialisation de soupe
tags = soup.find_all("XXXXX", {"class": "YYYYYY"}) #X et Y varient en fonction du site Web

#Ajouter le nom de l'article et l'URL au bloc de données
for tag in tags:
 article = tag.a.string
 url = tag.a.get("href")
 se = pd.Series([article, url], columns)
 df = df.append(se, columns)

#「to_Enregistrez le fichier csv dans le même dossier où le code est enregistré en utilisant «csv»
df.to_csv("./news.csv")
print("Fin")

Recommended Posts

Python) Enregistrez le contenu de scraping sur un PC local
[Python] Jusqu'à ce qu'un débutant en scraping enregistre le classement de la J-League dans un fichier CSV
[Scraping] Scraping Python
Fonction pour enregistrer les images par date [python3]
[Part1] Scraping avec Python → Organisez jusqu'à csv!
Ce que j'ai fait pour économiser la mémoire Python
Mémo de raclage Python
Mis à jour vers Python 2.7.9
Grattage de la nourriture avec python et sortie en CSV
Stratégie pour intégrer le travail de scraping local à GCP (partie 1)
Python racle eBay
[Python] Flux du scraping Web à l'analyse des données
Grattage Python get_title
Python: grattage partie 1
Je souhaite vendre les produits que j'ai listés par python scraping Mercari
Scraping à l'aide de Python
"Backport" vers python 2
Python: grattage, partie 2
[Python] Local → Procédure de téléchargement de fichiers vers S3 (boto3)
J'étais accro au grattage avec Selenium (+ Python) en 2020
Enregistrer des listes, des dictionnaires et des taples dans des fichiers externes python
Installer l'environnement Python sur un PC local (pyenv, venv sur Mac)
Grattage en Python (préparation)
Essayez de gratter avec Python.
Changements de Python 3.0 à Python 3.5
UnicodeEncodeError: 'cp932' pendant le scraping Python
Principes de base du grattage Python
Grattage avec Python + PhantomJS
Premiers pas avec le Web Scraping
Comment installer python
Introduction au langage Python
Scraping: enregistrer le site Web localement
Remarque pour faire de python un démon
Introduction de Python 2.7 à CentOS 6.6
Grattage avec du sélénium [Python]
Connectez python à mysql
Scraping avec Python + PyQuery
Serveur local avec python
Scraping RSS avec Python
Définition du chemin de la bibliothèque pour réussir le test d'unité locale GAE / Python
Enregistrer des images sur le Web sur un lecteur avec Python (Colab)