grattage Web (prototype)

introduction

Cette fois, j'ai essayé de créer du scraping avec python. Je voulais l'écrire proprement en csv, mais en raison du manque de technologie, je l'ai juste écrit pour le moment, donc je veux le rendre plus facile à voir comme indiqué dans le tableau. Je l'ai créé dans un état maladroit, donc cela fonctionne, mais j'apprécierais que vous puissiez dire s'il y a quelque chose qui devrait être changé.

environnement

windows 10 python 3.8.0 Bibliothèque urllib.request # Requis pour accéder à l'URL. csv #csv Requis lorsque vous travaillez avec des fichiers. BeautifulSoup # Module spécifique au scraping nécessaire pour analyser les documents HTML et XML. datetime # Requis pour obtenir la date.


code

scraping.py


import urllib.request
import csv
from bs4 import BeautifulSoup
import datetime

#URL du site
url = "URL du site que vous souhaitez supprimer"
#Ouvrir le lien
html = urllib.request.urlopen("URL du site que vous souhaitez supprimer")
#Ouvrir avec une belle soupe
soup = BeautifulSoup(html, 'html.parser')

#Extraction d'éléments
site_title = soup.find_all("Les éléments que vous souhaitez extraire")
print(site_title)


#Inclure la date lors de la création du fichier csv
csv_date = datetime.datetime.today().strftime("%Y%m%d")

#nom de fichier
csv_file_name = "liberté" + csv_date + ".csv"

#ouvrir csv
csv_file = open(csv_file_name, "w")

#Écrire dans csv
write_csv = csv.writer(csv_file, lineterminator='\n')
write_csv.writerows(site_title)

#fermer csv
f.close()

Recommended Posts

grattage Web (prototype)
raclage Web
Premiers pas avec le Web Scraping
Web scraping avec python + JupyterLab
Enregistrez des images avec le web scraping
Technologie de grattage WEB et préoccupations
Compromis dans le scraping et l'exploration Web
Grattage Web facile avec Scrapy
Collection d'images avec scraping Web
Web scraping avec Selenium (Python)
Web scraping à l'aide d'AWS lambda
Web scraping débutant avec python
Grattage 1
Bibliothèque de scraping Web utilisant des algorithmes Scrapely
Grattage de bande sur une seule ligne avec du tsé
Grattage WEB avec BeautifulSoup4 (page en couches)
Gratter le classement Web d'Alexa avec pyQuery
Web scraping avec Python Première étape
J'ai essayé webScraping avec python.
GAN: DCGAN Part1 - Scraping d'images Web
Web scraping pour les débutants en Python (1)
Grattage Web pour les notifications d'avertissement météo.
Web scraping pour les débutants en Python (4) -1
10 questions à vérifier avant le web scraping
Grattage WEB avec Python (pour mémo personnel)
Divers grattage
Début du grattage
Premiers pas avec Python Web Scraping Practice
[Note personnelle] Scraping de pages Web en python3
[Scraping] Scraping Python
Site de courses de chevaux Web scraping avec Python
Premiers pas avec Python Web Scraping Practice
Échantillon de grattage
Pratiquer le web scraping avec Python et Selenium
Scraping Web facile avec Python et Ruby
Grattage WEB avec BeautifulSoup4 (page du numéro de série)
[Pour les débutants] Essayez le web scraping avec Python
J'ai essayé Web Scraping pour analyser les paroles.
J'ai essayé le web scraping en utilisant python et sélénium
Un chercheur d'une société pharmaceutique a résumé le raclage Web à l'aide de Python
[Python] Flux du scraping Web à l'analyse des données
Obtenez des informations sur les matchs de course de bateaux avec le web scraping
Web scraping avec Python (prévisions météo)
Web scraping avec Python (cours de l'action)