[Python] Jusqu'à ce qu'un débutant en scraping enregistre le classement de la J-League dans un fichier CSV

Examen du grattage

Je m'inquiétais du grattage et je voulais obtenir des données pour le moment, j'ai donc essayé de gratter en me référant au site suivant. https://www.atmarkit.co.jp/ait/articles/1910/18/news015_2.html Je vais l'écrire comme une critique, alors j'espère que cela sera utile pour ceux qui sont nouveaux dans le scraping! Écrit dans Google Colab en utilisant Python. Par conséquent, il peut y avoir des différences par rapport à la description locale.

Bases du grattage

J'ai fait du grattage à la demande et une belle soupe. Sur demande, le web k spécifié et d'autres fichiers sont acquis, et les informations souhaitées sont extraites du fichier acquis par Beautiful soupe. Comme vous pouvez le voir sur le site, j'écris un programme pour obtenir le classement de la J League. De plus, j'ai écrit au point d'enregistrer en plus au format CSV. Le code utilisé cette fois est indiqué ci-dessous.

qiita.rb


from bs4 import BeautifulSoup
from urllib import request

url = 'https://www.jleague.jp/standings/j1/'
response = request.urlopen(url)
content = response.read()
response.close()

charset = response.headers.get_content_charset()
html = content.decode(charset, 'ignore')
soup = BeautifulSoup(html)

table = soup.find_all('tr')

standing = []
for row in table:
    tmp = []
    for item in row.find_all('td'):
        if item.a:
            tmp.append(item.text[0:len(item.text) // 2])
        else:
            tmp.append(item.text)
    del tmp[0]
    del tmp[-1]
    standing.append(tmp)

for item in standing:
    print(item)

import pandas as pd
from google.colab import files 
del standing[0]
df = pd.DataFrame(standing,columns = ['Classement', 'Nom du club', 'Gagnez des points', 'Nombre de parties', 'Gagner', 'Minutes', 'négatif', 'But', 'Concédé', '得Concédé'])

from google.colab import drive

filename = 'j1league.csv'
path = '/content/drive/My Drive/' + filename

with open(path, 'w', encoding = 'utf-8-sig') as f:
  df.to_csv(f,index=False)

Depuis que je l'ai implémenté en le vérifiant en détail en cours de route, j'ai mis print () entre les deux, mais ici, je mets en œuvre jusqu'à enregistrer dans un fichier à la fois.

Recommended Posts

[Python] Jusqu'à ce qu'un débutant en scraping enregistre le classement de la J-League dans un fichier CSV
[Part1] Scraping avec Python → Organisez jusqu'à csv!
Python) Enregistrez le contenu de scraping sur un PC local
Grattage de la nourriture avec python et sortie en CSV
[Python] Lecture de fichiers CSV
Comment enregistrer une table récupérée par python en csv
Enregistrer des listes, des dictionnaires et des taples dans des fichiers externes python
[R] [Python] Memo pour lire plusieurs fichiers csv dans plusieurs fichiers zip
3 raisons pour lesquelles les débutants en programmation devraient commencer avec Python
Écrire en csv avec Python
~ Conseils pour les débutants de Python présentés avec amour par Pythonista ③ ~
Jusqu'à Toot to Mastodon (Python)
Comment importer des fichiers CSV et TSV dans SQLite avec Python
Translocation de fichiers CSV avec Python Partie 1
[Python] Chargement de fichiers csv à l'aide de pandas
[Python] Ecrire dans un fichier csv avec Python
Sortie vers un fichier csv avec Python
Gérer les fichiers Excel CSV avec Python
Web scraping pour les débutants en Python (4) -1
les débutants en python ont essayé de le découvrir
Erreur due à UnicodeDecodeError lors de la lecture d'un fichier CSV avec Python [Pour les débutants]
[Python] Comment convertir un fichier db en csv
Réponse à la sélection des débutants d'AtCoder par Python3
[Python] Convertit les délimiteurs de fichier csv en délimiteurs de tabulation
Fonction pour enregistrer les images par date [python3]
Lire Python csv et exporter vers txt
Python> Numéros de sortie de 1 à 100, 501 à 600> Pour csv
Comment lire des fichiers CSV avec Pandas
[Python] Ajouter un commentaire au fichier d'entrée standard
[Pour les débutants] Essayez le web scraping avec Python
Ce que j'ai fait pour économiser la mémoire Python
Conseils aux débutants en Python pour utiliser l'exemple Scikit-image pour eux-mêmes 2 Traiter plusieurs fichiers