Scraping PDF de la liste nationale des salaires minimums par région du ministère de la Santé, du Travail et du Bien-être social

Préparation

!apt install python3-tk ghostscript
!pip install camelot-py[cv]

#Télécharger le PDF
!wget https://www.mhlw.go.jp/content/11200000/000541154.pdf -O data.pdf

!pip install japanmap
!pip install japanize-matplotlib

Grattage

import re

import camelot
import pandas as pd

tables = camelot.read_pdf(
    "data.pdf", pages="all", split_text=True, strip_text=" \n", line_scale=40
)

dfs = []

for table in tables:

    df0 = table.df

    df_col = df0.head(2)

    #Compléter les blancs lors des fusions de cellules
    idx = pd.MultiIndex.from_arrays(
        df_col.mask(df_col == "").fillna(method="ffill", axis=1).values
    )

    df1 = df0.iloc[2:].set_axis(idx, axis=1)
    df1.set_index(("année", "Nom des préfectures"), inplace=True)
    df1.index.name = "Nom des préfectures"

    #Convertir de ligne en colonne
    df2 = df1.unstack().reset_index().set_axis(["année", "Classification", "Préfectures", "Contenu"], axis=1)

    #Reconstruction par année / préfecture
    df3 = df2.pivot(index=["année", "Préfectures"], columns="Classification", values="Contenu")

    dfs.append(df3)

df = pd.concat(dfs).reset_index()

df.to_csv("data.tsv", sep="\t")

J'ai pu copier une cellule fusionnée en utilisant "copy_text" de camelot h: horizontal v: vertical https://camelot-py.readthedocs.io/en/master/user/advanced.html#copy-text-in-spanning-cells

tables = camelot.read_pdf(
    "data.pdf",
    pages="all",
    split_text=True,
    strip_text=" \n",
    line_scale=40,
    copy_text=["h"],
)

dfs = []

for table in tables:

    data = table.data
    df1 = pd.DataFrame(data[2:], columns=data[:2])

    df1.set_index(("année", "Nom des préfectures"), inplace=True)
    df1.index.name = "Nom des préfectures"

    df2 = df1.unstack().reset_index().set_axis(["année", "Classification", "Préfectures", "Contenu"], axis=1)
    df3 = df2.pivot(index=["année", "Préfectures"], columns="Classification", values="Contenu")

    dfs.append(df3)

df = pd.concat(dfs).reset_index()

df.to_csv("data.tsv", sep="\t")

De la question du yuan

def era2year(s):

    m = re.search("(Heisei|Reiwa)([0-9 yuans]{1,2})année", s)

    if m:

        era = m.group(1)
        nen = m.group(2)

        year = 1 if nen == "Ancien" else int(nen)

        if era == "Heisei":
            year += 1988
        elif era == "Reiwa":
            year += 2018

        return year

    return None

Data wrangling

from japanmap import pref_code

#Donner le code préfecture du nom de la préfecture
df["Code préfecture"] = df["Préfectures"].apply(pref_code)

#Passer du numéro original au calendrier occidental
df["UN D"] = df["année"].apply(era2year)

#Supprimer les virgules et convertir en nombres
df["Montant révisé(Cercle)"] = df["Montant révisé(Cercle)"].str.replace(",", "").astype(int)

#Trier par préfecture
pv = df.pivot(index=["Code préfecture", "Préfectures"], columns="UN D", values="Montant révisé(Cercle)").droplevel(
    "Code préfecture"
)

pv

Gratter la dernière année

#Grattage

df = pd.read_html(
    "https://www.mhlw.go.jp/stf/seisakunitsuite/bunya/koyou_roudou/roudoukijun/minimumichiran/",
    index_col=0,
    header=0,
)[0]

df.index = df.index.str.replace("\s", "")

df.rename(columns={"Temps de salaire minimum [yen]": 2020}, inplace=True)

#Combinez avec la liste PDF

pv1 = pd.concat([pv, df[2020]], axis=1)

pv1.to_csv("minimumichiran.csv")

Les données

Visualisation

import japanize_matplotlib
import matplotlib as mpl
import matplotlib.pyplot as plt

#résolution
mpl.rcParams["figure.dpi"] = 200

pv1.T.plot(subplots=True, layout=(7, 7), figsize=(30, 30), ylim=(600, 1100))

#Enregistrer le graphique
plt.savefig("minimumichiran.png ", dpi=200, bbox_inches="tight")
plt.show()

Graphique