[Python] Comment exécuter Jupyter-notebook + pandas + multiprocessing (Pool) [pandas] Memo
Objectif
- J'ai dû charger beaucoup de données pour analyser beaucoup de données csv
- Faire tourner la boucle était trop lent et frustrant.
problème
- Jupyter-notebook ne peut pas paralléliser read_csv de pandas en utilisant le multitraitement (Pool).
- Konohen ou [Konohen](https://github.com/ La même chose a été écrite dans ipython / ipython / issues / 10894).
- Est-ce un problème qui se produit uniquement sur les machines Windows?
Conclusion
- La solution de contournement consiste à enregistrer la fonction en tant que
func.pyet à l'importer avec Jupyter-notebook.
Exemple NG
- La dernière cellule ne se termine pas. (N'est-ce pas commencé en premier lieu?)
OK exemple
- Copiez le tout comme
func.pydans le même dossier que.ipynb - Placez le fichier
__init __. Py - Importez et exécutez func sur Jupyter-notebook
func.py
import pandas as pd
import os,glob
from datetime import datetime as dt
from multiprocessing import Pool
FOLDER_PATH = r'folder_path\\'
FILE_TYPE = r'*.csv'
FILE_FORMAT = 'Report_%Y%m%d.csv'
def read_report_to_dataframe():
#Liste des chemins de fichiers
csv_pathlist = glob.glob(FOLDER_PATH + FILE_TYPE)
with Pool(os.cpu_count()) as p:
df = pd.concat(p.map(read_report, csv_pathlist))
return df
#rapport lu
def read_report(csv_path):
separator_list = [';',',']
for sep in separator_list:
df = pd.read_csv(filepath_or_buffer=csv_path,
engine='python',
parse_dates=[0],
index_col=[0],
skiprows=[1],
nrows=96,
sep=sep)
#Vérifiez si le bloc de données est vide
if not df.empty:
break
return df
- Lisez et exécutez avec jupyter-notebook.
jupyter-notebook
import func
func.read_report_to_dataframe()
Résumé
- Arrêtez jupyter-notebook et créez-le avec pycharm.
Recommended Posts