Lire et écrire en compressant des variables telles que DataFrame avec joblib au lieu de pickle

Il est préférable de sauvegarder un DataFrame à grande échelle avec pickle, Lors du téléchargement sur git, s'il s'agissait de pickle, il pourrait ne pas être possible de pousser en raison de la capacité. Par conséquent, j'ai décidé de le compresser avec joblib et de gérer également les données dans git.

Lors de la sauvegarde et du chargement avec pickle

save_pickle.py



import pandas as pd
df = pd.DataFrame([1,2,3])
df.to_pickle('df.pickle')

read_pickle.py


import pandas as pd

df = pd.read_pickle('df.pickle')

Cliquez ici pour enregistrer et charger avec joblib. Vous pouvez modifier le taux de compression avec compress. Si vous compressez trop, cela prendra du temps pour compresser et lire, donc Dans mon cas, 4 semblait être bon.

save_joblib.py



import pandas as pd
import joblib

df = pd.DataFrame([1,2,3])
joblib.dump(df, 'df.joblib', compress=4)

read_joblib.py


import pandas as pd
import joblib

df = joblib.load('df.joblib')

Recommended Posts

Lire et écrire en compressant des variables telles que DataFrame avec joblib au lieu de pickle
Lisez le fichier CSV avec Python et convertissez-le en DataFrame tel quel
Comparez la vitesse de lecture / écriture et la capacité de csv, pickle, joblib, parquet dans un environnement python
Comment lire des données originales ou des données externes sur Internet avec scikit-learn au lieu d'un ensemble de données attaché tel que l'iris
Comment activer la lecture / écriture de net.Conn avec Golang pour annuler avec le contexte
Lier à la classe pour lire et écrire YAML
Lire et écrire des fichiers csv avec numpy
Compressez les données python et écrivez sur sqlite
Lire JSON avec Python et générer un CSV
Script pour tweeter avec des multiples de 3 et des nombres avec 3 !!
[Python3] Lecture et écriture avec isoformat datetime avec json
Lisez le fichier csv avec le notebook jupyter et écrivez le graphique l'un sur l'autre
J'ai essayé de lire et d'enregistrer automatiquement avec VOICEROID2 2
J'ai essayé de lire et d'enregistrer automatiquement avec VOICEROID2
Lire et écrire des fichiers avec Slackbot ~ Développement de bot avec Python ~
[Dessin graphique] J'ai essayé d'écrire un graphique à barres multi-séries avec matplotlib et seaborn