Enregistrer et charger des données avec joblib, pickle

Enregistrer et charger des données avec joblib, pickle

Je vais l'utiliser souvent, donc je vais le laisser pour les notes.

joblib et pickle sont des ** bibliothèques qui peuvent stocker diverses données de manière agréable **. Il peut être utilisé non seulement pour le texte et le csv, mais également pour enregistrer des modèles entraînés. De plus, je pense que la vitesse de lecture et d'écriture est rapide. (Il semble que la mémoire soit un peu utilisée)

En gros, il semble que l'utilisation de joblib soit meilleure en termes de mémoire que pickle.

Exemple

import pandas as pd

arr = ['a','b','c','d','e']
df = pd.DataFrame({'data':arr})
df.head(5)

# data
#0	a
#1	b
#2	c
#3	d
#4	e

Enregistrer et charger des données avec joblib

import joblib

#Stockage de données
joblib.dump(df,'test_jb.pkl', compress=3)
#Lire les données
load_df = joblib.load('test_jb.pkl')
load_df.head()

# data
#0	a
#1	b
#2	c
#3	d
#4	e

Enregistrer et charger des données avec pickle

import pandas as pd

#Stockage de données
df.to_pickle('test_pk.pkl')
#Lire les données
load_df2 = pd.read_pickle('test_pk.pkl')
load_df2.head()

# data
#0	a
#1	b
#2	c
#3	d
#4	e

Si vous modifiez la partie "données" en "modèle appris", vous pouvez enregistrer le modèle tel quel.

Recommended Posts

Enregistrer et charger des données avec joblib, pickle
CHARGER DES DONNÉES avec PyMysql
Utilisez Django pour enregistrer les données de tweet
Enregistrer / charger la base de données en mémoire avec sqlite3 de python
J'ai essayé de sauvegarder les données avec discorde
Enregistrez les données pour flasher avec la carte Nucleo STM32
Enregistrer l'objet dans un fichier avec pickle
Analyse de données avec python 2
Économisez de la mémoire avec `` __slots__``
Lecture de données avec TensorFlow
Visualisation des données avec les pandas
Manipulation des données avec les Pandas!
Mélangez les données avec les pandas
Augmentation des données avec openCV
Normariser les données avec Scipy
Analyse de données avec Python
Incorporer des données audio avec Jupyter
Graphique des données Excel avec matplotlib (1)
Charger json imbriqué avec des pandas
Génération artificielle de données avec numpy
Extraire les données Twitter avec CSV
Enregistrez des images avec le web scraping
Obtenez des données Youtube avec python
Apprenez de nouvelles données avec PaintsChainer
Binariser les données photo avec OpenCV
Graphique des données Excel avec matplotlib (2)
Test de charge Websocket avec Locust
Conseils de traitement des données avec Pandas
Lire des données json avec python
Comment activer Keras Regressor pour être enregistré avec Pickle ou Joblib
Enregistrez le résultat de l'exploration avec Scrapy dans Google Data Store
Créons une IA à trois voies avec Pylearn2 --Save and load model -