Stocker csv sur GCS à partir de la plate-forme AI dans DataFrame

introduction

Décrit comment charger le csv sur Google Cloud Strage à partir de la plate-forme AI de Google Cloud Platform et le stocker dans le DataFrame des pandas.

la mise en oeuvre

Supposons que csv soit stocké ci-dessous.

gs://bucket_name/folder/file_name.csv

Si csv est stocké ci-dessus, vous pouvez le stocker dans DataFrame avec le code suivant.

project_name = 'your_project_name'
bucket_name = 'bucket_name'
file_name = 'folder/file_name.csv'

#Créer un client en spécifiant le nom du projet
client = storage.Client(project_name)
#Obtenir le bucket en spécifiant le nom du bucket
bucket = client.get_bucket(bucket_name)
#Créer un objet blob
blob = storage.Blob(file_name, bucket)
#Créer un DataFrame
data = blob.download_as_string()
df = pd.read_csv(BytesIO(data))

Résumé

Initialement, le dossier était répertorié dans bucket_name comme indiqué ci-dessous. Bien sûr, vous obtiendrez une erreur.

project_name = 'your_project_name'
bucket_name = 'bucket_name/folder'
file_name = 'file_name.csv'

Après cela, je suis tombé sur la région GCS, donc si une erreur se produit, je pense que je devrais vérifier cette zone.

Recommended Posts

Stocker csv sur GCS à partir de la plate-forme AI dans DataFrame
Passer des dataframes contenant True / False de Python à R au format csv (pd.DataFrame-> tbl_df)
Utilisez le SDK API kintone pour Python avec Raspberry Pi (stockez facilement des données dans kintone à partir de Raspberry Pi)