Télécharger le fichier sur Cloud Storage (GCS) de GCP ~ Charger avec Python local

environnement

• MacOS X 10.14.5 (Mojave)
• Homebrew 2.2.5
• Google Cloud SDK 279.0.0
• gsutil 4.47

Enregistrement du compte GCP

[Explication avec image] Enregistrez un compte avec un essai gratuit de Google Cloud Platform (GCP)

Installez le SDK Google Cloud

Installation du SDK Google Cloud ~ Initialisation

Création de projet

Créer un projet avec le SDK Google Cloud

Création de seau

$ gsutil est une commande pour faire fonctionner le stockage.

$ gsutil mb -l us-central1 gs://Nom du godet

Téléchargement de fichiers

• S'il n'y a pas de répertoire sur gcs, il sera créé.

$gsutil cp chemin du fichier local gs://Nom du godet/Nom du répertoire/nom de fichier

Création d'un compte de service / clé de compte de service

Créez un compte de service / clé de compte de service afin de pouvoir accéder à GCS à partir de Python.

Création de compte de service

gcloud iam service-les comptes créent le nom du compte de service\
                                   --display-nom Nom d'affichage du compte de service\

Vérifiez maintenant les autorisations associées au projet

gcloud projects get-iam-policy mypj-id

# bindings:
# - members:
#   - user:[email protected]
#   role: roles/owner
# etag: BwWeTrntoao=
# version: 1

Accorder des autorisations aux comptes de service

Accorder des privilèges d'administrateur de stockage

gcloud projects add-iam-policy-ID de projet de liaison\
--member serviceAccount:Nom du compte de service@ID du projet.iam.gserviceaccount.com \
--role roles/storage.admin

liste de rôles

https://cloud.google.com/iam/docs/understanding-roles?hl=ja#predefined_roles

Vérifiez à nouveau les autorisations

gcloud projects get-iam-policy mypj-id

# bindings:
# - members:
#   - user:[email protected]
#   role: roles/owner
# - members:
#   - serviceAccount:[email protected]
#   role: roles/storage.admin
# etag: BwWeTz6vIBY=
# version: 1

Création de clé de compte de service

$ gcloud iam service-accounts keys create ./service_account_keys/anata_no_key.json \
--iam-nom du compte de service de compte@ID du projet.iam.gserviceaccount.com

Structure du répertoire

.
├── .env
├── service_account_keys/
│      └── anata_no_key.json
└── working/
        └── main.py

.env

Utilisez cette description pour définir le chemin de la clé de compte de service que vous avez créée précédemment dans la variable d'environnement. ** * Chemin relatif depuis le fichier source de chargement (fichier chargé_dotenv ()) **

.env

GOOGLE_APPLICATION_CREDENTIALS=./service_account_keys/anata_no_key.json

Installation de la bibliothèque

Installez google-cloud-storage`` python-dotenv`` pandas avec pip

$ pip install google-cloud-storage python-dotenv pandas

Télécharger avec Python

main.py

import os
from io import BytesIO

from dotenv import load_dotenv
from google.cloud import storage
import pandas as pd


# .Définir le contenu de env sur des variables d'environnement
load_dotenv('./.env')

PROJECT_NAME = 'anata_no_project'
BUCKET_NAME = 'anata_no_bucket'
FILE_NAME = 'path/to/dir/train.csv' # gs://Nom du godet/~Le chemin suivant

client = storage.Client(PROJECT_NAME)
bucket = client.get_bucket(BUCKET_NAME)
blob = storage.Blob(FILE_NAME, bucket)
data = blob.download_as_string()
df = pd.read_csv(BytesIO(data))
print(df)

C'est OK s'il est affiché comme df.