Télécharger le fichier sur Cloud Storage (GCS) de GCP ~ Charger avec Python local

environnement

Enregistrement du compte GCP

[Explication avec image] Enregistrez un compte avec un essai gratuit de Google Cloud Platform (GCP)

Installez le SDK Google Cloud

Installation du SDK Google Cloud ~ Initialisation

Création de projet

Créer un projet avec le SDK Google Cloud

Création de seau

$ gsutil est une commande pour faire fonctionner le stockage.

$ gsutil mb -l us-central1 gs://Nom du godet

Téléchargement de fichiers

$gsutil cp chemin du fichier local gs://Nom du godet/Nom du répertoire/nom de fichier

Création d'un compte de service / clé de compte de service

Créez un compte de service / clé de compte de service afin de pouvoir accéder à GCS à partir de Python.

Création de compte de service

gcloud iam service-les comptes créent le nom du compte de service\
                                   --display-nom Nom d'affichage du compte de service\
スクリーンショット 2020-02-10 0.10.39.png

Vérifiez maintenant les autorisations associées au projet

gcloud projects get-iam-policy mypj-id

# bindings:
# - members:
#   - user:[email protected]
#   role: roles/owner
# etag: BwWeTrntoao=
# version: 1

Accorder des autorisations aux comptes de service

Accorder des privilèges d'administrateur de stockage

gcloud projects add-iam-policy-ID de projet de liaison\
--member serviceAccount:Nom du compte de service@ID du projet.iam.gserviceaccount.com \
--role roles/storage.admin
スクリーンショット 2020-02-10 0.16.18.png

liste de rôles

https://cloud.google.com/iam/docs/understanding-roles?hl=ja#predefined_roles

Vérifiez à nouveau les autorisations

gcloud projects get-iam-policy mypj-id

# bindings:
# - members:
#   - user:[email protected]
#   role: roles/owner
# - members:
#   - serviceAccount:[email protected]
#   role: roles/storage.admin
# etag: BwWeTz6vIBY=
# version: 1

Création de clé de compte de service

$ gcloud iam service-accounts keys create ./service_account_keys/anata_no_key.json \
--iam-nom du compte de service de compte@ID du projet.iam.gserviceaccount.com

Structure du répertoire

.
├── .env
├── service_account_keys/
│      └── anata_no_key.json
└── working/
        └── main.py

.env

Utilisez cette description pour définir le chemin de la clé de compte de service que vous avez créée précédemment dans la variable d'environnement. ** * Chemin relatif depuis le fichier source de chargement (fichier chargé_dotenv ()) **

.env


GOOGLE_APPLICATION_CREDENTIALS=./service_account_keys/anata_no_key.json

Installation de la bibliothèque

Installez google-cloud-storage`` python-dotenv`` pandas avec pip

$ pip install google-cloud-storage python-dotenv pandas

Télécharger avec Python

main.py


import os
from io import BytesIO

from dotenv import load_dotenv
from google.cloud import storage
import pandas as pd


# .Définir le contenu de env sur des variables d'environnement
load_dotenv('./.env')

PROJECT_NAME = 'anata_no_project'
BUCKET_NAME = 'anata_no_bucket'
FILE_NAME = 'path/to/dir/train.csv' # gs://Nom du godet/~Le chemin suivant

client = storage.Client(PROJECT_NAME)
bucket = client.get_bucket(BUCKET_NAME)
blob = storage.Blob(FILE_NAME, bucket)
data = blob.download_as_string()
df = pd.read_csv(BytesIO(data))
print(df)

C'est OK s'il est affiché comme df.

Recommended Posts

Télécharger le fichier sur Cloud Storage (GCS) de GCP ~ Charger avec Python local
Téléchargement de fichiers vers Azure Storage (Python)
Comment télécharger des fichiers sur Cloud Storage avec le SDK Python de Firebase
Comment télécharger des fichiers sur Cloud Storage à l'aide de Python [Créer une caméra à point fixe avec Raspberry PI # 1]
[Python] Ecrire dans un fichier csv avec Python
Sortie vers un fichier csv avec Python
Importation et téléchargement d'images sur le stockage Azure. Avec Python + requêtes + API REST
[GCP] Exploitez Google Cloud Storage avec Python
Télécharger des fichiers sur Aspera fournis avec IBM Cloud Object Storage (ICOS) à l'aide du SDK (version Python)
Télécharger des images sur Google Drive avec Python
Télécharger et télécharger des fichiers wav sur X-Server par FTP avec Python
Convertissez la feuille de calcul en CSV et importez-la dans Cloud Storage avec Cloud Functions
Copier des données d'Amazon S3 vers Google Cloud Storage avec Python (boto)
Comment lire un fichier CSV avec Python 2/3
[Python] Comment lire des fichiers Excel avec des pandas
Convertir un fichier svg en png / ico avec Python
Télécharger des fichiers sur Google Drive avec Lambda (Python)
Je veux écrire dans un fichier avec Python
J'ai essayé de toucher un fichier CSV avec Python
Comment mesurer le temps de lecture d'un fichier mp3 avec python
Comment convertir un fichier JSON en fichier CSV avec Python Pandas
[Pas besoin de créer un environnement local] Déployez une application de bouteille Python créée avec Cloud 9 sur Heroku
Comment télécharger avec Heroku, Flask, Python, Git (Partie 1)
Téléchargement de fichiers avec django
Comment télécharger avec Heroku, Flask, Python, Git (Partie 2)
Utilisation de Google Cloud Storage (GCS) par "GAE / Py"
Serveur local avec python
[Python] Modifier le contrôle du cache des objets téléchargés sur Cloud Storage
API Nifty Cloud facile à utiliser avec botocore et python
Cloud Functions pour redimensionner les images à l'aide d'OpenCV avec le déclencheur Cloud Storage
[Python Kivy] Comment créer un fichier exe avec pyinstaller
Essayez de déchiffrer les caractères déformés dans le nom du fichier joint avec Python
Importez et supprimez des fichiers dans Google Cloud Storages avec django-storage
Connectez Raspberry Pi à Alibaba Cloud IoT Platform avec «Python»
Récupérez la source de la page à charger indéfiniment avec python.
Connectez-vous à Wikipedia avec Python
Publiez sur Slack avec Python 3
Télécharger un fichier sur Dropbox
Basculer python vers 2.7 avec des alternatives
Écrire en csv avec Python
Télécharger le fichier csv avec python
Traitez le fichier gzip UNLOADed avec Redshift avec Python de Lambda, gzipez-le à nouveau et téléchargez-le sur S3
Comment se connecter à Cloud Firestore à partir de Google Cloud Functions avec du code Python
[ROS2] Comment lire un fichier bag avec le lancement au format python
Essayez d'ajouter un mur à votre fichier IFC avec IfcOpenShell python
[Pour Python] Créez rapidement un fichier de téléchargement vers AWS Lambda Layer
Convertissez les fichiers téléchargés vers Cloud Storage avec Cloud Functions (Python) afin qu'ils ne soient pas déformés dans Excel
[Package cloud] Gérez les packages python avec le package cloud
Extraire le fichier xz avec python
Python: comment utiliser async avec
Lien pour commencer avec python
[Automatisé avec python! ] Partie 1: fichier de configuration
Téléchargement de fichiers implémenté avec Python + Bottle
Ravi de vous rencontrer avec python
Essayez d'exploiter Facebook avec Python
Convertir la liste en DataFrame avec python
Conversion MP3 → WAV avec Python