Exportation régulière des données brutes Google Analytics vers BigQuery à l'aide des fonctions cloud

Exportation régulière des données brutes Google Analytics vers BigQuery à l'aide des fonctions cloud

Le contenu est presque le même que celui de Article sur le 2ème jour, mais après un certain temps, il s'avère que l'article du 2ème jour ne peut pas être utilisé à partir des fonctions cloud. Alors, je voudrais vous parler du problème et comment y faire face.

Choses à faire

  1. Utilisez l'API Google Analytics pour exporter des données brutes vers Python
  2. Téléchargez sur Google Cloud Starage à l'aide de pandas
  3. Exportation de GCS vers Big Query

Où il est resté coincé

1. Impossible de créer le fichier localement

Celui du deuxième jour était parfait pour fonctionner localement. Cependant, la fonction cloud est en lecture seule et ne peut pas créer de fichier csv. Vous devez donc l'exporter directement vers BigQuery ou le télécharger dans GCS sans créer de fichier csv. D'après les résultats, j'ai choisi ce dernier.

Il y avait un article disant que vous pouvez créer un fichier dans le répertoire / tmp /, mais je l'ai essayé et cela n'a pas fonctionné, alors j'ai abandonné le chemin.

2. Deux variables sont données à la fonction à exécuter arbitrairement

Il semble que vous deviez préparer deux variables pour que la fonction soit exécutée.

Raison

Dans le premier cas, il semble que seuls la lettre, le nombre et le under_score peuvent être utilisés pour pagePath, et il existe diverses autres règles qui ne peuvent pas être utilisées.

Comment télécharger directement sur GCS

Lorsque je cherchais un article, l'article de cette personne était facile à comprendre. Google Cloud Storage (GCS) with Python, csv save pandas DataFrame to BigQuery class

code

day5.py

Le 5ème jour est terminé!

Je me demandais si ce serait une bonne idée de contourner ce genre de choses, mais cela a pris du temps, alors j'espère pouvoir aider s'il y a d'autres personnes qui sont les mêmes. Faites également attention à Corona!

Recommended Posts

Exportation régulière des données brutes Google Analytics vers BigQuery à l'aide des fonctions cloud
Exporter la norme Google Analytics vers BigQuery
Exportez les données d'accès pour chaque utilisateur de Google Analytics.
Continuer à relever les défis de Cyma en utilisant le service OCR de Google Cloud Platform
Une histoire qui contribue à une nouvelle analyse corona à l'aide d'un essai gratuit de Google Cloud Platform
Cloud Functions pour redimensionner les images à l'aide d'OpenCV avec le déclencheur Cloud Storage
Essayez de juger des photos de plats à l'aide de l'API Google Cloud Vision
[Introduction to Data Scientists] Bases de Python ♬ Fonctions et classes
L'histoire de la création d'une base de données à l'aide de l'API Google Analytics
Transformée de Fourier des données brutes
Enregistrez le résultat de l'exploration avec Scrapy dans Google Data Store
J'ai essayé de créer une expression régulière de "montant" en utilisant Python
J'ai essayé de créer une expression régulière de "temps" en utilisant Python
J'ai essayé de créer une expression régulière de "date" en utilisant Python
Comment se connecter à Cloud Firestore à partir de Google Cloud Functions avec du code Python
J'ai essayé de visualiser les données BigQuery à l'aide de Jupyter Lab avec GCP
[Introduction aux Data Scientists] Bases de Python ♬ Fonctions et fonctions anonymes, etc.