Utilisez BigQuery à partir de votre bloc-notes Jupyter local

introduction

Vous souhaitez souvent utiliser les données BigQuery de votre bloc-notes Jupyter local pour une analyse moins gourmande en ressources. Par conséquent, je vais présenter une méthode pour écrire une requête BigQuery dans un bloc-notes Jupyter local et la stocker dans un DataFrame tel quel. ・ MacOS Mojave ・ Python 3.7.3

Créer un environnement virtuel pour Python 3

Créez un répertoire approprié (ici / Users / {username} / BigQueryLocal), créez un environnement virtuel appelé EVN3 avec virtualenv et activez ENV3.

$ mkdir BigQueryLocal
$ cd BigQueryLocal
$ virtualenv -p python3.7 ENV3
$ source ENV3/bin/activate

authentification gcloud

Tout d'abord, cliquez sur l'URL suivante. https://cloud.google.com/docs/authentication/getting-started?hl=ja

Lorsque vous cliquez sur l'URL ci-dessus, l'écran suivant apparaît. Cliquez sur «Aller à la page [Créer une clé de compte de service]». スクリーンショット 2019-11-19 20.45.05.png

Accédez à «Créer une clé de compte de service», définissez le compte de service sur «Compte de service par défaut d'App Engine», définissez le type de clé sur «JSON» et appuyez sur Créer pour télécharger le fichier JSON.

スクリーンショット 2019-11-19 20.42.12.png

Placez la clé de compte JSON téléchargée {xxxxxxxxxx} .json directement sous / Users / {username} / BigQueryLocal et exécutez ce qui suit.

$ export GOOGLE_APPLICATION_CREDENTIALS="/Users/{username}/BigQueryLocal/{xxxxxxxxxx}.json"

Créer un répertoire de projet

Ce n'est pas nécessaire, mais pour une meilleure visibilité, créez et déplacez un répertoire appelé TestProject.

$ mkdir TestProject
$ cd TestProject

Installez les packages requis

Installez les packages minimum requis suivants avec pip.

$ pip install google-cloud-bigquery
$ pip install jupyter
$ pip install pandas

Lancez Jupyter Notebook

Démarrez jupyter notebook avec la commande suivante.

$ jupyter notebook

Après le démarrage, créez un notebook approprié, importez les modules suivants et authentifiez le client.

[1]
from google.cloud import bigquery
client = bigquery.Client()

Ici, les données de bigquery-public-data.samples.natality préparées par défaut sont utilisées. En exécutant ce qui suit, les données BigQuery peuvent être gérées par DataFrame.

[2]
sql = """
SELECT
    plurality,
    COUNT(1) AS count,
    year
FROM
    `bigquery-public-data.samples.natality`
WHERE
    NOT IS_NAN(plurality) AND plurality > 1
GROUP BY
    plurality, year
ORDER BY
    count DESC
"""
df = client.query(sql).to_dataframe()
df.head()

En fait, la sortie est la suivante et il peut être confirmé qu'elle est sortie en tant que DataFrame. jupyter_sample.png

À partir de la prochaine fois, il vous suffit de faire ce qui suit:

$ cd BigQueryLocal
$ source ENV3/bin/activate
$ export GOOGLE_APPLICATION_CREDENTIALS="/Users/{username}/BigQueryLocal/{xxxxxxxxxx}.json"
$ cd TestProject
$ jupyter notebook

référence

Voir ci-dessous pour la construction d'environnement à l'aide de virtualenv. https://cloud.google.com/python/setup?hl=ja

Découvrez ci-dessous comment utiliser BigQuery avec Jupyter Notebook. https://cloud.google.com/bigquery/docs/visualize-jupyter?hl=ja

Recommended Posts

Utilisez BigQuery à partir de votre bloc-notes Jupyter local
Utilisez BigQuery depuis Python.
Utilisez le notebook Jupyter en vous connectant depuis un autre hôte
Utiliser pip avec Jupyter Notebook
Utiliser Cython avec Jupyter Notebook
Comment utiliser Jupyter Notebook
Utiliser Markdown avec le notebook Jupyter (avec raccourci)
Bloc-notes Jupyter facile à utiliser (Python3.5)
Comment utiliser Jupyter Notebook sans polluer votre environnement avec Docker
Utiliser nbextensions avec le notebook Jupyter d'Anaconda
Utilisation d'Apache Spark avec le notebook Jupyter (notebook IPython)
Utiliser Jupyter Lab et Jupyter Notebook avec EC2
Comment utiliser le notebook Jupyter avec ABCI
Jupyter Notebook Principes d'utilisation
Utiliser les raccourcis clavier vim dans Jupyter Notebook lancé avec Docker
Utiliser Django à partir d'un script Python local
Comment utiliser le bloc-notes Jupyter [super basique]
Mémo Jupyter Notebook
Présentation de Jupyter Notebook
Puissant ordinateur portable Jupyter
Utilisez Python dans votre environnement depuis Win Automation
Mot de passe du notebook Jupyter
Mémo Jupyter Notebook
Paramètres de Jupyter Notebook - Comment utiliser (EC2 Amazon Linux 2)
Essayez Apache Spark avec Jupyter Notebook (sur Docker local
Exécutez Tensorflow à partir de Jupyter Notebook sur Bash sur Ubuntu sous Windows
Importer des cellules spécifiques à partir d'autres blocs-notes avec le bloc-notes Jupyter
Comment lancer instantanément Jupyter Notebook à partir du terminal
Utiliser les fonctionnalités Django à partir de scripts batch en dehors du projet Django
Personnalisez Jupyter Notebook: modifiez l'arrière-plan et les icônes
Utilisez Thingsspeak de Python
Démarrer Jupyter Notebook
Utiliser fluentd de python
3 astuces du notebook Jupyter (Python)
Utiliser MySQL depuis Python
Exécutez BigQuery à partir de Lambda
Utilisez nim avec Jupyter
[Cloud103] # 3 Jupyter Notebook à nouveau
Utilisez mecab-ipadic-neologd de Python
Spécifiez la limite de coût lors de l'interrogation de BigQuery à partir de Jupyter
Je souhaite utiliser un environnement virtuel avec jupyter notebook!