J'ai vérifié le package Python pré-installé dans Google Cloud Dataflow

Google Cloud Dataflow n'attire pas beaucoup d'attention, mais c'est assez pratique car vous pouvez facilement basculer l'environnement d'exécution entre local et distant. De plus, si vous pensez que vous ne pouvez utiliser que la bibliothèque standard, vous pouvez l'installer depuis Pip list ou [Original installation](http: // qiita. com / orfeon / items / 78ff952052c4bde4bcd3) est également possible. Ensuite, j'ai cherché dans Document pour savoir quelle bibliothèque était préinstallée, donc je ne l'ai pas trouvée.

Préparation

Tout d'abord, les options de réglage, cette zone est le pakuri rond de @ orfeon ...

Paramètres des options

import apache_beam as beam
import apache_beam.transforms.window as window

options = beam.utils.pipeline_options.PipelineOptions()

google_cloud_options = options.view_as(beam.utils.pipeline_options.GoogleCloudOptions)
google_cloud_options.project = '{PROJECTID}'
google_cloud_options.job_name = 'test'
google_cloud_options.staging_location = 'gs://{BUCKET_NAME}/binaries'
google_cloud_options.temp_location = 'gs://{BUCKET_NAME}/temp'

worker_options = options.view_as(beam.utils.pipeline_options.WorkerOptions)
worker_options.max_num_workers = 1

# options.view_as(beam.utils.pipeline_options.StandardOptions).runner = 'DirectRunner'
options.view_as(beam.utils.pipeline_options.StandardOptions).runner = 'DataflowRunner'

p = beam.Pipeline(options=options)

Exécutez pip freeze pour enregistrer la liste des packages Python.

Partie sortie de la liste des packages

def inspect_df(dat):
    import subprocess
    import logging
    process = subprocess.Popen('pip freeze', shell=True,
                               stdout=subprocess.PIPE, 
                               stderr=subprocess.PIPE)
    for line in process.stdout:
        logging.info(line)

Exécutez sur Dataflow. Vous n'avez peut-être pas besoin de bonjour le monde ...

Exécution du pipeline

(p | 'init' >> beam.Create(['hello', 'world'])
   | 'inspect' >> beam.Map(inspect_df))

p.run()

Une fois l'exécution du pipeline terminée, la liste des packages sera sortie dans le journal, vérifiez-la avec Cloud Console.

Vérification du journal

Dans Dataflow Document, vous pouvez consulter le journal à partir de l'écran Détails de la tâche de Dataflow, mais à partir du 4 mars 2017, Stackdriver -> Passer à la journalisation.

Liste des paquets

C'est une liste de paquets crachés dans le journal ci-dessus. ** Au 4 mars 2017 **

Est-ce parce que «tf.transform» est arrivé? Dans Cloud ML, ~~ TensorFlow ver est 0.12 ~~ ** (EDIT: La dernière version est [ici](https://cloud.google.com/ml-engine/docs/concepts/runtime-version-" Vous pouvez le vérifier avec la liste)) ** C'est 1.0.0 dans Dataflow. scikit-learn semble un peu vieux.

Bien que la mise en scène soit un peu lente, Dataflow, qui vous permet de basculer facilement entre local et distant à partir du Jupyter Notebook et d'être entièrement géré du lancement au lancement d'une instance sans autorisation, semble être un outil puissant pour des applications telles que l'analyse de données et l'apprentissage automatique. est.