Créez Cloud TPU avec tf-nightly

Je veux utiliser tf-nightly 2.x! Mais TPU ne le supporte pas, à ce moment-là, j'avais des ennuis car il n'y avait pas d'explication, j'ai donc pris une note.

Commencez par configurer le point où vous pouvez utiliser Google Cloud Shell. Entrez ensuite la commande suivante.

ctpu tf-versions

Cloud TPU TensorFlow Versions:
	1.15	(default version)
	1.15.dev20190909
	1.15.dev20190821
	1.14
	1.14.1.dev20190518
	1.14.1.dev20190508
	1.13
	1.12
	1.11
	nightly
	nightly-2.x
	pytorch-0.1
	pytorch-0.5
	pytorch-nightly

Choisissez la version que vous souhaitez utiliser.

ctpu up -tf-version nightly-2.x

Pour sélectionner tous les soirs pour tf2.0, procédez comme suit. Vous serez invité à entrer y.

ctpu will use the following configuration:

  Name:                 your name
  Zone:                 us-central1-b
  GCP Project:          your_project
  TensorFlow Version:   nightly-2.x
  VM:
      Machine Type:     n1-standard-2
      Disk Size:        250 GB
      Preemptible:      false
  Cloud TPU:
      Size:             v2-8
      Preemptible:      false
      Reserved:         false

OK to create your Cloud TPU resources with the above configuration? [Yn]:

Vous pouvez vérifier le TPU avec la commande suivante.

gcloud compute tpus list

NAME             ZONE           ACCELERATOR_TYPE  NETWORK_ENDPOINTS  NETWORK  RANGE          STATUS
your_name        us-central1-b  v2-8              10.240.x.x:8470    default  10.240.x.x/29  READY

Vous pouvez apprendre en le spécifiant comme résolveur comme suit.

resolver = tf.distribute.cluster_resolver.TPUClusterResolver(tpu='grpc://10.240.x.x:8470')

Remarques

À propos, notez que cela ne fonctionnera que si vous spécifiez / job: worker dans strategy.scope et créez un ensemble de données ou un modèle comme indiqué ci-dessous.

with strategy.scope():
    with tf.device("/job:worker"):
			...