Créer un environnement de développement TensorFlow sur Amazon EC2 avec une copie de commande

introduction

C'est un mémo pour le travail missionnaire. C'est pour les personnes qui veulent séparer l'environnement car il sera difficile pour le PC d'exécuter les ressources locales. La notation «$» au début est supprimée pour l'apprentissage de la copie. Nous soulignons l'effort de reconstruction (pas sur Docker, mais vous pouvez facilement écraser l'instance même si la construction échoue) et le prix. Si vous souhaitez vous concentrer sur la vitesse d'exécution et faire pivoter le GPU, veuillez vous référer à Article séparé.

procédure

Ajouter une instance Amazon EC2

• https://ap-northeast-1.console.aws.amazon.com/ec2/v2/home?region=ap-northeast-1#LaunchInstanceWizard
• Sélectionnez le package Ubuntu.
• Ouvrez bien le port dans le "Groupe de sécurité". Les détails sont omis.
• ssh: 22
• Jupyter: 8888
• Si vous n'avez pas de contrat AWS, utilisez t2.micro (probablement) gratuitement pendant un an à compter du nouveau contrat.
• Après la création, copiez le DNS public (ec2-xxxxxxxxxx.ap-northeast-1.compute.amazonaws.com) et collez-le dans un éditeur de texte.

connexion ssh

chmod 600 xxxxxxxxxx.pem
ssh -v -i xxxxxxxxxx.pem [email protected]

Mise à jour du package

sudo apt-get update && sudo apt-get -y upgrade

Préparation Python

installation de pip

sudo apt-get install -y python-pip python-dev
sudo pip install -U pip

Bibliothèque d'apprentissage automatique + TensorFlow

Installation de bibliothèques fréquemment utilisées

Vous avez installé les éléments suivants:

1. numpy: bibliothèque de calcul matriciel
2. scipy: bibliothèque de calcul scientifique
3. pandas: bibliothèque de cadres de données
4. matplotlib: bibliothèque de dessins graphiques
5. Oreiller: bibliothèque de traitement d'image
6. scikit-learn: bibliothèque d'apprentissage automatique
7. google-api-python-client: Google API Client for Python

sudo apt-get install -y libpq-dev python-matplotlib gfortran
sudo pip install --upgrade pip
sudo pip install numpy scipy pandas matplotlib Pillow scikit-learn
sudo pip install google-api-python-client

Installation de TensorFlow

Installez la dernière version à partir du 09/01/2016. Veuillez vérifier Dernière version avant d'installer.

sudo pip install --upgrade https://storage.googleapis.com/tensorflow/linux/cpu/tensorflow-0.10.0rc0-cp27-none-linux_x86_64.whl

Jupyter

Installation de Jupyter

sudo pip install jupyter

Modification de la configuration de Jupyter (paramètre de port, etc.)

jupyter notebook --generate-config && ipython profile create
echo "c = get_config()" >> /home/ubuntu/.jupyter/jupyter_notebook_config.py
echo "c.NotebookApp.ip = '*'" >> /home/ubuntu/.jupyter/jupyter_notebook_config.py
echo "c.NotebookApp.open_browser = False" >> /home/ubuntu/.jupyter/jupyter_notebook_config.py
echo "c.NotebookApp.port = 8888" >> /home/ubuntu/.jupyter/jupyter_notebook_config.py
echo "c.InteractiveShellApp.matplotlib = 'inline'" >> /home/ubuntu/.ipython/profile_default/ipython_kernel_config.py

Paramètre de mot de passe de connexion Jupyter

Enregistrez votre mot de passe de connexion. Faites une copie de sha1 qui s'affiche une fois l'enregistrement terminé.

python -c 'import IPython;print(IPython.lib.passwd())'

Ajoutez le sha1 copié à config.

echo "c.NotebookApp.password = 'sha1:xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx'" >> /home/ubuntu/.jupyter/jupyter_notebook_config.py

Démarrez Jupyter

jupyter notebook Vous pouvez vous connecter à http: //ec2-x-x-x-x.ap-northeast-1.compute.amazonaws.com: 8888 / lorsque vous commencez par. Si vous souhaitez démarrer l'instance EC2 en même temps, enregistrez le script de démarrage dans / etc / rc.local.

Vérification du fonctionnement de Jupyter

Connectez-vous à partir de votre navigateur et voyez 42 dans TensorFlow Hello, World Sample D'accord

import tensorflow as tf

hello = tf.constant("Hello, TensorFlow!")
sess = tf.Session()
print(sess.run(hello))

a = tf.constant(10)
b = tf.constant(32)
print(sess.run(a + b))