Version de juin 2017 pour créer un environnement Tensorflow / Keras sur une instance GPU d'AWS

Aperçu

Créez un environnement dans lequel Tensorflow et Keras s'exécutent sur un GPU sur une instance de GPU AWS.

Je sais que ces articles sont le nième breuvage, mais même ainsi, il y a des matériaux épars écrits à chaque moment sur le net dont je ne sais pas s'ils sont les plus récents ou non, alors j'écrirai la situation actuelle en la divisant avec de tels articles. .. Il semble qu'il ait été libéré de l'installation manuelle de Nouveau et CUDA Toolkit, bien qu'il y ait encore quelques parties du manuel.

Matériel de référence

En gros, reportez-vous au contenu de l'URL suivante. Les versions détaillées, etc. ont été modifiées.

environnement

travail

Configuration de l'instance GPU

Le système d'exploitation à sélectionner est Ubuntu 16.04, et les paramètres détaillés seront omis. La mise en garde ici est que les fichiers CUDA Toolkit sont énormes, c'est donc une bonne idée de définir la taille de stockage un peu plus grande que les 8 Go par défaut.

Installez le pilote NVIDIA

$ sudo add-apt-repository ppa:graphics-drivers/ppa -y
$ sudo apt-get update
$ sudo apt-get install -y nvidia-375 nvidia-settings

Installation de la boîte à outils CUDA

Installez la boîte à outils CUDA. Cette fois, j'utiliserai la version 8.0. Ici, il est obtenu par wget, mais c'est le même que le programme d'installation obtenu par "Linux> x86_64> Ubuntu> 16.04> deb (local)" à partir de l'URL suivante.

CUDA Toolkit Download | NVIDIA Developer

$ wget https://developer.nvidia.com/compute/cuda/8.0/Prod2/local_installers/cuda-repo-ubuntu1604-8-0-local-ga2_8.0.61-1_amd64-deb
$ sudo dpkg -i cuda-repo-ubuntu1604-8-0-local-ga2_8.0.61-1_amd64-deb
$ sudo apt-get update
$ sudo apt-get install -y cuda nvidia-cuda-toolkit

Maintenant, vérifiez qu'il a été correctement installé avec nvidia-smi et nvcc --version.

Installation de cuDNN

** Ajout: Il semble que vous puissiez télécharger directement à partir de l'URL suivante. ** ** $ wget http://developer.download.nvidia.com/compute/redist/cudnn/v5.1/cudnn-8.0-linux-x64-v5.1.tgz

~~ cuDNN doit être téléchargé à partir du site NVIDIA et transféré vers votre instance AWS. ~~

~~ Cliquez sur le bouton de téléchargement à l'URL ci-dessous pour accepter le "Contrat de licence du logiciel cuDNN", puis sur "Télécharger cuDNN v5.1 (20 janvier 2017), pour CUDA 8.0" "CuDNN v5.1 Library for Linux" (nom de fichier: Téléchargez cudnn-8.0-linux-x64-v5.1.tgz). Connexion requise. ~~

NVIDIA cuDNN | NVIDIA Developer

~~ Copiez le fichier téléchargé sur votre instance de GPU AWS. ~~

# local
$ scp cudnn-8.0-linux-x64-v5.1.tgz aws-gpu-instance:

Décompressez et placez les fichiers à l'intérieur.

$ tar zxvf cudnn-8.0-linux-x64-v5.1.tgz 
$ sudo mv cuda/lib64/* /usr/local/cuda/lib64/
$ sudo mv cuda/include/* /usr/local/cuda/include/

Définition des variables d'environnement

Ajoutez les paramètres suivants au fichier de paramètres du shell que vous utilisez. Cette fois, je l'ai ajouté à .bashrc.

export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:/usr/local/cuda/lib64"
export CUDA_HOME=/usr/local/cuda

Installez Tensorflow et Keras

Il est maintenant temps de configurer Tensorflow et Keras. Je vais omettre de créer l'environnement Python, mais si vous suivez cet article, vous pouvez créer un environnement Python3 en utilisant pyenv / virtualenv.

$ pip install tensorflow-gpu
$ pip install keras

Tester si le GPU est disponible

Essayez de télécharger le code source de Keras et d'exécuter certains des exemples qu'il contient.

$ git clone https://github.com/fchollet/keras.git
$ cd keras/examples
$ python mnist_cnn.py

Essayez de déplacer quelque chose de manière appropriée, et si GPU-Util utilise nvidia-smi, ou s'il est clairement plus rapide que la version locale ou d'utilisation du processeur, ce sera OK. Je vous remercie pour votre travail acharné.

Référence: Erreur lors des essais et erreurs

Une des URL de référence Si vous installez conformément à ce qui précède, une erreur se produira en raison de la différence de version de cuDNN. Utilisez v5.1 au lieu de v5.0.

Loaded runtime CuDNN library: 5005 (compatibility version 5000) but source was compiled with 5110 (compatibility version 5100)

Recommended Posts

Version de juin 2017 pour créer un environnement Tensorflow / Keras sur une instance GPU d'AWS
Création d'un environnement Keras sur une instance AWS E2 G2 Février 2017
Exécutez TensorFlow sur une instance GPU sur AWS
Création d'un environnement pour exécuter ChainerMN sur une instance de GPU AWS
Essayez Tensorflow avec une instance GPU sur AWS
# 2 Créez un environnement Python avec une instance EC2 d'AWS (ubuntu18.04)
[Construction de l'environnement] @anaconda qui exécute keras / tensorflow sur GPU
Exécutez la version GPU tensorflow sur une instance ponctuelle d'AWS EC2
Utiliser jupyter sur une instance GPU sur AWS
# 3 Créez un environnement Python (Django) avec une instance EC2 (ubuntu18.04) d'AWS part2
Construction de l'environnement de TensorFlow + JupyterNotebook + Matplotlib sur la version Windows Anaconda (version d'août 2017)
J'ai essayé d'installer TensorFlow (version GPU) sur Ubuntu
Préparer l'environnement de Chainer sur l'instance spot EC2 avec AWS Lambda
[Version 2020] Comment installer Python3 sur EC2 d'AWS
Comment créer un environnement pour utiliser plusieurs versions de Python sur un Mac
Créer une instance de GPU AWS pour entraîner StyleNet
[TF] Comment créer Tensorflow dans un environnement Proxy
[Windows] Mémo pour l'utilisation de Keras sur GPU [Tensorflow-GPU]
[Est-ce explosif!?] Configuration pour utiliser la version GPU de Tensorflow sous OSX
[AWS] J'ai essayé de créer un environnement Python avec un environnement de développement eb [Elastic Beanstalk]
Autoriser Keras 2.0 et OpenCV 3.2 à fonctionner dans un environnement GPU
Procédure de déploiement sur les paramètres d'environnement du serveur AWS (2) (instance EC2)
Création d'un environnement TensorFlow qui utilise des GPU sous Windows 10
Comment créer un environnement Django (python) sur Docker
Comment créer un environnement de développement pour TensorFlow (1.0.0) (Mac)
Comment créer un environnement Python sur Amazon Linux 2
Résumé de Tensorflow / Keras
Construire TensorFlow sous Windows
Comment gérer la version mineure de Python (créer un environnement virtuel) sous Windows (sans Pyenv ou WSL)
Si vous pensez que tensorflow ne reconnaît pas votre GPU sur AWS
Présentation de l'image Docker de Kaggle sur Windows pour créer un environnement
Création d'un environnement pour exécuter des programmes Python sur AWS EC2
Je suis tombé sur TensorFlow (Quelle est la mémoire du GPU)
[AWS] Version de déploiement d'application Flask qui a tenté de créer un environnement Python avec eb [Elastic Beanstalk]
[Ubuntu 18.04] Construction de l'environnement Tensorflow 2.0.0-GPU
Créer un environnement Python sur Windows
Construire un environnement Python avec Windows
Construction de l'environnement Ubuntu14.04 + GPU + TensorFlow
[Tensorflow] Construction de l'environnement Tensorflow sous Windows 10
J'ai essayé de créer un environnement de MkDocs sur Amazon Linux
Créer un environnement Chainer à l'aide de CUDA et cuDNN sur une instance p2
Construction d'environnement de Tensorflow et Chainer par Window avec CUDA (avec GPU)
Comment créer un environnement Python à l'aide de Virtualenv sur Ubuntu 18.04 LTS
La première intelligence artificielle. Comment vérifier la version de Tensorflow installée.
Comment mettre à jour la version Python de Cloud Shell dans GCP
[AWS / Tello] Construction d'un système d'exploitation de drones sur le cloud
Comment configurer l'environnement de développement d'ev3dev [version Windows]
Shellscript pour créer un environnement pyenv sur ubuntu d'un seul coup
[Version compatible TensorFlow 2.x] Comment entraîner une grande quantité de données à l'aide de TFRecord et DataSet dans TensorFlow (Keras)