Comment installer Fast.ai sur le GPU Alibaba Cloud et l'exécuter sur un ordinateur portable Jupyter

Cette fois, je vais vous montrer comment installer la bibliothèque fast.ai sur le service Alibaba Cloud Elastic ** GPU ** et comment y accéder en utilisant ** Jupyter ** Notebook.

Pourquoi GPU?

Le Deep Learning en particulier nécessite beaucoup de multiplication matricielle. Il a été constaté que ce processus peut être exécuté exceptionnellement bien sur le GPU (Graphical Processing Unit) par rapport à l'unité centrale de traitement (CPU). Avant le boom de l'apprentissage profond, les GPU étaient principalement utilisés pour les jeux et autres rendus graphiques. Aujourd'hui, il est souvent utilisé pour la formation de modèles et le raisonnement en apprentissage profond. Cependant, tous les GPU ne conviennent pas à cette tâche, et les praticiens du deep learning utilisent généralement des GPU NVIDIA car la bibliothèque CUDA et les cartes GPU de NVIDIA sont optimisées pour le deep learning. Je vais.

Avoir un GPU lui-même nécessite de configurer une machine avec un GPU et un système d'exploitation approprié, il n'est donc pas prêt à résoudre les problèmes d'apprentissage en profondeur. Pour l'instant, les praticiens du deep learning utilisent principalement Ubuntu pour gérer leurs expériences. La configuration d'une machine GPU locale, ainsi que de toutes les dépendances, pilotes et installations logicielles, nécessite du temps et des connaissances en conception matérielle. Au lieu de cela, une approche plus efficace consiste à louer une instance GPU via un fournisseur de cloud comme Alibaba Cloud.

Les instances de GPU Alibaba Cloud sont facturées en fonction de l'utilisation réelle, ce qui vous permet d'économiser de l'argent sur les tests de GPU. Vous n'avez pas non plus à vous soucier des paramètres matériels ou des installations logicielles, car Alibaba Cloud a déjà effectué ces paramètres.

Caractéristiques de Fast.ai

Fast.ai fournit les fonctionnalités suivantes.

  1. La bibliothèque CUDA intégrée doit prendre en charge l'installation du pilote NVIDIA, pour voir comment le pilote NVIDIA fonctionne, entrez la commande suivante: nvidia-smi
  2. Facile à installer via conda ou pip.
  3. Prise en charge immédiate de la vision par ordinateur, du traitement du langage naturel, des données tabulaires et des modèles de co-filtrage.

Ce qui suit décrit comment installer la bibliothèque Fast.ai sur le service GPU Alibaba Cloud Elastic sur Ubuntu 16.04 et l'exécuter sur le notebook Jupyter.

Exigences

  1. Nouvelle instance Alibaba Cloud Ubuntu 16.04 avec au moins 10 Go de RAM NVIDIA GPU.
  2. Définissez le mot de passe root sur le serveur

Lancez l'instance Alibaba Cloud ECS

Pour acheter une instance de service Alibaba Cloud Elastic GPU, vous devez d'abord vous connecter à la console Alibaba Cloud ECS. Créez une nouvelle instance ECS et sélectionnez Ubuntu 16.04 comme système d'exploitation avec au moins 10 Go de RAM GPU NVIDIA. Choisissez une carte GPU NVIDIA au lieu d'AMD, comme indiqué dans la capture d'écran ci-dessous. Certains emplacements n'offrent pas d'instances GPU, alors choisissez un emplacement proche de l'endroit où vous avez votre instance GPU ou choisissez le moins cher. image.png

Après avoir sélectionné le type d'instance, n'oubliez pas de sélectionner Ubuntu 16.04 64bit comme système d'exploitation, cochez l'option d'installation automatique du pilote GPU et sélectionnez le dernier pilote. Cette option installe automatiquement les pilotes CUDA et GPU lorsque vous créez l'instance.

image.png

Connectez-vous ensuite à l'instance ECS (https://www.alibabacloud.com/help/ja/doc-detail/25434.htm) et connectez-vous en tant qu'utilisateur root.

Installation d'Anaconda

La meilleure façon de travailler avec la bibliothèque fast.ai et d'autres bibliothèques utilisant Python est de pouvoir créer cet environnement via Anaconda et de ne pas confondre les autres choses que nous avons faites sur la machine. ..

Tout d'abord, vous devez télécharger Anaconda pour Linux à partir de cette URL: [https://www.anaconda.com/download/#linux](https://www.anaconda.com/download?spm=a2c65.11461447.0. 0.1a843ce9ZkXyNF # linux)

Regardez le bouton de téléchargement Python 3.7, faites un clic droit et copiez le lien. image.png

Après cela, collez le lien dans le terminal et téléchargez-le avec la commande suivante.

curl –o https://repo.anaconda.com/archive/Anaconda3-5.3.0-Linux-x86_64.sh

Une fois le téléchargement terminé, la vérification de l'intégrité des données avec la vérification du hachage cryptographique de la somme de contrôle SHA-256 est facultative, mais entrez la commande suivante:

sha256-sum Anaconda3-5.3.0-Linux-x86_64.sh

Pour le hachage de sortie, vous devez vérifier la page Anaconda pour la version correcte d'Anaconda. Si la sortie de hachage est la même, elle a été vérifiée.

Vous pouvez installer Anaconda immédiatement après la fin du téléchargement avec la commande suivante.

bash Anaconda3-5.3.0-Linux-x86_64.sh

Production:

Welcome to Anaconda3 5.3.0 (by Continuum Analytics, Inc.)

In order to continue the installation process, please review the license
agreement.
Please, press ENTER to continue

Appuyez sur Entrée pour continuer le processus d'installation, puis maintenez la touche Entrée enfoncée pour charger les informations de licence. Vous devez approuver la licence comme indiqué dans la sortie ci-dessous.

Production:

Do you approve the license terms? [yes|no]

Entrez «Oui» pour approuver et démarrer l'installation d'Anaconda.

Vous devez maintenant sélectionner l'emplacement où vous souhaitez installer Anaconda. Si l'emplacement d'installation par défaut est suffisant, appuyez sur «Entrée» ou spécifiez un autre emplacement pour installer Anaconda.

Production:

Anaconda3 will now be installed into this location:
/root/anaconda3

  - Press ENTER to confirm the location
  - Press CTRL-C to abort the installation
  - Or specify a different location below

[/root/anaconda3] >>> 

Le travail d'installation est maintenant commencé. Ce processus peut prendre du temps car Anaconda contient des centaines de packages Python. Certains de ces packages seront utilisés par vous tout au long de la journée d'apprentissage machine learning et deep learning.

Lorsque le processus d'installation est terminé, vous devriez voir une sortie similaire à ce qui suit:

Production:

...
installation finished.
Do you wish the installer to prepend the Anaconda3 install location
to PATH in your /root/.bashrc ? [yes|no]
[no] >>>

Si vous entrez «yes» à cette étape, vous pourrez utiliser la commande «conda» plus tard.

Production:

Prepending PATH=/root/anaconda3/bin to PATH in /home/sammy/.bashrc
A backup will be made to: /root/.bashrc-anaconda3.bak
...

Pour démarrer Anaconda, vous devez générer le fichier bashrc avec la commande suivante:

source ~/.bashrc

Après cette étape, vous pouvez vérifier votre installation Anaconda avec la commande suivante:

conda list

Cette commande répertorie tous les packages Python installés par Anaconda.

Dans cet exemple, nous allons créer un environnement virtuel nommé fast.ai et entrer cette commande.

conda create --name fast.ai python=3

La sortie de cette commande listera tous les packages qui seront installés, alors tapez y si vous êtes d'accord.

Une fois le processus terminé, démarrez l'environnement avec la commande suivante pour commencer à travailler.

source activate fast.ai

Production:

(fast.ai) root@ubuntu:~$

Lorsque vous avez terminé de travailler dans l'environnement fast.ai, fermez-le avec la commande suivante.

source deactivate

Installez Fast.ai

La bibliothèque Fast.ai peut être trouvée sur https://github.com/fastai. La procédure d'installation est simple et facile. Il fournit à la fois la version GPU et la version CPU, mais cette fois, je suis intéressé par l'apprentissage en profondeur, donc je vais installer la version GPU fast.ai.

Tout d'abord, entrez la commande suivante pour installer le logiciel Pytorch. Puisque fast.ai est une bibliothèque de logiciels qui s'exécute sur le logiciel Pytorch, vous devez d'abord installer Pytorch pour installer fast.ai. N'oubliez pas d'activer l'environnement fast.ai.

source activate fast.ai
conda install -c pytorch pytorch-nightly cuda92

Ceci imprime une liste des logiciels que conda installe dans l'environnement fast.ai. Entrez «y» si vous êtes d'accord.

Entrez ensuite la commande suivante pour installer le logiciel de vision de la torche.

conda install -c fast.ai torchvision-nightly

Lorsque vous voyez la sortie de la liste des logiciels, entrez «y» pour accepter.

Enfin, pour installer fast.ai, entrez la commande suivante:

conda install -c fast.ai fast.ai

Lorsque vous voyez la sortie de la liste des logiciels, entrez «y» pour accepter.

À ce stade, nous avons installé fast.ai avec succès et sommes prêts à expérimenter le deep learning.

Essayez Fast.ai avec l'exemple de note Jupyter

La meilleure façon de tester votre installation fast.ai est de travailler avec des exemples prêts à l'emploi pour la vision par ordinateur, le traitement du langage naturel, les données tabulaires et les modèles de co-filtrage.

Prenons l'exemple de la vision par ordinateur cette fois.

Entrez la commande suivante pour copier les exemples de données de fast.ai.

git clone https://github.com/fast.ai/fast.ai/tree/master/examples

Maintenant, le dossier dans ~ / examples est

Exécutez la commande suivante.

jupyter notebook –-ip=0.0.0.0 –allow-root

Cela générera un Jupyter Notebook en cours d'exécution avec un tel jeton pour un premier accès.

http://(your-ip-address)/tree?token=f79ec772e0e53d30a221ecb18d447761e0f5a9d223c20175

Ouvrez un autre terminal et entrez la commande suivante:

ssh –L localhost:8888:localhost:8888 root@(your-ip-address)

Entrez votre mot de passe et cliquez sur Entrée.

Ouvrez un navigateur Web et collez le jeton ci-dessus dans la barre d'adresse URL.

http://localhost:8888/tree?token=f79ec772e0e53d30a221ecb18d447761e0f5a9d223c22017

Cette commande ouvre le bloc-notes Jupyter dans l'URL, puis ouvre le dossier ~ / examples et clique sur dogs_cats.ipyb pour afficher le bloc-notes Jupyter comme indiqué ci-dessous. image.png

Pour essayer la bibliothèque fast.ai, tapez simplement Shift + Enter et exécutez toutes les commandes. Vous pouvez voir comment se déroule le processus d'apprentissage en profondeur. Pour plus d'informations, veuillez visiter http://docs.fast.ai/ pour tout sur ce logiciel. Veuillez trouver le matériel.

Recommended Posts

Comment installer Fast.ai sur le GPU Alibaba Cloud et l'exécuter sur un ordinateur portable Jupyter
Comment installer OpenCV sur Cloud9 et l'exécuter en Python
Installez Anaconda sur votre Mac et téléchargez votre notebook Jupyter (IPython) sur Anaconda Cloud
Comment exécuter Jupyter et Spark sur Mac avec des paramètres minimaux
Installez le module ROS et ROS pour Roomba sur Raspberry Pi 3 et essayez de l'exécuter
Installer matplotlib et afficher le graphique dans Jupyter Notebook
Comment installer le détecteur Cascade et comment l'utiliser
Comment déployer une application Django dans le cloud Alibaba
Comment installer Git GUI et Gitk sur CentOS
[Windows] [Python3] Installer python3 et Jupyter Notebook (anciennement ipython notebook) sous Windows
Installez Docker sur Arch Linux et exécutez-le à distance
Comment afficher la barre de progression sur Jupyter Notebook pour voir la progression
Comment créer un bel environnement Python sur un nouveau Mac et installer Jupter Notebook
Exécutez Jupyter Notebook sous Windows
Comment utiliser Jupyter Notebook
Comment installer mysql-connector-python sur Mac
Comment installer et utiliser Tesseract-OCR
Installez et exécutez Dropbox sur Ubuntu 20.04
Comment installer Graph-Tool sur macOS
Comment installer VMware-Tools sur Linux
Comment installer pycrypto sur Windows
Comment exécuter matplotlib sur heroku
Comment installer PyPy sur CentOS
Comment installer TensorFlow sur CentOS 7
Comment installer et configurer Blackbird
Comment installer et utiliser Graphviz
Comment installer Maven sur CentOS
Comment installer Music 21 sur Windows
Comment installer des pandas sur EC2 (Comment gérer MemoryError et PermissionError)
Comment déployer une application Web sur Alibaba Cloud en tant que pigiste
Comment installer aws-session-manager-plugin sur Manajro Linux
Comment installer drobertadams / toggl-cli sur Mac
Comment installer et utiliser pandas_datareader [Python]
[Kivy] Comment installer Kivy sur Windows [Python]
Démarrez le notebook jupyter sur le serveur GPU (serveur distant)
Comment exécuter des commandes avec Jupyter Notebook
Comment configurer un notebook Jupyter à la destination SSH (AWS EC2)
Comment installer des packages sur Alpine Linux
Vérification du GPU du PC sur le notebook Jupyter
Comment installer Apache (httpd) sur CentOS7
Jupyter Notebook Principes d'utilisation
Comment installer php7.4 sur Linux (Ubuntu)
Comment installer Eclipse GlassFish 5.1.0 sur CentOS7
Comment installer Apache (httpd) sur CentOS8
Installez Odoo sur une instance Alibaba Cloud ECS
Notes sur la façon d'exécuter Cython sur OSX
Exécuter le notebook Jupyter sur un serveur distant
Comment utiliser le bloc-notes Jupyter [super basique]
Comment installer NumPy sur Raspeye
Comment installer le tissu et comment l'utiliser
Comment installer cx_Oracle sur macOS Sierra
Étapes pour exécuter TensorFlow 2.1 à partir de Jupyter sur le front-end Spacon ITO (avec GPU)
Comment traiter l'erreur "Aucun module nommé" "" dans Jupyter Notebook | Installer avec! Pip!
Comment exécuter une application Django sur un conteneur Docker (environnement de développement et de production)
Installer et configurer Jupyter Notebook pour créer un environnement de création de notes d'étude [Mac]
Créez un environnement PYNQ sur Ultra96 V2 et connectez-vous à Jupyter Notebook
Installation et configuration du client PyFilter pour surveiller les connexions SSH au serveur Alibaba Cloud Ubuntu