Comment préparer l'environnement pour Google Colab avec le cours avancé d'apprentissage automatique de Coursera

Comment utiliser Google Colab pour les tâches de programmation avancées de machine learning dans Coursera. Sert également de mémo privé.

Contexte

J'ai commencé à suivre un cours d'apprentissage automatique avancé il y a environ deux jours, mais dans la tâche de programmation de la troisième semaine, j'ai finalement dit: "Il peut être exécuté dans l'environnement fourni par Coursera, mais il faut 2 heures pour entraîner le modèle car il s'agit d'un processeur! On m'a dit, alors je suis passé à Google Colaboratory, qui peut utiliser le GPU, dès que possible.

Mécanisme de soumission des affectations de programmation de Coursera

Dans la tâche de programmation de Coursera (ou plutôt ce cours?), À chaque point de contrôle, envoyez la valeur de la variable (comme la performance prévue du modèle ou le nombre total de paramètres) au côté Coursera pour vérifier si la valeur est acceptable. C'est un mécanisme qui vous permet d'obtenir des points en le faisant. Il y a environ 6 points de contrôle pour chaque tâche. Pour le moment, nous utilisons un module unique appelé grading_utils. L'objectif principal de cette fois est de rendre ce module appelable depuis Colab.

Téléchargement de fichier

En fait, Coursera a préparé un fichier appelé "setup_google_colab.py" afin que vous puissiez créer un environnement avec Colab. Tout d'abord, téléchargez ce fichier.

  1. Tout d'abord, ouvrez la note de problème et cliquez sur le logo COURSERA en haut à gauche. スクリーンショット 2020-03-05 3.26.16.png

  2. Ensuite, une liste de fichiers s'affiche. Sélectionnez "setup_google_colab.py" pour l'ouvrir. スクリーンショット 2020-03-05 3.28.54.png

  3. Vous pouvez télécharger le fichier sur votre PC en sélectionnant Télécharger dans l'onglet Fichier en haut à gauche. スクリーンショット 2020-03-05 3.29.06.png

  4. De la même manière, déposez le problème .ipynb sur votre PC.

  5. Téléchargez le fichier déposé sur votre lecteur Google.

Monture Google Drive

Montez ensuite le Drive afin que Colab puisse accéder aux fichiers sur votre Google Drive.

  1. Tout d'abord, ouvrez le fichier de problème téléchargé dans Colab.
  2. Exécutez la commande suivante.
from google.colab import drive
drive.mount('/content/drive')
  1. Lorsque vous l'exécutez, un lien apparaîtra comme ceci. Allez sur le lien pour obtenir le code d'autorisation et tapez Entrez votre code d'autorisation: pour terminer le montage. スクリーンショット 2020-03-05 3.45.15.png

  2. Si vous cliquez sur la marque comme "trois" à côté, vous pouvez voir que les fichiers sur votre disque sont dans le répertoire'drive'd. スクリーンショット 2020-03-05 3.54.45.png

Importation du module de configuration

Il ne vous reste plus qu'à importer le module via le chemin. Par exemple, dans mon cas, l'emplacement du fichier est "Mon Drive / HOME / Cousera / setup_google_colab.py", donc la commande suivante ajoutera le chemin vers sys.path.

import sys
sys.path.append('/content/drive/My Drive/HOME/Cousera/')

Vous pouvez maintenant l'importer.

import setup_google_colab

Setup Dans setup_google_colab, une fonction de paramétrage pour chaque problème est définie, et une fois exécutée, les modules et fichiers externes nécessaires sont automatiquement téléchargés dans le dossier de colab. Cette fois, c'est le numéro 3, donc

setup_google_colab.setup_week3()
スクリーンショット 2020-03-05 4.05.34.png

c'est tout. Les notes d'affectation fonctionneront désormais sur Colab.

finalement

Après tout, j'ai fait une erreur dans la structure du modèle et je l'ai recyclé environ 3 fois, alors j'ai pensé que je le ferais avec le processeur et ce serait de la sueur froide. Au fait, j'ai écrit dans le cahier que cela prend 1 heure et 30 minutes pour le processeur, mais le calcul a été effectué en un peu plus de 4 minutes pour le GPU. Comme prévu ...

Recommended Posts

Comment préparer l'environnement pour Google Colab avec le cours avancé d'apprentissage automatique de Coursera
Comment configurer un environnement Python à l'aide de pyenv
Comment créer rapidement un environnement d'apprentissage automatique à l'aide de Jupyter Notebook avec UbuntuServer 16.04 LTS
Comment créer rapidement un environnement d'apprentissage automatique à l'aide de Jupyter Notebook avec UbuntuServer 16.04 LTS avec Anaconda
Comment créer une API de machine learning sans serveur avec AWS Lambda
Apprentissage automatique avec Pytorch sur Google Colab
Étapes rapides pour créer un environnement d'apprentissage automatique à l'aide de Jupyter Notebook sur macOS Sierra avec anaconda
Comment configurer un serveur de développement local
Créer un environnement d'apprentissage automatique Python avec des conteneurs
Comment exécuter AutoGluon dans un environnement GPU Google Colab
Créer un environnement de développement d'applications d'apprentissage automatique avec Python
Comment configurer et compiler l'environnement Cython
Configurer un environnement de développement Python avec Sublime Text 2
Créez un environnement d'apprentissage automatique à partir de zéro avec Winsows 10
À propos de l'apprentissage avec Google Colab
Créer un environnement d'apprentissage automatique
Configurer un environnement de développement Python avec Visual Studio Code
Créez un environnement d'apprentissage automatique scikit-learn avec VirtualBox et Ubuntu
[Google Colab] Comment interrompre l'apprentissage, puis le reprendre
Lancement d'un environnement d'apprentissage automatique à l'aide de Google Compute Engine (GCE)
Comment créer un environnement de développement de la série Python2.7 avec Vagrant
Exécutez le programme sans créer d'environnement Python! !! (Comment démarrer avec Google Colaboratory)
Comment configurer WSL2 sur Windows 10 et créer un environnement d'étude pour les commandes Linux
Comment dessiner de manière interactive un pipeline d'apprentissage automatique avec scikit-learn et l'enregistrer au format HTML
Je souhaite configurer un environnement de développement GUI avec Python ou Golang sur Mac
Comment se connecter à Cloud SQL PostgreSQL sur Google Cloud Platform à partir d'un environnement local avec Java
Comment définir un raccourci pour basculer entre pleine largeur et demi-largeur dans IBus
Que diriez-vous d'Anaconda pour créer un environnement d'apprentissage automatique avec Python?
Création d'un environnement Windows 7 pour une introduction à l'apprentissage automatique avec Python
Comment créer un robot - Avancé
Comment configurer l'environnement de développement d'ev3dev [version Windows]
Comment collecter des données d'apprentissage automatique
Comment créer un ensemble de données d'image de visage utilisé dans l'apprentissage automatique (3: Génération d'images de visage à partir d'images candidates, partie 1)
Envoyez du courrier avec mailx à un serveur SMTP factice configuré avec python.
Comment configurer un notebook Jupyter à la destination SSH (AWS EC2)
Essayez de mettre en place un environnement de test Vim assez sérieusement (pour Python)
[Environnement de développement] Comment créer un ensemble de données proche de la base de données de production
Création d'un environnement d'apprentissage automatique avec le serveur Tellus GPU (Sakura High-Power Computing)
Résumé de la création d'un environnement LAMP + Wordpress avec Sakura VPS
Comment utiliser VS Code (serveur de code) avec Google Colab en seulement 3 lignes
[Blender] Comment définir shape_key avec un script
Introduction à l'apprentissage automatique: fonctionnement du modèle
scikit-learn Comment utiliser le résumé (apprentissage automatique)
Comment créer un environnement de traduction sphinx
Comment ajouter un package avec PyCharm
Configurer un serveur Samba avec Docker
Comment configurer SVM à l'aide d'Optuna
Une histoire sur l'apprentissage automatique avec Kyasuket
[Colab] Comment copier un vaste ensemble de données
Comment rechercher Google Drive dans Google Colaboratory
Comment profiter de Coursera / Machine Learning (semaine 10)
Créer un environnement de développement pour l'apprentissage automatique
Construction d'environnement AI / Machine Learning avec Python
Comment créer un ensemble de données d'image de visage utilisé dans l'apprentissage automatique (1: Acquérir des images de candidats à l'aide du service API Web)
De rien sur Ubuntu 18.04 à la configuration d'un environnement Deep Learning sur Tensor
Comment déposer Google Docs dans un dossier dans un fichier .txt avec python
Un débutant en apprentissage automatique a essayé de créer un modèle de prédiction de courses de chevaux avec python
[Apprentissage automatique] Créez un modèle d'apprentissage automatique en effectuant un apprentissage par transfert avec votre propre ensemble de données
Instructions pour connecter Google Colab. À l'environnement d'exécution local dans un environnement Windows
[Python] Comment créer un environnement de serveur Web local avec SimpleHTTPServer et CGIHTTPServer