[Colab] Comment copier un vaste ensemble de données

Contexte

Le [Tutoriel DCGAN] de PyTorch (https://pytorch.org/tutorials/beginner/dcgan_faces_tutorial.html) nécessite un énorme ensemble de données (1 Go, environ 220 000 images) ↓ L'apprentissage est lent et manque de mémoire lors de l'exécution sur Jupyter Lab local ↓ Apprenons sur ** Google Colaboratory ** (ci-après Colab) qui peut également utiliser GPU ↓ Des problèmes surviennent lors du déplacement des mains

** Comment copier un jeu de données dans Colab? ** **

problème

―― Colab peut-il faire référence aux fichiers Google Drive? ――Le ZIP peut-il être décompressé sur Colab?

Colab peut-il faire référence aux fichiers Google Drive?

Vous pouvez vous y référer en montant Google Drive. Créez un nouveau bloc-notes et exécutez le code suivant.

from google.colab import drive
drive.mount('/content/drive')

Accédez au lien pour générer le code de vérification. Sélectionnez le compte qui utilise Colab dans la sélection de compte. Google Drive File Stream demandera l'accès, alors autorisez-le. Un code d'autorisation sera émis, donc copiez, collez et entrez.

Go to this URL in a browser: https://accounts.google.com/o/oauth2/auth?client_id=xxx
Enter your authorization code:

ZIP peut-il être décompressé sur Colab?

Vous pouvez utiliser la commande unzip sur Colab. Tout d'abord, téléchargez le fichier ZIP de l'ensemble de données sur Google Drive et copiez-le sur Colab.

cp "./drive/My Drive/Colab Notebooks/data/celeba/img_align_celeba.zip" "."

Après cela, utilisez la commande unzip pour le décompresser sur Colab.

!unzip "img_align_celeba.zip"

Essayez d'afficher l'image décompressée

from PIL import Image
Image.open('img_align_celeba/000001.jpg')

image.png J'ai pu l'afficher en toute sécurité.

Résumé

  1. ZIP téléversez l'ensemble de données sur Google Drive
  2. Montez Google Drive sur Colab
  3. Copiez le fichier ZIP sur Colab
  4. Décompressez le fichier ZIP sur Colab

Postscript

Si vous souhaitez simplement télécharger le fichier vers Colab, vous pouvez sélectionner le fichier local avec le code suivant. Cependant, je pense qu'il faut beaucoup de temps pour télécharger un gros fichier. Je pense que je peux télécharger plus rapidement via Google Drive dans cet article.

from google.colab import files
files.upload()

Recommended Posts

[Colab] Comment copier un vaste ensemble de données
Comment pirater un terminal
Comment faire une traduction japonais-anglais
Comment mettre un lien symbolique
Comment créer un bot slack
Comment créer un package Conda
Comment lire l'ensemble de données SNLI
Comment créer un robot - Avancé
Comment créer une fonction récursive
Comment créer un pont virtuel
Comment créer un Dockerfile (basique)
[Blender] Comment créer un plug-in Blender
Comment supprimer un conteneur Docker
Comment créer un robot - Basic
Comment créer un fichier de configuration
Comment créer un clone depuis Github
Comment diviser et enregistrer un DataFrame
Comment créer un environnement de traduction sphinx
Comment créer un dossier git clone
Qiita (1) Comment écrire un nom de code
Comment ajouter un package avec PyCharm
[Python] Comment rendre une classe itérable
Comment dessiner un graphique avec Matplotlib
[Python] Comment convertir une liste bidimensionnelle en liste unidimensionnelle
Comment utiliser mecab, neologd-ipadic sur colab
[Python] Comment inverser une chaîne de caractères
Comment installer un package à l'aide d'un référentiel
[Ubuntu] Comment exécuter un script shell
Comment obtenir stacktrace en python
Comment créer un référentiel à partir d'un média
Comment créer un indicateur personnalisé Backtrader
Comment choisir une palette de couleurs Seaborn
Comment tester sur une page authentifiée par Django
Comment créer un plan de site Pelican
Comment exécuter des scripts Maya Python
Comment copier et coller le contenu d'une feuille au format JSON avec une feuille de calcul Google (en utilisant Google Colab)
Comment créer un système de dialogue dédié aux débutants
Comment lire un fichier CSV avec Python 2/3
Comment déguiser un fichier ZIP en fichier PNG
Comment envoyer un message à LINE avec curl
Comment coder un drone en utilisant la reconnaissance d'image
Comment effacer un taple dans une liste (Python)
Comment dessiner un graphique à 2 axes avec pyplot
Comment incorporer des variables dans des chaînes python
Comment créer un objet fonction à partir d'une chaîne
Comment dessiner un graphique 3D avant l'optimisation
Comment développer une application de panier avec Django
Créer un ensemble de données en échantillonnant au hasard les données MNIST
Comment créer un dictionnaire avec une structure hiérarchique.
Comment générer un objet Python à partir de JSON
Comment déployer une application Streamlit sur GCP (GAE)
Comment implémenter un sélecteur de dégradé dans Houdini
Comment ajouter un chemin de recherche de module Python
Comment créer un plug-in QGIS (génération de package)
Comment extraire le coefficient de la formule minute
Comment écrire une instruction ShellScript Bash for
Comment se souvenir quand on oublie un mot