[Colab] Comment copier un vaste ensemble de données
Contexte
Le [Tutoriel DCGAN] de PyTorch (https://pytorch.org/tutorials/beginner/dcgan_faces_tutorial.html) nécessite un énorme ensemble de données (1 Go, environ 220 000 images) ↓ L'apprentissage est lent et manque de mémoire lors de l'exécution sur Jupyter Lab local ↓ Apprenons sur ** Google Colaboratory ** (ci-après Colab) qui peut également utiliser GPU ↓ Des problèmes surviennent lors du déplacement des mains
** Comment copier un jeu de données dans Colab? ** **
problème
―― Colab peut-il faire référence aux fichiers Google Drive? ――Le ZIP peut-il être décompressé sur Colab?
Colab peut-il faire référence aux fichiers Google Drive?
Vous pouvez vous y référer en montant Google Drive. Créez un nouveau bloc-notes et exécutez le code suivant.
from google.colab import drive
drive.mount('/content/drive')
Accédez au lien pour générer le code de vérification. Sélectionnez le compte qui utilise Colab dans la sélection de compte. Google Drive File Stream demandera l'accès, alors autorisez-le. Un code d'autorisation sera émis, donc copiez, collez et entrez.
Go to this URL in a browser: https://accounts.google.com/o/oauth2/auth?client_id=xxx
Enter your authorization code:
ZIP peut-il être décompressé sur Colab?
Vous pouvez utiliser la commande unzip sur Colab. Tout d'abord, téléchargez le fichier ZIP de l'ensemble de données sur Google Drive et copiez-le sur Colab.
cp "./drive/My Drive/Colab Notebooks/data/celeba/img_align_celeba.zip" "."
Après cela, utilisez la commande unzip pour le décompresser sur Colab.
!unzip "img_align_celeba.zip"
Essayez d'afficher l'image décompressée
from PIL import Image
Image.open('img_align_celeba/000001.jpg')
J'ai pu l'afficher en toute sécurité.
Résumé
- ZIP téléversez l'ensemble de données sur Google Drive
- Montez Google Drive sur Colab
- Copiez le fichier ZIP sur Colab
- Décompressez le fichier ZIP sur Colab
Postscript
Si vous souhaitez simplement télécharger le fichier vers Colab, vous pouvez sélectionner le fichier local avec le code suivant. Cependant, je pense qu'il faut beaucoup de temps pour télécharger un gros fichier. Je pense que je peux télécharger plus rapidement via Google Drive dans cet article.
from google.colab import files
files.upload()
Recommended Posts