Téléchargez le jeu de données VGG Face2 directement sur le serveur

introduction

J'ai un ensemble de données appelé VGGFace2 et je dois me connecter pour télécharger les données. Étant donné que l'ensemble de données total est d'environ 40 Go, vous souhaitez le télécharger sur le serveur sur AWS au lieu de le télécharger localement. Cependant, puisque le serveur sur AWS est CUI, vous ne pouvez pas ouvrir le navigateur, vous connecter et télécharger. Par conséquent, dans cet article, je vais vous expliquer comment télécharger à l'aide de wget dans la même situation que lorsque vous vous êtes connecté à l'environnement CUI.

Vérifiez les cookies de l'environnement local

Tout d'abord, ouvrez le site suivant dans votre environnement local et connectez-vous. http://zeus.robots.ox.ac.uk/vgg_face2/ Sur ce site, après la connexion, un token est émis et géré par des cookies. Si vous utilisez ces cookies, vous pouvez également les télécharger dans CUI. Pour voir les cookies, utilisez les outils de développement de Chrome, ouvrez l'onglet "applications" et cliquez sur les cookies pour voir une liste des cookies utilisés sur votre site.

Télécharger cookies.txt

Afin de pouvoir utiliser des cookies, il est nécessaire de sauvegarder les informations des cookies au format txt selon le format. Vous pouvez l'écrire manuellement en fonction du format, mais utilisons-le car il y a quelque chose appelé "get cookies.txt" dans l'extension Chrome, ce qui est pratique. https://chrome.google.com/webstore/detail/get-cookiestxt/bgaddhkoddajcdgocldbbfleckgcbcid/related Une fois que vous avez téléchargé cookies.txt, enregistrez cookies.txt sur votre serveur.

Télécharger le jeu de données avec wget

Maintenant que les cookies avec les informations de connexion sont prêts, il ne vous reste plus qu'à les télécharger à l'aide de wget. Le lien de téléchargement pour l'ensemble de données VGG Face2 est ci-dessous. J'ai trouvé le lien ci-dessous en cliquant avec le bouton droit sur le lien sur la page de téléchargement de l'ensemble de données et en obtenant le lien.

Train Data_v1. http://zeus.robots.ox.ac.uk/vgg_face2/get_file?fname=vggface2_train.tar.gz Test Data_v1 http://zeus.robots.ox.ac.uk/vgg_face2/get_file?fname=vggface2_test.tar.gz Train_Images_v1. http://www.robots.ox.ac.uk/~vgg/data/vgg_face2/meta/train_list.txt Test_Images_v1. http://www.robots.ox.ac.uk/~vgg/data/vgg_face2/meta/test_list.txt

La commande wget qui utilise cookies.txt est ci-dessous. Vous devez mettre cookies.txt dans le même dossier lorsque vous appuyez sur cette commande.

wget --load-cookies cookies.txt -r -k -E  url

Téléchargez les données de train de 36 Go directement sur votre serveur comme suit:

wget --load-cookies cookies.txt -r -k -E  http://zeus.robots.ox.ac.uk/vgg_face2/get_file?fname=vggface2_train.tar.gz

Recommended Posts

Téléchargez le jeu de données VGG Face2 directement sur le serveur
La route pour télécharger Matplotlib
Comment lire l'ensemble de données SNLI
Préparation du chargement du jeu de données d'origine
Essayez de faire face à la somme partielle
Comment régler l'heure du serveur sur l'heure japonaise
Connectez-vous à un serveur distant avec SSH
POST des images depuis ESP32-CAM (MicroPython) vers le serveur
Télécharger des fichiers directement sur Google Drive (à l'aide de Google Colaboratory)
[Python] Je vais télécharger FTP sur le serveur FTP.
Téléchargez l'image téléchargée par requêtes directement vers S3
[Python] Comment spécifier l'emplacement de téléchargement avec youtube-dl
Envoyer les données du journal du serveur vers Splunk Cloud
Je veux utiliser le jeu de données R avec python