Copie de fichiers directement d'Amazon EC2 (Amazon Linux) vers S3

Copiez des fichiers directement d'Amazon EC2 (Linux) vers S3

Vous souhaiterez peut-être exporter le fichier de données dans EC2 vers un autre environnement tout en vérifiant quelque chose dans l'environnement AWS. (J'en ai pas mal, mais qu'en est-il de tout le monde ...) Si EC2 est un OS de serveur Windows, vous pouvez utiliser un navigateur, donc je pense qu'il y a plusieurs façons de le faire, comme le télécharger sur Box etc. ou le joindre à un e-mail Web, mais que faire avec Linux OS (´ ・ ω ・ `). Par conséquent, je voudrais vérifier la méthode de téléchargement directement d'EC2 vers S3 à l'aide de l'AWS CLI et de téléchargement vers un autre environnement à partir de l'écran de la console de S3.

Ce que vous voulez réaliser

やりたいこと.png

Je souhaite exporter le fichier de données dans EC2 (Linux) vers S3 afin qu'il puisse être téléchargé à partir de l'écran de la console S3.

procédure

  1. Déployez EC2
  2. Créez des répertoires et des fichiers dans EC2
  3. Attachez un rôle pour le téléchargement S3 vers EC2
  4. Créez un compartiment S3 de destination de copie
  5. Copiez les données dans S3 avec l'AWS CLI

Je l'ai essayé

Commencez par déployer EC2 et connectez-vous avec SSH. Ensuite, créez un répertoire et créez un fichier de test à copier dans S3.

Basculer l'utilisateur sur #root  sudo su root  #Télécharger des informations  yum -y update Créez un répertoire (/ test-share) dans # / home  cd /home  mkdir /test-share  cd /test-share #Créer un fichier de test (test.txt)  touch test.txt #Vérifiez si le fichier a été créé  ls

Le fichier de test à copier sur S3 est maintenant prêt.

J'ai déployé EC2, mais dans l'état actuel, je n'ai pas l'autorité (rôle) pour accéder à S3, donc je dois attacher un rôle.

Comment faire un rouleau Accédez à IAM depuis l'écran de la console AWS et cliquez sur "Rôle" Diapositive 2.PNG

Cliquez ensuite sur "Créer un rôle" スライド3.PNG

Sélectionnez "EC2" pour les cas d'utilisation généraux スライド4.PNG

Sélectionnez une stratégie à attribuer à un rôle Entrez S3 dans le filtre de politique et dans les politiques affichées Cette fois, je veux accéder (télécharger, télécharger, parcourir) S3, donc sélectionnez [AmzzonS3FullAccess].

スライド5.PNG

Balisage au besoin (les balises ne sont pas définies cette fois) スライド6.PNG

Définissez le nom du rôle de manière arbitraire et cliquez sur "Créer" スライド7.PNG

Une fois le rôle créé, attachez-le à EC2 Sélectionnez l'instance cible sur l'écran de la console EC2 et sélectionnez "Action" - "Paramètres d'instance" - "Affectation / Remplacer de rôle IAM". S3_Qiita用.png

Attribuez l'ID et le rôle de l'instance cible, puis cliquez sur "Appliquer" S3_ロール割り当て_Qiita用.png

Vous avez maintenant associé un rôle pour EC2 pour accéder à S3.

Ensuite, créez un compartiment S3 (dossier test-20200624) dans lequel copier les données. Accédez à l'écran de la console S3 et "Créer un compartiment" スライド8.PNG

Entrez "test-20200624-folder" et la région (cette fois Asie-Pacifique) dans le nom du compartiment, puis cliquez sur "Suivant". スライド9.PNG

Je vais définir le seau, mais cette fois, il n'y a pas de changement particulier dans le paramètre, donc "Suivant" tel quel スライド10.PNG

Assurez-vous que Bloquer l'accès public est coché et cliquez sur "Suivant" スライド11.PNG

Après avoir attaché le rôle, entrez la commande pour copier les données vers S3 dans l'AWS CLI.

#Connectez-vous à nouveau à EC2 avec SSH et passez à la racine  sudo su root

Déplacer vers le répertoire où se trouve le fichier de test

 cd /home /test-share

Copier les données vers S3 avec #aws cli  aws s3 cp /test.txt s3://test-20200624-folder

2020-06-24 06:59:35 0 C'est OK s'il est affiché comme test.txt

Enfin, vérifiez si vous pouvez télécharger "test.txt" depuis l'écran de la console S3. Lorsque vous accédez à l'écran de la console S3 et vérifiez le compartiment cible S3_コンソールQiita用.png

J'ai pu confirmer que test.txt a été copié! Après cela, sélectionnez "Télécharger" dans "Action" pour terminer l'exportation du fichier vers un autre environnement.

finalement

Il y a des articles avec le même contenu à divers endroits, mais il n'y avait aucune explication pour attacher le rôle EC2, et même si j'ai suivi la procédure, une erreur s'est produite, alors j'espère que cela sera utile pour les mémorandums et les débutants.

Vous pouvez utiliser l'AWS CLI non seulement pour copier des données d'EC2 vers S3, mais également pour synchroniser un répertoire spécifique d'EC2 avec un dossier dans le compartiment S3. Ce serait pratique si EC2 avait une fonction d'autorité de certification racine et pouvait être utilisé pour exporter le certificat créé ou envoyer un fichier journal pour vérification. D (`・ ω ・ ')

Recommended Posts

Copie de fichiers directement d'Amazon EC2 (Amazon Linux) vers S3
Copier les fichiers S3 de Python vers GCS à l'aide de GSUtil
[Amazon Linux] Passage de la série Python 2 à la série Python 3
Copier des données d'Amazon S3 vers Google Cloud Storage avec Python (boto)
Paramètres de Jupyter Notebook - Comment utiliser (EC2 Amazon Linux 2)
AWS EC2 2nd SSH connection to EC2 Instance (Amazon Linux 2)
[AWS EC2] Comment installer Maven sur Amazon Linux 2
[Amazon Linux 2] Passage de l'authentification par clé publique à l'authentification par mot de passe
[Linux] Copie des données de Linux vers Windows avec un script shell
Copiez récursivement les fichiers du répertoire directement sous le répertoire en utilisant Python
Script Linux pour convertir les fichiers Markdown du format JupyterLab au format Qiita
[AWS EC2] Paramètres que vous souhaitez effectuer sur Amazon Linux 2
[Scp] Copiez les fichiers localement depuis un serveur Linux avec ssh scp de Tera Term
Copie facile dans le presse-papier sous Linux
Ajouter des utilisateurs disposant d'un accès SSH à votre instance Linux Amazon EC2
Présentation d'Amplify à Amazon Linux 2 AMI
Intégration de données depuis l'application Python sur Linux vers Amazon Redshift avec ODBC
Comment afficher correctement les fichiers statiques Django sous l'environnement Amazon Linux2 + Apache
Changer l'instance AWS EC2 de t2 à t3
J'installe Ruby sur EC2 (Amazon Linux2) 2020
[Linux] Comment subdiviser des fichiers et des dossiers
Enregistrer des fichiers à l'aide du stockage EC2 sans utiliser S3
[Linux] Flux de la mise sous tension au démarrage du PC
PUT gzip directement dans S3 en Python
Comment mettre à jour PHP sur Amazon Linux 2
Comment faire fonctionner Linux depuis la console
Présentation de Docker Engine à Linux From Scratch
Comment trouver des fichiers volumineux sous Linux
Utilisez boto pour charger / télécharger des fichiers vers s3.
Installez Python 3.8, Pip 3.8 sur EC2 (Amazon Linux 2)
Comment faire fonctionner Linux depuis l'extérieur Procédure
Comment bien gérer les commandes Linux à partir de Python
Création d'une instance AWS EC2 EC2 (Amazon Linux AMI) 2
Firewalld ajouté à Amazon Linux 2 (restrictions d'adresse IP)
(Traduction) De Arrow aux pandas à 10 Go / s
Télécharger des fichiers directement sur Google Drive (à l'aide de Google Colaboratory)
Sauvegarde de QNAP vers Linux avec rsync
[Linux] Lorsque vous souhaitez rechercher une chaîne de caractères spécifique dans plusieurs fichiers
[AWS EC2] Comment installer uniquement le client MySQL sur Amazon Linux 2 et se connecter à RDS