Installation de l'AWS CLI version 1
Installation de la dernière version de l'AWS CLI
pip3 install awscli --upgrade --user
Il semble qu'il a été installé, mais
aws --version
Puis
zsh: command not found: aws
Sortira ...
[Ajouter le fichier exécutable de l'AWS CLI version 1 au chemin de la ligne de commande macOS](https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/install-macos.html#awscli-install-osx- chemin)
Sur la base de l'article ci-dessus, "Ajoutez le programme aws à la variable d'environnement PATH du système d'exploitation".
→ Mais après tout
zsh: command not found: aws
Sortira ...?
which python
Il sort sous la forme / Users / user name / anaconda3 / bin / python
.
Installez l'AWS CLI Selon l'article ci-dessus Si vous utilisez --user lors de la première installation, il sera installé dans .local. J'ai besoin de mettre mon PATH dans ~ / .local / bin, mais maintenant
ʻExport PATH = "/ Utilisateurs / nom d'utilisateur / anaconda3 / bin: $ PATH" ` Je me demande si c'est parce que c'est devenu ...
La méthode est-elle différente lors de l'utilisation d'anaconda? how to install AWSCLI on a Anaconda python distribution aws codecommit aws: command not found
conda install -c conda-forge awscli
Après avoir couru, j'ai pu utiliser les commandes AWS avec brio.
Site de référence
aws configure
↓
AWS Access Key ID [None]: 〜〜 AWS Secret Access Key [None]: 〜〜 Default region name [None]: ap-northeast-1 Default output format [None]: json
Liste des commandes de l'AWS CLI Confirmez que vous pouvez voir le contenu de s3 avec ʻaws s3 ls`
ʻAws s3 cp s3: // {nom du bucket} / {chemin} {chemin local} `
Vous pouvez copier le chemin du fichier sur s3 en cliquant sur "Cliquez sur Fichier-> Cliquez sur Copier le chemin". (Ce qui suit est lors du téléchargement dans le dossier de téléchargement) ʻAws s3 cp s3: // ~ ~ ~ / Utilisateurs / nom d'utilisateur / Téléchargements `
Référence: Vous pouvez également lire des fichiers compressés avec pandas.read_csv. Très pratique!
python
import pandas as pd
df = pd.read_csv('nom de fichier.csv.gz')
#Supprimer les colonnes inutilisées
df=df.drop(columns=['A','B','C'],axis=1)
#Supprimer la ligne s'il manque une valeur dans la colonne a
df=df.dropna(subset=['a'])
df.to_csv('./renamed_file/Nom de fichier après compression.csv.gz', index=False, compression='gzip')
[Introduction à Python] Exécutons des commandes en utilisant un sous-processus!
python
import subprocess
subprocess.call(["aws","s3","ls"])
→ Succès
python
import subprocess
path_list=[Liste des fichiers PATH sur S3 que vous souhaitez télécharger]
for s in range(len(path_list)):
cmd="aws s3 cp"+" "+path_list[s]+" "+"/Users/Nom d'utilisateur/Downloads/point_data"
subprocess.call(cmd.split())
df = pd.read_csv(filename_list[s])
#Supprimer les colonnes inutilisées
df=df.drop(columns=df.columns[[1,2,3,4,5]], axis=1)#Les nombres sont des numéros de colonne La gauche est un exemple
#Supprimer la ligne sans nom de colonne A
df=df.dropna(subset=['A'])
#sauvegarder
file_name='/Users/Nom d'utilisateur/Downloads/renamed_file/'+nom de fichier
df.to_csv(file_name, index=False, compression='gzip')
cmd2="aws s3 cp"+" "+"/Users/Nom d'utilisateur/Downloads/renamed_file/"+nom de fichier+" "+ 'CHEMIN de l'emplacement sur S3 que vous souhaitez télécharger'
subprocess.call(cmd2.split())
Recommended Posts