Mettez à jour les données en les téléchargeant sur s3 d'aws avec une commande, et supprimez les données utilisées (en chemin)

Installation de l'AWS CLI version 1

Installation de la dernière version de l'AWS CLI pip3 install awscli --upgrade --user

Il semble qu'il a été installé, mais aws --version Puis zsh: command not found: aws Sortira ... [Ajouter le fichier exécutable de l'AWS CLI version 1 au chemin de la ligne de commande macOS](https://docs.aws.amazon.com/ja_jp/cli/latest/userguide/install-macos.html#awscli-install-osx- chemin) Sur la base de l'article ci-dessus, "Ajoutez le programme aws à la variable d'environnement PATH du système d'exploitation". → Mais après tout zsh: command not found: aws Sortira ...?

which python Il sort sous la forme / Users / user name / anaconda3 / bin / python.

Installez l'AWS CLI Selon l'article ci-dessus Si vous utilisez --user lors de la première installation, il sera installé dans .local. J'ai besoin de mettre mon PATH dans ~ / .local / bin, mais maintenant

ʻExport PATH = "/ Utilisateurs / nom d'utilisateur / anaconda3 / bin: $ PATH" ` Je me demande si c'est parce que c'est devenu ...

La méthode est-elle différente lors de l'utilisation d'anaconda? how to install AWSCLI on a Anaconda python distribution aws codecommit aws: command not found

→ Conclusion

conda install -c conda-forge awscli Après avoir couru, j'ai pu utiliser les commandes AWS avec brio.

Paramètres de l'AWS CLI

Site de référence aws configureAWS Access Key ID [None]: 〜〜 AWS Secret Access Key [None]: 〜〜 Default region name [None]: ap-northeast-1 Default output format [None]: json

Liste des commandes de l'AWS CLI Confirmez que vous pouvez voir le contenu de s3 avec ʻaws s3 ls`

Copiez le fichier sur s3 localement.

ʻAws s3 cp s3: // {nom du bucket} / {chemin} {chemin local} `

Vous pouvez copier le chemin du fichier sur s3 en cliquant sur "Cliquez sur Fichier-> Cliquez sur Copier le chemin". (Ce qui suit est lors du téléchargement dans le dossier de téléchargement) ʻAws s3 cp s3: // ~ ~ ~ / Utilisateurs / nom d'utilisateur / Téléchargements `

Décompressez le fichier avec python et supprimez les colonnes supplémentaires

Référence: Vous pouvez également lire des fichiers compressés avec pandas.read_csv. Très pratique!

python


import pandas as pd
df = pd.read_csv('nom de fichier.csv.gz')

#Supprimer les colonnes inutilisées
df=df.drop(columns=['A','B','C'],axis=1)

#Supprimer la ligne s'il manque une valeur dans la colonne a
df=df.dropna(subset=['a'])

df.to_csv('./renamed_file/Nom de fichier après compression.csv.gz', index=False, compression='gzip')

Exécutez la commande depuis python.

[Introduction à Python] Exécutons des commandes en utilisant un sous-processus!

À titre de test, jetez un œil au contenu de s3 de python

python


import subprocess

subprocess.call(["aws","s3","ls"])

→ Succès

Téléchargez depuis S3 vers le dossier download / point_data, décompressez-le, ajoutez un traitement, recompressez-le dans le dossier download / renamed_file, placez-le et téléchargez-le à l'emplacement spécifié dans S3.

python


import subprocess
path_list=[Liste des fichiers PATH sur S3 que vous souhaitez télécharger]
for s in range(len(path_list)):
    cmd="aws s3 cp"+" "+path_list[s]+" "+"/Users/Nom d'utilisateur/Downloads/point_data"
    subprocess.call(cmd.split())
    df = pd.read_csv(filename_list[s])
    #Supprimer les colonnes inutilisées
    df=df.drop(columns=df.columns[[1,2,3,4,5]], axis=1)#Les nombres sont des numéros de colonne La gauche est un exemple
    
    #Supprimer la ligne sans nom de colonne A
    df=df.dropna(subset=['A'])
    #sauvegarder
    file_name='/Users/Nom d'utilisateur/Downloads/renamed_file/'+nom de fichier
    df.to_csv(file_name, index=False, compression='gzip')
    cmd2="aws s3 cp"+" "+"/Users/Nom d'utilisateur/Downloads/renamed_file/"+nom de fichier+" "+ 'CHEMIN de l'emplacement sur S3 que vous souhaitez télécharger'
    subprocess.call(cmd2.split())
    

Recommended Posts

Mettez à jour les données en les téléchargeant sur s3 d'aws avec une commande, et supprimez les données utilisées (en chemin)
Traitez le fichier gzip UNLOADed avec Redshift avec Python de Lambda, gzipez-le à nouveau et téléchargez-le sur S3
[AWS lambda] Déployer, y compris diverses bibliothèques avec lambda (générer un zip avec un mot de passe et le télécharger vers s3) @ Python
Utilisez la commande [shell] pour compresser par zip n'importe quel fichier pour créer un fichier et supprimer le fichier d'origine.
GAE --Avec Python, faites pivoter l'image en fonction des informations de rotation d'EXIF et importez-la dans Cloud Storage.
Créez rapidement un tableau de bord d'analyse de données Python avec Streamlit et déployez-le sur AWS
POSTEZ l'image sélectionnée sur le site Web avec multipart / form-data et enregistrez-la sur Amazon S3! !!
Renvoyez les données d'image avec Flask of Python et dessinez-les dans l'élément canvas de HTML
Une commande pour vérifier facilement la vitesse du réseau sur la console
[Mémo personnel] Obtenez des données sur le Web et faites-en un DataFrame
Convertissez la feuille de calcul en CSV et importez-la dans Cloud Storage avec Cloud Functions
Utilisez AWS lambda pour récupérer les actualités et notifier régulièrement LINE des mises à jour [python]
Lisez les données du lecteur NFC connecté à Raspberry Pi 3 avec Python et envoyez-les à openFrameworks avec OSC
Fabriquez un thermomètre avec Raspberry Pi et rendez-le visible sur le navigateur Partie 3
Gratter les données pluviométriques de l'Agence météorologique et les afficher sur M5Stack
Introduction à Python avec Atom (en route)
J'ai essayé de récupérer les données de l'ordinateur portable en le démarrant sur Ubuntu
Je voulais connaître le nombre de lignes dans plusieurs fichiers et j'ai essayé de l'obtenir avec une commande
[AWS S3] Confirmation de l'existence de dossiers sur S3
[Introduction à Python] Comment obtenir l'index des données avec l'instruction for
[Python3] Prenez une capture d'écran d'une page Web sur le serveur et recadrez-la davantage
J'ai essayé de notifier la mise à jour de "Devenir romancier" en utilisant "IFTTT" et "Devenir un romancier API"
Essayez de créer une table d'enregistrement de bataille avec matplotlib à partir des données de "Schedule-kun"
C'était une vie que je voulais faire de l'OCR sur AWS Lambda pour localiser les personnages.
De l'introduction de Flask sur CentOS au service sur Nginx et uWSGI
Une histoire sur la tentative de contribuer à l'analyse COVID-19 avec l'offre gratuite d'AWS et l'échec
C'était un peu difficile de faire flacon avec la version docker de nginx-unit
Essayez de normaliser Coupez l'image avec scikit-image (bien qu'elle se fâche en chemin)
Un mémo sur la façon de surmonter le problème difficile de la capture d'effets avec l'IA
Je voulais juste extraire les données de la date et de l'heure souhaitées avec Django
Lisez le fichier csv avec le notebook jupyter et écrivez le graphique l'un sur l'autre
Transition vers l'écran de mise à jour avec le Django a tag
Je n'aime pas être frustré par la sortie de Pokemon Go, j'ai donc créé un script pour détecter la sortie et le tweeter
Avec matplotlib, l'axe vertical sur le côté gauche de l'histogramme est la fréquence, et l'axe vertical sur le côté droit est la fréquence relative (peut-être une mauvaise manière)
Obtenez de manière récursive la liste Excel dans un dossier spécifique avec python et écrivez-la dans Excel.
J'ai analysé les données de combat de rang du bouclier d'épée Pokemon et je les ai visualisées sur Tableau
Comment obtenir les données météorologiques actuelles et les afficher sur l'interface graphique tout en la mettant à jour automatiquement
Donnez une date et une heure à la commande d'historique et collectez les fichiers d'historique de tous les utilisateurs avec un script
Un moyen simple de visualiser le temps pris en Python et un moyen plus intelligent de l'améliorer
Comment insérer un processus spécifique au début et à la fin de l'araignée avec la tremblante
[Ubuntu] Comment supprimer tout le contenu du répertoire
Un diagramme de réseau a été créé avec les données du COVID-19.
Obtenez UNIXTIME au début d'aujourd'hui avec une commande
Exécutons la commande à temps avec le bot discord
Probablement le moyen le plus simple de créer un pdf avec Python 3
Créer un environnement Python et transférer des données vers le serveur
Supprimer toutes les bibliothèques installées sur pip avec une seule commande
L'histoire de la copie de données de S3 vers TeamDrive de Google
La façon habituelle d'ajouter un noyau avec Jupyter Notebook
Une collection de méthodes utilisées lors de l'agrégation de données avec des pandas
Importez et supprimez des fichiers dans Google Cloud Storages avec django-storage
Essayez d'extraire les caractéristiques des données de capteur avec CNN
Un programme qui reçoit la commande d'asservissement du contrôleur radio, interrompt la tarte aux râpes et l'enregistre.
J'ai essayé de créer un site qui permet de voir facilement les informations mises à jour d'Azure
Une histoire sur l'écriture d'AWS Lambda et de devenir un peu accro aux valeurs par défaut des arguments Python
[Pour les débutants en informatique] Que faire lorsque la commande rev ne peut pas être utilisée avec Git Bash
J'ai essayé de déverrouiller l'entrée 2 lock sésame d'une simple pression sur le bouton AWS IoT
[Python] Qu'est-ce que pip? Expliquez la liste des commandes et comment l'utiliser avec des exemples réels