Extraction de données depuis S3

Pour une raison quelconque, lorsque j'ai retiré les données téléchargées sur S3, j'ai dû obtenir la liste complète une fois avant de pouvoir l'obtenir. La spécification du préfixe était inutile.

Exemple de code

#!/usr/bin/env python
import boto.s3.connection

def main():
  s3con = boto.s3.connection.S3Connection('Quelque chose comme une clé d'accès', 'Quelque chose de secret')
  bucket_con = s3con.get_bucket('logs-many')
  for k in bucket_con.list(prefix="access_log/2015/02/10/"):
    fn = k.name.split('/')[-1]
    body = k.get_contents_to_filename('log/' + fn)
    print 'Got! ' + fn

if __name__ == '__main__':      
  main()

Donc, ce qui n'allait pas, c'est que j'avais spécifié `` / logs-many``` dans le préfixe.

D'une manière ou d'une autre, quand j'ai lu la documentation, il est dit / foo /, donc j'ai pensé que c'était nécessaire.

Recommended Posts

Extraction de données depuis S3
Extraire des données spécifiques d'un JSON complexe
Extrayez la quantité de caractéristiques (identité) du texte.
Agréger les données AWS S3
Extraire le tableau de wikipedia
Extraire des données d'une page Web avec Python
Exporter des données 3D depuis QGIS
Extraire les données Twitter avec CSV
Extraire une langue spécifique du Wiktionnaire
Extraire les redirections des vidages Wikipedia
Extraire les données csv et calculer
[Python] Extrayez des données texte à partir de données XML de 10 Go ou plus.
Suivez la structure de données de Blender et extrayez les coordonnées des sommets de fbx
L'histoire de la copie de données de S3 vers TeamDrive de Google
Extraire les informations de classification, etc. des données genbank au format xml
De l'installation d'Elasticsearch à la saisie des données
Python: exclure les balises des données html
Frappez les données du trésor de Python Pandas
Obtenir des données de Quandl en Python
[AWS] Recherchez et acquérez les données nécessaires à partir des fichiers S3 avec S3 Select
Structure de données persistante créée à partir de zéro
Extraire des pages des vidages Wikipedia
Extraire du texte d'images avec Python
[Bases de la science des données] Acquisition de données à partir de l'API
Obtenez des données de Twitter avec Tweepy
Extraire les données et les compétences de Pokemon GO Pokemon
Extraire des chaînes de fichiers avec Python
Extraire et tracer les dernières données démographiques à partir des données PDF fournies par la ville
Copier des données d'Amazon S3 vers Google Cloud Storage avec Python (boto)
Extraire des images des ensembles de données Cifar et CUCUMBER-9
J'ai essayé de récupérer les données de conversation d'ASKfm
Recevoir des données textuelles de mysql avec python
SIGNATURE Quête ① De la lecture des données au prétraitement
Utiliser le type de données PostgreSQL (jsonb) à partir de Python
Python: lecture de données JSON à partir de l'API Web
Utilisez boto pour télécharger le fichier depuis S3.
Acquisition des données de croissance des plantes Acquisition des données des capteurs
Obtenez des données de Cloudant avec le flacon Bluemix
# 5 [python3] Extraire des caractères d'une chaîne de caractères
Extraire du texte japonais d'un PDF avec PDFMiner
Données de sauvetage du disque dur extraites du ReadyNAS RN212
[Python] Application Web à partir de 0! Pratique (4) - Mise en forme des données-
[TensorFlow] Extraire des fonctionnalités du modèle entraîné Inception-v3
Obtenez des données d'un oscilloscope avec pyVISA
[Python] (Line) Extraire les valeurs des images graphiques
Utilisez PIL en Python pour extraire uniquement les données souhaitées d'Exif
[AWS; Introduction à Lambda] 2ème; Extraire des phrases du fichier json et enregistrer S3 ♬
Extraire les périodes qui correspondent à un modèle spécifique des données qualitatives de séries chronologiques de pandas