[Python] Résumé des opérations sur les fichiers S3 avec boto3

Structure du répertoire

En supposant que les fichiers suivants sont préparés dans s3.

line/
└── diagonal/
   └── hoge.csv

Copier des fichiers entre des dossiers dans le même compartiment

Créez un nouveau dossier straight sous le dossier line et copiez-y line / diagonal / hoge.csv.

import os
import boto3

BUCKET_NAME = 'your_bucket'  #Nom du godet
COPY_FROM = 'line/diagonal'  #Copier le chemin du répertoire source
COPY_TO = 'line/straight'  #Copier le chemin du répertoire de destination]
FILE_NAME = 'hoge.csv'  #nom de fichier

s3 = boto3.client('s3')

copy_from_path = os.path.join(COPY_FROM, FILE_NAME)
copy_to_path = os.path.join(COPY_TO, FILE_NAME)

s3.copy_object(Bucket=BUCKET_NAME, key=copy_to_path, CopySource={'Bucket': BUCKET_NAME, 'Key': COPY_FROM_PATH})

Une fois exécuté, un dossier straight sera créé sous le dossier line et hoge.csv y sera copié.

line/
├── diagonal/
│   └── hoge.csv
└── straight/
	└── hoge.csv

Supprimer le fichier du répertoire

Supprimez hoge.csv du dossier diagonal.

import os
import boto3

BUCKET_NAME = 'your_bucket'  #Nom du godet
DELETE_DIR_PATH = 'line/diagonal'  #Copier le chemin du répertoire source
FILE_NAME = 'hoge.csv'  #nom de fichier

s3 = boto3.client('s3')

delete_file_path = os.path.join(DELETE_DIR_PATH, FILE_NAME)

s3.delete_object(Bucket=BUCKET_NAME, Key=delete_file_path)

Lorsqu'il est exécuté, csv est supprimé de hoge.csv sous le dossier diagonal.

line/
├── diagonal/
│   
└── straight/
	└── hoge.csv

Télécharger localement depuis S3

import os
import boto3

BUCKET_NAME = 'your_bucket'  #Nom du godet
S3_PATH = 'line/straight'  
LOCAL_PATH = 'hogehoge'
FILE_NAME = 'hoge.csv'

s3_resource = boto3.resource('s3')
bucket = s3_resource.Bucket(BUCKET_NAME)

downlod_from_path = os.path.join(S3_PATH, FILE_NAME)
download_to_path = os.path.join(LOCAL_PATH, FILE_NAME)

bucket.download_file(downlod_from_path, download_to_path)

Enregistrer la trame de données Pandas en tant que csv dans S3

import os
import pandas as pd
from io import StringIO
import boto3

S3_PATH = 'line/diagonal'
FILE_NAME = 'diagonal.csv'

df = pd.DataFrame([[1, 10], [2, 20], [3, 30]])

upload_path = os.path.join(S3_PATH, FILE_NAME)

csv_buffer = StringIO()
df.to_csv(csv_buffer)
s3_resource = boto3.resource('s3')
s3_resource.Object(S3_BUCKET, upload_path.put(Body=csv_buffer.getvalue())

Une fois exécuté, diagonl.csv sera créé dans le dossier diagonal.

line/
├── diagonal/
│   └── diagonal.csv
└── straight/
	└── hoge.csv