Écraser les données dans RDS avec AWS Glue

Lors de l'écriture de données sur RDS à l'aide de DynamicFrame dans une tâche Glue Comme il est écrit par append, les données seront dupliquées si le même travail est exécuté.

La conversion d'un DynamicFrame en DataFrame vous permet d'écrire en mode écrasement.

Ajoutez ce qui suit au code du travail généré automatiquement. On suppose que la définition de connexion JDBC est préparée.

#datasink4 = glueContext.write_dynamic_frame.from_jdbc_conf(frame = dropnullfields3, catalog_connection = "MyConnection", connection_options = {"dbtable": "my_table", "database": "my_database"}, transformation_ctx = "datasink4")

#Obtenir des informations JDBC à partir de la définition de connexion
jdbc_conf = glueContext.extract_jdbc_conf(connection_name='MyConnection')

#Convertir une trame dynamique en trame de données
df = dropnullfields3.toDF()

#Ecrire DataFrame dans la table (mode écrasement)
df.write \
    .format("jdbc") \
    .option("url", jdbc_conf['url']) \
    .option("dbtable", "my_database.my_table") \
    .option("user", jdbc_conf['user']) \
    .option("password", jdbc_conf['password']) \
    .mode("overwrite") \
    .save()

job.commit()

Dans l'exemple, j'écrivais des données S3 sur Aurora Serverless MySQL, mais j'ai pu les écraser.

Recommended Posts

Écraser les données dans RDS avec AWS Glue
Gérez vos données avec AWS RDS
Obtenez des données supplémentaires vers LDAP avec python
Essayez de travailler avec des données binaires en Python
Les données RDS via la plate-forme pas à pas sont envoyées aux Pandas
Gérez les structures de données 3D avec les pandas
Visualisez les données d'infection corona à Tokyo avec matplotlib
Supprimer des données dans un modèle avec Redis Cluster
Lire les données de la table dans un fichier PDF avec Python
Glue Studio [AWS]
Connectez-vous facilement à AWS avec plusieurs comptes
Premiers pas avec AWS IoT facilement en Python
Entraînez les données MNIST avec PyTorch en utilisant un réseau neuronal
Obtenez des données Amazon RDS (PostgreSQL) à l'aide de SQL avec pandas
Créez Amazon Linux avec AWS EC2 et connectez-vous
Trier les données de publication dans l'ordre inverse avec ListView de Django
Construisez AWS EC2 et RDS avec Terraform Terraform 3 minutes de cuisson
Supprimer les données DynamoDB après 5 minutes avec AWS Step Functions
Analyse de données avec python 2
Échantillonnage dans des données déséquilibrées
[blackbird-rds] Surveillance d'AWS RDS
Lecture de données avec TensorFlow
Visualisation des données avec les pandas
Manipulation des données avec les Pandas!
Augmentation des données avec openCV
Normariser les données avec Scipy
Analyse de données avec Python
CHARGER DES DONNÉES avec PyMysql
Essayez de gratter les données COVID-19 Tokyo avec Python
Ingéniosité pour gérer les données avec Pandas de manière à économiser la mémoire
[AWS] Comment gérer l'erreur "Point de code non valide" dans CloudSearch
Essayez d'acquérir des données lors de la redirection de port vers RDS avec anaconda.
Introduction à Flask Partie 2: Affichage des blocs de données dans les feuilles de style