Importez vos propres fonctions avec AWS Glue

Trébuchez en important votre propre fonction

Une importation simple n'est pas possible lors de l'écriture de processus courants ou de fonctions complexes dans un fichier séparé avec AWS Glue. Cela dit, je viens d'ajouter le chemin du fichier lors de la création du travail, mais je ne connaissais pas la partie pertinente du document, alors prenez-en note.

Méthode d'importation

Fondamentalement Utilisation de la bibliothèque Python avec AWS Glue Il peut être traité en se référant au document au format.

Le flux de base consiste à compresser le fichier python, à le donner à S3 et à définir le chemin du script.

Cette fois, nous importerons les deux fonctions simples suivantes. C'est une fonction et un fichier.

hello_world.py

def hello_world(name):
    return 'Hello World, ' + str(name)

calcu.py

def sum(x, y):
    return x + y

J'ai mis ces deux fichiers ensemble dans un zip et créé un fichier zip appelé lib.zip cette fois. Je vais donner ce fichier zip à s3. Supposons que vous le placiez dans le chemin s3: // example_backet / lib.zip. Placez ce chemin dans le choix «Chemin de la bibliothèque Python» lors de la création ou de la modification du travail. S'il existe plusieurs fichiers zip, entrez-les séparés par des virgules.

Vous pouvez maintenant importer comme d'habitude après avoir créé le travail.

sample.py

from hello_world import hello_world
from calcu import sum

hoge = hello_world('hoge') 
sum = sum(1, 2)