Importez vos propres fonctions avec AWS Glue

Trébuchez en important votre propre fonction

Une importation simple n'est pas possible lors de l'écriture de processus courants ou de fonctions complexes dans un fichier séparé avec AWS Glue. Cela dit, je viens d'ajouter le chemin du fichier lors de la création du travail, mais je ne connaissais pas la partie pertinente du document, alors prenez-en note.

Méthode d'importation

Fondamentalement Utilisation de la bibliothèque Python avec AWS Glue Il peut être traité en se référant au document au format.

Le flux de base consiste à compresser le fichier python, à le donner à S3 et à définir le chemin du script.

Cette fois, nous importerons les deux fonctions simples suivantes. C'est une fonction et un fichier.

hello_world.py


def hello_world(name):
    return 'Hello World, ' + str(name)

calcu.py


def sum(x, y):
    return x + y

J'ai mis ces deux fichiers ensemble dans un zip et créé un fichier zip appelé lib.zip cette fois. Je vais donner ce fichier zip à s3. Supposons que vous le placiez dans le chemin s3: // example_backet / lib.zip. Placez ce chemin dans le choix «Chemin de la bibliothèque Python» lors de la création ou de la modification du travail. S'il existe plusieurs fichiers zip, entrez-les séparés par des virgules.

image.png

Vous pouvez maintenant importer comme d'habitude après avoir créé le travail.

sample.py


from hello_world import hello_world
from calcu import sum

hoge = hello_world('hoge') 
sum = sum(1, 2)

Recommended Posts

Importez vos propres fonctions avec AWS Glue
Essayez d'implémenter k-NN par vous-même
Utilisez facilement vos propres fonctions en Python
Remarque sur la création de votre propre environnement Miniconda
[Python] Enregistrez votre propre bibliothèque dans PyPI
Glue Studio [AWS]
Jupyter sur AWS
Importez vos propres modules avec le développement Python de Grasshopper
Prenez votre propre utilisation maximale de la mémoire sous Linux et Python
Créez votre propre exception
Installez Docker sur AWS
Remarques sur les fonctions de la famille SciPy.linalg