Malentendus et interprétations des dépendances de Luigi

Je me suis mal compris sur le framework Luigi et j'ai tellement souffert que certaines personnes peuvent souffrir des mêmes problèmes, alors je vais l'écrire.

Qu'est-ce que la dépendance

Malentendu

Réellement

Quel est le succès ou l'échec d'une tâche dans une dépendance?

Succès de la tâche

Sortie du fichier vers la cible spécifiée par `ʻoutput``

Échec de la tâche

Exception dans la tâche

Le problème de ce malentendu

Par exemple, considérons le cas suivant. Le processus de lecture d'une liste de 1000 lignes ou plus d'URL dans la liste prise par ʻinput`` et de prise de fichiers à partir de cette URL. Je pense que c'est un processus courant, mais il y a un piège ici. Je ne veux pas faire de traitement série pour télécharger 1000 fichiers, et je veux donner des paramètres à la tâche en fonction des données collectées par ʻinput``, donc [Dynamic dependency](http: //: Je pense qu'il sera écrit comme luigi.readthedocs.io/en/stable/tasks.html#dynamic-dependencies). Si même l'une des 1000 tâches créées échoue, le traitement suivant ne sera pas exécuté. Cependant, il est souvent possible qu'une ou deux tâches échouent en raison d'un dysfonctionnement du serveur WEB ou d'une erreur dans la description de l'URL, et c'est un problème si le traitement ultérieur est arrêté à cause de cela. .. Dans ce cas, la conclusion est que la tâche de traitement suivante et la tâche qui génère la tâche ne doivent pas dépendre l'une de l'autre et que le traitement doit être écrit en dehors de luigi.

Recommended Posts

Malentendus et interprétations des dépendances de Luigi
Mécanisme de pyenv et virtualenv
Pré-traitement et post-traitement de pytest
Combinaison de récursif et de générateur
Combinaison de anyenv et direnv
Explication et mise en œuvre de SocialFoceModel
Différenciation du tri et généralisation du tri
Coexistence de pyenv et autojump
Utilisation et intégration de "Shodan"
Le problème des menteurs et de l'honnêteté
Occurrence et résolution de tensorflow.python.framework.errors_impl.FailedPreconditionError
Comparaison d'Apex et de Lamvery
Installation source et installation de Python
Introduction et astuces de mlflow.