J'ai eu une erreur lorsque j'ai essayé de traiter luigi en parallèle dans Windows, mais la solution

Qu'est-ce que Luigi

Lors de la conversion de diverses données, par exemple, si le processus de conversion A dépend du processus de conversion B et le processus de conversion B dépend du processus de conversion C, la dépendance est vérifiée et le traitement est exécuté dans l'ordre du processus de conversion C. Une bibliothèque utile. Il est efficace pour traiter une erreur qui se produit au milieu d'une série de processus et sauter la partie déjà exécutée lors de la réexécution. La partie qui n'a pas de dépendance sera traitée en parallèle.

Pour plus d'informations, consultez Construction d'un pipeline de données avec Python et Luigi.

Qu'est-ce qui cause une erreur

Si le nombre de parallèles est de 2 ou plus

python

PicklingError: Can't pickle <function update_tracking_url at 0x0000000001E100B8>: it's not found as luigi.worker.update_tracking_url

Ce sera une erreur comme celle-ci. Il semble que la compatibilité entre le multitraitement et le pickle ne soit mauvaise que pour Windows. Je ne suis pas sûr.

Solution

Réduisez la version luigi à 1.2.1. Si vous ne spécifiez pas de version dans pip, la dernière version 2.3.0 sera incluse, mais c'est un piège.

Post-scriptum (2016/8/27) La version fournie par conda a été mise à jour vers 2.3.0. De plus, il semble qu'il n'y ait que cette version pour Windows, il semble donc qu'il n'y ait pas d'autre choix que de l'installer avec pip.

~~ Dans le cas de l'anaconda ~~ ~~conda install luigi~~

Pour pip

python

pip install luigi==1.2.1

Contiendra la version 1.2.1.

Cela l'a résolu dans mon environnement. Cependant, dans Pickle crash en essayant de pickle "update_tracking_url" dans luigi.worker?, la personne qui a dit que passer à la version 2.0.1 a résolu le problème. Il y en a aussi, vous devrez peut-être essayer quelle version est la meilleure.

Ajout de la différence entre les versions 1 et 2 (27/08/2016)

Si vous souhaitez modifier votre package, il est disponible jusqu'à la version 2.1.1. Voir Pickle crash en essayant de pickle "update_tracking_url" dans luigi.worker? pour les modifications.

La version 2 semble être fondamentalement plus sophistiquée. En particulier,

• Augmentation des types de types de données de paramètres pouvant être spécifiés explicitement
• L'interface utilisateur du planificateur global a été nettoyée.
• L'affichage du graphe de dépendances disponible dans l'interface utilisateur du planificateur global n'échoue plus.
• Autant que je sache, la version 1 ne pouvait pas montrer que la tâche avait des paramètres.

Etc.

finalement

mario est allé aux Jeux olympiques, mais je suis désolé, luigi.