Dans le commentaire de Réglage des paramètres avec luigi, j'ai reçu l'information que "le transfert en mémoire semble être possible avec luigi.mock", et je l'ai fait. L'histoire que j'ai essayée. Eh bien, d'après le nom simulé, il semble que les E / S de fichiers soient effectuées en mémoire d'une manière pseudo, et je pense que ce ne sera pas aussi efficace. J'étais là.
Le code utilisé cette fois est le suivant.
https://github.com/keisuke-yanagisawa/study/blob/20151208/luigi/mock_test.py
Utilisez python mock_test.py main --use mock pour vérifier la version d'utilisation fictive.
Vous pouvez exécuter la version sans maquette avec `` python mock_test.py main ''.
Comme vous pouvez le voir, c'est un code qui crée un csv avec 10 000 000 "1", séparés par des virgules, le lit et compte le nombre de caractères, et la sortie finale est 19999999. J'ai un peu de temps pour créer un tableau, mais c'est presque comme ça, donc c'est un esprit. En fait, cela a fait une différence dans les mesures de temps suivantes.
Je vais vous montrer le résultat rapidement. Cette fois, j'ai utilisé la commande time pour mesurer le temps trois fois.
| luigi.LocalTarget | luigi.mock.MockTarget | |
|---|---|---|
| Première fois | 10.952 sec. | 29.879 sec. |
| Deuxième fois | 7.829 sec. | 30.883 sec. |
| Troisième fois | 11.137 sec. | 27.766 sec. |
Oui, je n'ai aucune objection. Même avec une simulation, je ne m'attendais pas à ce que ce soit aussi lent. Comme expliqué par la famille principale, cela ressemble à un mécanisme de test.
Alors, écrivons un fichier martelé pour un usage quotidien.
Recommended Posts