Calcul parallèle avec le notebook iPython
Utilisation de la carte de multiprocessing.Pool dans iPython Je ne veux pas l'utiliser autant que possible car Python devient un zombie lorsque le noyau est arrêté. Par conséquent, parallélisez avec la fonction par défaut d'iPython.
Voici l'utilisation minimale de la parallélisation par iPyhton. Voir [Calcul parallèle avec IPython] pour plus de détails.
Postscript
Par défaut, le notebook ipython est passé à jupyter Vous devez maintenant installer ipyparallel sur l'écran de démarrage du cluster. (Il a été migré depuis longtemps, mais je l'ajouterai d'ici 2016/1/19)
Commande d'installation
pip install ipyparallel
De plus, il ne sera efficace que si la ligne suivante est ajoutée à jupyter_notebook_config.py. .. ..
c.NotebookApp.server_extensions.append('ipyparallel.nbextension')
Bien que jupyter_notebook_config.py soit dans .jupyter dans votre répertoire personnel. .. .. .. Il semble qu'il ne soit pas généré par défaut, sauf si vous exécutez la ligne suivante. .. ..
jupyter notebook --generate-config
Démarrez le cluster
Sélectionnez Clusters sur l'écran lorsque le bloc-notes iPython est démarré. Définissez et démarrez le nombre de moteurs correspondant au profil spécifié lors du démarrage du notebook comme indiqué ci-dessous.
Exécution du code
import numpy as np
from IPython import parallel
clients = parallel.Client()
#Exécution synchrone(Aucun contrôle renvoyé lors du calcul parallèle)
clients.block = True
view = clients.load_balanced_view()
dview = clients[:]
#grappe(moteur?)Vérifiez le nombre de
print clients.ids
def func(n):
return np.arange(n)
#grappe(moteur?)Pour importer numpy
dview.execute('import numpy as np')
#Exécuter func en parallèle
view.map(func, np.arange(3))
Les références
- Parallel Computing with IPython [Parallel Computing with IPython]: http://www.astro.washington.edu/users/vanderplas/Astr599/notebooks/21_IPythonParallel
Recommended Posts