Comment prendre plusieurs arguments lors d'un traitement parallèle à l'aide du multitraitement en python

Exemple de code

sample.py


#!/usr/bin/env python
# -*- coding: utf-8 -*-
from multiprocessing import Pool
from collections import Counter

#Traiter ici en parallèle
def func(n, argument1, argument2):
    #Le processus de doubler et d'ajouter 5
    return n * argument1 + argument2

def wrapper(args):
    #args(i, 2, 5)Est devenu
    return func(*args)

def multi_process(sampleList):
    #Nombre de processus:8(Traitement parallèle avec 8 cpu)
    p = Pool(8)
    output = p.map(wrapper, sampleList)
    #Fin du processus
    p.close()
    return output

if __name__ == "__main__":
    #Effectuer 100 processus en parallèle
    num = 100

    # (i, 2, 5)Est l'argument
    sampleList = [(i, 2, 5) for i in range(num)]

    #Doublez les éléments de sampleList et ajoutez 5
    output = multi_process(sampleList)

La description

la version python est 2.7.10. Vous pouvez le voir en regardant le code

-Lors du traitement parallèle utilisant ** multiprocessing **, il est facile de le passer sous forme de liste.

Recommended Posts

Comment prendre plusieurs arguments lors d'un traitement parallèle à l'aide du multitraitement en python
Comment quitter lors de l'utilisation de Python dans Terminal (Mac)
Comment récupérer plusieurs tableaux à l'aide de slice en python.
Choses à surveiller lors de l'utilisation d'arguments par défaut en Python
Comment écrire une chaîne de caractères lorsqu'il y a plusieurs lignes en python
Comment recevoir des arguments de ligne de commande en Python
Comment faire un traitement parallèle multicœur avec python
Comment tracer plusieurs images ajustées côte à côte en utilisant Python
Comment écrire une concaténation de chaînes sur plusieurs lignes en Python
Comment mesurer le temps de traitement avec Python ou Java
Comment exécuter une commande à l'aide d'un sous-processus en Python
Points à garder à l'esprit lors du traitement des chaînes en Python2
Points à garder à l'esprit lors du traitement des chaînes en Python 3
Comment développer en Python
Comment héberger le traitement du backend d'application Web en Python à l'aide d'un sous-domaine de serveur de location
Utilisation du mode Python dans le traitement
Comment découper un bloc de plusieurs tableaux à partir d'un multiple en Python
Comment définir plusieurs variables dans une instruction Python for
Comment spécifier des arguments de ligne de commande lors du débogage avec PyCharm
Précautions lors de l'utilisation de Python avec AtCoder
Choses à garder à l'esprit lors de l'utilisation de cgi avec python.
Le traitement parallèle de Python joblib ne fonctionne pas dans l'environnement uWSGI. Comment traiter en parallèle sur uWSGI?
Comment installer Python à l'aide d'Anaconda
[Python] Comment faire PCA avec Python
Traitement parallèle Python (multitraitement et Joblib)
Précautions lors de l'utilisation de Pit avec Python
Comment collecter des images en Python
Comment utiliser SQLite en Python
Comment utiliser Mysql avec python
Comment envelopper C en Python
Comment utiliser ChemSpider en Python
Comment utiliser PubChem avec Python
Comment gérer le japonais avec Python
Lors de l'utilisation d'expressions régulières en Python
Comment ne pas échapper au japonais en traitant avec JSON en Python
Comment passer des arguments à un script Python dans SPSS Modeler Batch
Comment afficher des formules en latex lors de l'utilisation de Sympy (> = 1.4) dans Google Colaboratory
Comment supprimer plusieurs positions (index) spécifiées dans une liste Python
Précautions lors de l'attribution de valeurs par défaut aux arguments dans les définitions de fonctions Python
Lorsque vous souhaitez remplacer plusieurs caractères dans une chaîne de caractères sans utiliser d'expressions régulières dans la série python3
Lors de la spécification de plusieurs clés dans le tri python
Traitement d'exécution périodique lors de l'utilisation de tkinter [Python3]
Comment définir dynamiquement des variables en Python
Comment masquer l'invite de commande lors de l'exécution de python dans Visual Studio 2015
Comment faire R chartr () en Python
[Itertools.permutations] Comment créer une séquence en Python
Comment gérer l'erreur OAuth2 lors de l'utilisation des API Google à partir de Python
Envoyer des e-mails à plusieurs destinataires avec Python (Python3)
[python, multitraitement] Comportement des exceptions lors de l'utilisation du multitraitement
Lors de l'exécution d'un shell Python à partir d'Electron, transmettez plusieurs arguments pour exécuter Python.
Comment utiliser BigQuery en Python
Connectez-vous à Slack à l'aide de requêtes en Python
Comment obtenir la valeur du magasin de paramètres dans lambda (en utilisant python)
Comment obtenir stacktrace en python
Comment afficher la table quatre-vingt-dix-neuf en python
Comment extraire une zone de polygone en Python
Comment vérifier la version d'opencv avec python
Comment tracer les données de lumière visible d'une galaxie à l'aide de la base de données OpenNGC en python
[Introduction à Python] Comment supprimer des lignes qui remplissent plusieurs conditions dans Pandas.DataFrame