Comment choisir une taille de segment pour le multitraitement python avec de grands ensembles de données

Question

J'essaye d'utiliser python pour obtenir des performances sur une tâche qui peut être fortement parallélisée en utilisant http://docs.python.org/library/multiprocessing. En regardant leur bibliothèque, ils disent utiliser la taille de bloc pour les itérations très longues. Maintenant, mon itérable n'est pas long, un des dicts qu'il contient est énorme: ~ 100000 entrées, avec des tuples comme clés et des tableaux chiffrés pour les valeurs.

Comment est-ce que je placerais la taille de morceau pour manipuler ceci et comment je peux transférer ces données rapidement?

Merci.

Answer 1

La seule façon de gérer ce grand élément unique dans plusieurs travailleurs à la fois est de le diviser. multiprocessing fonctionne en divisant le travail en unités, mais la plus petite unité que vous pouvez nourrir est un objet - il ne peut pas savoir comment diviser un seul objet d'une manière qui est raisonnable. Vous devez le faire vous-même, à la place. Au lieu d'envoyer les dits sur lesquels travailler, divisez les dits en unités de travail plus petites et envoyez-les à la place. Si vous ne pouvez pas diviser la dict parce que toutes les données sont interdépendantes, vous ne pouvez pas vraiment séparer le travail.