Comment utiliser les threads en python

Question

Je souhaite l'utiliser pour lire des valeurs dans des fichiers 17770 et les ajouter tous à la fin d'un objet dictionnaire. J'ai une machine avec 8 cœurs.

Ce code

def run_item_preprocess(): 
    scores = {}; 
    for i in range(1,17771): 
     filename1 = "x_" + str(i) + ".txt"; 
     lines1 = open(filename1).readlines(); 
     Item1 = {}; 
     for line in lines1: 
      tokens = line.split(','); 
      Item1[int(tokens[1])] = int(tokens[2]); 
     for j in range(1,17771): 
      if j == i: 
       continue; 
      filename2 = "x_" + str(i) + ".txt"; 
      lines2 = open(filename2).readlines(); 
      Item2 = {}; 
      for line in lines2: 
       tokens = line.split(','); 
       u = int(tokens[1]); 
       r = int(tokens[2]); 
       if u in Item1: 
        Item2[u] = r; 
      if i not in scores: 
       scores[i] = {}; 
      scores[i]= (s(Item1,Item2),j); 

Answer 1

Voici le merveilleux module de multiprocessing. Il vous permet de paralléliser le code, en utilisant des processus pas de threads. Cela utilisera tous les cœurs.

Une différence importante est que les processus ne partagent pas la mémoire; une file d'attente aidera avec l'étape de réduction.

Answer 2

Voici quelques bonnes parties de la référence de la bibliothèque de python pour commencer.

http://docs.python.org/py3k/library/threading.html

http://docs.python.org/py3k/library/_thread.html

En ce qui concerne la façon d'utiliser efficacement les discussions, je vous recommande de google 'tutoriel fil python ou quelque chose comme ça.

Answer 3

Comment pensez-vous que l'utilisation de threads aiderait à cela?

Bien que Python prenne en charge le thread, l'implémentation standard (CPython) exécute only one thread at a time. Il est donc difficile de voir comment cela pourrait accélérer le processus, même sur plusieurs cœurs.

(Si vous utilisez JPython ou IronPython, cependant, cette restriction ne concerne pas.)