Comment rendre ce Twisted Python Proxy plus rapide?

Question

Le code ci-dessous est un proxy HTTP pour le filtrage de contenu. Il utilise GET pour envoyer l'URL du site actuel au serveur, où il le traite et répond. Il fonctionne TRÈS, TRÈS, TRÈS lent. Des idées sur la façon de le rendre plus rapide?

Voici le code:

from twisted.internet import reactor 
from twisted.web import http 
from twisted.web.proxy import Proxy, ProxyRequest 
from Tkinter import * 
#import win32api 
import urllib2 
import urllib 
import os 
import webbrowser 

cwd = os.path.abspath(sys.argv[0])[0] 
proxies = {} 
user = "zachb" 
class BlockingProxyRequest(ProxyRequest): 
    def process(self): 
     params = {} 
     params['Location']= self.uri 
     params['User'] = user 
     params = urllib.urlencode(params) 
     req = urllib.urlopen("http://weblock.zbrowntechnology.info/ProgFiles/stats.php?%s" % params, proxies=proxies) 
     resp = req.read() 
     req.close() 
     if resp == "allow": 
      pass 
     else: 
      self.transport.write('''BLOCKED BY ADMIN!''') 
      self.transport.loseConnection() 

     ProxyRequest.process(self) 

class BlockingProxy(Proxy): 
    requestFactory = BlockingProxyRequest 
factory = http.HTTPFactory() 
factory.protocol = BlockingProxy 

reactor.listenTCP(8000, factory) 
reactor.run() 

Quelqu'un a des idées sur la façon de faire de cette course plus rapide? Ou même une meilleure façon de l'écrire?

Answer 1

La principale cause de la lenteur de cette procuration est probablement ces trois lignes:

req = urllib.urlopen("http://weblock.zbrowntechnology.info/ProgFiles/stats.php?%s" % params, proxies=proxies) 
    resp = req.read() 
    req.close() 

Une application torsadée normale est un seul thread. Vous devez sortir de votre chemin pour obtenir des discussions. Cela signifie qu'à chaque fois qu'une requête arrive, vous bloquez le seul et unique thread de traitement de cette requête HTTP. Aucune autre demande n'est traitée jusqu'à la fin de cette requête HTTP. Essayez d'utiliser l'une des API dans twisted.web.client (par exemple Agent ou getPage). Ces API ne bloquent pas, de sorte que votre serveur gère simultanément les demandes simultanées. Cela devrait se traduire par des temps de réponse beaucoup plus courts.