Comment déclarer un timeout en utilisant urllib2 sur Google App Engine?

Question

Je sais que urllib2 est disponible sur Google App Engine en tant que wrapper d'Urlfetch et, comme vous le savez, Universal Feedparser utilise urllib2.

Connaissez-vous une méthode pour définir un délai d'expiration sur urllib2?
Le paramètre timeout sur urllib2 a-t-il été porté sur la version de Google App Engine?

Je ne suis pas intéressé par la méthode comme:

rssurldata = urlfetch(rssurl, deadline=..) 
feedparser.parse(rssurldata) 

Answer 1

Il n'y a pas de façon simple de faire cela, car le wrapper ne fournit pas un moyen de passer à travers la valeur du délai, à ma connaissance. Une option hackish serait de monkeypatch l'API urlfetch:

old_fetch = urlfetch.fetch 
def new_fetch(url, payload=None, method=GET, headers={}, 
      allow_truncated=False, follow_redirects=True, 
      deadline=10.0, *args, **kwargs): 
    return old_fetch(url, payload, method, headers, allow_truncated, 
        follow_redirects, deadline, *args, **kwargs) 
urlfetch.fetch = new_fetch 

Answer 2

Avez-vous essayé de définir la valeur de délai d'attente de prise? Tiré de here:

A partir de Python 2.3, vous pouvez spécifier la durée pendant laquelle un socket doit attendre une réponse avant d'expirer. Cela peut être utile dans les applications qui doivent aller chercher des pages Web. Par défaut, le module de socket n'a pas de délai et peut se bloquer. Actuellement, le délai d'attente de socket n'est pas exposé aux niveaux httplib ou urllib2. Cependant, vous pouvez définir le délai d'attente par défaut globalement pour toutes les prises en utilisant:

import socket 
import urllib2 

# timeout in seconds 
timeout = 10 
socket.setdefaulttimeout(timeout) 

# this call to urllib2.urlopen now uses the default timeout 
# we have set in the socket module 
req = urllib2.Request('http://www.voidspace.org.uk') 
response = urllib2.urlopen(req) 

Je ne sais pas si GAE lit cette valeur, mais il vaut le coup!

Edit:

urllib2 a la capacité de passer un paramètre de délai d'attente:

Le paramètre délai d'attente en option spécifie un délai d'attente en secondes pour opérations de blocage comme la tentative de connexion (si non spécifié, le paramètre de temporisation par défaut global sera utilisé). En fait, cela fonctionne uniquement pour les connexions HTTP, HTTPS, FTP et FTPS connections.connections.

Answer 3

Je préfère cela. C'est plus dynamique pour les mises à jour de l'API GAE.

# -*- coding: utf-8 -*- 
from google.appengine.api import urlfetch 

import settings 


def fetch(*args, **kwargs): 
    """ 
    Base fetch func with default deadline settings 
    """ 
    fetch_kwargs = { 
     'deadline': settings.URL_FETCH_DEADLINE 
    } 
    fetch_kwargs.update(kwargs) 
    return urlfetch.fetch(
     *args, **fetch_kwargs 
    ) 

Answer 4

Vous pouvez régler le délai par défaut qui est la voie préférée:

from google.appengine.api import urlfetch 
import urllib, urllib2 


class MyClass(): 

    def __init__(self): 
     urlfetch.set_default_fetch_deadline(10) 

J'ai un ouvreur j'utilise du urllib2 pour permettre à l'CookieJar, mais vous pouvez le faire des demandes simples

response = self.opener.open(self.url_login, data_encoded) 

vous pouvez facilement voir l'effet si vous définissez la date limite pour 0.1