Est-ce que python urllib2 décompresse automatiquement les données gzip récupérées à partir de la page Web?

Question

J'utilise

data=urllib2.urlopen(url).read() 

Je veux savoir:

1. Comment puis-je savoir si les données à une URL est gzippés?

2. Est-ce que urllib2 décompresse automatiquement les données si elles sont gzippées? Est-ce que les données seront toujours une chaîne?

Answer 1

1. Comment puis-je savoir si les données à une URL est gzippés?

Ce vérifie si le contenu est au format gzip et décompresse:

from StringIO import StringIO 
import gzip 

request = urllib2.Request('http://example.com/') 
request.add_header('Accept-encoding', 'gzip') 
response = urllib2.urlopen(request) 
if response.info().get('Content-Encoding') == 'gzip': 
    buf = StringIO(response.read()) 
    f = gzip.GzipFile(fileobj=buf) 
    data = f.read() 

2. Est-ce que urllib2 décompressez automatiquement les données si elle est gzippés? Est-ce que les données seront toujours une chaîne?

Non, le urllib2 ne décompresse automatiquement les données parce que le « Accept-Encoding » en-tête est pas définie par la urllib2 mais vous en utilisant: request.add_header('Accept-Encoding','gzip, deflate')

Answer 2

Si vous parlez d'une simple .gz fichier, non, urllib2 ne sera pas le décoder, vous obtiendrez le fichier inchangé .gz en sortie. Si vous parlez de la compression automatique au niveau HTTP en utilisant Content-Encoding: gzip ou deflate, cela doit être délibérément demandé par le client en utilisant un en-tête Accept-Encoding.

urllib2 ne définit pas cet en-tête, donc la réponse qu'il récupère ne sera pas compressée. Vous pouvez récupérer la ressource en toute sécurité sans avoir à vous soucier de la compression (bien que la compression ne soit pas prise en charge, la demande peut prendre plus de temps).

Answer 3

Votre question a été répondue, mais pour une implémentation plus complète, jetez un oeil à Mark Pilgrim's implementation of this, il couvre gzip, deflate, analyse d'URL sûre et beaucoup, beaucoup plus, pour un analyseur RSS largement utilisé, mais néanmoins utile référence.