Quel est le problème avec ce format gzip?

Question

J'utilise le code python suivant pour télécharger des pages Web à partir de serveurs avec la compression gzip:

url = "http://www.v-gn.de/wbb/" 
import urllib2 
request = urllib2.Request(url) 
request.add_header('Accept-encoding', 'gzip') 
response = urllib2.urlopen(request) 
content = response.read() 
response.close() 

import gzip 
from StringIO import StringIO 
html = gzip.GzipFile(fileobj=StringIO(content)).read() 

Cela fonctionne en général, mais pour l'URL spécifiée échoue avec une exception struct.error. J'obtiens un résultat similaire si j'utilise wget avec un en-tête "Accept-encoding". Cependant, les navigateurs semblent être capables de décompresser la réponse. Donc ma question est: est-ce que je peux obtenir mon code python pour décompresser la réponse HTTP sans avoir recours à la désactivation de la compression en supprimant l'en-tête "Accept-encoding"?

Pour être complet, voici la ligne que j'utilise pour wget:

wget --user-agent="Mozilla" --header="Accept-Encoding: gzip,deflate" http://www.v-gn.de/wbb/ 

Answer 1

Il semble que vous pouvez appeler readline() sur l'objet gzip.GzipFile, mais read() soulève un struct.error parce que le fichier se termine abruptement.

Depuis readline œuvres (sauf à la fin), vous pourriez faire quelque chose comme ceci:

import urllib2 
import StringIO 
import gzip 
import struct 

url = "http://www.v-gn.de/wbb/" 
request = urllib2.Request(url) 
request.add_header('Accept-encoding', 'gzip') 
response = urllib2.urlopen(request) 
content = response.read() 
response.close() 
fh=StringIO.StringIO(content) 
html = gzip.GzipFile(fileobj=StringIO.StringIO(content)) 
try: 
    for line in html: 
     line=line.rstrip() 
     print(line) 
except struct.error: 
    pass 

Answer 2

J'ai couru la commande que vous avez spécifié. Il a téléchargé une donnée gzip-ed dans index.html. J'ai rebaptisé index.html en index.html.gz. J'ai essayé gzip -d inedx.html.gz qui mène à une erreur: gzip: index.html.gz: unexpected end of file.

deuxième essai était zcat index.html.gz qui travaillé bien, sauf que, après l'étiquette </html> il imprime la même erreur que ci-dessus.

$ zcat index.html.gz 
... 
    </td> 
</tr> 
</table> 


</body> 
</html> 
gzip: index.html.gz: unexpected end of file 

Le serveur est défectueux.

Answer 3

Créez votre gestionnaire en dérivant de urllib2.HTTPHandler et en remplaçant http_open().

import gzip 
from StringIO import StringIO 
import httplib, urllib, urllib2 
class GzipHandler(urllib2.HTTPHandler): 
    def http_open(self, req): 
     req.add_header('Accept-encoding', 'gzip') 
     r = self.do_open(httplib.HTTPConnection, req) 
     if (
      'Content-Encoding'in r.headers and 
      r.headers['Content-Encoding'] == 'gzip' 
     ): 
      fp = gzip.GzipFile(fileobj=StringIO(r.read())) 
     else: 
      fp = r 
     response = urllib.addinfourl(fp, r.headers, r.url, r.code) 
     response.msg = r.msg 
     return respsone 

puis construire votre ouvre-porte. Les différences sont que cette méthode vérifie que le serveur renvoie une réponse gzip et que c'est fait au cours de la requête pas après.

Pour plus d'informations, voir:

• http://diveintopython3.ep.io/http-web-services.html
• https://derrickpetzold.com/index.php/python-gzip-http/