Python urllib, minidom et analyse syntaxique des caractères internationaux

Question

Lorsque je tente de récupérer des informations de l'API Google météo à l'adresse suivante,

http://www.google.com/ig/api?weather=Munich,Germany&hl=de

puis essayer de l'analyser avec minidom, je reçois l'erreur que le document n'est pas bien formé.

J'utilise le code suivant

sock = urllib.urlopen(url) # above mentioned url 
doc = minidom.parse(sock) 

Je pense que les caractères allemands dans la réponse est la cause de l'erreur.

Quelle est la bonne façon de procéder?

Answer 1

L'encodage envoyé dans les en-têtes est iso-8859-1 selon urllib.urlopen de python (bien que les en-têtes HTTP de firefox semblent être en désaccord avec moi dans ce cas - rapports utf-8). Dans le fichier XML lui-même, il n'y a pas d'encodage spécifié -> c'est pourquoi xml.dom.minidom suppose que c'est utf-8.

Donc, ce qui suit devrait résoudre ce problème spécifique:

import urllib 
from xml.dom import minidom 

sock = urllib.urlopen('http://www.google.com/ig/api?weather=Munich,Germany&hl=de') 
s = sock.read() 
encoding = sock.headers['Content-type'].split('charset=')[1] # iso-8859-1 
doc = minidom.parseString(s.decode(encoding).encode('utf-8')) 

Modifier: Je l'ai mis à jour cette réponse après le commentaire de Glenn Maynard. J'ai pris la liberté de prendre une ligne de la réponse de Lennert Regebro.

Answer 2

Cela semble fonctionner:

sock = urllib.urlopen(url) 
# There is a nicer way for this, but I don't remember right now: 
encoding = sock.headers['Content-type'].split('charset=')[1] 
data = sock.read() 
dom = minidom.parseString(data.decode(encoding).encode('ascii', 'xmlcharrefreplace')) 

je suppose que minidom ne gère rien non ascii. Vous pourriez vouloir regarder dans lxml à la place, c'est le cas.