Python.expat ne peut pas analyser le fichier XML avec de mauvais symboles. Comment faire le tour?

Question

J'essaie d'analyser un fichier XML (données OSM) avec expat, et il y a des lignes avec des caractères Unicode expat ne peut pas analyser:

<tag k="name" 
v="абвгдежзиклмнопр�?туфхцчшщьыъ�?ю�?�?БВГДЕЖЗИКЛМ�?ОПРСТУФХЦЧШЩЬЫЪЭЮЯ" /> 

<tag k="name" v="Cin\x8e? Rex" /> 

(fichier XML de codage dans la ligne d'ouverture est " UTF-8 ")

Le fichier est assez ancien et il doit y avoir eu des erreurs. Dans les fichiers modernes, je ne vois pas d'erreurs UTF-8, et ils sont bien analysés. Mais que faire si mon programme rencontre un symbole brisé, quelle solution de contournement puis-je faire? Est-il possible de joindre le codec bz2 (j'analyse un fichier compressé) et le codec utf-8 pour ignorer les caractères brisés, ou les changer en "?"?

Answer 1

Je ne sais pas si « » caractères ont été introduits par la chaîne du copier-coller ici, mais si vous les avez dans les données d'origine, il semble être générateur problème qui introduit \ uFFFD charactes comme:

" utilisé pour remplacer un caractère entrant dont la valeur est inconnue ou irreprésentable en Unicode »

citied de: http://www.fileformat.info/info/unicode/char/fffd/index.htm

Solution? Idée juste pour l'extension:

good = True 
buf = None 
while True: 
if good: 
     buf = f.read(buf_size) 
     else: 
     # try again with cleaned buffer 
     pass 
     try: 
      xp.Parse(buf, len(buf) == 0) 
      if (len(buf) == 0): 
        break 
     good = True 
    except ExpatError: 
     if xp.ErrorCode == XML_ERROR_BAD_CHAR_REF: 
      # look at ErrorByteIndex (or nearby) 
      # for 0xEF 0xBF 0xBD (UTF8 replacement char) and remove it 
      good = False 
     else: 
      # other errors processing 
      pass 

Ou nettoyer le tampon d'entrée à la place + les cas d'angle (séquence partielle à l'extrémité du tampon). Je ne me souviens pas si l'expat de python permet d'assigner un gestionnaire d'erreur personnalisé. Ce serait plus facile alors.

Si je nettoie votre échantillon à partir des caractères ' ', il est traité correctement. \ xd1 n'échoue pas.

Données OSM?