Échapper & hellip; avec BeautifulSoup

Question

Je suis actuellement en utilisant BeautifulSoup pour gratter certains sites Web, mais j'ai un problème avec certains caractères spécifiques, le code à l'intérieur de UnicodeDammit semble indiquer que (encore) sont certains inventés par Microsoft.

J'utilise la dernière version de BeautifulSoup (3.0.8.1) que je suis toujours en utilisant python2.5

Le code suivant illustre mon problème:

from BeautifulSoup import BeautifulSoup 
soup = BeautifulSoup('...Baby One More Time (Digital Deluxe Version…') 
print soup 

'...Baby One More Time (Digital Deluxe Version…' 

Comme vous pouvez le voir le problème est le caractère '& hellip;' (& hellip) à la fin (que votre navigateur a probablement échappé correctement). Évidemment ce n'est pas ce qui m'intéresse.

Ce serait bien d'avoir cette représentation unicode caractères ou quelque chose. Même en l'ignorant, cela résoudrait mon problème particulier.

Comment est-ce que je peux faire ceci avec BeautifulSoup?

Answer 1

trouvé la solution moi-même:

soup = BeautifulSoup('...Baby One More Time (Digital Deluxe Version…', convertEntities="html") 

Answer 2

MS peut avoir inventé, mais … fait partie de HTML 4: http://www.w3.org/TR/REC-html40/sgml/entities.html

Peut-être votre Lib/htmlentitydefs.py est manquant ou hors-date, c'est ce que BeautifulSoup utilise pour convertir des entités.

Si vous regardez the Python 2.5 source tree vous allez bien voir défini à la ligne 126