Est-il possible que BeautifulSoup fonctionne de manière insensible à la casse?

Question

J'essaie d'extraire la méta-description pour les pages Web récupérées. Mais ici, je suis confronté au problème de la sensibilité à la casse de BeautifulSoup. Comme certaines pages ont <meta name="Description et certaines ont <meta name="description.

Mon problème est très similaire à celle de Question on Stackoverflow

La seule différence est que je ne peux pas utiliser lxml .. Je dois rester avec beautifulsoup.

Answer 1

Avec des modifications mineures cela fonctionne.

soup.findAll('meta', attrs={'name':re.compile("^description$", re.I)}) 

Answer 2

Vous pouvez donner à BeautifulSoup une expression régulière pour faire correspondre les attributs. Quelque chose comme

soup.findAll('meta', name=re.compile("^description$", re.I)) 

pourrait faire l'affaire. Cribbed de the BeautifulSoup docs.

Answer 3

Une expression régulière? Nous avons maintenant another problem.

Au lieu de cela, vous pouvez passer dans un lambda:

soup.findAll(lambda tag: tag.name.lower()=='meta', 
    name=lambda x: x and x.lower()=='description') 

(x and évite une exception lorsque l'attribut name est pas défini pour l'étiquette)

Answer 4

Avec BS4 utiliser les éléments suivants:

soup.find('meta', attrs={'name': lambda x: x and x.lower()=='description'})