Utilisation de SoupStrainer pour analyser sélectivement

Question

En essayant d'analyser une liste de titres de jeux vidéo d'un site d'achat. Cependant, la liste des éléments est stockée dans une étiquette.

This La section de la documentation explique supposément comment analyser seulement une partie du document mais je ne peux pas le résoudre. mon code:

from BeautifulSoup import BeautifulSoup 
import urllib 
import re 

url = "Some Shopping Site" 
html = urllib.urlopen(url).read() 
soup = BeautifulSoup(html) 
for a in soup.findAll('a',{'title':re.compile('.+') }): 
    print a.string 

à l'heure actuelle est imprime la chaîne dans une balise qui a une référence de titre non vide. mais il est également en train de prier les articles dans la barre latérale qui sont les "spéciaux". si je ne peux que prendre la liste des produits div, je vais tuer 2 oiseaux avec une pierre.

Merci beaucoup.

Answer 1

Essayez la recherche d'abord pour la liste des produits div puis pour les a balises avec le titre:

product = soup.find('div',{'id': 'products'}) 
for a in product.findAll('a',{'title': re.compile('.+') }): 
    print a.string 

Answer 2

Oh boy suis-je bête, je cherchais des balises avec atribute id = produits, mais il aurait dû être product_list

Voici le code final si quelqu'un vient chercher.

from BeautifulSoup import BeautifulSoup, SoupStrainer 
import urllib 
import re 


start = time.clock() 
url = "http://someplace.com" 
html = urllib.urlopen(url).read() 
product = SoupStrainer('div',{'id': 'products_list'}) 
soup = BeautifulSoup(html,parseOnlyThese=product) 
for a in soup.findAll('a',{'title':re.compile('.+') }): 
     print a.string