Obtenez une liste des chemins absolus de toutes les images dans une page en utilisant BeautifulSoup

Question

Quelqu'un pourrait me montrer comment obtenir une liste de chemins aboslute pour toutes les images d'une page Web en utilisant BeautifulSoup?

Il est facile d'obtenir toutes les images. Je fais ceci:

page_images = [image["src"] for image in soup.findAll("img")] 

... mais j'ai des difficultés à obtenir les chemins absolus. De l'aide?

Merci.

Answer 1

Vous devrez normaliser les chemins après les avoir obtenus. Cela peut être fait en utilisant urlparse.urljoin. Par exemple:

>>> urlparse.urljoin("http://google.com/some/path/", "../../img/icon.png") 
'http://google.com/img/icon.png' 

Answer 2

Ce n'utilise pas BeautifulSoup, mais le lxml + pyquery plus élégant (et bien entretenu):

import pyquery 
from urlparse import urljoin 

def make_images_absolute(self): 
    self('img').each(lambda: self(this).attr('src', 
      urljoin(self.base_url, self(this).attr('src')))) 

url="http://lwn.net" 
pq = pyquery.PyQuery(url) 
for i in pq("img"): 
    print i.attrib["src"] 
make_images_absolute(pq) 
for i in pq("img"): 
    print i.attrib["src"]