Comment je ferais un simple extracteur d'URL en Python?

Question

Comment commencer sur une seule page Web, disons à la racine de DMOZ.org et indexer chaque URL attachée à elle. Puis stocker ces liens dans un fichier texte. Je ne veux pas le contenu, juste les liens eux-mêmes. Un exemple serait génial.

Answer 1

Ceci, par exemple, serait imprimer des liens sur this very related (but poorly named) question:

import urllib2 
from BeautifulSoup import BeautifulSoup 

q = urllib2.urlopen('https://stackoverflow.com/questions/3884419/') 
soup = BeautifulSoup(q.read()) 

for link in soup.findAll('a'): 
    if link.has_key('href'): 
     print str(link.string) + " -> " + link['href'] 
    elif link.has_key('id'): 
     print "ID: " + link['id'] 
    else: 
     print "???" 

Sortie:

Stack Exchange -> http://stackexchange.com 
log in -> /users/login?returnurl=%2fquestions%2f3884419%2f 
careers -> http://careers.stackoverflow.com 
meta -> http://meta.stackoverflow.com 
... 
ID: flag-post-3884419 
None -> /posts/3884419/revisions 
... 

Answer 2

Si vous insistez pour réinventer la roue, utilisez un analyseur html comme BeautifulSoup pour récupérer toutes les balises. This answer à une question similaire est pertinente.

Answer 3

Scrapy est un framework Python pour l'exploration web. Beaucoup d'exemples ici: http://snippets.scrapy.org/popular/bookmarked/