stocker des liens d'un site dans un arbre

Question

J'essaye de stocker les liens que je gratte d'un site dans un arbre non binaire. Les liens sont hiérarchisés (évidemment). La question est comment puis-je générer l'arbre? Je veux dire, comment vais-je me frayer un chemin à travers les pages fournies par le lien afin que je sache qui est qui est l'enfant. Pour l'instant, je peux obtenir le premier et le second niveau de liens, mais je n'ai aucune idée de comment aller d'ici, en plus de devoir le construire de manière récursive et avoir un moyen de m'arrêter quand je suis sur une feuille (que j'ai).

Ce que je pensais était quelque chose comme (code Python):

def buildTree(root): 
for node in root.children: 
    if <end condition here>: 
     continue 
    else: 
     nodes = getNodes(urllib2.urlopen(node.url).read()) 
     node.addChildren(nodes) 
     buildTree(node) 

où la racine et les noeuds sont définis par l'utilisateur Noeud classe

Answer 1

De toute évidence, les liens d'un site ne sont pas un arbre, mais un graphique. Vous devriez avoir un objet Page, identifié par une URL, et un objet Lien, qui pointe d'une page à une autre (et la page A peut pointer vers la page B, tandis que la page B pointe vers la page A, en faisant un graphique, au lieu d'un arbre).

algorithme d'analyse pseudo-code:

process_page(current_page): 
    for each link on the current_page: 
    if target_page is not already in your graph: 
     create a Page object to represent target_page 
     add it to to_be_scanned set 
    add a link from current_page to target_page 

scan_website(start_page) 
    create Page object for start_page 
    to_be_scanned = set(start_page) 
    while to_be_scanned is not empty: 
     current_page = to_be_scanned.pop() 
     process_page(current_page)