Scraper web scrapy ne peut pas ramper lien

Question

Je suis très nouveau à Scrapy. Voici mon araignée pour ramper Twistedweb.

class TwistedWebSpider(BaseSpider): 

    name = "twistedweb3" 
    allowed_domains = ["twistedmatrix.com"] 
    start_urls = [ 
     "http://twistedmatrix.com/documents/current/web/howto/", 
    ] 
    rules = (
     Rule(SgmlLinkExtractor(), 
      'parse', 
      follow=True, 
     ), 
    ) 
    def parse(self, response): 
     print response.url 
     filename = response.url.split("/")[-1] 
     filename = filename or "index.html" 
     open(filename, 'wb').write(response.body) 

Lorsque j'exécute scrapy-ctl.py crawl twistedweb3, il est extrait uniquement.

En obtenant le contenu index.html, j'ai essayé d'utiliser SgmlLinkExtractor, il extrait les liens comme je m'y attendais mais ces liens ne peuvent pas être suivis.

Pouvez-vous me montrer où je vais mal? Supposons que je veux obtenir css, fichier javascript. Comment puis-je y parvenir? Je veux dire obtenir un site Web complet?

Answer 1

rules l'attribut appartient à CrawlSpider .Utilisez class MySpider(CrawlSpider). En outre, lorsque vous utilisez CrawlSpider vous ne devez pas remplacer la méthode parse, à la place utiliser parse_response ou un autre nom similaire.