Scrapy make_requests_from_url (url)

Question

Dans le tutoriel Scrapy il y a cette méthode de la BaseSpider:

make_requests_from_url(url)

Une méthode qui reçoit une URL et retourne un objet de requête (ou une liste de Demande objets) pour gratter.

Cette méthode est utilisée pour construire les demandes initiales dans le procédé start_requests(), et est typiquement utilisé pour convertir les URL pour les demandes .

À moins surchargée, cette méthode renvoie demandes avec la méthode parse() comme leur fonction de rappel, et avec paramètre dont_filter activé (voir classe Request pour plus d'informations).

Comprenez-vous ce que cette méthode fait? Puis-je utiliser makerequestsfrom et BaseSpider au lieu de SgmlLinkExtractor et CrawlSpider qui ne fonctionne pas pour moi?

J'essaye d'explorer plus que l'URL initiale donnée et Scrapy ne fait pas cela.

Merci

Answer 1

C'est vrai, le CrawlSpider est utile et pratique dans de nombreux cas, mais il ne couvre qu'une partie de toutes les araignées possibles. Si vous avez besoin de quelque chose de plus complexe, vous sous-classez généralement BaseSpider et implémentez la méthode start_requests().