Le pipeline scrapy spider_opened et spider_closed ne s'appellent pas

Question

J'ai des problèmes avec un pipeline en ferraille. Mes informations sont en train d'être corrigées des sites de formulaire et la méthode process_item est appelée correctement. Cependant, les méthodes spider_opened et spider_closed ne sont pas appelées.

class MyPipeline(object): 

    def __init__(self): 
     log.msg("Initializing Pipeline") 
     self.conn = None 
     self.cur = None 

    def spider_opened(self, spider): 
     log.msg("Pipeline.spider_opened called", level=log.DEBUG) 

    def spider_closed(self, spider): 
     log.msg("Pipeline.spider_closed called", level=log.DEBUG) 

    def process_item(self, item, spider): 
     log.msg("Processsing item " + item['title'], level=log.DEBUG) 

Tant les messages de journalisation __init__ et process_item sont displyed dans le journal, mais les messages de journalisation spider_open et spider_close ne sont pas.

Je dois utiliser les méthodes spider_opened et spider_closed car je veux les utiliser pour ouvrir et fermer une connexion à une base de données, mais rien ne s'affiche dans le journal.

Si quelqu'un a suggéré que ce serait très utile.

Answer 1

Désolé, je l'ai trouvé juste après avoir posté ceci. Vous devez ajouter:

dispatcher.connect(self.spider_opened, signals.spider_opened) 
dispatcher.connect(self.spider_closed, signals.spider_closed) 

en __init__ sinon il ne reçoit jamais le signal d'appeler

Answer 2

noms de méthodes appropriées sont open_spider et close_spider, non spider_opened et spider_closed. Il est documenté ici: http://doc.scrapy.org/en/latest/topics/item-pipeline.html#writing-your-own-item-pipeline.