scrapy 爬虫怎么在程序里把爬虫停止
3 回答
森林海
TA贡献2011条经验 获得超2个赞
def __init__( self , crawler): self .crawler = crawler @classmethod def from_crawler( cls , crawler): return cls (crawler) # 结束爬虫 self .crawler.engine.close_spider(spider, 'closespider' ) |
上面是实现原理,实际上 scrapy.Spider 已经拥有了 crawler 属性,不必再像上面这样写。
在spider中可直接写:
1 | self .crawler.engine.close_spider( self , 'closespider' ) |
在 pipeline 和 中间件Middlewares 中:
1 | spider.crawler.engine.close_spider(spider, 'closespider' ) |
添加回答
举报
0/150
提交
取消