为了账号安全,请及时绑定邮箱和手机立即绑定

你好,请教一下scrapy 爬虫怎么在程序里把爬虫停止?

你好,请教一下scrapy 爬虫怎么在程序里把爬虫停止?

繁星淼淼 2019-11-25 10:06:32
scrapy 爬虫怎么在程序里把爬虫停止
查看完整描述

3 回答

?
森林海

TA贡献2011条经验 获得超2个赞

def __init__(self, crawler):     self.crawler = crawler      @classmethod def from_crawler(cls, crawler):     return cls(crawler) # 结束爬虫 self.crawler.engine.close_spider(spider, 'closespider')

上面是实现原理,实际上 scrapy.Spider 已经拥有了 crawler 属性,不必再像上面这样写。

在spider中可直接写:

1self.crawler.engine.close_spider(self'closespider')

在 pipeline 和  中间件Middlewares  中:

1spider.crawler.engine.close_spider(spider, 'closespider')



查看完整回答
反对 回复 2019-12-01
  • 3 回答
  • 0 关注
  • 1694 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信