为了账号安全,请及时绑定邮箱和手机立即绑定

scrapy 启动爬虫的时候 爬虫没有定时关掉

scrapy 启动爬虫的时候 爬虫没有定时关掉

翻阅古今 2019-01-25 15:56:22
我用crontab 启动一个爬虫,但是爬虫没有在2分钟内关掉现在有个方案就是while 死循环内 2分钟内正常运行完毕就不管,如果运行的时间超过1小时 就把这个spider 关闭,如何操作
查看完整描述

1 回答

?
蝴蝶刀刀

TA贡献1801条经验 获得超8个赞

建议搜索下扩展中间件。excetions,有关于spider未接收到信号的说明。

查看完整回答
反对 回复 2019-01-25
  • 1 回答
  • 0 关注
  • 863 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信