为了账号安全,请及时绑定邮箱和手机立即绑定

定时执行爬虫任务,通过循环监视,但是没有成功,求解答

定时执行爬虫任务,通过循环监视,但是没有成功,求解答

Helenr 2019-03-25 10:12:24
from scrapy import cmdlinedef doSth():     # 把爬虫程序放在这个类里 zhilian_spider 是爬虫的name     cmdline.execute('scrapy crawl zhilian_spider'.split())# 想几点更新,定时到几点def time_ti(h=17, m=54):     while True:         now = datetime.datetime.now()        # print(now.hour, now.minute)         if now.hour == h and now.minute == m:             doSth()        # 每隔60秒检测一次         time.sleep(60) time_ti()网上说这样可以实现定时爬虫,但是我发现在某一次进入爬虫doSth()之后,整个循环程序在结束该次爬虫后就结束了,这是为什么呢
查看完整描述

2 回答

?
守着一只汪

TA贡献1872条经验 获得超3个赞

看起来没问题, 如果在执行爬虫的那个步骤价格 try的话就更好了
但是计划定点执行为啥不上Linux的crontab

查看完整回答
反对 回复 2019-03-25
?
汪汪一只猫

TA贡献1898条经验 获得超8个赞

你可以尝试一下celery队列的定时任务

查看完整回答
反对 回复 2019-03-25
  • 2 回答
  • 0 关注
  • 653 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信