                        课程
                    
                        /后端开发
                        
                            /Python
                        
                        /python遇见数据采集

如何定时爬虫

请问怎么定时爬虫

qq__2824

2016-08-24

源自：python遇见数据采集 6-1

关注问题我要回答

2396

操作

收起

4 回答

秋名山车神
2016-08-25

最简单的方式就是使用while True 来无限循环循环开始的时候检查一下当前时间和设定的时间是否符合如果符合就运行爬虫如果不符合就不运行同时为了性能考虑可以设定每隔一分钟检查一次使用sleep方法就可以做到

1 回复有任何疑惑可以回复我~

收起回答

秋名山车神

可以自己写一下试试，当然实际情况可能还要考虑其他的一些因素，比如说要记录下来当前爬到了哪里，以便下一次继续从这里开始，从而避免了重复前面任务。还可以设定停止时间，当前时间需要满足开始时间和停止时间的范围才会执行爬取的方法。

2016-08-25 回复有任何疑惑可以回复我~

喜欢学习的
2018-10-24

使用crontab

0 回复有任何疑惑可以回复我~

收起回答

qq__2824 提问者
2016-10-02

使用window系统的服务定时即可。谢谢各位

0 回复有任何疑惑可以回复我~

收起回答

hldh214
2016-08-25

首先推荐在 *NIX 环境部署 Python 爬虫

使用 crontab 即可完成定时任务功能

1 回复有任何疑惑可以回复我~

收起回答

多收能量多种树

慕课网也有crontab相关的课程哟～ http://www.imooc.com/learn/216

2017-02-16 回复有任何疑惑可以回复我~

0/150

提交

取消

python遇见数据采集

参与学习 59669 人
解答问题 200 个

本教程让你初步掌握Python进行数据采集，创造属于你的价值

进入课程

本课相似问答

1 回答python3.5爬虫

1 回答python2版本中爬虫获取a标签的中文无法正常显示

1 回答req = request.Request('https://search.bilibili.com/all?keyword=%E5%BE%90%E5%A4%A7SAO') 目前这样只能爬取一页的数据，如何把全部数据爬取下来，求教？

2 回答403是被发现是爬虫拒绝访问了吗？不知道哪里出错了有没有朋友帮忙看下

2 回答python2.7如何增加header

搜索更多本课相关问答

如何定时爬虫

我要回答关注问题

热搜

最近搜索清空

如何定时爬虫

4 回答

本课相似问答

如何定时爬虫