为了账号安全,请及时绑定邮箱和手机立即绑定

爬虫如何确定什么时候停止

爬虫如何确定什么时候停止

动漫人物 2018-08-10 12:27:29
想问一下,写一个爬虫,如何判断该爬虫什么时候应该停止呢?初始状态为一个url;然后有一个while(isNotEmpty(urlList)){    // do something}我的思路是这样,但是会有放入队列url 的速度跟不上消费的速度,以至于出现了urlList为空的情况,这时候爬虫就停掉了。我想问下,有哪位大牛自己写过爬虫的框架,是根据什么条件决定爬虫停止运行的。
查看完整描述

2 回答

?
拉莫斯之舞

TA贡献1820条经验 获得超10个赞

思路有点奇怪,urlList的链接也是自己放进去吧,放一个爬一个不就行了。什么时候不往urlList放链接爬虫就停了。

查看完整回答
反对 回复 2018-08-12
  • 2 回答
  • 0 关注
  • 1134 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信