为了账号安全,请及时绑定邮箱和手机立即绑定

问题-----

有个问题:编写HtmlDownloader这个类的download方法时,为什么要先判断url是否为空?下载器得到的url不应该肯定不是空的吗?因为new_urls这个待爬取列表里的url肯定非空呀 那下载器得到的url不就肯定非空了吗?求高人解答!万分感谢!

正在回答

1 回答

出于代码严谨的考虑,如果url管理器里的url来源不止一处呢,或者有多人协作时,你无法保证他人加入的数据是什么样子的

0 回复 有任何疑惑可以回复我~
#1

锅锅爱吃肉 提问者

非常感谢!
2017-01-25 回复 有任何疑惑可以回复我~

举报

0/150
提交
取消
Python开发简单爬虫
  • 参与学习       227670    人
  • 解答问题       1219    个

本教程带您解开python爬虫这门神奇技术的面纱

进入课程
意见反馈 帮助中心 APP下载
官方微信