在add_new_urls方法内，是不是应该也判断下添加的新的urls是否在self.old_urls里面？
for url in urls: if url not in self.old_urls: self.new_urls.add(url)
如果不添加的话，就会重复爬取吧？
weibo_小强同学慢慢走在冷风_0
2016-01-15
3 回答
举报
0/150
提交
取消
