求大神!!
为什么我的代码只能爬一条数据?求大神指导
while self.urls.has_new_url():
try:
new_url = self.urls.get_new_url() #获取到待爬取的url
print ('craw %d : %s' %(count,new_url))
html_cont = self.downloader.download(new_url) #启动下载器下载这个页面
new_urls , new_data = self.parser.parse(new_url ,html_cont) #解析器获取新的url和数据
self.urls.add_new_urls(new_urls) #将新的url补充到新的url管理器
self.outputer.collect_data(new_data) #进行数据的收集
count = count + 1
if(count == 100):
break
# print(count)
except: #异常处理
print ('craw failed~')
我在测试has_new_url()循环第二次的时候has_new_url的值为0 不知道为什么