爬虫程序无法正常运行
obj_spider.craw(root_url) 这一行总是报错,我仔细检查了一下代码不知道哪里有问题,爬出来的结果全是craw failed
obj_spider.craw(root_url) 这一行总是报错,我仔细检查了一下代码不知道哪里有问题,爬出来的结果全是craw failed
2016-07-19
没遇见过,你使用debug了吗
def craw(self,root_url): count = 1 self.urls.add_new_url(root_url) while self.urls.has_new_url(): try: new_url = self.urls.get_new_url() print('craw %d : %s' %(count,new_url)) html_cont = self.downloader.download(new_url) new_urls,new_data = self.parser.parse(new_url,html_cont) self.urls.add_new_urls(new_urls) self.outputer.collect_data(new_data) if count == 10: break count = count + 1 except Exception as e: print('craw failed',e) self.outputer.output_html()
在craw中有root_url这个参数吗?
举报