                        课程
                    
                        /后端开发
                        
                            /Python
                        
                        /Python开发简单爬虫

为什么只有第一个就显示了一个failed不动了

为啥第一个后面的就只有一个failed

你这样年轻

2016-01-01

源自：Python开发简单爬虫

关注问题我要回答

1064

操作

收起

1 回答

blacksea3 回答被采纳 +3 积分
2016-02-16

刚看到一个最近的相似的问题-_-||

有可能你的try-except中间的print 'craw %d : %s' %(count, new_url)到except那一块某个地方使用的代码打错了而不是self.urls.has_new_url()==0导致的错误，python的百科里面是有别的链接的，你可以试着把try-except去掉，让错误直接显示出来

中间这一块指的是：

html_cont=self.downloader.download(new_url)
new_urls,new_data=self.parser.parse(new_url,html_cont)
self.urls.add_new_urls(new_urls)
self.outputer.collect_data(new_data)
if count==1000:
break
count=count+1
根据错误位置设置print 相应的变量查看错误原因.

比如说我一开始就是url_manager.py的UrlManager类的add_new_urls方法打错了，导致的错误