                        课程
                    
                        /后端开发
                        
                            /Python
                        
                        /Python开发简单爬虫

spider_main.py中的from baike_spider import url_manager问题

baike_spider是在工程下面创建的package，里面是空的，那from baike_spider import url_manager,html_downloader,html_parser,html_outputer这句代码，又怎么从baike_spider模块中引入(import) url_manager呢？
我按照视频里面的代码打出来，运行后纸爬取了讲个网址就结束了。我怀疑是不是因为(package)baike_spider为空引起的，求大神指导

兰陵萧萧笙

2017-05-15

源自：Python开发简单爬虫 8-1

关注问题我要回答

1619

操作

收起

2 回答

请叫我百度回答被采纳 +3 积分
2017-05-18

第一：baike_spider是你创建的包，你所说的url_manager肯定是放在包中的代码，是可以import进去了。

第二：只爬取一个网址就结束应该是html_parser中的代码有问题，比如课程中的匹配策略与现在的百度Python词条不匹配，需要改成href = re.compile(r"/item/.*") 再或者find_all 不要丢了下划线，我就没注意到下划线，所以只输出了1条记录就craw faild了。

0 回复有任何疑惑可以回复我~

收起回答

兰陵萧萧笙提问者

晚上试试，我还以为是我代码哪里打错了，多谢啦

2017-05-18 回复有任何疑惑可以回复我~

Ramon_Lee 回复兰陵萧萧笙提问者

我的天，难道我自己动手做的第一个爬虫就运行不起来啊，意思就是现在应该用http://baike.baidu.com/view/21087.htm，解析器里就应该是href = re.compile(r"/item/.*")，才可以？不过我怎么运行都是 craw 1 : None craw failed 崩溃了。。。

2017-05-25 回复有任何疑惑可以回复我~

Ramon_Lee 回复兰陵萧萧笙提问者

while self.urls.has_new_url(): try: new_url = self.urls.get_new_url() print 'craw %d : %s' % (count, new_url) html_cont = self.downloader.download(new_url) new_urls, new_data = self.parser.parse(new_url, html_cont) 中的new_url = self.urls.get_new_url()，方法没有写全。。。。不认真

2017-05-25 回复有任何疑惑可以回复我~