为了账号安全,请及时绑定邮箱和手机立即绑定

我写的代码运行不出结果?代码都是按照老师讲的写的啊

谁能帮忙找错?

正在回答

3 回答

pydev debugger: starting (pid: 5204),没运行一次,pid后边的数就 变一次

0 回复 有任何疑惑可以回复我~

#coding:utf8

from baike_spider import url_manager, html_downloader, html_parser,\

    html_outputer


class SpiderMain(object):

    #构造函数,初始化各个对象

    def __init__(self):

        #url管理器

        self.urls = url_manager.UrlManager()

        #url下载器

        self.downloader = html_downloader.HtmlDownloader()

        #url解析器

        self.parser = html_parser.HtmlParser()

        #url输出器

        self.outputer =html_outputer.HtmlOutputer()

        

    #爬虫的调度程序

    def craw(self, root_url):

        #count记录当前爬取的是第几个url

        count = 1

        #1.首先将入口url添加入管理器

        self.urls.add_new_url(root_url)

        #启动爬虫循环,当管理器中有url时

        while self.urls.has_new_url():

            try:

                #获取一个待爬取的url

                new_url = self.urls.get_new_url()

                print 'craw %d : %s' % (count,new_url)

                #启动下载器下载页面

                html_cont = self.downloader.download(new_url)

                #调用解析器解析页面数据,返回新的url列表和新的数据

                new_urls,new_data = self.parser.parse(new_url,html_cont)

                #将新的url补充到管理器

                self.urls.add_new_urls(new_urls)

                #收集数据

                self.outputer.collect_data(new_data)

                #爬取1000个目标

                if count == 1000:

                    break

                

                count = count + 1

            except:

                print 'craw failed'

            #输出收集好的数据

            self.outputer.output_html()

        

    

#1.首先编写main函数

if __name__=="_main_":

    #2.编写入口的url

    root_url = "http://baike.baidu.com/view/21087.htm"

    obj_spider = SpiderMain() 

    #3.启动爬虫

    obj_spider.craw(root_url)


0 回复 有任何疑惑可以回复我~

。。。你代码有没有贴出来,错误信息也不讲。神也没办法给你解决啊

0 回复 有任何疑惑可以回复我~

举报

0/150
提交
取消
Python开发简单爬虫
  • 参与学习       227670    人
  • 解答问题       1219    个

本教程带您解开python爬虫这门神奇技术的面纱

进入课程

我写的代码运行不出结果?代码都是按照老师讲的写的啊

我要回答 关注问题
意见反馈 帮助中心 APP下载
官方微信