希望对你有所帮助

我的也是这样的，代码改了一遍，还是没用，求大神指点

代码敲错了

import re

import urlparse

from bs4 import BeautifulSoup

class HtmlParser(object):

    def _get_new_urls(self,page_url,soup):

        new_urls=set()

        links=soup.find_all('a',href=re.compile(r"/view/\d+\.htm"))

        for link in links:

            new_url=link['href']

            new_full_url=urlparse.urljoin(page_url,new_url)

            new_urls.add(new_full_url)

        return new_urls

    def _get_new_data(self,page_url,soup):

        res_data={}

        #url

        res_data['url']=page_url

        #<dd class="lemmaWgt-lemmaTitle-title"><h1>Python</h1>

        title_node=soup.find('dd',class_="lemmaWgt-lemmaTitle-title")

        res_data['title']=title_node.get_text()

        #<div class="lemma-summary" >

        summary_node=soup.find('div',class_="lemma-summary")

        res_data['summary']=title_summary.get_text()

        return res_data

    def parse(self,page_url,html_cont):

        if page_url is None or Html_cont is None:

            return

        soup=BeautifulSoup(html_cont,'html.parser',from_encoding='utf-8')

        new_urls=self._get_new_urls(page_url,soup)

        new_data=self._get_new_data(page_url,soup)

        return new_urls,new_data

代码就是按照视频敲的，不知道哪错了

我也是这样的

我之前也是这样的  不过现在解决了 应该是html_parser.py 有问题，找找代码是不是有错误，或者你把代码贴上来 ，我帮你找找  ，我也是早上刚找到的错误

我也是这样的  请问你解决了吗？