【2017/10/12】【Python3.6.2】【PyCharm 2017.2】【Chrome】
对于中文问题，实际上只需
fout = open('output.html','w', encoding='utf-8')
以及
urllib.parse.unquote(data['url'],encoding='utf-8')
即可。
对于中文问题，实际上只需
fout = open('output.html','w', encoding='utf-8')
以及
urllib.parse.unquote(data['url'],encoding='utf-8')
即可。
2017-10-12
1.抓取的第一个网页：root_url = "https://baike.baidu.com/item/%E5%91%A8%E6%9D%B0%E4%BC%A6"
2.正则表达式匹配URL编码：links = soup.find_all('a', href=re.compile(r'/item/[\\%\\w]+'))
2.正则表达式匹配URL编码：links = soup.find_all('a', href=re.compile(r'/item/[\\%\\w]+'))
2017-10-12
File "E:/Helloworld/baike_spider/spider_main.py", line 19, in craw
new_urls, new_data = self.parser.parse(new_url, html_cont)
TypeError: 'NoneType' object is not iterable
Process finished with exit code 1
new_urls, new_data = self.parser.parse(new_url, html_cont)
TypeError: 'NoneType' object is not iterable
Process finished with exit code 1
2017-10-12
已采纳回答 / xixiyingyi
因为爬的数目少（才1000条....），理论上全部百科的网页都可以获取到，但是全部百科网页的数目是你无法想象的。我爬到了各种各样的百科信息，包括计算机、学校、人命......，你可以把爬的数量count设置为1亿试试......
2017-10-09
最赞回答 / 醉客
好吧，我自己找到问题了，这个不是函数的问题，错误原因有点无奈，大家可以引以为戒#<div class="lemma-summary" label-module="lemmaSummary"> summary_node = soup.find('div',class_='Lemma-summary')错误原因是网页源代码中lemma-summary第一个字母是小写，我对比这段的时候就只是和我贴下来的注释对比，而那个l在注释中看起来像大写L，然后，GG了这说明如果使用find方法，属性值填错会导...
2017-10-09
