使用python3.6写的, 'NoneType' object has no attribute 'get_text'
craw 1 : https://baike.baidu.com/item/Python/407313?fr=aladdin
Traceback (most recent call last):
File "C:\CODE\pcode\baike_spider\spider_main.py", line 48, in <module>
obj_spider.craw(root_url) #启动爬虫
File "C:\CODE\pcode\baike_spider\spider_main.py", line 31, in craw
new_urls, new_data = self.parser.parse(new_url,html_cont) #解析得到数据和新的路径
File "C:\CODE\pcode\baike_spider\html_parser.py", line 41, in parse
new_data = self._get_new_data(page_url,soup)
File "C:\CODE\pcode\baike_spider\html_parser.py", line 32, in _get_new_data
res_data['summary']=summary_node.get_text()
AttributeError: 'NoneType' object has no attribute 'get_text'
感觉错误原因可能有:python升级了,百度升级了,以及我傻了,555
在网上查到了一个回答:
'''
AttributeError: 'NoneType' object has no attribute 'get_text'
你得到的summary_node是个none类型,说明html里这个标签并没有内容。
很有可能是用js动态生成的,还是得在浏览器里在研究研究,看看过程。
'''
敢问大佬们怎么解呀?