为了账号安全,请及时绑定邮箱和手机立即绑定

Python开发简单爬虫

蚂蚁帅帅 全栈工程师
难度初级
时长 1小时14分
学习人数
综合评分9.67
646人评价 查看评价
9.9 内容实用
9.6 简洁易懂
9.5 逻辑清晰

已采纳回答 / guchao_0001
obj_spider.craw(root_url)小写试试

最新回答 / 花露水和暖壶
这个目录位置是什么意思?能详细一点嘛?

已采纳回答 / Hello_see_you
将html_parser 改成 html.parser试试,我的能运行成功了
所以为什么老师没有 import re 可以运行。。。。?
eclipse自动导入包,前提,是选择。。。记住,是选择的提示文字才会自动导入包,所以正则不出来的可以导一下包,4:49秒的时候可以看到老师的程序里是有re这个包的
不得不说真的太赞了 非常清晰的思路

+ 我来回答 回答最高可+2积分
python2.7
TypeError: 'module' object is not callable 使用import urlparse
NoneType' object has no attribute 'get_text' 少打一个括号title_node=soup.find('dd',class_="lemmaWgt-lemmaTitle-title").find("h1")
res_data['title']=title_node.get_text()
中文乱码 添加fout.write('<meta charset="utf-8">')
python2.7 要使用 import urlparse

title_node=soup.find('dd',class_="lemmaWgt-lemmaTitle-title".find("h1"))
if title_node is None:
return
res_data['title']=title_node.get_text()
同理summary_node也要判断是否为空
敲了半天的 pip install beautifulsoup 报错了google了一番还是没解决 原来后面还有一个4 [捂脸]
也看了其他的爬虫教学,这是我觉得目前很清晰明了的一个
输出一堆看不懂东西的同学试试这样,将数据转换为UTF-8字符串就能正常显示网页源代码了

print(str(response3.read(), 'utf-8'))
根据老师讲的爬虫基本思路和结构,实现了一个爬取中华网:http://www.china.com/ 上的新闻文章的功能,好玩到停不下来
感谢老师,对于想要入门的人来说一个很简单的例子,通过老师的一步步讲解,把代码写出来,这是新手最好的学习,同时迅速得到结果,大家也更有动力,大家加油!~
课程须知
本课程是Python语言开发的高级课程 1、Python编程语法; 2、HTML语言基础知识; 3、正则表达式基础知识;
老师告诉你能学到什么?
1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块:URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码,修改本代码,你就能抓取任何互联网网页!

微信扫码,参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消