为了账号安全,请及时绑定邮箱和手机立即绑定

Python开发简单爬虫

蚂蚁帅帅 全栈工程师
难度初级
时长 1小时14分
学习人数
综合评分9.67
646人评价 查看评价
9.9 内容实用
9.6 简洁易懂
9.5 逻辑清晰
PyDev is a Python IDE for Eclipse, which may be used in Python, Jython and IronPython development.
老师好污。
现在贴上我的代码,与教程一样的,找不到错的可以对照查看https://github.com/xuhang96/python_spider_baike
老师讲的很好,思路很清晰,代码也正确!同学们的建议和解答也帮了不少忙!
为社么我输出的是乱码
大神666 佩服
好6,纯小白看这个居然不迷糊~那个编码工具好像java eclipse/android eclipse...大神告诉我是不是小的眼花了?
print p_node.name,p_node.get_text()
AttributeError: 'NoneType' object has no attribute 'name
python的oop跟php的oop好像还蛮像的,基本就是PSR-0规范,python的一个module对应php的一个命名空间(严格的说是php每个文件的绝对路径),然后每个.py/.php文件下面只有一个类,类名首字母大写。
这个吧,貌似需要一点html的知识,就是html的dom解析树,因为他老提,你不知道是什么就很大的barrier。但实际上没什么关系的。
Python3 下的html_parser.py中调用的是import urllib.parse 所对应的应该 new_full_url = urllib.parse.urljoin(page_url, new_url)

然后就是拼写了,有个summary少了个u找了半天啊~~~~(>_<)~~~~
ctrl 1重复了多少次
谢谢老师!这种入门的就该如此有效/易懂!如果能在最后给出一些高级爬虫的进阶学习教材就更好了。再次感谢老师的分享付出!
python2.7中,add_data(data)只接受一个参数,add_data('a','1')的方式是不正确的。

url = 'http://example.com'
data = {}
data['name'] = 'zhangsan'
data['age'] = 12
data = urlencode(data)
data = data.encode(encoding='utf_8')
req = Request(url)
req.add_data(data)
课程须知
本课程是Python语言开发的高级课程 1、Python编程语法; 2、HTML语言基础知识; 3、正则表达式基础知识;
老师告诉你能学到什么?
1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块:URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码,修改本代码,你就能抓取任何互联网网页!

微信扫码,参与3人拼团

意见反馈 帮助中心 APP下载
官方微信
友情提示:

您好,此课程属于迁移课程,您已购买该课程,无需重复购买,感谢您对慕课网的支持!

本次提问将花费2个积分

你的积分不足,无法发表

为什么扣积分?

本次提问将花费2个积分

继续发表请点击 "确定"

为什么扣积分?

举报

0/150
提交
取消