Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

nidangwenrou

各位大神们，怎么审查元素啊，我点击右键为什么没有审查元素这个选项。感谢各位大神

2017-03-16

慕设计7953951

……楼上搞得好复杂……
直接在命令行里输入pip install beautifulsoup4 就会下载了（没有pip的先easy_install pip）
测试时进入python交互式环境再输入import bs4，没有报错就表示安装正确

1 6-2 BeautifulSoup模块介绍和安装

2017-03-16

熊子鸣

用python3的童靴需要注意：

不知道你发现没，第三种方法print(cj)是无法打印cookies的。
这是因为，带cookie的打印出来必须用opener.open(req).read().decode('utf-8')来发送的请求才会带上cookie，如果用urllib.request.urlopen()是不带cookie的。

所以，办法是在原代码基础上加入r = opener.open(req)，然后print(r.read().decode('utf-8'))

1 5-3 Python爬虫urlib2实例代码演示

2017-03-15

熊子鸣

python3中需要注意：
带cookie的打印出来必须用opener.open(req).read().decode('utf-8')来发送的请求才会带上cookie，如果用urllib.request.urlopen()是不带cookie的。

0 5-3 Python爬虫urlib2实例代码演示

2017-03-15

迅猛雷电

可以不错啊，厉害了，py2.7编过，第一次出错了，outputer构造里写datas，引用的时候写成了dates,IDE不报错调了半天，习惯了强类型的第一次遇到这样的错误好纠结，不过也学到调试程序的技巧，总的来说收获很大，谢谢老师！

0 8-1 课程总结

2017-03-15

千面君

一周时间，从零到听懂，到写出一个完整的爬虫。听不懂就尝试啊，直到成功为止，反正我觉得老师讲的挺好的

7 5-2 Python爬虫urlib2下载器网页的三种方法

2017-03-15

格瑞克爱鲜荔枝

小伙伴们一定要注意缩进！！！

1 7-2 调度程序

2017-03-15

_丑八怪

我的第二种方法报错如下'module' object has no attribute 'Request' 第三种类似用的python2.7 百度没有找到解决的方法求路过的高人指点 1 2 谢谢

4 5-3 Python爬虫urlib2实例代码演示

2017-03-15

JASON92

非常不错！简洁，清晰，没有废话！

0 8-1 课程总结

2017-03-15

_丑八怪

自己学习安装度娘有答案的多搜索有些不懂很正常基础的不懂你得多看看基础知识我也是小白但我真心觉得老师讲得真棒免费有的看就不错了别瞎bb 免费教你还抱怨

4 6-3 BeautifulSoup的语法

2017-03-13

格瑞克爱鲜荔枝

大家的路还长着呢，戳中萌点，23333

1 8-1 课程总结

2017-03-12

一只可爱的桶

跟着老师做的，只不过用的python3，改了改部分和2语法不同的代码，为什么输出是这样的：
ython[1]聽锛堣嫳鍥藉彂闊筹細/藞pa瑟胃蓹n/ 缇庡浗鍙戦煶锛�/藞pa瑟胃蓱藧n/锛�, 鏄竴绉嶉潰鍚戝璞＄殑瑙ｉ噴鍨嬭绠楁満绋嬪簭璁捐璇█锛岀敱鑽峰叞浜篏uido van Rossum浜�1989骞村彂鏄庯紝绗竴涓叕寮€鍙戣鐗堝彂琛屼簬1991骞淬€侾ython鏄函绮圭殑鑷敱杞欢锛� 婧愪唬鐮佸拰瑙ｉ噴鍣–Python閬靛惊 GPL(GNU General Public License)鍗忚[2]聽銆侾ython璇硶绠€娲佹竻鏅帮紝鐗硅壊涔嬩竴鏄己鍒剁敤绌虹櫧

2017-03-12

慕粉4193985

+1 爬妹子

2 2-2 爬虫技术的价值

2017-03-11

慕粉4193985

有一定的Python基础，但不是很懂爬虫
所以想跟着老师学，感谢慕课网有这个平台

2 1-1 Python开发简单爬虫课程介绍

2017-03-11

慕粉112642716

from urllib.request import Request,urlopen
url = 'http://www.baidu.com'
request = Requst(url, data = None)
#不知道add_data这个方法为什么没有
request.add_header（'User-Agent', 'Mozilla/5.0')
response = urlopen(request)

5 5-2 Python爬虫urlib2下载器网页的三种方法

2017-03-11

首页上一页 54 55 56 57 58 59 60 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫