Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

mr1024

2017年3月18日，基于python3，根据老师+评论完成：https://github.com/liang1024/FirstSpider (仅供参考)

2 8-1 课程总结

2017-03-18

慕设计7953951

终于成功了，感谢老师

0 8-1 课程总结

2017-03-17

python3.5中import url_manager,html_downloader,html_parser,html_outputer ImportError: No module named 'html_parser'

最赞回答 / 时间的力量

我爬了一下好像最多只能爬下549条数据。对于正则表达式，可以参看图片<...图片...><...图片...><...图片...><...图片...>

6 回答 2265 浏览 7-5 HTML解析器html_parser

2017-03-17

小付3650475

https://github.com/mayJJ/urllib_spider
python3.5.2 的此课程代码。3.5版本下还是走了很多坑的，分享一点学习经验给大家。都有认认真真的注释，后续会继续更新requests库，和一些反爬虫的知识。

2017-03-16

二毛毛

报错：UserWarning: You provided Unicode markup but also provided a value for from_encoding. Your from_encoding will be ignored.
解决方法：
soup = BeautifulSoup(html_doc,"html.parser")这一句中删除【from_encoding="utf-8"】
原因：python3 缺省的编码是unicode, 再在from_encoding设置为utf8, 会被忽视掉，去掉【from_encoding="utf-8"】这一个好了

7 6-4 BeautifulSoup实例测试

2017-03-16

nidangwenrou

各位大神们，怎么审查元素啊，我点击右键为什么没有审查元素这个选项。感谢各位大神

2017-03-16

慕设计7953951

……楼上搞得好复杂……
直接在命令行里输入pip install beautifulsoup4 就会下载了（没有pip的先easy_install pip）
测试时进入python交互式环境再输入import bs4，没有报错就表示安装正确

1 6-2 BeautifulSoup模块介绍和安装

2017-03-16

add_new_url是增加新的url,与add_new_urls的区别有点不太懂

最赞回答 / luck明

一个是单个url，一个是url list

3 回答 1097 浏览 7-3 URL管理器

2017-03-16

熊子鸣

用python3的童靴需要注意：

不知道你发现没，第三种方法print(cj)是无法打印cookies的。
这是因为，带cookie的打印出来必须用opener.open(req).read().decode('utf-8')来发送的请求才会带上cookie，如果用urllib.request.urlopen()是不带cookie的。

所以，办法是在原代码基础上加入r = opener.open(req)，然后print(r.read().decode('utf-8'))

1 5-3 Python爬虫urlib2实例代码演示

2017-03-15

熊子鸣

python3中需要注意：
带cookie的打印出来必须用opener.open(req).read().decode('utf-8')来发送的请求才会带上cookie，如果用urllib.request.urlopen()是不带cookie的。

0 5-3 Python爬虫urlib2实例代码演示

2017-03-15

迅猛雷电

可以不错啊，厉害了，py2.7编过，第一次出错了，outputer构造里写datas，引用的时候写成了dates,IDE不报错调了半天，习惯了强类型的第一次遇到这样的错误好纠结，不过也学到调试程序的技巧，总的来说收获很大，谢谢老师！

0 8-1 课程总结

2017-03-15

千面君

一周时间，从零到听懂，到写出一个完整的爬虫。听不懂就尝试啊，直到成功为止，反正我觉得老师讲的挺好的

7 5-2 Python爬虫urlib2下载器网页的三种方法

2017-03-15

都没有python2.7的源码吗？

最新回答 / 慕设计7953951

https://github.com/devops/spider_baike.git

1 回答 414 浏览 8-1 课程总结

2017-03-15

格瑞克爱鲜荔枝

小伙伴们一定要注意缩进！！！

1 7-2 调度程序

2017-03-15

_丑八怪

我的第二种方法报错如下'module' object has no attribute 'Request' 第三种类似用的python2.7 百度没有找到解决的方法求路过的高人指点 1 2 谢谢

4 5-3 Python爬虫urlib2实例代码演示

2017-03-15

首页上一页 105 106 107 108 109 110 111 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空