Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

编码问题无法解决，对百度百科词条的爬虫

最赞回答 / mk908429705

在html_outputer中加fout.write('<head><meta charset="utf-8"></head>')，可以试一下

6 回答 1242 浏览 7-7 开始运行爬虫和爬取结果展示

2016-05-28

我的代码没错，输出结果乱码。无法输出中文怎么办？

最新回答 / 苘郁蓁

webInfo = response.read().decode('utf-8','ignore'),设置编码格式

1 回答 811 浏览 5-3 Python爬虫urlib2实例代码演示

2016-05-27

爬到74卡住了

最赞回答 / 慕勒0815894

调用urlopen时要加timeout, 否则网速不好的时候容易卡死.html_downloader.py:<...code...>

1 回答 940 浏览 7-7 开始运行爬虫和爬取结果展示

2016-05-26

求源码。。。

+ 我来回答回答最高可+2积分

0 回答 448 浏览

2016-05-26

用spyder写的但是会出现importerror ，显示是 ImportError: No module named baike_spider

最赞回答 / qq_却梦_0

把 from baike_spider 删掉

8 回答 4990 浏览

2016-05-24

if page_url is None or html_cont is None:在Python3上面 page_url和html_cont 是错的怎么改啊，求大神帮忙*

最新回答 / 抠脚小清新

谢谢·！

2 回答 589 浏览 7-5 HTML解析器html_parser

2016-05-24

代码提示功能

最赞回答 / 宇娃

Ctrl +1

2 回答 466 浏览 6-4 BeautifulSoup实例测试

2016-05-24

为什么用requests.add_header("user-agent","Mozillo/5.0")能伪装成浏览器呢

已采纳回答 / nana823

某些网站反感爬虫的到访，于是对爬虫一律拒绝访问。这时我们需要伪装成浏览器，可以通过修改http包中的header来实现。将标签a数据添加1

1 回答 3883 浏览 5-3 Python爬虫urlib2实例代码演示

2016-05-23

creative method 在pycharm中使用什么快捷键？

最赞回答 / 进阶的沙漏

alt+enter

1 回答 556 浏览 7-2 调度程序

2016-05-23

函数的调用报错obj_spider.craw(root_url)和def craw(self, root_url)

已采纳回答 / SunCherryDream

需要定义构造函数与，在构造函数中对new_urls进行初始化，构造函数代码如下def __init__(self): self.new_urls = set() self.old_urls = set()

2 回答 2194 浏览 7-7 开始运行爬虫和爬取结果展示

2016-05-23

老师你好，请问源码有吗？

最新回答 / 465123186

这个源码不一定能用的，你什么环境？ python3版本有人共享了一个 https://github.com/fifths/python_baike_spider/blob/master/baike_spider/

1 回答 489 浏览 8-1 课程总结

2016-05-18

抓取几条URL后就没反应了，怎么回事

最新回答 / albert89

最后一段循环顺序反了

2 回答 1419 浏览 7-7 开始运行爬虫和爬取结果展示

2016-05-16

求这个课程的源码地址啊！

已采纳回答 / 李昌盛同学

我写完了，你需要我留邮箱我发给你。

3 回答 1122 浏览 8-1 课程总结

2016-05-15

最后浏览器不显示爬取的内容

已采纳回答 / qq_岳怒扇_0

你可以看看生成的html文件内容格式对不对啊

3 回答 1090 浏览 8-1 课程总结

2016-05-14

第一个页面就爬取失败了要怎么办？我是按照视频中的代码运行的

最新回答 / huangjunli

看这里：http://www.imooc.com/qadetail/143314?t=185531#id_185531

2 回答 708 浏览

2016-05-14

首页上一页 71 72 73 74 75 76 77 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫