Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

澹泊_

fout.write("<td>%s</td>" % data["url"])
KeyError: 'url'

去掉url 的输出就正常

0 7-7 开始运行爬虫和爬取结果展示

2016-03-06

pzncu

我是用自带的IDLE，所以不知道老师后来的东西怎么搞的。我挺难过的。

2016-03-06

AILun_po

可以自行下载插件，解压后拷贝到python安装目录中的lib目录下，打开cmd进入插件的目录，输入python setup.py install,即可安装。

2 6-2 BeautifulSoup模块介绍和安装

2016-03-06

AILun_po

使用pip install beautifulsoup4 时出现：UnicodeDecodeError:'ascii' codec can't decode byte 0xce. 错误

1 6-2 BeautifulSoup模块介绍和安装

2016-03-06

zhuzz

Python2.7同样遇到乱码问题，如@明磊同学所说，只需在<html>中加<meta charset='utf-8'>标签即可，希望能帮助到遇到问题的人

2016-03-06

慕斯卡9731973

照着老师的来了一遍，发现开始第一个以后显示失败然后就没了。用eclipse一行行断点，打印，终于发现是parser里面new_urls=set()的问题了，把set（）改成[]就能开始跑了。

6 7-7 开始运行爬虫和爬取结果展示

2016-03-06

hayaking

我要抓美女照片

34 2-2 爬虫技术的价值

2016-03-04

qq_cc城_0

讲的很清晰

1 6-1 Python爬虫网页解析器简介

2016-03-04

慕仙4286540

视频很不错。按照视频的代码，查看多线程库,threading, Queue, 搞了一个多线程的版本，https://github.com/dengshilong/baike_spider/blob/master/spider_thread.py

25 8-1 课程总结

2016-03-03

guihailiuli

爬取页面：http://huanyouchen.github.io/demo/imooc/python-baidubaike-spider/baike_spider_output.html
代码：https://github.com/guihailiuli/imooc-practice/tree/master/python-baidubaike-spider

2 7-7 开始运行爬虫和爬取结果展示

2016-03-03

红发少年

报错的同学看这里，如果是html_outputer.py的20行附近报错
在html_outputer.py的20行附近，data['summary']也要加.encode('utf-8')
原理是：百度百科实际的编码是GB2312，但是呢，直接用GB2312也会报错。。。。不用UTF-8也会报错。。。
所以全部统一用UTF-8，最终打开结果的时候，用IE打开，编码手动选一下，就全部正常了。
话说我也才学了一星期。。。有地方说错见谅

0 7-7 开始运行爬虫和爬取结果展示

2016-03-03

红发少年

代码还没敲完，发现python的百科地址为：http://baike.baidu.com/link?url=H5d4MyRe5Dpj53NL3k3fsQ-Nyl0upKyf_WZcCzpRZD3Q_jMneBLfamOxQaKIU8UeNsIj7Z9NMHDFOD3MAX4Kjq
不知道能不能成功呢

3 7-2 调度程序

2016-03-02

红发少年

纠结了老半天 _name_ 报错Undefined variable: _name_
我一直以为是环境问题，结果问度娘，答：是2个下划线
正确的是：if __name__ == "_main_":

4 7-2 调度程序

2016-03-02

洛央下

我能输出内容了，但是还是乱码，求安慰啊求安慰！！！

2016-03-01

启动运行中

希望之后继续学习Python爬虫，好有意思的感觉

1 8-1 课程总结

2016-03-01

首页上一页 96 97 98 99 100 101 102 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫