Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

非典型戏子

是python 3.5版本...没注意

0 7-6 HTML输出器

2016-03-07

非典型戏子

python，windows10版本，输出的HTML乱码的同学，不需要在fout.write("<td>%s</td>"%data['title'])以及后面的summary中添加.encode(utf-8)，只要fout = open('output.html','w',encoding='utf-8') 就行。感谢@明磊同学，具体的原理也可以参见@明磊的评论。

19 7-6 HTML输出器

2016-03-07

出来都是这个代码，求指点

最赞回答 / WHXSCNU

本人系统win7，Python3.5，按照百度上win10的做法：fileout = open('output.html', 'w', encoding='utf-8')，能显示中文

2 回答 19746 浏览

2016-03-07

请教一个改成3.5版本的问题 urljoin

最赞回答 / 成凤凰涅槃

from urllib.parse import urlparsefrom urllib.parse import urljoin找到了

1 回答 603 浏览

2016-03-07

澹泊_

fout.write("<td>%s</td>" % data["url"])
KeyError: 'url'

去掉url 的输出就正常

0 7-7 开始运行爬虫和爬取结果展示

2016-03-06

pzncu

我是用自带的IDLE，所以不知道老师后来的东西怎么搞的。我挺难过的。

2016-03-06

AILun_po

可以自行下载插件，解压后拷贝到python安装目录中的lib目录下，打开cmd进入插件的目录，输入python setup.py install,即可安装。

2 6-2 BeautifulSoup模块介绍和安装

2016-03-06

AILun_po

使用pip install beautifulsoup4 时出现：UnicodeDecodeError:'ascii' codec can't decode byte 0xce. 错误

1 6-2 BeautifulSoup模块介绍和安装

2016-03-06

zhuzz

Python2.7同样遇到乱码问题，如@明磊同学所说，只需在<html>中加<meta charset='utf-8'>标签即可，希望能帮助到遇到问题的人

2016-03-06

慕斯卡9731973

照着老师的来了一遍，发现开始第一个以后显示失败然后就没了。用eclipse一行行断点，打印，终于发现是parser里面new_urls=set()的问题了，把set（）改成[]就能开始跑了。

6 7-7 开始运行爬虫和爬取结果展示

2016-03-06

hayaking

我要抓美女照片

34 2-2 爬虫技术的价值

2016-03-04

qq_cc城_0

讲的很清晰

1 6-1 Python爬虫网页解析器简介

2016-03-04

慕仙4286540

视频很不错。按照视频的代码，查看多线程库,threading, Queue, 搞了一个多线程的版本，https://github.com/dengshilong/baike_spider/blob/master/spider_thread.py

25 8-1 课程总结

2016-03-03

运行只输出一条然后failed

最新回答 / 终可见丶

我也是这样子的，去掉了try，抓了一条之后就会报错。

1 回答 530 浏览

2016-03-03

guihailiuli

爬取页面：http://huanyouchen.github.io/demo/imooc/python-baidubaike-spider/baike_spider_output.html
代码：https://github.com/guihailiuli/imooc-practice/tree/master/python-baidubaike-spider

2 7-7 开始运行爬虫和爬取结果展示

2016-03-03

首页上一页 178 179 180 181 182 183 184 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空