Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

为什么我加了# -- coding: utf8 -- 还是报错？中文无法识别。。

已采纳回答 / arkria3684535

首先要确保eclipse编辑器环境的编码为utf8，这个是大前提；其次如果py文件中含有中文字符的话，需要在py文件中对编码进行声明。修改eclipse编辑器编码：A）设置工作空间编码：Window->preferences->General->Workspace->UTF-8B）设置编辑器编码：Window->preferences->General ->Editors->Text Editors->Spelling->UTF-8C）设置...

4 回答 8855 浏览 5-3 Python爬虫urlib2实例代码演示

2016-08-17

paukey

1234567890120.0

0 1-1 Python开发简单爬虫课程介绍

2016-08-17

qq_不二_0

赞一个，第一次运行在beautifulsoup里面吧html.parser写错了，第二次正常运行

0 7-7 开始运行爬虫和爬取结果展示

2016-08-17

PNA

1.25X 速度听起来带劲

16 6-1 Python爬虫网页解析器简介

2016-08-17

qq_不二_0

有点广度优先搜索算法的意思，不过处理比较粗糙，已爬取过的url没有标记，会导致重复爬取

0 7-2 调度程序

2016-08-16

为什么有时候爬虫会卡住不能运行了，但是也没有报错？

最赞回答 / 帽子大大大3830867

然而我找到答案了，原因大概是网络问题，导致 response = urllib2.urlopen(url)没有反应，然后卡死解决方案就是加个timeout： response = urllib2.urlopen(url,timeout=5)这样就能继续往下爬了~

2 回答 7744 浏览 7-7 开始运行爬虫和爬取结果展示

2016-08-16

Yi罐可乐

用 python 3.x 写的例子，能正常运行：

https://github.com/zaxlct/baike_spider

加了不少注释，帮助理解，稍微优化了一点：如果页面 404 ，那么就跳过这次抓取，这样就不报错，提示 failed 了。

欢迎 star，有问题可以发 Issues 我会回答；）

4 8-1 课程总结

2016-08-16

输出时数字和字母

最赞回答 / zhangsunny3313760

<...code...>

1 回答 447 浏览 8-1 课程总结

2016-08-16

Jerry_999

完结撒花哟

0 8-1 课程总结

2016-08-16

wisdo

我们都会很好

2016-08-15

2.7按视频里写的不出cookie

最新回答 / 2014清风朗月2014

可以写出啊，我的也是2.7版本，在exclips里面写的，你仔细看看是不是代码哪里写错了

1 回答 445 浏览 5-3 Python爬虫urlib2实例代码演示

2016-08-15

Yi罐可乐

不明白「类」的概念的同学不要把责任推给老师，自己去慕课找相关入门教程。

4 7-2 调度程序

2016-08-15

Yi罐可乐

没有直接上去码代码，而是一条条分析清楚后最好才进行代码编写，真棒！

5 7-1 Python爬虫实例-分析目标

2016-08-15

URL显示MissingSchema

+ 我来回答回答最高可+2积分

0 回答 1678 浏览

2016-08-15

Yi罐可乐

Python 3 以后print已经是函数而非关键字。请使用正确语法：
print("Hello world")

3 5-3 Python爬虫urlib2实例代码演示

2016-08-15

Yi罐可乐

先用图表帮我们理清思路，再进行代码编程，这个教学思路太棒了！！！！

44 4-2 Python爬虫URL管理器的实现方式

2016-08-14

首页上一页 146 147 148 149 150 151 152 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空