Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

不显示爬出数据！！！

最新回答 / 一颗恒心闯天下

s = reponse3.read()print len(s)print s写成这样就行了，原因可能就是reponse3.read()单纯的一个函数，执行的结果放在内存中，第一个用了之后内容就消失了，因此打印不出数据

3 回答 1168 浏览 5-3 Python爬虫urlib2实例代码演示

2017-11-30

辜东明

@时间旅行

我的第二条爬到史记上去了，然后就failed了，然后就没有然后了

这是因为_get_new_urls 方法的 return 写在for 里面了，我就是犯了这个低级的错误。

4 7-7 开始运行爬虫和爬取结果展示

2017-11-30

辜东明

@慕粉1357041190
我的第二条爬到史记上去了，然后就failed了，然后就没有然后了
这是因为_get_new_urls 方法的 return 写在for 里面了，我就是犯了这个低级的错误。

2 7-7 开始运行爬虫和爬取结果展示

2017-11-30

精慕门2174353

File "C:\Users\Administrator\eclipse-workspace\imooc\src\test\test_urllib2.py", line 2
SyntaxError: Non-ASCII character '\xc4' in file C:\Users\Administrator\eclipse-workspace\imooc\src\test\test_urllib2.py on line 3, but no encoding declared; see http://python.org/dev/peps/pep-0263/ for details
求解惑

0 5-3 Python爬虫urlib2实例代码演示

2017-11-29

叶落归期

URL管理器
实现方式
内存

1 4-2 Python爬虫URL管理器的实现方式

2017-11-29

叶落归期

URL管理器：管理待抓取URL集合和已抓取URL集合
-防止重复抓取、防止循环抓取

0 4-1 Python爬虫URL管理

2017-11-29

叶落归期

调度器 URL管理器下载器解析器应用

1 3-2 Python简单爬虫架构的动态运行流程

2017-11-29

super禹

讲的挺好！

0 4-1 Python爬虫URL管理

2017-11-29

为什么我只有初始的url，而且output.html里也是空的

已采纳回答 / 辜东明

断点跑一下看看是哪一步出现了问题。

2 回答 1032 浏览 7-6 HTML输出器

2017-11-29

kunkakola

哇vscode没有快捷键难受

4 7-2 调度程序

2017-11-29

慕粉1758222380

pycharm的快速创建方法是Alt+Enter和老师编辑器的tab+1是一样的效果

1 7-2 调度程序

2017-11-29

玩砸了，出错了~

最赞回答 / 仓颉小米

找到了解决办法，链接：http://bookshadow.com/weblog/2015/04/22/sae-python-weibo-sdk-certificate-verify-failed/Python 升级到 2.7.9 之后引入了一个新特性，当使用urllib.urlopen打开一个 https 链接时，会验证一次 SSL 证书。而当目标网站使用的是自签名的证书时就会抛出本人遇到的错误。已验证链接中第一种方案有效：<...code...>

1 回答 2385 浏览 7-1 Python爬虫实例-分析目标

2017-11-29

参数page_url怎么传给soup

最新回答 / kunkakola

soup的参数html.cont就是下载器下载到的当前page_url的内容，所以查找当前页的内容时就不再需要page_url了，只用来组成新的url

1 回答 445 浏览 7-5 HTML解析器html_parser

2017-11-29

爬取天天基金网上500只基金的历史净值的难度多大？

+ 我来回答回答最高可+2积分

0 回答 2559 浏览

2017-11-29

嘘baby别出声

老师教的是python3的，python2的直接import cookielib就好

3 5-3 Python爬虫urlib2实例代码演示

2017-11-27

首页上一页 53 54 55 56 57 58 59 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空