Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

只出了两个结果= =后来调试出来了，但是拼接那出错，也不知道是什么原因一直拼接不成功

最赞回答 / SiCheng_Sheen

我之前也遇到过这种情况，纠结了很久，最后才发现一个非常重要的问题，百度的词条信息发生了变化，你可以仔细看看，现在不再是以 .htm结尾了，之前在html_parser模块中的正则表达式已经失效了，原来是href=re.compile(r"/view/\d+\.htm")，现在应该改为href=re.compile(r'/item/\w+')。这也再次证明了在采集数据前，一定要对目标进行仔细认真的分析！

3 回答 532 浏览 7-7 开始运行爬虫和爬取结果展示

2017-04-21

AttributeError: 'NoneType' object has no attribute 'find'

最新回答 / 白兰地加冰苏打水

版本问题吧

2 回答 4401 浏览 7-5 HTML解析器html_parser

2017-04-20

只出俩条不报错终止，前一段时间还都能出来

最赞回答 / 阿雷雷雷雷

百度百科的链接地址都变了，你修改一下html_parser里面的_get_new_urls方法：links = soup.find_all('a', href=re.compile(r"/view/\d+\.html"))改为：links = soup.find_all('a', href=re.compile(r"/item/"))

2 回答 407 浏览 7-7 开始运行爬虫和爬取结果展示

2017-04-17

eclipse怎么自动补全python

最新回答 / 么哒

如果不行再试试Ctrl+1

2 回答 884 浏览 7-3 URL管理器

2017-04-14

使用pycharm时输出结果在浏览器上访问时现实乱码

最赞回答 / qq_我年轻_0

我也遇到了这个问题，很好解决。你们可以看一下任何一个网站的源码例如本网站<...code...>他会有这一句句话 <meta charset="utf-8">这就是 html 编码的约束。所以在 html_outputer.py 的这句话<...code...>前面添加<...code...>output_html() 方法应为：<...code...>

7 回答 4875 浏览 7-7 开始运行爬虫和爬取结果展示

2017-04-12

求解，urllib2下载网页方法

最新回答 / 么么你个哒

模仿浏览器的，你在浏览器下审查元素，可以看见，request请求中的user-agent字段

1 回答 531 浏览 5-2 Python爬虫urlib2下载器网页的三种方法

2017-04-12

为什么在cmd中已经安装好，在eclipe中一直提示没有呢？

+ 我来回答回答最高可+2积分

2 回答 413 浏览 6-2 BeautifulSoup模块介绍和安装

2017-04-11

求救!!!!!!!!

最新回答 / 浓浓茶82

是不是要加中文处理？

1 回答 308 浏览 7-7 开始运行爬虫和爬取结果展示

2017-04-11

cont = response.read()为毛没反应？？？

最新回答 / 进击的学霸No1

因为你需要个输出啊，print（cont）

2 回答 921 浏览 5-2 Python爬虫urlib2下载器网页的三种方法

2017-04-11

爬出来的全是"crawel failed" 怎么办

最新回答 / konglq

我也是这样的，现在在一点一点查到底哪儿出的问题。。。好像是response.read()的问题，但还没确定。。

2 回答 836 浏览 7-2 调度程序

2017-04-09

视频课件中用的是什么编译器？

最新回答 / 慕粉1473673993

下载eclipse，添加Pydev插件

3 回答 272 浏览 7-2 调度程序

2017-04-09

为什么这集视频总是没有声音

最新回答 / 慕运维8586393

换IE，google有段没声的

2 回答 320 浏览 7-2 调度程序

2017-04-09

求解：百度百科的url变了怎么统一格式？

最赞回答 / 少年阿虎

以现在百度百科的url格式为例：root_url 变成 root_url = "http://baike.baidu.com/item/Python" 然后把 html_parser.py 中url的正则表达换成模糊匹配 links = soup.find_all('a',href = re.compile(r"item"))这样就可以了以后如果网站升级，url格式改变，也是这个套路希望能帮到你

2 回答 936 浏览 7-2 调度程序

2017-04-08

貌似缺啥子东西。。。

+ 我来回答回答最高可+2积分

1 回答 556 浏览 7-7 开始运行爬虫和爬取结果展示

2017-04-08

程序刚开始有点问题后面又一层层报了很多异常，问题现在已解决【敲黑板，讲重点】

+ 我来回答回答最高可+2积分

0 回答 526 浏览

2017-04-06

首页上一页 41 42 43 44 45 46 47 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫