Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

new_urls, new_data= self.parser.parse(new_url, html_cont)

最新回答 / 不想再做设计的阿碳

我也是这个问题；。。，。你解决了嘛

2 回答 1018 浏览 7-2 调度程序

2017-08-07

输出的html文件里面编码不对，如下图

+ 我来回答回答最高可+2积分

2 回答 675 浏览

2017-08-06

对于“没有报错，但只输出一条记录，第二条就craw failed，然后结束”的解决方法

最新回答 / 慕少7461383

if response.getcode() !=200：这句里面注意要有括号，问题就解决了。

3 回答 866 浏览 7-7 开始运行爬虫和爬取结果展示

2017-08-06

求问本课程有没有GitHub源码

最赞回答 / Oldbig_Lin

https://github.com/oldbig-carry/python_baidu_spider 亲测成功 2017/8/13 欢迎fork

2 回答 467 浏览 8-1 课程总结

2017-08-04

都是的P2还是P3

最新回答 / 白兰地加冰苏打水

现在python宣布停止对py2的更新，而且一些公司也陆陆续续在升级到p3建议用p3吧

2 回答 681 浏览 7-5 HTML解析器html_parser

2017-08-04

只能抓到一个第二个就异常了。KeyError: 'url'

最新回答 / 这个微博纯属人工智能

网页中有的不是/view/这种类型的，网页会随时更改，所以要换

1 回答 3721 浏览 7-7 开始运行爬虫和爬取结果展示

2017-08-04

AttributeError: 'str' object has no attribute 'handle_error'

最新回答 / qq_即刻天明_0

最可能是名字输错了

1 回答 5118 浏览 7-3 URL管理器

2017-08-04

这个报错怎么弄啊，我搞了好久

最新回答 / 慕的地6001264

解决了吗

2 回答 663 浏览 7-3 URL管理器

2017-08-03

最后只能爬取到第一个

最赞回答 / qq_Sunshine_60

links = soup.find_all('a',herf = re.compile(r"/view/\d+\.htm"))上面那句有问题，现在去看百科上的链接，已经不是/view/这种格式了。

2 回答 664 浏览 7-7 开始运行爬虫和爬取结果展示

2017-08-03

使用idea运行时总是报错，Python是3.5的

最赞回答 / kevin子博

没有安装 HTML解析器<...code...><...code...>参考: BeautifulSoup4-安装解析器

1 回答 1682 浏览 6-4 BeautifulSoup实例测试

2017-08-03

Python运行后控制台没有出错，但是output.html为什么是空白的

最赞回答 / 天使之翼死神之镰

output_html方法没有成功执行

2 回答 1350 浏览 7-7 开始运行爬虫和爬取结果展示

2017-08-03

报错求助，

最新回答 / 北国之春

不要注释掉 try 与 except ， parser 出现了 None 结果情况

1 回答 886 浏览 7-2 调度程序

2017-08-03

求助，爬虫运行失败，错误提示如下

最新回答 / 耿海峰

在获取节点的地方，加上try : except: 处理一下比如：summary_node = soup.find('div',class_='lemma-summary')try: res_data['summary'] = summary_node.get_text()except: res_data['summary'] = ''

1 回答 1589 浏览 7-7 开始运行爬虫和爬取结果展示

2017-08-03

第三种方法怎样下载需要登录账号的网页？

最新回答 / matthewalan

用伪造的cookies就可以了吧？

1 回答 973 浏览 5-3 Python爬虫urlib2实例代码演示

2017-08-03

出现中文代码，用的微软的VS2015

最新回答 / Jake_yu

中文代码是什么意思，乱码？

1 回答 634 浏览 5-3 Python爬虫urlib2实例代码演示

2017-08-01

首页上一页 37 38 39 40 41 42 43 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫