Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

UFO2015

too broad exception clauses

This inspection highlights too broad exception clauses such as no exception class specified, or specified as 'Exception'.

0 7-2 调度程序

2016-09-13

琳小白

谢谢老师，条理清晰，很受用

0 8-1 课程总结

2016-09-13

慕后端4529686

我也是输出一条之后就crawl失败了。
后来修改了spider._main下的craw函数的try...except。
修改如下：
except Exception as f:
print "crawl failed !", f
然后我出来的是
Do you need to install the parser library？
然后我去parser.py下找错误
soup = BeautifulSoup(html_cont , "html.parser", from_encoding='utf-8')
是html.parser 不是html_parser

3 7-7 开始运行爬虫和爬取结果展示

2016-09-08

qq_路人甲_11

#利用正则表达式
import re #引入正则表达式模块

link3 = soup.find_all('a',href=re.compile(r'ill'))
for v in link3:
print(v.string)

0 6-4 BeautifulSoup实例测试

2016-09-08

feiling208

自顶向下，非常清晰啊，赞赞赞

1 7-2 调度程序

2016-09-08

DangCode

哈哈我终于改成了既没有重复url又能最先爬相关网页的了代码https://github.com/coldfreeboy/spider拿去

4 7-7 开始运行爬虫和爬取结果展示

2016-09-07

DangCode

这个程序可能有的人跑不起来因为1000个数据可能撑爆内存所以还是优化一下吧

1 7-2 调度程序

2016-09-07

frankist

这简直是史上最清晰逻辑啊！！！！！

6 7-2 调度程序

2016-09-07

惟愿_无事常相见

爬虫好好玩~~~~有点开心

0 8-1 课程总结

2016-09-05

Kisto

逻辑太清晰了大赞！老师辛苦！

0 8-1 课程总结

2016-09-04

_东隅

遇到只输出一行，第二行是crew failed问题的解决方法如下：
将html_parser.py模块中的_get_new_data（）方法中的这一句代码：
title_node = soup.find('dd', class_="lemmaWgt-lemmaTitle-title".find("h1"))
改为:
title_node = soup.find('dd', class_="lemmaWgt-lemmaTitle-title")
即去掉.find("h1")

2016/9/4

4 7-7 开始运行爬虫和爬取结果展示

2016-09-04

慕神6430470

讲的真不错，我有一本关于python网络爬虫的书籍，但是入不了门，看这个就基本上了解了流程了

2 7-1 Python爬虫实例-分析目标

2016-09-04

网络侦探

不错，修改后抓wiki百科可以运行。

0 7-7 开始运行爬虫和爬取结果展示

2016-09-02

慕粉3918266

谢谢老师！讲的很好，很系统。之前在网上看了半天的博客真是一知半解……

0 3-1 Python简单爬虫架构

2016-09-02

宕昌生活信息网

逻辑非常清晰，太棒了

0 3-2 Python简单爬虫架构的动态运行流程

2016-08-31

首页上一页 75 76 77 78 79 80 81 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空

Python开发简单爬虫