Python开发简单爬虫_技术问答

首页免费课 Python开发简单爬虫问答

Python开发简单爬虫

全部评论问答未解决精华

spider_main.py中的from baike_spider import url_manager问题

已采纳回答 / 请叫我百度

第一：baike_spider是你创建的包，你所说的url_manager肯定是放在包中的代码，是可以import进去了。第二：只爬取一个网址就结束应该是html_parser中的代码有问题，比如课程中的匹配策略与现在的百度Python词条不匹配，需要改成href = re.compile(r"/item/.*") 再或者find_all 不要丢了下划线，我就没注意到下划线，所以只输出了1条记录就craw faild了。

2 回答 1620 浏览 8-1 课程总结

2017-05-15

无法爬取呢

最新回答 / 慕用1463983

应该是在html_paeser里面import urlparse出现问题了

2 回答 300 浏览 7-2 调度程序

2017-05-14

Eula_dz

看了评论我笑了哈哈哈哈哈哈

7 2-2 爬虫技术的价值

2017-05-14

_teaaa

建议复习一下第三章再看这一讲

1 7-2 调度程序

2017-05-14

怎么设置Python的智能提示

最赞回答 / qq_苦练_03710200

哥们儿看下这个链接：http://jingyan.baidu.com/article/77b8dc7fec2e0c6174eab6f8.html

1 回答 1428 浏览 6-3 BeautifulSoup的语法

2017-05-14

兰陵萧萧笙

按ctrl 1没反应啊，没有弹出creat class的窗口，好纠结

12 7-2 调度程序

2017-05-14

泊之心

源码地址 http://www.imooc.com/article/17986

1 7-1 Python爬虫实例-分析目标

2017-05-14

只得到了两条结果，这是为什么

+ 我来回答回答最高可+2积分

3 回答 534 浏览 7-6 HTML输出器

2017-05-13

为什么什么显示都没有呢？

最新回答 / qq_大屎_0

你的情况跟我一样~~求助@@@！！！

3 回答 505 浏览 7-7 开始运行爬虫和爬取结果展示

2017-05-12

慕少6254917

老师讲的很好，经过修改，已经能够实现抓取1000条了

1 7-2 调度程序

2017-05-12

求大神解决

+ 我来回答回答最高可+2积分

1 回答 384 浏览 7-7 开始运行爬虫和爬取结果展示

2017-05-12

奋斗107

URL管理器的三种实现方式：内存、关系数据库、缓存数据库

1 4-2 Python爬虫URL管理器的实现方式

2017-05-11

奋斗107

URL管理器：防止重复抓取

1 4-1 Python爬虫URL管理

2017-05-11

请问，我在html_downloader里面添加了add_header，为何运行之后只爬取了第一个页面，然后就craw failed了，程序没有错误

最新回答 / 刘强1995

我也是

3 回答 693 浏览 7-7 开始运行爬虫和爬取结果展示

2017-05-10

Tmsnjy

谢谢老师，老师讲的很棒，思路清晰明确。0基础也能轻松写出来！
老师用的2 ，有用的3++可以参考我的源码： https://github.com/MarkNiu/BaiKe_Spider 有详细注释+输出页面美化！！！

4 7-1 Python爬虫实例-分析目标

2017-05-10

Tmsnjy

2017-05-10

首页上一页 92 93 94 95 96 97 98 下一页尾页

该课程已下架

课程须知: 本课程是Python语言开发的高级课程 1、Python编程语法； 2、HTML语言基础知识； 3、正则表达式基础知识；

老师告诉你能学到什么？: 1、爬虫技术的含义和存在价值 2、爬虫技术架构 3、组成爬虫的关键模块：URL管理器、HTML下载器和HTML解析器 4、实战抓取百度百科1000个词条页面数据的抓取策略设定、实战代码编写、爬虫实例运行 5、一套极简的可扩展爬虫代码，修改本代码，你就能抓取任何互联网网页！

微信扫码，参与3人拼团

热搜

最近搜索清空