-
Python3版本的代码： http://git.oschina.net/aaronyuu/python_web_crawler 和Python2基本一样，引入的包稍有不同。 把try，except去掉方便查看错误。查看全部
-
实例代码演示
查看全部 -
网页下载器 - urllib2
查看全部 -
网页下载器：将互联网上URL对应的网页下载到本地的工具
python的网页下载器：
urllib2：python官方基础模块
requests：第三方包，更强大
查看全部 -
URL管理器
实现方式：
1. 内存
eg. python内存：set()
2. 关系数据库
eg. MySQL
urls(url, is_crawled)
3. 缓存数据库
eg. redis
set
查看全部 -
URL管理器：管理带抓取URL集合和已抓取的URL集合
-- 防止重复抓取，防止循环抓取
查看全部 -
简单爬虫架构 -- 运行流程
查看全部 -
简单爬虫架构：
爬虫调度端 --> URL管理器 --> 网页下载器 --> 网页解析器 --> 价值数据
查看全部 -
爬虫价值：互联网数据，为我所用
查看全部 -
爬虫：一段自动抓取互联网信息的程序
查看全部 -
网页解析器
查看全部 -
刚开始我的只能输出一个结果，这里把解析器里的
urlparse.urljoin()
换成
urllib2.urljoin
然后导入相应的包就行了。
查看全部 -
URL三种管理方式实现
查看全部 -
URL管理器
查看全部 -
cookielib.CookieJar()
查看全部
举报
0/150
提交
取消