上一个小节我们简单学习了一下 MongoDB 数据库,这节课我们来学习下另外一个在爬虫开发中经常会用到的数据库,这就是我们大名鼎鼎的键值对数据库–Redis。
Redis 以它超快的读写速度受到爬虫开发程序员的青睐,在正式的爬虫开发中我们经常使用 Redis,比如我们的分布式爬虫通常会基于 Redis 进行设计。这个小节我们会介绍:
- Redis的基本概念;
- Redis的安装;
- Redis的连接;
- Redis的基本使用。
通过本节课的学习你会掌握:
-
Redis基本概念;
-
可以动手安装配置Redis;
-
能够操作创建数据库,并且进行简单的增删改查功能。
Redis是高效,快捷的 key-value 型的数据库,一般会被用作缓存或者消息队列。Redis 有多种数据结构,可以应用与不同的场景。
队列:
-
普通队列:使用列表数据结构
-
延时队列: 使用哈希表来实现
-
优先级队列: 使用有序集合来实现
缓存:
- 使用字符串和哈希表来实现高速缓存。
去重:
-
使用集合的数据结构进行去重;
-
利用字符串数据结构,使用步隆过滤器,实现大规模的去重;
-
使用HyperLogLog数据结构,进行去重。
首先需要安装并启动Redis的服务器,具体的不同系统的安装步骤,可参考慕课网关于 Redis 的学习资料进行操作,这里就不再赘述。
启动 Redis 服务器需要运行命令:
redis-server
代码块预览 复制
- 1
服务启动成功后,会显示 Ready to accept connections。
效果展示:
测试一下客户端能否使用
redis-cli ping
代码块预览 复制
- 1
成功后,如下所示:
首先需要安装并启动 Redis 的服务器,具体的不同系统的安装步骤,可参考慕课网关于Redis的学习资料进行操作,这里就不再赘述。
我们字符串进行增删改查,效果如下:
我们对List进行增删改查,效果如下:
我们对Hash进行增删改查,效果如下:
启动 Redis 服务器后,我们还需要安装 python 的 Redis 第三方包才能通过 python 来操作 Redis 数据库。Python 用来操作 Redis 数据库的第三包就叫做 redis,我们直接通过 pip 来安装:
pip install Redis
代码块预览 复制
- 1
成功安装了 python 的 redis 包之后,效果展示:
接下来,连接数据库:
>>> import redis >>> r = redis.Redis()
代码块预览 复制
- 1
- 2
然后就可以直接进行操作
通过python,对字符串进行增删改查
-
set 设置字符串
-
delete 删除字符串
例子如下:
通过 python, 对 Hash 进行增删改查
-
hset增加数据
-
hdel更改数据
-
lgetall查询数据
例子如下:
通过python,对 List 进行增删改查
-
lpush增加数据
-
lset更改数据
-
lrem删除数据
例子如下:
Redis是一个基于内存的key-value数据库,支持的数据类型有string, lists, hash, sets等,我们这里讲述了字符串,列表和哈希的增删改查。