【中间件开发】Redis基础命令详解及概念介绍
文章目录
前言
本文介绍了Redis相关命令以及Redis当中的一些概念(协议)。
一、Redis相关命令详解及原理
内存是稀缺资源,所以:
- 当数据量少时,存储效率高为主
- 当数据量多时,运行速度快为主
1.1 string、set、zset、list、hash
- string 是一个安全的二进制字符串(兼容’\0’作为分隔符,安全指按长度);
- 双端队列 (链表) list :有序(插入有序);
- 散列表 hash:对顺序不关注,field 是唯一的;
- 无序集合 set:对顺序不关注,里面的值都是唯一的;
- 有序集合 zset :对顺序是关注的,里面的值是唯一的;根据 member 来确定唯一;根据 score 来 确定有序;
1.1.1 string
set key_test 1000
get key_test
# 原子减一
decr key_test
decrby key_test decrement(一个数字)
# 原子加一
incr key_test
incrby key_test increment
# set Not exist,当key_test存在时,什么也不做,否则等同于set
setnx key_test value
del key_test
----------
#
setbit key_test offset value
# 第offset位设置为value
getbit key_test offset
# 统计字符串被设置为1的bit数
bitcount key_test
----------
应用
- 对象存储:set,get
- 累加器:incr
- 分布式锁:setnx
- 位运算:setbit,getbit,bitcount
1.1.2 list
双向链表,首尾操作时间复杂度O(1);中间元素操作O(n)
- list.size < 48 不压缩
- 元素压缩前后长度差不超过8,不压缩
为什么压缩?如何压缩的?
# 从队列左侧入队
lpush key value ...
lpop key
# 从队列右侧入队
rpush key value ...
rpop key
# 尾索引
lrange key start end
# 从存于 key 的列表里移除前 count 次出现的值为 value 的元素
lrem key count value
# rpop的阻塞版本
brpop key timeout
应用
- 栈:lpush + lpop
- 队列:lpush + rpop
- 阻塞队列:lpush + brpop
- 异步消息队列
- 操作和队列一样,但是在不同系统间;生产者和消费者;
- 获取固定窗口记录
ltrim key 0 4
保留最近5条记录
1.1.3 hash
散列表;C++ unordered_map
(节点数量 > 512 || 所有字符串长度 > 64) 采用dict
(节点数量 <= 512 || 所有字符串长度 < 64) 采用ziplist
hget key field
hgetall
hset key field value
# 设置多个键值对
hmset key field1 value1 field2 value2 field3 value3 ... fieldn valuen
hmget key field1 field2 ...
hincrby key field increment
# 获取有多少个键值对
hlen key
hdel key field
应用
- 存储对象
- 购物车:商品列表用list,其中属性用hash
1.1.4 set
无序集合
(元素都为整数 && 节点数量 <= 512) 采用整数数组存储
(元素不全为整数 || 节点数量 > 512) 采用字典存储
# 添加一个或多个
sadd key member ...
# 计算集合元素个数
scard key
smembers key
# 返回成员member是否为key的成员
sismember key member
# 随机返回key集合中的一个或多个元素
srandmember key [count]
# 移除一个随机元素
spop key [count]
# 返回差集
sdiff key [key...]
# 返回交集
sinter key [key...]
# 返回并集
sunion key [key...]
应用
- 抽奖:
srandmember
- 共同关注:
sdiff
;sinter
;sunion
1.1.5 zset
有序集合;实现排行榜;有序唯一
zadd key
# 从key中删除member的键值对
zrem key member [member...]
# 返回有序集key中member的score值
zscore key member
# 成员member的score值加上增量
zincrby key increment member
# 返回个数
zcard key
# 返回排名
zrank key member
# 返回指定范围的元素
zrange key start stop
# 返回指定范围的元素(逆序)
zrevrange key start stop
应用
- 百度热榜
- 延时队列
- 分布式定时器
- 时间窗口限流
1.2 分布式锁的实现
释放锁操作:事务操作
锁:谁持有,谁释放
get dislock
-- 释放锁
local uuid = redis.call("get", KEYS[1])
if uuid == KEYS[2] then
redis.call("del", KEYS[1])
end
1.3 lua脚本解决ACID原子性
# 开启事务
multi
# 提交事务
exec
# 取消事务
discard
# 检测key的变动
watch
实际中是使用lua脚本
- redis 中加载了一个 lua 虚拟机;用来执行 redis lua 脚本;
- redis lua 脚本的执行是原子性的;
- 当某个脚本正在执行的时候,不会有其他命令或者脚本被执行;
- lua 脚本当中的命令会直接修改数据状态;
- lua 脚本 mysql 存储区别:MySQL存储过程不具备事务性,所以也不具备原子性;
注意:如果项目中使用了 lua 脚本,不需要使用上面的事务命令
1.4 Redis事务的ACID性质分析
-
A 原子性;事务是一个不可分割的工作单位,事务中的操作要么全部成功,要么全部失败;redis 不支持回滚;即使事务队列中的某个命令在执行期间出现了错误,整个事务也会继续执行下去,直 到将事务队列中的所有命令都执行完毕为止。
-
C 一致性;事务的前后,所有的数据都保持一个一致的状态,不能违反数据的一致性检测;这里 的一致性是指预期的一致性而不是异常后的一致性;所以 redis 也不满足;这个争议很大:redis 能 确保事务执行前后的数据的完整约束;但是并不满足业务功能上的一致性;比如转账功能,一个扣 钱一个加钱;可能出现扣钱执行错误,加钱执行正确,那么最终还是会加钱成功;系统凭空多了 钱;
set zhang 1000
lpush zhang 1 3 4 #error
get mark
-
I 隔离性;各个事务之间互相影响的程度;redis 是单线程执行,天然具备隔离性;
-
D 持久性;redis 只有在 aof 持久化策略的时候,并且需要在 appendfsync=always 才具备持久性;实际项目中几乎不会使用 redis.conf 中 aof 持久化策略;
-
面试时候回答:lua 脚本满足原子性和隔离性;一致性和持久性不满足;
get zhang ==>100
set zhang 200
如果这两个命令没有作为一个整体,那么可以会有另一条连接set。这将导致数据不一致。
什么时候探讨事务?多条并发连接
什么时候探讨原子操作?多核
二、Redis协议与异步方式
2.1 Redis协议解析
2.1.1 redis pipeline
redis pipeline 是一个客户端提供的机制,而不是服务端提供的;
注意:pipeline 不具备事务性;
目的:节约网络传输时间;
通过一次发送多次请求命令,从而减少网络传输的时间。
2.1.2 Redis协议图
上图描述了如何界定数据包:
- 长度 + 二进制流
- 二进制流 + 特殊分割符
2.2 特殊协议操作-订阅发布
为了支持消息的多播机制,redis引入了发布订阅:发送者发送消息,订阅者接收消息。
# 订阅频道
subscribe `channel`
# 订阅模式频道
psubscribe `channel`
# 取消订阅频道
unsubscribe `channel`
# 发布具体频道或模式频道的内容
publish `channel` `message`
# 客户端接收具体频道内容
message `specificChannel` `message`
# 客户端接收模式频道内容
pmessage
应用:
- 发布订阅可以收到redis主动推送的内容
- 项目中支持发布订阅,需要另开一条连接
缺点:
- 生产者传递来一条消息,redis找到相应的消费者并传递过去,如果没有消费者,消息丢弃;
- 如果有两个消费者,此时其中一个消费者挂掉了,重连上来将不会接收到该消息;
- redis停机重启,发布订阅的消息不会持久化。
2.3 异步redis协议
同步连接方案采用阻塞IO来实现:
优点:代码书写是同步的,业务逻辑不割裂
缺点:阻塞当前线程,直到返回结果,通常需要多个线程来实现线程池来解决效率问题。
异步连接方案采用非阻塞IO来实现:
优点:不阻塞当前线程,redis没有返回,可以继续向redis发送命令
缺点:代码书写是异步的,业务逻辑割裂,可以通过协程解决(skynet,openresty)
2.3.1 hiredis + libevent
我们需要做的事情:
适配:
- 事件对象
- 事件操作函数
hiredis需要做:
- 协议解析
- 读写事件
- 缓冲区操作
- 协议加密等
适配事件对象和函数。
static int redisAttach(reactor_t *r, redisAsyncContext *ac) {
redisContext *c = &(ac->c);
redis_event_t *re;
/* Nothing should be attached when something is already attached */
if (ac->ev.data != NULL)
return REDIS_ERR;
/* Create container for ctx and r/w events */
re = (redis_event_t*)hi_malloc(sizeof(*re));
if (re == NULL)
return REDIS_ERR;
re->ctx = ac;
re->e.fd = c->fd;
re->e.r = r;
// dont use event buffer, using hiredis's buffer
re->e.in = NULL;
re->e.out = NULL;
re->mask = 0;
ac->ev.addRead = redisAddRead;
ac->ev.delRead = redisDelRead;
ac->ev.addWrite = redisAddWrite;
ac->ev.delWrite = redisDelWrite;
ac->ev.cleanup = redisCleanup;
ac->ev.data = re;
return REDIS_OK;
}
总结
本文介绍了Redis的基本命令以及Redis协议中的部分内容。Redis是内存型数据库,围绕着内存的特性,Redis结合了lua脚本,分布式锁(最快的),异步连接等一系列特性。
参考链接:
https://github.com/0voice
原文地址:https://blog.csdn.net/Morso/article/details/144327554
免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!