自学内容网 自学内容网

【中间件开发】Redis基础命令详解及概念介绍


前言

本文介绍了Redis相关命令以及Redis当中的一些概念(协议)。


一、Redis相关命令详解及原理

内存是稀缺资源,所以:

  1. 当数据量少时,存储效率高为主
  2. 当数据量多时,运行速度快为主

1.1 string、set、zset、list、hash

  1. string 是一个安全的二进制字符串(兼容’\0’作为分隔符,安全指按长度);
  2. 双端队列 (链表) list :有序(插入有序);
  3. 散列表 hash:对顺序不关注,field 是唯一的;
  4. 无序集合 set:对顺序不关注,里面的值都是唯一的;
  5. 有序集合 zset :对顺序是关注的,里面的值是唯一的;根据 member 来确定唯一;根据 score 来 确定有序;

1.1.1 string

set key_test 1000

get key_test

# 原子减一
decr key_test
decrby key_test decrement(一个数字)

# 原子加一
incr key_test
incrby key_test increment

# set Not exist,当key_test存在时,什么也不做,否则等同于set
setnx key_test value
del key_test

----------
# 
setbit key_test offset value
# 第offset位设置为value
getbit key_test offset
# 统计字符串被设置为1的bit数
bitcount key_test
----------

image.png

image.png
image.png

应用

  1. 对象存储:set,get
  2. 累加器:incr
  3. 分布式锁:setnx
  4. 位运算:setbit,getbit,bitcount

1.1.2 list

双向链表,首尾操作时间复杂度O(1);中间元素操作O(n)

  1. list.size < 48 不压缩
  2. 元素压缩前后长度差不超过8,不压缩

为什么压缩?如何压缩的?

# 从队列左侧入队
lpush key value ...
lpop key

# 从队列右侧入队
rpush key value ...
rpop key 

# 尾索引
lrange key start end

# 从存于 key 的列表里移除前 count 次出现的值为 value 的元素
lrem key count value

# rpop的阻塞版本
brpop key timeout

image.png

应用

  1. 栈:lpush + lpop
  2. 队列:lpush + rpop
  3. 阻塞队列:lpush + brpop
  4. 异步消息队列
    1. 操作和队列一样,但是在不同系统间;生产者和消费者;
  5. 获取固定窗口记录
    1. ltrim key 0 4 保留最近5条记录

1.1.3 hash

散列表;C++ unordered_map

(节点数量 > 512 || 所有字符串长度 > 64) 采用dict
(节点数量 <= 512 || 所有字符串长度 < 64) 采用ziplist

hget key field
hgetall

hset key field value
# 设置多个键值对
hmset key field1 value1 field2 value2 field3 value3 ... fieldn valuen

hmget key field1 field2 ...

hincrby key field increment
# 获取有多少个键值对
hlen key

hdel key field

image.png

应用

  1. 存储对象
  2. 购物车:商品列表用list,其中属性用hash

1.1.4 set

无序集合

(元素都为整数 && 节点数量 <= 512) 采用整数数组存储
(元素不全为整数 || 节点数量 > 512) 采用字典存储

# 添加一个或多个
sadd key member ...
# 计算集合元素个数
scard key

smembers key
# 返回成员member是否为key的成员
sismember key member
# 随机返回key集合中的一个或多个元素
srandmember key [count]
# 移除一个随机元素
spop key [count]
# 返回差集
sdiff key [key...]
# 返回交集
sinter key [key...]
# 返回并集
sunion key [key...]

image.png

应用

  1. 抽奖:srandmember
  2. 共同关注:sdiff ; sinter; sunion

1.1.5 zset

有序集合;实现排行榜;有序唯一


zadd key 
# 从key中删除member的键值对
zrem key member [member...]
# 返回有序集key中member的score值
zscore key member
# 成员member的score值加上增量
zincrby key increment member
# 返回个数
zcard key
# 返回排名
zrank key member
# 返回指定范围的元素
zrange key start stop
# 返回指定范围的元素(逆序)
zrevrange key start stop

image.png

应用

  1. 百度热榜
  2. 延时队列
  3. 分布式定时器
  4. 时间窗口限流

1.2 分布式锁的实现

释放锁操作:事务操作

锁:谁持有,谁释放

get dislock

-- 释放锁
local uuid = redis.call("get", KEYS[1])
if uuid == KEYS[2] then
redis.call("del", KEYS[1])
end

1.3 lua脚本解决ACID原子性

# 开启事务
multi

# 提交事务
exec

# 取消事务
discard

# 检测key的变动
watch

实际中是使用lua脚本
  • redis 中加载了一个 lua 虚拟机;用来执行 redis lua 脚本;
  • redis lua 脚本的执行是原子性的;
  • 当某个脚本正在执行的时候,不会有其他命令或者脚本被执行;
  • lua 脚本当中的命令会直接修改数据状态;
  • lua 脚本 mysql 存储区别:MySQL存储过程不具备事务性,所以也不具备原子性;

注意:如果项目中使用了 lua 脚本,不需要使用上面的事务命令
image.png

1.4 Redis事务的ACID性质分析

  • A 原子性;事务是一个不可分割的工作单位,事务中的操作要么全部成功,要么全部失败;redis 不支持回滚;即使事务队列中的某个命令在执行期间出现了错误,整个事务也会继续执行下去,直 到将事务队列中的所有命令都执行完毕为止。

  • C 一致性;事务的前后,所有的数据都保持一个一致的状态,不能违反数据的一致性检测;这里 的一致性是指预期的一致性而不是异常后的一致性;所以 redis 也不满足;这个争议很大:redis 能 确保事务执行前后的数据的完整约束;但是并不满足业务功能上的一致性;比如转账功能,一个扣 钱一个加钱;可能出现扣钱执行错误,加钱执行正确,那么最终还是会加钱成功;系统凭空多了 钱;

set zhang 1000
lpush zhang 1 3 4 #error
get mark
  • I 隔离性;各个事务之间互相影响的程度;redis 是单线程执行,天然具备隔离性;

  • D 持久性;redis 只有在 aof 持久化策略的时候,并且需要在 appendfsync=always 才具备持久性;实际项目中几乎不会使用 redis.conf 中 aof 持久化策略;

  • 面试时候回答:lua 脚本满足原子性和隔离性;一致性和持久性不满足;

get zhang ==>100

set zhang 200

如果这两个命令没有作为一个整体,那么可以会有另一条连接set。这将导致数据不一致。

什么时候探讨事务?多条并发连接
什么时候探讨原子操作?多核

二、Redis协议与异步方式

2.1 Redis协议解析

2.1.1 redis pipeline

redis pipeline 是一个客户端提供的机制,而不是服务端提供的;

注意:pipeline 不具备事务性;

目的:节约网络传输时间;

通过一次发送多次请求命令,从而减少网络传输的时间。

image.png

2.1.2 Redis协议图

image.png

上图描述了如何界定数据包:

  1. 长度 + 二进制流
  2. 二进制流 + 特殊分割符

2.2 特殊协议操作-订阅发布

为了支持消息的多播机制,redis引入了发布订阅:发送者发送消息,订阅者接收消息。

# 订阅频道
subscribe `channel`
# 订阅模式频道
psubscribe `channel`
# 取消订阅频道
unsubscribe `channel`
# 发布具体频道或模式频道的内容
publish `channel` `message`
# 客户端接收具体频道内容
message `specificChannel` `message`
# 客户端接收模式频道内容
pmessage

应用

  1. 发布订阅可以收到redis主动推送的内容
  2. 项目中支持发布订阅,需要另开一条连接

缺点

  1. 生产者传递来一条消息,redis找到相应的消费者并传递过去,如果没有消费者,消息丢弃;
  2. 如果有两个消费者,此时其中一个消费者挂掉了,重连上来将不会接收到该消息;
  3. redis停机重启,发布订阅的消息不会持久化。

2.3 异步redis协议

同步连接方案采用阻塞IO来实现
优点:代码书写是同步的,业务逻辑不割裂
缺点:阻塞当前线程,直到返回结果,通常需要多个线程来实现线程池来解决效率问题。

异步连接方案采用非阻塞IO来实现
优点:不阻塞当前线程,redis没有返回,可以继续向redis发送命令
缺点:代码书写是异步的,业务逻辑割裂,可以通过协程解决(skynet,openresty)

2.3.1 hiredis + libevent

我们需要做的事情:
适配

  1. 事件对象
  2. 事件操作函数

hiredis需要做:

  1. 协议解析
  2. 读写事件
  3. 缓冲区操作
  4. 协议加密等

适配事件对象和函数。

static int redisAttach(reactor_t *r, redisAsyncContext *ac) {
    redisContext *c = &(ac->c);
    redis_event_t *re;
    
    /* Nothing should be attached when something is already attached */
    if (ac->ev.data != NULL)
        return REDIS_ERR;

    /* Create container for ctx and r/w events */
    re = (redis_event_t*)hi_malloc(sizeof(*re));
    if (re == NULL)
        return REDIS_ERR;

    re->ctx = ac;
    re->e.fd = c->fd;
    re->e.r = r;
    // dont use event buffer, using hiredis's buffer
    re->e.in = NULL;
    re->e.out = NULL;
    re->mask = 0;

    ac->ev.addRead = redisAddRead;
    ac->ev.delRead = redisDelRead;
    ac->ev.addWrite = redisAddWrite;
    ac->ev.delWrite = redisDelWrite;
    ac->ev.cleanup = redisCleanup;
    ac->ev.data = re;
    return REDIS_OK;
}

总结

本文介绍了Redis的基本命令以及Redis协议中的部分内容。Redis是内存型数据库,围绕着内存的特性,Redis结合了lua脚本,分布式锁(最快的),异步连接等一系列特性。

参考链接:
https://github.com/0voice


原文地址:https://blog.csdn.net/Morso/article/details/144327554

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!