Redis,就是这么朴实无华

发布时间:2025-05-14 07:43:59 作者:益华网络 来源:undefined 浏览量(0) 点赞(0)
摘要:Redis是2009年发布的,到今天已经超过10岁了。作为必备技能之一,关于它也有聊不完的话题。本文中的任何一个点,都可以展开,完成一篇中等规模的文章。 交流和面试时,你需要用最精准的语言进行描述,那么本文比较适合你。 redis能力: 1 0W/s QPS (redis-benchmark)

Redis是2009年发布的,到今天已经超过10岁了。作为必备技能之一,关于它也有聊不完的话题。本文中的任何一个点,都可以展开,完成一篇中等规模的文章。

交流和面试时,你需要用最精准的语言进行描述,那么本文比较适合你。

redis能力:

1 0W/s QPS (redis-benchmark) 1w+ 长链接 (netstat / ss) 最复杂的Zset 6kw数据 写入1k/s 读取5k/s 平均耗时5ms 持久化 (rdb)

1. 基本概览

学习一门新语言,重要的是掌握它的基本数据结构,以及这些数据结构的API。redis的这些数据结构,就类似一门语言。

Redis数据结构

常用5种,一共10种。面试时一般回答5种即可,但其他5种是加分项。

String字符串 Hash 字典 List 列表 Set集合 ZSet 有序集合。性能参考:《redis的zset有多牛?请把耳朵递过来》 Pubsub 发布订阅 (不推荐使用,坑很多) Bitmap 位图 GEO 地理位置 (有限使用,附近的人) Stream 流(5.0) (与Kafka非常像) Hyperloglog 基数统计

Redis的协议

Redis是文本协议

RESP 以CRLF结尾(\r\n) RESP3 (redis6启用,增加客户端缓存)

Redis底层数据结构

数据量较小和大数据量的时候,往往不同,关注大数据量的主要结构。

String-sds Hash-(ziplist , dict) Set-(intset,dict) List-(ziplist,quicklist) ZSet-(ziplist+skiptable 跳表) Stream-(radix-tree 基数数)

跳表的关注度比较大,在Java中,可以参考类似ConcurrentSkipListMap实现。

另:Java中有序Set叫做TreeSet,但是用红黑树实现的,注意区别。

Redis持久化方式

生产环境,一般仅采用RDB模式。

RDB AOF (类似Binglog row模式) 混合模式:RDB+AOF

O(n)指令

keys * hgetall smembers sunion ...

建议在集合大小不确定的时候,使用scan hscan sscan zscan 替代。另外,像keys这种危险命令,最好使用RENAME指令给屏蔽掉。

性能优化

unlink删除key -> 异步避免阻塞 pipeline批量传输,减少网络RTT ->减少频繁网络交互 多值指令(mset,hmset)-> 减少频繁网络交互 关掉aof -> 避免io_wait

扩展方式

lua redis-module

module模式知道的人比较少,属于比较底层的开发。

2. 问题排查

monitor指令 回显所有执行的指令。可以使用grep配合过滤 keyspace-events 订阅某些Key的事件。比如,删除某条数据的事件,底层实现基于pubsub slow log 顾名思义,满查询,非常有用 --bigkeys启动参数 Redis大Key健康检查。使用的是scan的方式执行, 不用担心阻塞 memory usage key、memory stats 指令 info指令,关注instantaneous_ops_per_sec、used_memory_human、connected_clients redis-rdb-tools rdb线下分析

3. 淘汰策略

如果你应聘的是redis dba,这道题答不出来,直接淘汰。

被动删除 (只有被get到的时候,删除并返回NIL 属于惰性删除) 主动删除 (100ms运行一次,随机删除持续25ms,类似Cron) ->内存使用超过maxmemory,触发主动清理策略

针对于第三种情况,有8种策略。注意,redis已经有LFU了。

默认volatile-lru 从设置过期数据集里查找最近最少使用 volatile-ttl 从设置过期的数据集里面优先删除剩余时间短的Key volatile-random 从设置过期的数据集里面任意选择数据淘汰 volatile-lfu 从过期的数据集里删除 最近不常使用 的数据淘汰 allkeys-lru allkeys-lfu allkeys-random 数据被使用频次最少的,优先被淘汰 no-enviction

如果不设置maxmemory,Redis将一直使用内存,直到触发操作系统的OOM-KILLER。

4. 集群模式

单机 单机多实例 主从(1+n) 主从(1+n)& 哨兵(3或者基数个) Redis Cluster (推荐,但使用有限制)。参考:《与亲生的Redis Cluster,来一次亲密接触》

互联网建议使用Redis Cluster,外包、项目随意。

大规模

twemproxy codis 基于Netty Redis协议自研 管理平台:CacheCloud

5. Redis常见问题

Redis使用场景

缓存 (缓存一致性 缓存穿透 缓存击穿 缓存雪崩) 分布式锁 (redlock) 分布式限流 Session

API举例:

zset 排行榜,排序 bitmap 用户签到,在线状态 geo 地理位置,附近的人 stream 类似kafka的消息流 hyperloglog 每日访问ip数统计

缓存一致性

为什么有一致性问题?

写入。缓存和数据库是两个不同的组件,只要涉及到双写,就存在只有一个写成功的可能性,造成数据不一致。 更新。更新的情况类似,需要更新两个不同的组件。 读取。读取要保证从缓存中读到的信息是最新的,是和数据库中的是一致的。 删除。当删除数据库记录的时候,如何把缓存中的数据也删掉?

建议使用:Cache Aside Pattern

读请求:

先读cache,再读db

变更操作:

先操作数据库,再 淘汰 缓存

涉及到复杂的事务和回滚操作,可以把淘汰放在finally里。

问题:缓存淘汰失败!(概率很低 ,定时补偿)

缓存击穿

影响,轻微。

高流量下 大量请求读取一个失效的Key -> Redis Miss -> 穿透到DB

解决方式:采用分布式锁,只有拿到锁的第一个线程去请求数据库,然后插入缓存

缓存穿透

影响,一般。

访问一个不存在的Key(恶意攻击)-> Redis Miss -> 穿透到DB

解决方式:

给相应的Key设置一个Null值,放在缓存中 BloomFilter预先判断

缓存雪崩

影响:严重。

大量Key同时失效 | 2.Redis当机 -> Redis Miss -> 压力打到DB

解决方式:

给失效时间加上相对的随机数 保证Redis的高可用

分布式锁

redis的分布式锁,并不是那么简单。建议使用redisson的redlock。最基础的指令是setnx。

setnx-> SET key value [EX seconds|PX milliseconds|KEEPTTL] [NX|XX] [GET]

分布式锁 关键点:

原子性 锁超时 死锁 读写锁 故障转移

最简单的Redis分布式锁代码(不严谨)。

java端代码模拟lock和unlock。

public String lock(String key, int timeOutSecond) {     for (; ; ) {         String stamp = String.valueOf(System.nanoTime());         boolean exist = redisTemplate.opsForValue().setIfAbsent(key, stamp, timeOutSecond, TimeUnit.SECONDS);         if (exist) {             return stamp;         }     } } public void unlock(String key, String stamp) {     redisTemplate.execute(script, Arrays.asList(key), stamp); }

lua脚本unlock。

local stamp = ARGV[1] local key = KEYS[1] local current = redis.call("GET",key) if stamp == current then     redis.call("DEL",key)     return "OK" end

6. Redis使用

常用Java客户端

lettuce SpringBoot默认,基于Netty的事件驱动模型 jedis 老牌的客户端,使用commons-pool来完成线程池开发 redisson 非常丰富的分布式数据结构,包括锁,分布式Map等。大量使用Lua脚本?

使用规范

根据公司情况自定义裁剪,没有万能的规范。更多:

这可能是最中肯的Redis规范了

使用连接池,不要频繁创建关闭客户端连接 消息大小限制 消息体在10kb以下,可以使用snappy、msgpack等压缩 避免大key和hot key 不使用O(n)指令 不使用不带范围的Zrange指令 不使用database(容易覆盖数据) 不使用高级数据结构(使用基本的5种) 不使用事务操作 禁止长时间monitor

springboot cache redis

使用时更要注意规范性 cache层抽象层次太高,如需要操作底层的数据结构,直接使用redisTemplate

Redis是多线程?

要看哪个阶段。数据操作阶段,一直是单线程的,哪怕是redis6。

作者简介:小姐姐味道 (xjjdog),一个不允许程序员走弯路的公众号。聚焦基础架构和Linux。十年架构,日百亿流量,与你探讨高并发世界,给你不一样的味道。我的个人微信xjjdog0,欢迎添加好友,进一步交流。

二维码

扫一扫,关注我们

声明:本文由【益华网络】编辑上传发布,转载此文章须经作者同意,并请附上出处【益华网络】及本页链接。如内容、图片有任何版权问题,请联系我们进行处理。

感兴趣吗?

欢迎联系我们,我们愿意为您解答任何有关网站疑难问题!

您身边的【网站建设专家】

搜索千万次不如咨询1次

主营项目:网站建设,手机网站,响应式网站,SEO优化,小程序开发,公众号系统,软件开发等

立即咨询 15368564009
在线客服
嘿,我来帮您!