使用Redis实现聊天记录转存

发布时间:2025-05-14 08:28:54 作者:益华网络 来源:undefined 浏览量(2) 点赞(4)
摘要:本文转载自微信公众号「 神奇的程序员K」,作者 神奇的程序员K 。转载本文请联系 神奇的程序员K公众号。 前言 这几天在实现我开源项目的单聊功能,在实现过程中遇到了需要将聊天记录保存至数据库的问题,在收到消息时肯定不能直接存数据库,因为这样在高并发的场景下,数据库就炸了

本文转载自微信公众号「 神奇的程序员K」,作者 神奇的程序员K 。转载本文请联系 神奇的程序员K公众号。

前言

这几天在实现我开源项目的单聊功能,在实现过程中遇到了需要将聊天记录保存至数据库的问题,在收到消息时肯定不能直接存数据库,因为这样在高并发的场景下,数据库就炸了。

于是,我就想到了redis这个东西,第一次听说它是在2年前,但是一直没时间玩他,现在终于遇到了需要使用它的场景,在用的时候学它,本文就跟大家分享下我的实现思路以及过程,欢迎各位感兴趣的开发者阅读本文。

环境搭建

我的项目是基于SpringBoot2.x搭建的,电脑已经安装了redis,用的maven作为jar包管理工具,所以只需要在maven中添加需要的依赖包即可,如果你用的是其他管理工具,请自行查阅如何添加依赖。

本文需要用到依赖:Redis 、quartz,在pom.xml文件的dependencies标签下添加下述代码。

<!-- Redis --> <dependency>     <groupId>org.springframework.boot</groupId>     <artifactId>spring-boot-starter-data-redis</artifactId> </dependency> <!-- 定时任务调度 --> <dependency>     <groupId>org.springframework.boot</groupId>     <artifactId>spring-boot-starter-quartz</artifactId>     <version>2.3.7.RELEASE</version> </dependency>

在application.yml文件中配置相关参数。

spring: # redis配置   redis:     host: 127.0.0.1 # redis地址     port: 6379 # 端口号     password:  # 密码     timeout: 3000 # 连接超时时间,单位毫秒 

实现思路

在websocket的服务中,收到客户端推送的消息后,我们对数据进行解析,构造聊天记录实体类,将其保存至redis中,最后我们使用quartz设置定时任务将redis的数据定时写入mysql中。

我们将上述思路进行下整理:

解析客户端数据,构造实体类 将数据保存至redis 使用quartz将redis中的数据定时写入mysql

实现过程

实现思路很简单,难在如何将实体类数据保存至redis,我们需要把redis这一块配置好后,才能继续实现我们的业务需求。

redis支持的数据结构类型有:

set 集合,string类型的无序集合,元素不允许重复 hash 哈希表,键值对的集合,用于存储对象 list 列表,链表结构 zset有序集合 string 字符串,最基本的数据类型,可以包含任何数据,比如一个序列化的对象,它的字符串大小上限是512MB

redis的客户端分为jedis 和 lettuce,在SpringBoot2.x中默认客户端是使用lettuce实现的,因此我们不用做过多配置,在使用的时候通过RedisTemplate.xxx来对redis进行操作即可。

自定义RedisTemplate

在RedisTemplate中,默认是使用Java字符串序列化,将字符串存入redis后可读性很差,因此,我们需要对他进行自定义,使用Jackson 序列化,以 JSON 方式进行存储。

我们在项目的config包下,创建一个名为LettuceRedisConfig的Java文件,我们再此文件中配置其默认序列化规则,它的代码如下:

package com.lk.config; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.data.redis.connection.RedisConnectionFactory; import org.springframework.data.redis.core.RedisTemplate; import org.springframework.data.redis.serializer.GenericJackson2JsonRedisSerializer; import org.springframework.data.redis.serializer.StringRedisSerializer; // 自定义RedisTemplate设置序列化器, 方便转换redis中的数据与实体类互转 @Configuration public class LettuceRedisConfig {     /**      * Redis 序列化配置      */     @Bean     public RedisTemplate<String, Object> redisTemplate(RedisConnectionFactory connectionFactory) {         RedisTemplate<String, Object> redisTemplate = new RedisTemplate<>();         redisTemplate.setConnectionFactory(connectionFactory);         // 使用GenericJackson2JsonRedisSerializer替换默认序列化         GenericJackson2JsonRedisSerializer jackson2JsonRedisSerializer = new GenericJackson2JsonRedisSerializer();         // 设置 Key 和 Value 的序列化规则         redisTemplate.setKeySerializer(new StringRedisSerializer());         redisTemplate.setValueSerializer(jackson2JsonRedisSerializer);         redisTemplate.setHashKeySerializer(new StringRedisSerializer());         redisTemplate.setHashValueSerializer(jackson2JsonRedisSerializer);         // 初始化 RedisTemplate 序列化完成         redisTemplate.afterPropertiesSet();         return redisTemplate;     } }

封装redis工具类

做完上述操作后,通过RedisTemplate存储到redis中的数据就是json形式的了,接下来我们对其常用的操作封装成工具类,方便我们在项目中使用。

在Utils包中创建一个名为RedisOperatingUtil,其代码如下:

package com.lk.utils; import org.springframework.data.redis.connection.DataType; import org.springframework.data.redis.core.RedisTemplate; import org.springframework.stereotype.Component; import javax.annotation.Resource; import java.util.Arrays; import java.util.Collections; import java.util.List; import java.util.Map; import java.util.concurrent.TimeUnit; @Component // Redis操作工具类 public class RedisOperatingUtil {     @Resource     private RedisTemplate<Object, Object> redisTemplate;     /**      * 指定 key 的过期时间      *      * @param key  键      * @param time 时间(秒)      */     public void setKeyTime(String key, long time) {         redisTemplate.expire(key, time, TimeUnit.SECONDS);     }     /**      * 根据 key 获取过期时间(-1 即为永不过期)      *      * @param key 键      * @return 过期时间      */     public Long getKeyTime(String key) {         return redisTemplate.getExpire(key, TimeUnit.SECONDS);     }     /**      * 判断 key 是否存在      *      * @param key 键      * @return 如果存在 key 则返回 true,否则返回 false      */     public Boolean hasKey(String key) {         return redisTemplate.hasKey(key);     }     /**      * 删除 key      *      * @param key 键      */     public Long delKey(String... key) {         if (key == null || key.length < 1) {             return 0L;         }         return redisTemplate.delete(Arrays.asList(key));     }     /**      * 获取 Key 的类型      *      * @param key 键      */     public String keyType(String key) {         DataType dataType = redisTemplate.type(key);         assert dataType != null;         return dataType.code();     }     /**      * 批量设置值      *      * @param map 要插入的 key value 集合      */     public void barchSet(Map<String, Object> map) {         redisTemplate.opsForValue().multiSet(map);     }     /**      * 批量获取值      *      * @param list 查询的 Key 列表      * @return value 列表      */     public List<Object> batchGet(List<String> list) {         return redisTemplate.opsForValue().multiGet(Collections.singleton(list));     }     /**      * 获取指定对象类型key的值      *      * @param key 键      * @return 值      */     public Object objectGetKey(String key) {         return redisTemplate.opsForValue().get(key);     }     /**      * 设置对象类型的数据      *      * @param key   键      * @param value 值      */     public void objectSetValue(String key, Object value) {         redisTemplate.opsForValue().set(key, value);     }     /**      * 向list的头部插入一条数据      *      * @param key   键      * @param value 值      */     public Long listLeftPush(String key, Object value) {         return redisTemplate.opsForList().leftPush(key, value);     }     /**      * 向list的末尾插入一条数据      *      * @param key   键      * @param value 值      */     public Long listRightPush(String key, Object value) {         return redisTemplate.opsForList().rightPush(key, value);     }     /**      * 向list头部添加list数据      *      * @param key   键      * @param value 值      */     public Long listLeftPushAll(String key, List<Object> value) {         return redisTemplate.opsForList().leftPushAll(key, value);     }     /**      * 向list末尾添加list数据      *      * @param key   键      * @param value 值      */     public Long listRightPushAll(String key, List<Object> value) {         return redisTemplate.opsForList().rightPushAll(key, value);     }     /**      * 通过索引设置list元素的值      *      * @param key   键      * @param index 索引      * @param value 值      */     public void listIndexSet(String key, long index, Object value) {         redisTemplate.opsForList().set(key, index, value);     }     /**      * 获取列表指定范围内的list元素,正数则表示正向查找,负数则倒叙查找      *      * @param key   键      * @param start 开始      * @param end   结束      * @return boolean      */     public Object listRange(String key, long start, long end) {         return redisTemplate.opsForList().range(key, start, end);     }     /**      * 从列表前端开始取出数据      *      * @param key 键      * @return 结果数组对象      */     public Object listPopLeftKey(String key) {         return redisTemplate.opsForList().leftPop(key);     }     /**      * 从列表末尾开始遍历取出数据      *      * @param key 键      * @return 结果数组      */     public Object listPopRightKey(String key) {         return redisTemplate.opsForList().rightPop(key);     }     /**      * 获取list长度      *      * @param key 键      * @return 列表长度      */     public Long listLen(String key) {         return redisTemplate.opsForList().size(key);     }     /**      * 通过索引获取list中的元素      *      * @param key   键      * @param index 索引(index>=0时,0 表头,1 第二个元素,依次类推;index<0时,-1,表尾,-2倒数第二个元素,依次类推)      * @return 列表中的元素      */     public Object listIndex(String key, long index) {         return redisTemplate.opsForList().index(key, index);     }     /**      * 移除list元素      *      * @param key   键      * @param count 移除数量("负数"则从列表倒叙查找删除 count 个对应的值; "整数"则从列表正序查找删除 count 个对应的值;)      * @param value 值      * @return 成功移除的个数      */     public Long listRem(String key, long count, Object value) {         return redisTemplate.opsForList().remove(key, count, value);     }     /**      * 截取指定范围内的数据, 移除不是范围内的数据      * @param key 操作的key      * @param start 截取开始位置      * @param end 截取激素位置      */     public void listTrim(String key, long start, long end) {         redisTemplate.opsForList().trim(key, start, end);     } }

进行单元测试

做完上述操作后,最难弄的一关我们就已经搞定了,接下来我们来对一会需要使用的方法进行单元测试,确保其能够正常运行。

创建一个名为RedisTest的Java文件,注入需要用到的相关类。

redisOperatingUtil为我们的redis工具类 subMessageMapper为聊天记录表的dao层 @RunWith(SpringRunner.class) @SpringBootTest @Slf4j public class RedisTest {     @Resource     private RedisOperatingUtil redisOperatingUtil;     @Resource     private SubMessageMapper subMessageMapper; }

接下来,我们看下SubMessage实体类的代码。

package com.lk.entity; import lombok.AllArgsConstructor; import lombok.Getter; import lombok.NoArgsConstructor; import lombok.Setter; @Getter @Setter @NoArgsConstructor @AllArgsConstructor // 聊天记录-消息内容 public class SubMessage {   private Integer id;   private String msgText; // 消息内容   private String createTime; // 创建时间   private String userName; // 用户名   private String userId; // 推送方用户id   private String avatarSrc; // 推送方头像   private String msgId; // 接收方用户id   private Boolean status; // 消息状态 }

测试list数据的写入与获取

在单元测试类内部加入下述代码:

@Test     public void testSerializableListRedisTemplate() {         // 构造聊天记录实体类数据         SubMessage subMessage = new SubMessage();         subMessage.setAvatarSrc("https://www.kaisir.cn/uploads/1ece3749801d4d45933ba8b31403c685touxiang.jpeg");         subMessage.setUserId("1090192");         subMessage.setUserName("神奇的程序员");         subMessage.setMsgText("你好");         subMessage.setMsgId("2901872");         subMessage.setCreateTime("2020-12-12 18:54:06");         subMessage.setStatus(false);         // 将聊天记录对象保存到redis中         redisOperatingUtil.listRightPush("subMessage", subMessage);         // 获取list中的数据         Object resultObj = redisOperatingUtil.listRange("subMessage", 0, redisOperatingUtil.listLen("subMessage"));         // 将Object安全的转为List         List<SubMessage> resultList = ObjectToOtherUtil.castList(resultObj, SubMessage.class);         // 遍历获取到的结果         if (resultList != null) {             for (SubMessage message : resultList) {                 System.out.println(message.getUserName());             }         }     }

在上述代码中,我们从redis中取出的数据是Object类型的,我们要将它转换为与之对应的实体类,一开始我是用的类型强转,但是idea会报黄色警告,于是就写了一个工具类用于将Object对象安全的转换为与之对应的类型,代码如下:

package com.lk.utils; import java.util.ArrayList; import java.util.List; public class ObjectToOtherUtil {     public static <T> List<T> castList(Object obj, Class<T> clazz) {         List<T> result = new ArrayList<>();         if (obj instanceof List<?>) {             for (Object o : (List<?>) obj) {                 result.add(clazz.cast(o));             }             return result;         }         return null;     } }

执行后,我们看看redis是否有保存到我们写入的数据,如下所示,已经成功保存。

image-20201213163924700

我们再来看看,代码的执行结果,看看有没有成功获取到数据,如下图所示,也成功取到了。

image-20201213164038308

注意:如果你的项目对websocket进行了启动配置,可能会导致单元测试失败,报错java.lang.IllegalStateException: Failed to load ApplicationContext,解决方案就是注释掉websocket配置文件中的@Configuration即可。

测试list数据的取出

当我们把redis中存储的数据迁移到mysql后,需要删除redis中的数据,一开始我用的是它的delete方法,但是他的delete方法只能删除与之匹配的值,不能选择一个区间进行删除,于是就决定用它的pop方法进行出栈操作。

我们来测试下工具类中的listPopLeftKey方法。

@Test     public void testListPop() {         long item = 0;         // 获取存储在redis中聊天记录的条数         long messageListSize = redisOperatingUtil.listLen("subMessage");         for (int i = 0; i < messageListSize; i++) {             // 从头向尾取出链表中的元素             SubMessage messageResult = (SubMessage) redisOperatingUtil.listPopLeftKey("subMessage");             log.info(messageResult.getMsgText());             item++;         }         log.info(item+"条数据已成功取出");     }

执行结果如下所示,成功取出了redis中存储的两条数据。

image-20201213170726492

测试聊天记录转移至数据库

接下来我们在redis中放入三条数据用于测试

image-20201213171623890

我们测试下将redis中的数据取出,然后写入数据库,代码如下:

// 测试聊天记录转移数据库     @Test     public void testRedisToMysqlTask() {         // 获取存储在redis中聊天记录的条数         long messageListSize = redisOperatingUtil.listLen("subMessage");         // 写入数据库的数据总条数         long resultCount = 0;         for (int i = 0; i < messageListSize; i++) {             // 从头到尾取出链表中的元素             SubMessage subMessage= (SubMessage) redisOperatingUtil.listPopLeftKey("subMessage");             // 向数据库写入数据             int result = subMessageMapper.addMessageTextInfo(subMessage);             if (result > 0) {                 // 写入成功                 resultCount++;             }         }         log.info(resultCount+ "条聊天记录,已写入数据库");     }

执行结果如下,数据已成功写入数据库且redis中的数据也被删除。

image-20201213171834299

image-20201213171956311

image-20201213172031222

解析客户端数据保存至redis

完成上述操作后,我们redis那一块的东西就搞定了,接下来就可以实现将客户端的数据存到redis里了。

这里有个坑,因为websocket服务类中用到了@Component,会导致redis的工具类注入失败,出现null的情况,解决这个问题需要将当前类名声明为静态变量,然后在init中获取赋值redis工具类,代码如下:

// 解决redis操作工具类注入为null的问题     public static WebSocketServer webSocketServer;     @PostConstruct     public void init() {         webSocketServer = this;         webSocketServer.redisOperatingUtil = this.redisOperatingUtil;     }

在websocket服务的@OnMessage注解中,收到客户端发送的消息,我们将其保存到redis中,代码如下:

/**      * 收到客户端消息后调用的方法      *      * @param message 客户端发送过来的消息      *                // @param session 客户端会话      */     @OnMessage     public void onMessage(String message) {         // 客户端发送的消息         JSONObject jsReply = new JSONObject(message);         // 添加在线人数         jsReply.put("onlineUsers", getOnlineCount());         if (jsReply.has("buddyId")) {             // 获取推送方id             String userId = jsReply.getString("userID");             // 获取被推送方id             String buddyId = jsReply.getString("buddyId");             // 非测试数据则推送消息             if (!buddyId.equals("121710f399b84322bdecc238199d6888")) {                 // 发送消息至推送方                 this.sendInfo(jsReply.toString(), userId);             }             // 构造聊天记录实体类数据             SubMessage subMessage = new SubMessage();             subMessage.setAvatarSrc(jsReply.getString("avatarSrc"));             subMessage.setUserId(jsReply.getString("userID"));             subMessage.setUserName(jsReply.getString("username"));             subMessage.setMsgText(jsReply.getString("msg"));             subMessage.setMsgId(jsReply.getString("msgId"));             subMessage.setCreateTime(DateUtil.getThisTime());             subMessage.setStatus(false);             // 将聊天记录对象保存到redis中             webSocketServer.redisOperatingUtil.listRightPush("subMessage", subMessage);             // 发送消息至被推送方             this.sendInfo(jsReply.toString(), buddyId);         }     }

做完上述操作后,收到客户端发送的消息就会自动写入redis。

定时将redis的数据写入mysql

接下来,我们使用quartz定时向mysql中写入数据,他执行定时任务的步骤分为2步:

创建任务类编写任务内容

在QuartzConfig文件中设置定时,执行第一步创建的任务。

首先,创建quartzServer包,在其下创建RedisToMysqlTask.java文件,在此文件内实现redis写入mysql的代码

package com.lk.quartzServer; import com.lk.dao.SubMessageMapper; import com.lk.entity.SubMessage; import com.lk.utils.RedisOperatingUtil; import lombok.extern.slf4j.Slf4j; import org.quartz.JobExecutionContext; import org.quartz.JobExecutionException; import org.springframework.scheduling.quartz.QuartzJobBean; import javax.annotation.Resource; // 将redis数据放进mysql中 @Slf4j public class RedisToMysqlTask extends QuartzJobBean {     @Resource     private RedisOperatingUtil redisOperatingUtil;     @Resource     private SubMessageMapper subMessageMapper;     @Override     protected void executeInternal(JobExecutionContext jobExecutionContext) throws JobExecutionException {         // 获取存储在redis中聊天记录的条数         long messageListSize = redisOperatingUtil.listLen("subMessage");         // 写入数据库的数据总条数         long resultCount = 0;         for (int i = 0; i < messageListSize; i++) {             // 从头到尾取出链表中的元素             SubMessage subMessage= (SubMessage) redisOperatingUtil.listPopLeftKey("subMessage");             // 向数据库写入数据             int result = subMessageMapper.addMessageTextInfo(subMessage);             if (result > 0) {                 // 写入成功                 resultCount++;             }         }         log.info(resultCount+ "条聊天记录,已写入数据库");     } }

在config包下创建QuartzConfig.java文件,创建定时任务

package com.lk.config; import com.lk.quartzServer.RedisToMysqlTask; import org.quartz.*; import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; /**  * Quartz定时任务配置  */ @Configuration public class QuartzConfig {     @Bean     public JobDetail RedisToMysqlQuartz() {         // 执行定时任务         return JobBuilder.newJob(RedisToMysqlTask.class).withIdentity("CallPayQuartzTask").storeDurably().build();     }     @Bean     public Trigger CallPayQuartzTaskTrigger() {         //cron方式,从每月1号开始,每隔三天就执行一次         return TriggerBuilder.newTrigger().forJob(RedisToMysqlQuartz())                 .withIdentity("CallPayQuartzTask")                 .withSchedule(CronScheduleBuilder.cronSchedule("* * 4 1/3 * ?"))                 .build();     } }

这里我设置的定时任务是从每月1号开始,每隔三天就执行一次,Quartz定时任务采用的是cron表达式,自己算这个比较麻烦,这里推荐一个在线网站,可以很容易的生成表达式:Cron表达式生成器

实现效果

最后,配合Vue实现的浏览器端,跟大家展示下实现效果:

效果视频:使用Vue实现单聊

项目浏览器端代码地址:github/chat-system

项目在线体验地址:chat-system

二维码

扫一扫,关注我们

声明:本文由【益华网络】编辑上传发布,转载此文章须经作者同意,并请附上出处【益华网络】及本页链接。如内容、图片有任何版权问题,请联系我们进行处理。

感兴趣吗?

欢迎联系我们,我们愿意为您解答任何有关网站疑难问题!

您身边的【网站建设专家】

搜索千万次不如咨询1次

主营项目:网站建设,手机网站,响应式网站,SEO优化,小程序开发,公众号系统,软件开发等

立即咨询 15368564009
在线客服
嘿,我来帮您!