Bootstrap

redis 切片集群scan方法扫描大量key

一.场景

公司一次大型活动,用户参与活动打开既赠送一个见面红包,这些红包已key(user) -- value(红包金额)的形式存在redis中;后续发放提现红包需要将redis中红包落到数据库中;

二.分析

1.数据量较大,有几百万个key需要(根据key(业务前缀)扫描; 使用redisTemplate的keys方法会阻塞redis库,导致整个redis库不可用,影响其他业务;所以选择使用scan方法扫描;

2.考虑线上redis库使用的是切片集群,单个scan方法只会扫描一个实例,扫描出来的数据不完整;需要获取整个redis,切片集群实例的信息依次扫描;

3.考虑数据库批量保存,数据量太大对数据库的压力;

4.加快处理速度使用了线程池

三.代码实现

//相关引用
import io.lettuce.core.KeyScanCursor;
import io.lettuce.core.ScanArgs;
import io.lettuce.core.ScanCursor;
import io.lettuce.core.api.async.RedisKeyAsyncCommands;

import org.springframework.data.redis.connection.RedisConnection;

//见面红包线程池对象
private ExecutorService meetRedisSyncExecutor;

//线程池数量
private int redisSyncThreadCount = 500;

//见面红包线程池初始化
@PostConstruct
private void meetThreadPoolInit() {
   ThreadFactory threadFactory = buildThreadFactory("meetRedisSync-%d");
   meetRedisSyncExecutor = Executors.newFixedThreadPool(redisSyncThreadCount,thr
;