目录
六、MySQL 里有 2000w 数据,Redis 中只存 20w 的数据,如何保证 redis 中的数据都是热点数据?
一、为什么要用Redis?
1、内存数据库,快,很快.......
2、工作单线程worker,串行化、原子操作. (IO线程是多线程)- 避免上下文切换
3、IO模型(epoll), 支撑高并发.
4、kv模型,v具有类型结构.
5、具有本地方法,计算向数据移动。(a,b) => 交集
6、二进制安全,Value最大512M
二、Redis是单线程还是多线程?
6.0版本之前是单线程
6.0版本之后:Io是单线程,worker是多线程
三、Redis数据持久化方案?
Redis是一个内存数据库,一旦断电或服务器进程退出,内存数据库中的数据将全部丢失,所以需要Redis持久化
Redis持久化就是把数据保存在磁盘上,利用永久性存储介质将数据保存,在特定的时间将保存的数据进行恢复的工作机制
Redis提供两种持久化机制:
-
RDB(Redis DataBase):存储数据结果,关注点在数据(快照)
-
AOF(Append Only File):存储操作过程,关注点在数据的操作过程(命令)
RDB与AOF触发方式、优缺点:
RDB的触发方式:
-
手动触发:通过命令手动生成快照 (save,bgsave)
-
自动触发:通过配置参数的设置触发自动生成快照
缺点:
-
快照时间有间隔,不能实时备份,丢失数据可能会比较多
-
开启子进程备份数据,在数据集比较庞大时,fork()可能会非常耗时,造成服务器在一定时间内停止处理客户端。
优点:
1.恢复数据比较快
2.备份的文件就是原始内存数据的大小,不会额外增加数据占用,
AOF的触发方式
1.手动触发
通过bgrewriteaof
命令:重新AOF持久化生成aof文件(触发重写)
2.自动触发
默认情况,redis是没有开启AOF(默认使用RDB持久化),需要通过配置文件开启
AOF的优缺点
优点:
-
数据安全性高,不易丢数据
-
AOF文件有序保存了所有写操作,可读性强
缺点:
-
AOF方式生成文件体积变大
-
数据恢复速度比RDB慢
RDB与AOF触发方式、优缺点具体如下:
四、百万Redis,key如何模糊查找?
在 Redis 中进行模糊查找 keys 通常使用 KEYS
命令或者 SCAN
命令配合模式匹配。但是需要注意的是,KEYS
命令在大数据量的情况下可能会导致性能问题,因为它会阻塞服务器并消耗大量资源。因此,在生产环境中,推荐使用 SCAN
命令来实现类似的功能。
请注意,SCAN
命令并不能保证每次返回相同数量的 keys,它只是尽量接近 COUNT
参数指定的数量。
五、Redis面试题-缓存穿透,缓存击穿,缓存雪崩
1 穿透: 两边都不存在(皇帝的新装) (黑名单) (布隆过滤器)
2 击穿:一个热点的key失效了,这时大量的并发请求直接到达数据库. (提前预热)
3 雪崩:大量key同时失效 (避免大量的key同一时间失效,错峰)
六、MySQL 里有 2000w 数据,Redis 中只存 20w 的数据,如何保证 redis 中的数据都是热点数据?
1.Redis 过期键删除策略
1)惰性删除:放任键过期不管,但是每次从键空间中获取键时,都检查取得的键是否过期,如果过期的话,就删除该键;如果没有过期,就返回该键。
2)定期删除:每隔一段时间程序就对数据库进行一次检查,删除里面的过期键。至于要删除多少过期键,以及要检查多少个数据库,则由算法决定。
2.内存淘汰策略
Redis 内存数据集大小上升到一定大小的时候,就会施行数据淘汰策略。
Redis 提供 8 种数据淘汰策略:
LRU全称Least recently used,意思为淘汰掉最久未使用(即最老)的一条数据;
LFU全称Least-frequently used,意思为淘汰掉过去被访问次数最少的一条数据
淘汰策略名称 | 策略含义 | 人话 | |
默认策略 | noeviction 【ɪˈvɪkʃn】:驱逐;驱赶 | 不淘汰数据;写不进去返回错误 | 不删除任意数据,这时如果内存不够时,会直接返回错误。 |
只针对设置过期的keys | volatile-lru | 根据 LRU 算法挑选数据淘汰 | 从设置了过期时间的数据集中,选择最近最久未使用的数据释放 |
volatile-lfu | 根据 LFU 算法挑选数据淘汰(4.0及以上可用) | 淘汰掉设置了过期时间的key过去被访问次数最少的数据 | |
volatile-random | 随机挑选数据淘汰 | 从设置了过期时间的数据集中,随机 | |
volatile-ttl | 挑选越早过期的数据进行删除 | 从设置了过期时间的数据集中,选择马上就要过期的数据进行释放操作 | |
所有keys | allkeys-lru | 根据 LRU 算法挑选数据淘汰 | 从数据集中(包括设置过期时间以及未设置过期时间的数据集中),选择最近最久未使用的数据释放 |
allkeys-random | 随机挑选数据淘汰 | 随机选择一个数据进行释放; | |
allkeys-lfu | LFU 算法挑选数据淘汰(4.0及以上版本可用) | 淘汰掉过去被访问次数最少的一条数据 |
七、面试题
1.Redis主从同步机制
步骤如下:(全量)
1.从服务器向主服务器发送同步命令 sync;
2.主数据库接收到同步命令后,会执行 bgsave 命令,在后台生成一个 rdb 文件,并使用一个缓冲区记录从现在开始执行的所有写命令;
3.当主服务器执行完 bgsave 命令后,主服务器会将 bgsave 命令生成的 rdb 文件发送给从服务器;
4.从服务器接收到这个 rdb 文件,然后加载到内存 ;之后主服务器会把刚刚在缓存区的命令同步过来,从服务器就会执行这些命名。(两边就一致了)
5.以上处理完之后,之后主数据库每执行一个写命令,都会将被执行的写命令发送给从数据库。
2.Redis是单线程,但为什么快
1. 纯内存操作
2. 单线程操作,避免了频繁的上下文切换
3. 合理高效的数据结构
4. 采用了非阻塞I/O多路复用机制 epool
5.Redis 和 Mysql 数据库数据如何保持一致性
5.1前言
我们在实际项目中经常会使用到Redis缓存用来缓解数据库压力,但是当更新数据库时,如何保证缓存及数据库一致性,一般我们采用延时双删策略。
目前系统中常用的做法是一个查询接口,先查询Redis,如果不存在则查询数据库,并将结果放入到Redis中。
为什么是删除缓存,而不是更新缓存呢?主要是如果缓存的内容是带有树型结构或者List,Map,那么更新其中一个内容相对较慢。
本文所讲操作,均是按照如果缓存不存在,查询数据库后,再放入Redis。
5.2 常见更新策略
-
1 先删缓存,再更新数据库
-
2 先更新数据库,再删除缓存
-
3 普通双删
-
4 延迟双删
5.3 图解
5.3.1 先删缓存,再更新数据库
1、线程A删除缓存数据,此时还没更新数据库
2、线程B查询缓存没有数据,查询数据库还是旧数据,放入缓存
3、线程C及其他线程使用旧缓存数据,缓存和数据库不一致
5.3.2 先更新数据库,再删除缓存
1、线程A更新数据库,此时还没有删除缓存
2、线程B及其他线程此时使用的还是旧缓存数据,和数据库内容不一致
5.3.3 普通双删
1、线程A先删除缓存,再更新数据库,再删除缓存
2、线程B查询缓存没有数据,在线程A更新数据库之前,查询到旧数据,此时系统时间片切换到线程A执行删除缓存,之后又轮到线程B放入缓存旧数据
3、线程C针对于线程A,查询缓存没有数据,查询到旧数据,放入缓存旧数据
都不能满足缓存和数据一致性。
5.3.4 延迟双删
1、线程A先删除缓存,之后更新数据库
2、线程B和线程C发现缓存没数据,查询数据库。线程B查询到的是旧数据,线程C查询到的是新数据。之后纷纷放入缓存
3、线程A延时3-5秒(时间一般要大于SQL执行时间+线程切换执行时间100ms足够),再将缓存删除。之后其他线程再查询缓存,发现没数据,再次查询数据库及放入缓存都是新数据
极端情况就是线程D,所以延时双删还是不一定能保证缓存及数据一致。
5.4 建议
1、在发现缓存没有数据后,在执行查询数据库前,对该Key进行加锁,查询数据库并放入缓存后再解锁,这样可以避免缓存击穿问题,当某个redis数据不存在时,大量线程并发查询数据库。
2、在需要执行双删前,对该Key进行加锁,之后执行删除缓存,更新数据库,放入新数据到缓存,在解锁。保证缓存和数据一致性。
3、加锁的Key都需要设置过期时间,避免因为宕机造成死锁。
6.Redis集群
Redis提供了多种集群模式以适应不同场景下的高可用性和水平扩展需求。以下是Redis集群模式:
-
主从复制(Master-Slave)模式:
-
在此模式下,有一个主节点负责处理写入请求,而从节点则复制主节点的数据并提供读取服务。
-
优点:实现简单,能实现数据冗余,通过读写分离提高系统性能。
-
缺点:需要手动进行故障转移,无法自动处理主节点故障;不支持自动的数据分区(sharding),难以做到水平扩展。
-
哨兵(Sentinel)模式:
-
Sentinel是Redis提供的一个高可用性解决方案,它能监控主从节点状态,并在主节点出现故障时自动完成故障转移。
-
优点:解决了主从模式下手动故障转移的问题,提供了自动化监控和故障恢复机制。
-
缺点:虽然比主从模式增加了自动化,但仍不支持自动的数据分区,且随着节点数量增加,管理和配置的复杂性也会增大。
-
Redis Cluster模式:
-
Redis Cluster是官方正式支持的分布式解决方案,它采用了数据分片(sharding)技术,将数据分散在多个节点上。
-
优点:真正实现了分布式存储,每个节点都可以处理读写请求,具备良好的水平扩展能力;内置了数据自动分割、故障检测与转移功能。
-
缺点:相比其他模式更复杂,需要更多的网络资源和配置管理;客户端需要支持集群特性;跨slot的数据操作可能涉及多个节点,有一定复杂度。