文章目录
1. 概述
1.1 redis的作用
当存在海量用户与高并发时
关系型数据库:
-
性能瓶颈:磁盘IO性能低下
-
扩展瓶颈:数据关系复杂,扩展性差,不便于大规模集群
解决思路:
-
降低磁盘IO次数,越低越好—— 内存存储
-
去除数据间关系,越简单越好 —— 不存储关系,仅存储数据
而这就是NoSQL: not only SQL, 泛指非关系型的数据库, 作为关系型数据库的补充
作用:应对基于海量用户和海量数据前提下的数据处理问题。
常见 Nosql 数据库:
- Redis
- memcache
- HBase
- MongoDB
特征:
- 可扩容,可伸缩
- 大数据量下高性能
- 灵活的数据模型
- 高可用
示例:
使用redis解决电商场景下的高并发:
1.2 redis简介
概念:Redis (REmote DIctionary Server) 是用 C 语言开发的一个开源的高性能键值对(key-value)数据库
特征:
-
数据间没有必然的关联关系
-
内部采用单线程机制进行工作
-
高性能。官方提供的测试数据,50个并发执行100000 个请求,读的速度是110000 次/s,写的速度是81000次/s。
-
多数据类型支持
字符串类型 string
列表类型 list
散列类型 hash
集合类型 set
有序集合类型 sorted_set
-
持久化支持。可以进行数据灾难恢复
应用:
-
为热点数据加速查询(主要场景),如热点商品、热点新闻、热点资讯、推广类等高访问量信息等
-
任务队列,如秒杀、抢购、购票排队等
-
即时信息查询,如各大排行榜、各类网站访问统计、公交到站信息、在线人数信息(聊天室、网站)、设备信号等
-
时效性信息控制,如验证码控制、投票控制等
-
分布式数据共享,如分布式集群架构中的 session 分离
-
消息队列
-
分布式锁
-
…
核心文件:
redis端口:6379
PID:随机生成, 每启动一个redis相当于启动一个redis对象, PID就是这个实例对象的ID, 也就是进程ID
Windows使用redis:
首先打开redis服务端, 相当于启动服务器, 再打开redis客户端, 即命令行窗口相当于连接你的服务端, 接着就可以敲指令了
注意:此时你在redis中存入数据, 只要服务端未关闭则不论客户端开关几次数据都还在, 但是当服务端关闭之后再次打开就没有数据了, 证明redis将数据存到内存中
1.3 redis基本操作
redis是命令行模式的工具, 而命令行模式工具不外乎以下四种命令:
- 功能性命令
- 清除屏幕信息
- 帮助信息查阅
- 退出命令
1.3.1 功能性命令
1.3.1.1 数据添加
-
功能:设置 key,value 数据
-
命令 :
set key value
- 示例:
set age 20
1.3.1.2 数据查询
- 功能:根据 key 查询对应的 value,如果不存在,返回空(nil)
- 命令:
get key
- 示例:
get age
1.3.1.3 数据删除
- 功能:根据key删除对应键值对数据
- 命令:
del key
1.3.2 清屏
- 功能:清除屏幕中的信息
- 命令:
clear
1.3.3 帮助
- 功能:获取命令的帮助文档或者组中所有命令信息名称
- 命令:
help 命令名称如set
help @组名
1.3.4 退出
- 功能:退出客户端
- 命令
quit
exit
<ESC>
2. redis数据类型
2.1 redis常用于
作为缓存使用:
1)原始业务功能设计
- 秒杀
- 618活动
- 双11活动
- 排队购票
2)运营平台监控到的突发高频访问数据
- 突发时政要闻,被强势关注围观
- 文娱新闻
3)高频、复杂的统计数据
-
在线人数
-
投票排行榜
附加功能
1)系统功能优化或升级
- 单服务器升级集群
- Session 管理
- Token 管理
因此redis提供了五种数据类型(每种都可以对应于java中的一种类型,但不完全类同):
- string : String
- hash : HashMap
- list : LinkedList
- set : HashSet
- sorted_set : TreeSet
2.2 string类型
首先说一下redis存储数据的格式:
-
redis 自身是一个 Map,其中所有的数据都是采用 key : value 的形式存储
-
数据类型指的是存储的数据的类型,也就是 value 部分的类型,key 部分永远都是字符串
string类型介绍:
-
存储的数据:单个数据,最简单的数据存储类型,也是最常用的数据存储类型
-
存储数据的格式:一个存储空间保存一个数据
-
存储内容:通常使用字符串,如果字符串以整数的形式展示,可以作为数字操作使用
除了上述三个命令之外, string还提供了四个基本命令:
2.2.1 添加/修改/获取多个数据
- 添加/修改多个:
mset key1 value1 key2 value2 ....
- 获取多个:
mget key1 key2 ...
注意:
对于选择使用多数据操作和单数据操作只需要衡量执行速度即可, 例如多条数据使用单操作, 不仅执行过程长了, 发请求与响应也变多了, 但如果使用多数据操作, 则只有执行过程变长, 请求和响应只有一次
但也不可以一次执行几十几百万数据的操作, 不太现实, 可以拆分为多次执行多数据操作
2.2.2 获取字符串长度
strlen key
2.2.3 append
- 追加信息到原始信息后部(如果原始信息存在就追加,否则新建)
append key value
2.2.4 拓展操作
2.2.4.1 分布式ID
大型企业级应用中,分表操作是基本操作,使用多张表存储同类型数据,但是对应的主键 id 必须保证统一性,不能重复。Oracle 数据库具有 sequence 设定,可以解决该问题,但是 MySQL数据库并不具有类似的机制, 此时就可以使用redis来解决这种分布式的ID问题: 使用redis控制数据库表主键id,为数据库表主键提供生成策略,保障数据库表的主键唯一性, 并且适用于所有数据库, 且支持数据库集群
解决方案:
- 设置数值数据增加指定范围的值(默认1, 可以为负数)
incr key
incrby key increment
incrbyfloat key increment
- 设置数值数据减少指定范围的值
decr key
decrby key increment
string数值操作注意点:
-
string在redis内部存储默认就是一个字符串,当遇到增减类操作incr,decr时会转成数值型进行计算。
-
redis所有的操作都是原子性的(无关联无事务),即采用单线程处理所有业务,命令是一个一个执行的,因此无需考虑并发带来的数据影响,
也由于原子性, 我们可以使用redis的INCR,INCRBY与DESR等来完成原子计数, 例如三个客户端同时读取一个数的值并进行+1, 那么最后这个值就一定被+3(也就是说不会因为多线程而最终只+1), 可以利用redis的这个特性来实现业务上的统计计数需求
-
注意:按数值进行操作的数据,如果原始数据不能转成数值,或超越了redis 数值上限范围,将报错(可以在代码中利用这一点做限制,在catch中做处理)。
上限: 9223372036854775807(java中long型数据最大值,Long.MAX_VALUE)
2.2.4.2 时效性操作
例如投票操作控制每个微信号多久投一次, 控制热门商品,热点新闻时效性等等
redis解决方案
- 设置数据具有指定的生命周期(秒与毫秒)
setex key seconds value
psetex key milliseconds value
- redis 控制数据的生命周期,通过数据是否失效控制业务行为,适用于所有具有时效性限定控制的操作
2.2.5 string类型操作注意事项
-
当key一致时, 后存储覆盖前
-
数据不存在时返回nil, 相当于null
-
有时候返回的数字 表示运行是否成功:
(integer) 0 → false 失败
(integer) 1 → true 成功
有时候表示运行影响结果值:
(integer) 3 → 3 3个
(integer) 1 → 1 1个
-
数据最大存储量 : 512MB
-
数值计算最大范围 : 9223372036854775807(java中long型数据最大值,Long.MAX_VALUE)
-
key的命名规范 : 表名:主键名:主键值:字段名(解决NoSQL没有表级结构, 因此使用键的层级结构)
or : 项目名:业务名:类型:id (这里的数据类型不是redis的数据类型, 而是Java的, 例如实体类User)
2.2.6 string应用场景
除了上述分布式ID与失效性信息外还可以用于主页高频访问信息显示控制,例如新浪微博大V主页显示粉丝数与微博数量
redis解决方案(规范):
-
为大V设定信息是, 以表名:主键名:主键值:字段名(如fans)作为key, 接着在后台设定定时刷新策略即可
eg : user:userId:044124:fans
user:userId:3506728370:blogs
-
在redis中以json格式存储大V用户信息,此时的key为表名:主键名:主键值, value通过{id:1241, fans:43414}的写法来写, 定时刷新(也可以使用hash类型)
2.3 hash : HashMap
上面说的存储大V方式, 怎么看怎么笨重, JSON的直接value合一, 一改必须全改, 不是JSON的太多key了
而hash就可以解决这种问题, 他将key-value中的value也变为一个key-value, 可以理解为套娃(前面说过redis的数据类型仅针对value就是这个原因), 但是hash的key不称之为key, 而叫做field
hash:
-
新的存储需求:对一系列存储的数据进行编组,方便管理,典型应用存储对象信息(例如刚刚上面的JSON)
-
需要的存储结构:一个存储空间(value)保存多个键值对数据
-
hash类型:底层使用哈希表结构实现数据存储(哈希表:数组+链表+红黑树)
hash存储结构优化
-
如果field数量较少,存储结构优化为类数组结构(类键值对)
-
如果field数量较多,存储结构使用HashMap结构(哈希表:数组+链表+红黑树)
2.3.1 hash基本操作
- 添加/修改数据
hset key field value
- 获取数据(field和value一起获取, 单数field, 双数value)
hget key field
hgetall key
- 删除数据
hdel key field1 [field2]
- 添加/修改多个数据
hmset key field1 value1 field2 value2 …
- 获取多个数据(只获取value, 不获取field)
hmget key field1 field2 …
- 获取哈希表中字段的数量
hlen key
- 获取哈希表中是否存在指定的字段(返回1或0)
hexists key field
2.3.2 hash拓展操作
-
获取哈希表中所有的字段名或字段值
与上面的相比,可以专门一次拿全部field或者value
hkeys key
hvals key
- 设置指定字段的数值数据增加指定范围的值
hincrby key field increment
hincrbyfloat key field increment
- 当field有值时不覆盖(先做一次判定再覆盖)
hsetnx key field value
2.3.3 hash注意事项
-
hash类型下的value只能存储字符串,不允许存储其他数据类型,不存在嵌套现象。如果数据未获取到,
对应的值为(nil)
-
每个 hash 可以存储 2 32 - 1 个键值对
-
hash类型十分贴近对象的数据存储形式,并且可以灵活添加删除对象属性。但hash设计初衷不是为了存
储大量对象而设计的,切记不可滥用,更不可以将hash作为对象列表使用
-
hgetall 操作可以获取全部属性,如果内部field过多,遍历整体数据效率就很会低,有可能成为数据访问
瓶颈, 建议用几个拿几个
-
string存储json以读为主,讲究整体性,hash存储json以更新为主
2.3.4 hash应用场景
2.3.4.1 电商网站购物车设计与实现
注意:
-
仅分析购物车的redis存储模型,包括:
添加、浏览、更改数量、删除、清空
-
购物车于数据库间持久化同步(不讨论)
-
购物车于订单间关系(不讨论)
提交购物车:读取数据生成订单
商家临时价格调整:隶属于订单级别
-
未登录用户购物车信息存储(不讨论)
co