Bootstrap

01Redis基础篇

1. 概述

1.1 redis的作用

当存在海量用户与高并发时

关系型数据库:

  • 性能瓶颈:磁盘IO性能低下

  • 扩展瓶颈:数据关系复杂,扩展性差,不便于大规模集群

解决思路:

  • 降低磁盘IO次数,越低越好—— 内存存储

  • 去除数据间关系,越简单越好 —— 不存储关系,仅存储数据

而这就是NoSQL: not only SQL, 泛指非关系型的数据库, 作为关系型数据库的补充

作用:应对基于海量用户和海量数据前提下的数据处理问题。

常见 Nosql 数据库:

  • Redis
  • memcache
  • HBase
  • MongoDB

特征:

  • 可扩容,可伸缩
  • 大数据量下高性能
  • 灵活的数据模型
  • 高可用

示例:

使用redis解决电商场景下的高并发:

在这里插入图片描述

1.2 redis简介

概念:Redis (REmote DIctionary Server) 是用 C 语言开发的一个开源的高性能键值对(key-value)数据库

特征

  1. 数据间没有必然的关联关系

  2. 内部采用单线程机制进行工作

  3. 高性能。官方提供的测试数据,50个并发执行100000 个请求,读的速度是110000 次/s,写的速度是81000次/s。

  4. 多数据类型支持

    字符串类型 string

    列表类型 list

    散列类型 hash

    集合类型 set

    有序集合类型 sorted_set

  5. 持久化支持。可以进行数据灾难恢复

应用:

  • 为热点数据加速查询(主要场景),如热点商品、热点新闻、热点资讯、推广类等高访问量信息等

  • 任务队列,如秒杀、抢购、购票排队等

  • 即时信息查询,如各大排行榜、各类网站访问统计、公交到站信息、在线人数信息(聊天室、网站)、设备信号等

  • 时效性信息控制,如验证码控制、投票控制等

  • 分布式数据共享,如分布式集群架构中的 session 分离

  • 消息队列

  • 分布式锁

核心文件:

在这里插入图片描述

redis端口:6379

PID:随机生成, 每启动一个redis相当于启动一个redis对象, PID就是这个实例对象的ID, 也就是进程ID

Windows使用redis:

​ 首先打开redis服务端, 相当于启动服务器, 再打开redis客户端, 即命令行窗口相当于连接你的服务端, 接着就可以敲指令了

​ 注意:此时你在redis中存入数据, 只要服务端未关闭则不论客户端开关几次数据都还在, 但是当服务端关闭之后再次打开就没有数据了, 证明redis将数据存到内存中

1.3 redis基本操作

redis是命令行模式的工具, 而命令行模式工具不外乎以下四种命令:

  • 功能性命令
  • 清除屏幕信息
  • 帮助信息查阅
  • 退出命令

1.3.1 功能性命令

1.3.1.1 数据添加
  • 功能:设置 key,value 数据

  • 命令 :

set key value
  • 示例:
set age 20
1.3.1.2 数据查询
  • 功能:根据 key 查询对应的 value,如果不存在,返回空(nil)
  • 命令:
get key
  • 示例:
get age
1.3.1.3 数据删除
  • 功能:根据key删除对应键值对数据
  • 命令:
del key

1.3.2 清屏

  • 功能:清除屏幕中的信息
  • 命令:
clear

1.3.3 帮助

  • 功能:获取命令的帮助文档或者组中所有命令信息名称
  • 命令:
help 命令名称如set
help @组名

在这里插入图片描述

在这里插入图片描述

1.3.4 退出

  • 功能:退出客户端
  • 命令
quit
exit
<ESC>

2. redis数据类型

2.1 redis常用于

作为缓存使用:

1)原始业务功能设计

  • 秒杀
  • 618活动
  • 双11活动
  • 排队购票

2)运营平台监控到的突发高频访问数据

  • 突发时政要闻,被强势关注围观
  • 文娱新闻

3)高频、复杂的统计数据

  • 在线人数

  • 投票排行榜

附加功能

1)系统功能优化或升级

  • 单服务器升级集群
  • Session 管理
  • Token 管理

因此redis提供了五种数据类型(每种都可以对应于java中的一种类型,但不完全类同):

  • string : String
  • hash : HashMap
  • list : LinkedList
  • set : HashSet
  • sorted_set : TreeSet

2.2 string类型

首先说一下redis存储数据的格式:

  • redis 自身是一个 Map,其中所有的数据都是采用 key : value 的形式存储

  • 数据类型指的是存储的数据的类型,也就是 value 部分的类型,key 部分永远都是字符串

string类型介绍:

  • 存储的数据:单个数据,最简单的数据存储类型,也是最常用的数据存储类型

  • 存储数据的格式:一个存储空间保存一个数据

  • 存储内容:通常使用字符串,如果字符串以整数的形式展示,可以作为数字操作使用

除了上述三个命令之外, string还提供了四个基本命令:

2.2.1 添加/修改/获取多个数据

  • 添加/修改多个:
mset key1 value1 key2 value2 ....
  • 获取多个:
mget key1 key2 ...

注意:

​ 对于选择使用多数据操作和单数据操作只需要衡量执行速度即可, 例如多条数据使用单操作, 不仅执行过程长了, 发请求与响应也变多了, 但如果使用多数据操作, 则只有执行过程变长, 请求和响应只有一次

​ 但也不可以一次执行几十几百万数据的操作, 不太现实, 可以拆分为多次执行多数据操作

2.2.2 获取字符串长度

strlen key

2.2.3 append

  • 追加信息到原始信息后部(如果原始信息存在就追加,否则新建)
append key value

2.2.4 拓展操作

2.2.4.1 分布式ID

大型企业级应用中,分表操作是基本操作,使用多张表存储同类型数据,但是对应的主键 id 必须保证统一性,不能重复。Oracle 数据库具有 sequence 设定,可以解决该问题,但是 MySQL数据库并不具有类似的机制, 此时就可以使用redis来解决这种分布式的ID问题: 使用redis控制数据库表主键id,为数据库表主键提供生成策略,保障数据库表的主键唯一性, 并且适用于所有数据库, 且支持数据库集群

解决方案:

  • 设置数值数据增加指定范围的值(默认1, 可以为负数)
incr key
incrby key increment
incrbyfloat key increment
  • 设置数值数据减少指定范围的值
decr key
decrby key increment

string数值操作注意点:

  • string在redis内部存储默认就是一个字符串,当遇到增减类操作incr,decr时会转成数值型进行计算。

  • redis所有的操作都是原子性的(无关联无事务),即采用单线程处理所有业务,命令是一个一个执行的,因此无需考虑并发带来的数据影响,

    也由于原子性, 我们可以使用redis的INCR,INCRBY与DESR等来完成原子计数, 例如三个客户端同时读取一个数的值并进行+1, 那么最后这个值就一定被+3(也就是说不会因为多线程而最终只+1), 可以利用redis的这个特性来实现业务上的统计计数需求

  • 注意:按数值进行操作的数据,如果原始数据不能转成数值,或超越了redis 数值上限范围,将报错(可以在代码中利用这一点做限制,在catch中做处理)。

    上限: 9223372036854775807(java中long型数据最大值,Long.MAX_VALUE)

2.2.4.2 时效性操作

例如投票操作控制每个微信号多久投一次, 控制热门商品,热点新闻时效性等等

redis解决方案

  • 设置数据具有指定的生命周期(秒与毫秒)
setex key seconds value
psetex key milliseconds value
  • redis 控制数据的生命周期,通过数据是否失效控制业务行为,适用于所有具有时效性限定控制的操作

2.2.5 string类型操作注意事项

  1. 当key一致时, 后存储覆盖前

  2. 数据不存在时返回nil, 相当于null

  3. 有时候返回的数字 表示运行是否成功:

    (integer) 0 → false 失败

    (integer) 1 → true 成功

    有时候表示运行影响结果值:

    (integer) 3 → 3 3个

    (integer) 1 → 1 1个

  4. 数据最大存储量 : 512MB

  5. 数值计算最大范围 : 9223372036854775807(java中long型数据最大值,Long.MAX_VALUE)

  6. key的命名规范 : 表名:主键名:主键值:字段名(解决NoSQL没有表级结构, 因此使用键的层级结构)

    or : 项目名:业务名:类型:id (这里的数据类型不是redis的数据类型, 而是Java的, 例如实体类User)

2.2.6 string应用场景

除了上述分布式ID与失效性信息外还可以用于主页高频访问信息显示控制,例如新浪微博大V主页显示粉丝数与微博数量

redis解决方案(规范):

  • 为大V设定信息是, 以表名:主键名:主键值:字段名(如fans)作为key, 接着在后台设定定时刷新策略即可

    eg : user:userId:044124:fans

    user:userId:3506728370:blogs

  • 在redis中以json格式存储大V用户信息,此时的key为表名:主键名:主键值, value通过{id:1241, fans:43414}的写法来写, 定时刷新(也可以使用hash类型)

2.3 hash : HashMap

上面说的存储大V方式, 怎么看怎么笨重, JSON的直接value合一, 一改必须全改, 不是JSON的太多key了

而hash就可以解决这种问题, 他将key-value中的value也变为一个key-value, 可以理解为套娃(前面说过redis的数据类型仅针对value就是这个原因), 但是hash的key不称之为key, 而叫做field

hash:

  • 新的存储需求:对一系列存储的数据进行编组,方便管理,典型应用存储对象信息(例如刚刚上面的JSON)

  • 需要的存储结构:一个存储空间(value)保存多个键值对数据

  • hash类型:底层使用哈希表结构实现数据存储(哈希表:数组+链表+红黑树)

hash存储结构优化

  • 如果field数量较少,存储结构优化为类数组结构(类键值对)

  • 如果field数量较多,存储结构使用HashMap结构(哈希表:数组+链表+红黑树)

2.3.1 hash基本操作

  • 添加/修改数据
hset key field value
  • 获取数据(field和value一起获取, 单数field, 双数value)
hget key field
hgetall key
  • 删除数据
hdel key field1 [field2]
  • 添加/修改多个数据
hmset key field1 value1 field2 value2 …
  • 获取多个数据(只获取value, 不获取field)
hmget key field1 field2 …
  • 获取哈希表中字段的数量
hlen key
  • 获取哈希表中是否存在指定的字段(返回1或0)
hexists key field

2.3.2 hash拓展操作

  • 获取哈希表中所有的字段名或字段值

    与上面的相比,可以专门一次拿全部field或者value

hkeys key
hvals key
  • 设置指定字段的数值数据增加指定范围的值
hincrby key field increment
hincrbyfloat key field increment
  • 当field有值时不覆盖(先做一次判定再覆盖)
hsetnx key field value

2.3.3 hash注意事项

  • hash类型下的value只能存储字符串,不允许存储其他数据类型,不存在嵌套现象。如果数据未获取到,

    对应的值为(nil)

  • 每个 hash 可以存储 2 32 - 1 个键值对

  • hash类型十分贴近对象的数据存储形式,并且可以灵活添加删除对象属性。但hash设计初衷不是为了存

    储大量对象而设计的,切记不可滥用,更不可以将hash作为对象列表使用

  • hgetall 操作可以获取全部属性,如果内部field过多,遍历整体数据效率就很会低,有可能成为数据访问

    瓶颈, 建议用几个拿几个

  • string存储json以读为主,讲究整体性,hash存储json以更新为主

2.3.4 hash应用场景

2.3.4.1 电商网站购物车设计与实现

注意:

  1. 仅分析购物车的redis存储模型,包括:

    添加、浏览、更改数量、删除、清空

  2. 购物车于数据库间持久化同步(不讨论)

  3. 购物车于订单间关系(不讨论)

    提交购物车:读取数据生成订单

    商家临时价格调整:隶属于订单级别

  4. 未登录用户购物车信息存储(不讨论)

    co

;