2.2索引
2.2.1概述
索引(index)是帮助MySQL高效获取数据的数据结构(有序)。在数据之外,数据库系统还维护着满足特点查找算法的数据结构,这些数据结构以某种方式引用(指向)数据,这样就可以在这些数据结构上实现高效查找算法,这种数据结构就是索引
演示:
索引优缺点
优势 | 劣势 |
---|---|
提高数据检索的效率,降低数据库的IO成本 | 索引列也是要占用空间的 |
通过索引列对数据进行排序,降低数据排序的成本,降低CPU的消耗 | 索引大大提高了查询效率,同时却也降低更新表的速度,如对表进行INSERT、UPDATE、DELETE时,效率降低 |
- 索引列虽然费空间,但是目前硬盘很便宜
- 虽然降低DML效,但是一个正常的业务代码中,SELECT更多
2.2.2索引结构
MYSQL的索引是在存储引擎层实现的,不同的存储引擎有不同的结构,主要包含以下几种:
存储引擎的支持情况
不论使用什么存储引擎,如果没有显示的指定,默认的都是B+tree索引
索引结构
2.2.2.1二叉树索引
二叉树的缺点:顺序插入时,会形成一个链表,查询性能大大降低。大数据量情况下,层级较深,检索速度慢,要规避这样的问题,就转换为红黑树(自平衡)
红黑树也有缺点:大数据量的情况下,层级较深,检索速度慢
但是这样也有问题,怎么办呢?先看看B-Tree
2.2.2.2B-Tree索引
B-Tree(多路平衡查找树)
- 以一颗最大度数(max-degree)为5(5阶)的b-tree为例(每个节点最多存4个key,5个指针)
20之前试一个指针,指向比20小的数,20~30是第二个指针,指向20~30之间的数…
构建B-Tree
具体可以进入网站https://www.cs.usfca.edu/~galles/visualization/BTree.html内自测
2.2.2.3B+Tree索引
B+Tree
- 以一颗最大度数(max-degree)为4(4阶)的b+tree为例
可见,非叶节点成为索引,叶子节点成为单向链表
构建B+Tree
具体可以进入网站https://www.cs.usfca.edu/~galles/visualization/BPlusTree.html内自测
相对于B-Tree的区别:
- 所有的数据都会出现在叶子节点
- 叶子节点形成一个单向链表
MYSQL索引数据结构对经典的B+Tree进行了优化。在原B+Tree的基础上,增加了一个指向相邻叶子节点的链表指针,就形成了带有顺序指针的B+Tree,提高了区间访问的性能
数据的存储是在叶子节点中,非叶节点只起索引的作用
2.2.2.4Hash索引
Hash索引就是采用一定的hash算法,将键值换算成新的hash值,映射到对应的槽位上,然后存储在hash表中
如果两个(或多个)键值,映射到一个相同的槽位上,他们就产生了hash冲突(也称为hash碰撞),可以同过链表解决
特点:
- Hash索引只能用于对等比较(=,in),不支持范围查询(bewteen,<,>,…)
- 无法利用索引完成排序操作
- 查询效率高,通常只需要一次检索就可以了,效率通常要高于B+Tree索引
在Mysql中,只有Memory索引支持hash,而lnnoDB中具有自适应hash功能,hash索引是存储引擎根据B+Tree索引在指定条件下自动构建的
2.2.2.5思考
为什么InnoDB存储引擎选择使用B+Tree索引结构?
- 相对于二叉树(二叉搜索树、红黑树),层级更少,搜索效率高
- 相对于B-Tree,无论是叶子节点还是非叶节点,都会保存数据,这样导致一页中存储的键值减少,指针跟着减少,要同样保存大量数据,只能增加树的高度,导致性能降低
- 相对于Hash索引,B+Tree支持范围匹配及排序操作
2.2.3索引分类
在InnoDB存储引擎中,根据索引的存储形式,又可以分为以下两种:
聚集索引的选取规则
-
如果存在主键,那么主键就是聚集索引
-
如果没有主键,那么会选择第一个唯一(UNIQUE),作为聚集索引
-
如果没有主键,或没有合适的唯一索引,则InnoDB会自动生成一个rowid作为隐藏的聚集索引
也就是说,聚集索引一定存在
具体的演示:
其中,id为主键,name为二级索引
当执行该查询语句时,先由二级索引查找到’Arm’,然后获取到id值之后走到聚集索引找到id为10的值,最后返回该行,这样的步骤又称为回表查询
思考:
哪个速度更快?
-
select * from user where id = 10;
-
select * from user where name = ‘Arm’;
显然是第一个,因为第二个会回表查询
2.2.4索引语法
创建索引
CREATE [UNIQUE|FULLTEXT] INDEX index_name ON table_name (index_col_name,.....);
查看索引
SHOW INDEX FROM table_name;
删除索引
DROP INDEX index_name ON table_name;
2.2.5SQL性能分析
2.2.5.1SQL执行频率
MYSQL客户端链接成功之后,通过show[session|global] status 命令可以提供服务器的状态信息。通过如下命令,可以查看当前数据库的INSERT、DELETE、UPDATE、SELECT的执行频率
show global status like 'Com_______' ; #'_'七个
执行后的查询结果
2.2.5.2慢查询日志
慢查询日志记录了所有执行时间超过指定参数(long_query_time,单位:秒,默认10s)的所有SQL语句的日志。
查看慢查询是否开启,MYSQL的慢查询日志默认没有开启,
show variables like 'slow_query_log';
需要在MYSQL的配置文件中(/etc/my.cnf)配置如下信息:
#以下必须在[mysqld]下配置
#开启MYSQL慢查询开关
slow_query_log=1
#设置慢日志的时间为2s,SQL语句执行时间超过2s,就会视为慢查询,记录满查询日志
long_query_time=2
#慢查询日志文件路径
slow_query_log_file=/usr/local/mysql/log/mysql-slow.log
配置完毕之后,通过以下指令重启MYSQL客户端进行测试,查看慢日志文件中记录的信息/var/lib/mysql/localhost-slow.log
#查看linux的mysql名称 查询服务列表
chkconfig --list
#查询结果
#mysql 0:off 1:off 2:on 3:on 4:on 5:on 6:off
#重启mysql服务器
systemctl restart mysql
#另一种方法
service mysql restart
重启后重新输入查看慢查询的命令:
show variables like 'slow_query_log';
慢查询已开启,并且在/var/lib/mysql/localhost-slow.log下已经看到对应的log文件已出现,内容为:
/usr/local/mysql/mysql-8.0/bin/mysqld, Version: 8.0.26 (MySQL Community Server - GPL). started with:
Tcp port: 3306 Unix socket: /tmp/mysql.sock
Time Id Command Argument
只要有超过2s的就记录下来,但是当一个很简单的语句执行了1.9s怎么办?接下来看profile
2.2.5.3profile详情
show profile 能够在做SQL优化时帮助我们了解时间都耗费到哪去了。通过have_profiling参数,能够看到当前MySQL是否支持profile操作:
select @@have_profiling;
可以看到:
默认是关闭的(这里已经设置过了),如果想要使用,可以通过session/global级别开启profiling
SET profiling = 1;
之后查询一个表的数据
select * from t_user;
执行
show profiles;
结果如下:
语法:
#查看每一条SQL的耗时基本情况
show profiles;
#查看指定query_id的SQL语句各个阶段的耗时情况
show profile for query query_id;
#查看指定query_id 的SQL语句CPU的使用情况
show profile cpu for query query_id;
2.2.5.4explain执行计划
EXPLAIN或者DESC命令获取MYSQL如何执行SELECT语句的信息,包括在SELECT语句执行过程中表如何连接和连接的顺序
语法:
#直接在select语句之前加上EXPLAIN/DESC
EXPLAIN SELECT 字段名 FROM 表名 WHERE 条件;
执行之后:
各字段解释:
- id:select查询的序列号,表示查询中执行select子句或者是操作表的顺序(id相同,执行顺序从上到下;id不同,值越大,越先执行,上面的图片是一条,但是对于多表查询来说,是多条)
- select_type:表示SELECT的类型,常见的取值有SIMPLE(简单表,即不使用表连接或者子查询)、PRIMARY(主查询,即外层的查询)、UNION(UNION中的第二个或者后面的语句)、SUBQUERY(SELECT/WHERE之后包含了子查询)等
- type:表示连接类型,性能由 好到差的连接类型为NULL(基本达不到)、system、const(主键、唯一索引)、eq_ref、ref(非唯一索引)、range、index、all
- possible_keys:显示可能应用在这张表上的索引,一个或多个
- key:实际使用的索引,如果为NULL,则没有使用索引
- key_len:表示索引中使用的字节数,该值设置为索引字段最大可能长度,并非实际使用长度,在不损失精确性的前提下,长度越短越好
- rows:MYSQL认为必须执行的查询行数,在InnoDB引擎的表中,是一个估计值,可能并不是准确的
- filtered:表示返回结果的行数站需读取行数的百分比,filtered的值越大越好
2.2.6使用规则
使用索引比不使用索引效率会高,可以自行尝试,给某个字段加上索引然后比较不加的结构(数据量大的时候会很明显)
2.2.6.1 最左前缀法则
主要针对于联合索引,如果索引了多列(联合索引),要遵循最左前缀法则。最左前缀法则指的是查询从索引最左列开始,并且不跳过索引中的列。如果跳跃了某一列,索引将部分失效,跳跃了最左边的列,索引将失效,走全表扫描。
2.2.6.2 范围查询
主要针对于联合索引,出现范围查询(>、<),范围查询右侧的列索引将失效
#索引为profession 、age、 status 三个联合索引
select * from tb_user where profession = '软件工程' and age >30 and status = '0';
此时age右边的status字段的索引会失效
那么怎么规避呢?
在业务运行的范围内,在范围查询内加上’=',
select * from tb_user where profession = '软件工程' and age >30 and status = '0';
此时右边的status也没问题
2.2.6.3 索引列运算
不要在索引列上进行运算,否则索引会失效
#phone 为单列索引
select * from tb_user where phone = '12345678910';
此时没问题,是一个正常的查询
#从手机号的第10位开始截取,截取两位,后两位数字=15的行
select * from tb_user where substring(phone,10,2) = '15';
此时索引会失效,因为使用了函数
2.2.6.4 字符串不加引号
#phone 为单列索引
select * from tb_user where phone = 12345678910;
查询出来没问题,但是查询计划有问题,可以使用explain查看
这样查找会失效,因为不加单引号相当于隐式类型转换,索引失效
2.2.6.5 模糊查询
如果仅仅是尾部进行模糊匹配,索引不会失效,但是如果是头部进行模糊匹配,索引失效
#profession 为索引
select * from tb_user where profession like '软件%';
此时查询是走了索引的,没问题
但是如果是前面进行模糊匹配
select * from tb_user where profession like '%软件';
此时是不走索引的,如果前后都加了%,那么索引也会失效
2.2.6.6 or连接的条件
用or分割开的条件,如果or前条件中的列有索引,二后面的列中没有索引,那么涉及的所有索引都会无效(一侧有索引,一侧没有索引,索引都会失效)
#id为主键,age不是索引
select * from tb_user where id = 10 or age = 22;
此时索引会失效
#iphone是索引,age不是索引
select * from tb_user where phone = '12345678910' or age = 22;
规避:两侧都加上索引
2.2.6.7 数据分布影响
如果MySQL评估使用索引比全表扫描慢,那么不会使用索引,而使用全表扫描
2.2.6.8 SQL提示
#profession即是联合索引,也是单列索引
select * from tb_user where profession = '软件工程';
运行结果使用的是单列索引,并且是MYSQL自己决定的,是他智能优化后的结果
SQL提示,是优化数据库的一个重要手段,简单来说,就是在SQL语句中加入一些人为的提示来达到优化操作的目的
user index
#指定使用哪个索引
select * from tb_user user index(idx_user_pro) where profession = '软件工程';
ignore index
#指定不使用哪个索引
select * from tb_user ignore index(idx_user_pro) where profession = '软件工程';
force index
#必须使用哪个索引
select * from tb_user force index (idx_user_pro) where profession = '软件工程';
2.2.6.9 覆盖索引
尽量使用覆盖索引(查询使用了索引,并且需要返回带有索引的列,在该索引中已经全部能够找到),减少select * 的使用
尽量避免*的使用,就是因为有很大可能会涉及回表查询,降低效率
思考
一张表,有四个字段(id,username,password,status)由于数据量大,需要对以下SQL语句进行优化,该如何优化?
select id,username,password from tb_user where username = 'itcast';
很简单,给username
和password
建立联合索引
2.2.6.10 前缀索引
当字段类型为字符串(varchar、text)时,有时候需要索引很长的字符串,这会让索引变得很大,查询时,浪费大量的磁盘IO,影响查询效率。此时可以只将字符串的一部分前缀,建立索引,这样可以大大节约索引空间,从而提高索引效率。
语法:
#(n) 前几个字符建立索引
create index id_xxxx on table_name(colnum(n));
前缀长度
可以根据索引的选择性来决定,而选择性是指不重复的索引值(基数)和数据表的从记录数的比值,索引选择性越高则查询效率越高,唯一索引的选择性是1,这是最好的索引选择性,性能也是最好的
#总记录数
select count(*) from tb_user;
#查看某个字段不重复的记录数 distinct去重
select count(distinct email) from tb_user;
#email字段的选择性:
select count(distinct substring(email,1,10)) / count(*) from tb_user;
2.2.6.11 单列索引和联合索引的选择
- 单列索引:一个索引只包含一列(一个字段)
- 联合索引:一个索引包含多列(多个字段)
类似覆盖索引,当两个单列索引同时作为查找条件并且作为返回结果时,仅仅会使用一个索引,那么另外一个索引就没法使用,没被使用的索引仍然会进行回表查询。
更推荐使用联合索引
**联合索引情况: **
2.2.6.12 索引设计原则
- 针对于数据量较大,且查询比较频繁的表简历索引
- 针对于常作为查询条件(where)、排序(order by)、分组(group by)操作的字段建立索引
- 尽量选择区分度高的列作为索引,尽量建立唯一索引,区分度越高,使用索引的效率越高
- 如果是字符串类型的字段,字段的长度较长,可以针对于字段的特点,建立前缀索引
- 尽量使用联合索引,减少单列索引,查询时,联合索引很多时候可以覆盖索引,节省存储空间,避免回表,提高查询效率
- 要控制索引的数量,索引并不是多多益善,索引越多,维护索引结构的代价也就越大,会影响增删改的效率
- 如果索引列不能存储NULL值,请在创建表时使用NOT NULL约束它。当优化器知道每列是否包含NULL值时,他可以更好的确定哪个索引最有效的用于查询