做网站软件图标是一个箭头的,合肥三只羊网络科技有限公司,中国建筑最新消息,软件架构一、索引使用
1.验证索引效率
tb_sku 这张表中准备了 1000w 的记录。
我用夸克网盘分享了「1000w的模拟数据」链接#xff1a;https://pan.quark.cn/s/15cf665202b2 这张表中id为主键#xff0c;有主键索引#xff0c;而其他字段是没有建立索引的。 我们先来查询其中的…一、索引使用
1.验证索引效率
tb_sku 这张表中准备了 1000w 的记录。
我用夸克网盘分享了「1000w的模拟数据」链接https://pan.quark.cn/s/15cf665202b2 这张表中id为主键有主键索引而其他字段是没有建立索引的。 我们先来查询其中的一条记录看看里面的字段情况执行如下SQL
select * from tb_sku where id 1\G; 可以看到即使有1000w的数据,根据id进行数据查询,性能依然很快因为主键id是有索引的。 那么接下来我们再来根据 sn 字段进行查询执行如下SQL
SELECT * FROM tb_sku WHERE sn 100000003145001; 我们可以看到根据 sn 字段进行查询查询返回了一条数据结果耗时 20.78sec 就是因为 sn 没有索引而造成查询效率很低。 那么我们可以针对于 sn 字段建立一个索引建立了索引之后我们再次根据 sn 进行查询再来看一下查询耗时情况。 创建索引
create index idx_sku_sn on tb_sku(sn) ; 然后再次执行相同的SQL语句再次查看SQL的耗时。
SELECT * FROM tb_sku WHERE sn 100000003145001; 我们明显会看到 sn 字段建立了索引之后查询性能大大提升。建立索引前后查询耗时都不是一个数量级的。 2.最左前缀法则 如果索引了多列联合索引要遵守最左前缀法则。最左前缀法则指的是查询从索引的最左列开始并且不跳过索引中的列。如果跳跃某一列索引将会部分失效( 后面的字段索引失效 ) 。 以 tb_user 表为例我们先来查看一下之前 tb_user 表所创建的索引。 在 tb_user 表中有一个联合索引这个联合索引涉及到三个字段顺序分别为profession agestatus。
对于最左前缀法则指的是查询时最左变的列也就是profession必须存在否则索引全部失效。 而且中间不能跳过某一列否则该列后面的字段索引将失效。 接下来我们来演示几组案例看一下具体的执行计划
explain select * from tb_user where profession 软件工程 and age 31 and status 0; explain select * from tb_user where profession 软件工程 and age 31; explain select * from tb_user where profession 软件工程; 以上的这三组测试中我们发现只要联合索引最左边的字段 profession存在索引就会生效只不过索引的长度不同。 而且由以上三组测试我们也可以推测出profession字段索引长度为47、age字段索引长度为2、status字段索引长度为5。
explain select * from tb_user where age 31 and status 0; explain select * from tb_user where status 0; 而通过上面的这两组测试我们也可以看到索引并未生效原因是因为不满足最左前缀法则联合索引最左边的列profession不存在。
explain select * from tb_user where profession 软件工程 and status 0; 上述的SQL查询时存在profession字段最左边的列是存在的索引满足最左前缀法则的基本条 件。但是查询时跳过了age这个列所以后面的列索引是不会使用的也就是索引部分生效所以索引的长度就是47。
思考题 当执行 SQL 语句 : explain select * from tb_user where age 31 and status 0 and profession 软件工程 时是否满足最左前缀法则走不走 上述的联合索引索引长度 可以看到是完全满足最左前缀法则的索引长度 54 联合索引是生效的。 注意 最左前缀法则中指的最左边的列是指在查询时联合索引的最左边的字段 ( 即是 第一个字段 ) 必须存在与我们编写 SQL 时条件编写的先后顺序无关。 3.范围查询
联合索引中出现范围查询(,)范围查询右侧的列索引失效。
explain select * from tb_user where profession 软件工程 and age 30 and status0; 当范围查询使用 或 时走联合索引了但是索引的长度为 49 就说明范围查询右边的 status 字 段是没有走索引的。 explain select * from tb_user where profession 软件工程 and age 30 and status 0; 当范围查询使用 或 时走联合索引了但是索引的长度为 54 就说明所有的字段都是走索引的。 所以在业务允许的情况下尽可能的使用类似于 或 这类的范围查询而避免使用 或 。 4.索引失效情况 1.索引列运算
不要在索引列上进行运算操作 索引将失效。 在 tb_user 表中除了前面介绍的联合索引之外还有一个索引是 phone 字段的单列索引。 A. 当根据phone字段进行等值匹配查询时, 索引生效。
explain select * from tb_user where phone 17799990015; B. 当根据phone字段进行函数运算操作之后索引失效。
explain select * from tb_user where substring(phone,10,2) 15; 2.字符串不加引号 字符串类型字段使用时不加引号索引将失效。 接下来我们通过两组示例来看看对于字符串类型的字段加单引号与不加单引号的区别 explain select * from tb_user where profession 软件工程 and age 31 and status0;
explain select * from tb_user where profession 软件工程 and age 31 and status0; explain select * from tb_user where phone 17799990015;
explain select * from tb_user where phone 17799990015; 经过上面两组示例我们会明显的发现如果字符串不加单引号对于查询结果没什么影响但是数据库存在隐式类型转换索引将失效。 3.模糊查询 如果仅仅是尾部模糊匹配索引不会失效。如果是头部模糊匹配索引失效。 接下来我们来看一下这三条 SQL 语句的执行效果查看一下其执行计划 由于下面查询语句中都是根据 profession 字段查询符合最左前缀法则联合索引是可以生效的我们主要看一下模糊查询时% 加在关键字之前和加在关键字之后的影响。 explain select * from tb_user where profession like 软件%;
explain select * from tb_user where profession like %工程;
explain select * from tb_user where profession like %工%; 经过上述的测试我们发现在like模糊查询中在关键字后面加%索引可以生效。而如果在关键字前面加了%索引将会失效。
4.or连接条件 用 or 分割开的条件 如果 or 前的条件中的列有索引而后面的列中没有索引那么涉及的索引都不会被用到。 explain select * from tb_user where id 10 or age 23;
explain select * from tb_user where phone 17799990017 or age 23; 由于age没有索引所以即使id、phone有索引索引也会失效。所以需要针对于age也要建立索引。 然后我们可以对 age 字段建立索引。 create index idx_user_age on tb_user(age); 建立了索引之后我们再次执行上述的 SQL 语句看看前后执行计划的变化。 最终我们发现当or连接的条件左右两侧字段都有索引时索引才会生效。 5.数据分布影响
如果MySQL评估使用索引比全表更慢则不使用索引。
explain select * from tb_user where phone 17799990005;
explain select * from tb_user where phone 17799990015; 经过测试我们发现相同的SQL语句只是传入的字段值不同最终的执行计划也完全不一样这是为什么呢 就是因为 MySQL 在查询时会评估使用索引的效率与走全表扫描的效率如果走全表扫描更快则放弃索引走全表扫描。 因为索引是用来索引少量数据的如果通过索引查询返回大批量的数据则还不如走全表扫描来的快此时索引就会失效。 5.SQL提示
目前tb_user表的数据情况如下: 索引情况如下: 把上述的 idx_user_age, idx_email 这两个之前测试使用过的索引直接删除。 A. 执行SQL : explain select * from tb_user where profession 软件工程; 查询走了联合索引。 B. 执行SQL创建profession的单列索引 create index idx_user_pro on tb_user(profession); C. 创建单列索引后再次执行A中的SQL语句查看执行计划看看到底走哪个索引。 测试结果我们可以看到possible_keys中 idx_user_pro_age_sta,idx_user_pro 这两个索引都可能用到最终MySQL选择了idx_user_pro_age_sta索引。这是MySQL自动选择的结果。
那么我们能不能在查询的时候自己来指定使用哪个索引呢
答案是肯定的此时就可以借助于 MySQL的SQL提示来完成。 接下来介绍一下SQL提示。 SQL提示是优化数据库的一个重要手段简单来说就是在SQL语句中加入一些人为的提示来达到优化操作的目的。 1). use index 建议 MySQL使用哪一个索引完成此次查询仅仅是建议mysql内部还会再次进 行评估。 explain select * from tb_user use index(idx_user_pro) where profession 软件工
程; 2). ignore index 忽略指定的索引。 explain select * from tb_user ignore index(idx_user_pro) where profession 软件工
程; 3). force index 强制使用索引。
explain select * from tb_user force index(idx_user_pro) where profession 软件工
程; 6.覆盖索引
尽量使用覆盖索引减少select *。 那么什么是覆盖索引呢 覆盖索引是指 查询使用了索引并 且需要返回的列在该索引中已经全部能够找到 。
接下来我们来看一组SQL的执行计划看看执行计划的差别然后再来具体做一个解析。
explain select id, profession from tb_user where profession 软件工程 and age
31 and status 0 ;
explain select id,profession,age, status from tb_user where profession 软件工程
and age 31 and status 0 ;
explain select id,profession,age, status, name from tb_user where profession 软
件工程 and age 31 and status 0 ;
explain select * from tb_user where profession 软件工程 and age 31 and status0; 从上述的执行计划我们可以看到这四条 SQL 语句的执行计划前面所有的指标都是一样的看不出来差异。但是此时我们主要关注的是后面的Extra 前面两个 SQL 的结果为 Using where; Using Index ; 而后面两条 SQL 的结果为 : Using index condition 。 因为在 tb_user 表中有一个联合索引 idx_user_pro_age_sta 该索引关联了三个字段 profession、 age 、 status 而这个索引也是一个二级索引所以叶子节点下面挂的是这一行的主 键 id 。 所以当我们查询返回的数据在 id 、 profession 、 age 、 status 之中则直接走二级索引 直接返回数据了。 如果超出这个范围就需要拿到主键 id再去扫描聚集索引再获取额外的数据 了这个过程就是回表。 而我们如果一直使用 select * 查询返回所有字段值很容易就会造成回表 查询除非是根据主键查询此时只会扫描聚集索引。 为了大家更清楚的理解什么是覆盖索引什么是回表查询我们一起再来看下面的这组 SQL 的执行过程。 A. 表结构及索引示意图: id是主键是一个聚集索引。 name字段建立了普通索引是一个二级索引辅助索引。 B. 执行SQL :
select * from tb_user where id 2; 根据id查询直接走聚集索引查询一次索引扫描直接返回数据性能高。
C. 执行SQL
selet id,name from tb_user where name Arm; 虽然是根据name字段查询查询二级索引但是由于查询返回在字段为 idname在name的二级索引中这两个值都是可以直接获取到的因为覆盖索引所以不需要回表查询性能高。 D. 执行SQL selet id,name,gender from tb_user where name Arm; 由于在 name 的二级索引中不包含 gender 所以需要两次索引扫描也就是需要回表查询性能相对较差一点。 思考题 一张表 , 有四个字段 (id, username, password, status), 由于数据量大 , 需要对以下SQL 语句进行优化 , 该如何进行才是最优方案 : select id,username,password from tb_user where username itcast; 答案 : 针对于 username, password 建立联合索引 , sql为: create index idx_user_name_pass on tb_user(username,password); 这样可以避免上述的 SQL 语句在查询的过程中出现回表查询。 7.前缀索引
当字段类型为字符串varchartextlongtext等时有时候需要索引很长的字符串这会让索引变得很大查询时浪费大量的磁盘IO 影响查询效率。此时可以只将字符串的一部分前缀建立索引这样可以大大节约索引空间从而提高索引效率。
1). 语法
create index idx_xxxx on table_name(column(n)) ; 示例 : 为 tb_user 表的 email 字段建立长度为 5 的前缀索引。 create index idx_email_5 on tb_user(email(5)); 2). 前缀长度 可以根据索引的选择性来决定而选择性是指不重复的索引值基数和数据表的记录总数的比值 索引选择性越高则查询效率越高 唯一索引的选择性是1 这是最好的索引选择性性能也是最好的。 select count(distinct email) / count(*) from tb_user ;
select count(distinct substring(email,1,5)) / count(*) from tb_user ; 3). 前缀索引的查询流程 8.单列索引与联合索引 单列索引即一个索引只包含单个列。 联合索引即一个索引包含了多个列。 我们先来看看 tb_user 表中目前的索引情况 : 在查询出来的索引中既有单列索引又有联合索引。 接下来我们来执行一条 SQL 语句看看其执行计划 explain select id,phone,name from tb_user where phone17799990010 AND name韩信; 通过上述执行计划我们可以看出来在 and 连接的两个字段 phone 、 name 上都是有单列索引的但是最终mysql 只会选择一个索引也就是说只能走一个字段的索引此时是会回表查询的。 紧接着我们再来创建一个 phone 和 name 字段的联合索引来查询一下执行计划。 create unique index idx_user_phone_name on tb_user(phone,name); 此时查询时就走了联合索引而在联合索引中包含 phone 、 name 的信息在叶子节点下挂的是对应的主键id 所以查询是无需回表查询的。 在业务场景中如果存在多个查询条件考虑针对于查询字段建立索引时建议建立联合索引而非单列索引。 二、索引设计原则 1). 针对于数据量较大且查询比较频繁的表建立索引。 2). 针对于常作为查询条件 where 、排序 order by 、分组 group by 操作的字段建立索 引。 3). 尽量选择区分度高的列作为索引尽量建立唯一索引区分度越高使用索引的效率越高。 4). 如果是字符串类型的字段字段的长度较长可以针对于字段的特点建立前缀索引。 5). 尽量使用联合索引减少单列索引查询时联合索引很多时候可以覆盖索引节省存储空间 避免回表提高查询效率。 6). 要控制索引的数量索引并不是多多益善索引越多维护索引结构的代价也就越大会影响增删改的效率。 7). 如果索引列不能存储 NULL 值请在创建表时使用 NOT NULL 约束它。当优化器知道每列是否包含NULL值时它可以更好地确定哪个索引最有效地用于查询。
