西宁建设工程官方网站,制作简单门户网站步骤,外包公司做的网站,长沙网络营销首选智投未来索引类型
索引可以提升查询速度#xff0c;会影响where查询#xff0c;以及order by排序。MySQL索引类型如下#xff1a; 从索引存储结构划分#xff1a;B Tree索引、Hash索引、FULLTEXT全文索引、R Tree索引 从应用层次划分#xff1a;普通索引、唯一索引、主键索引、复…索引类型
索引可以提升查询速度会影响where查询以及order by排序。MySQL索引类型如下 从索引存储结构划分B Tree索引、Hash索引、FULLTEXT全文索引、R Tree索引 从应用层次划分普通索引、唯一索引、主键索引、复合索引 从索引键值类型划分主键索引、辅助索引二级索引 从数据存储和索引键值逻辑关系划分聚集索引聚簇索引、非聚集索引非聚簇索引
普通索引
这是最基本的索引类型基于普通字段建立的索引没有任何限制。
创建普通索引的方法如下 CREATE INDEX 索引的名字 ON tablename (字段名); ALTER TABLE tablename ADD INDEX [索引的名字] (字段名); CREATE TABLE tablename ( […], INDEX [索引的名字] (字段名) );
唯一索引
与普通索引类似不同的就是索引字段的值必须唯一但允许有空值 。在创建或修改表时追加唯一 约束就会自动创建对应的唯一索引。 创建唯一索引的方法如下 CREATE UNIQUE INDEX 索引的名字 ON tablename (字段名) ALTER TABLE tablename ADD UNIQUE INDEX [索引的名字] (字段名); CREATE TABLE tablename ( […], UNIQUE [索引的名字] (字段名) ;
主键索引
它是一种特殊的唯一索引不允许有空值。在创建或修改表时追加主键约束即可每个表只能有一个主 键。 创建主键索引的方法如下
CREATE TABLE tablename ( […], PRIMARY KEY (字段名) );ALTER TABLE tablename ADD PRIMARY KEY (字段名);
复合索引
单一索引是指索引列为一列的情况即新建索引的语句只实施在一列上用户可以在多个列上建立索 引这种索引叫做组复合索引组合索引。复合索引可以代替多个单一索引相比多个单一索引复合 索引所需的开销更小。 索引同时有两个概念叫做窄索引和宽索引窄索引是指索引列为1-2列的索引宽索引也就是索引列超 过2列的索引设计索引的一个重要原则就是能用窄索引不用宽索引因为窄索引往往比组合索引更有 效。 创建组合索引的方法如下 CREATE INDEX 索引的名字 ON tablename (字段名1字段名2…); ALTER TABLE tablename ADD INDEX [索引的名字] (字段名1字段名2…); CREATE TABLE tablename ( […], INDEX [索引的名字] (字段名1字段名2…) );
复合索引使用注意事项
何时使用复合索引要根据where条件建索引注意不要过多使用索引过多使用会对更新操作效 率有很大影响。如果表已经建立了(col1col2)就没有必要再单独建立col1如果现在有(col1)索引如果查 询需要col1和col2条件可以建立(col1,col2)复合索引对于查询有一定提高。
全文索引
查询操作在数据量比较少时可以使用like模糊查询但是对于大量的文本数据检索效率很低。如果 使用全文索引查询速度会比like快很多倍。在MySQL 5.6 以前的版本只有MyISAM存储引擎支持全 文索引从MySQL 5.6开始MyISAM和InnoDB存储引擎均支持。 创建全文索引的方法如下 CREATE FULLTEXT INDEX 索引的名字 ON tablename (字段名); ALTER TABLE tablename ADD FULLTEXT [索引的名字] (字段名); CREATE TABLE tablename ( […], FULLTEXT KEY [索引的名字] (字段名) ;
和常用的like模糊查询不同全文索引有自己的语法格式使用 match 和 against 关键字比如
SQLselect * from user
where match(name) against(aaa);全文索引使用注意事项 全文索引必须在字符串、文本字段上建立。 全文索引字段值必须在最小字符和最大字符之间的才会有效。innodb3-84myisam4- 84 全文索引字段值要进行切词处理按syntax字符进行切割例如baaa切分成b和aaa 全文索引匹配查询默认使用的是等值匹配例如a匹配a不会匹配ab,ac。如果想匹配可以在布 尔模式下搜索a* SQLselect * from user
where match(name) against(a* in boolean mode);索引原理
MySQL官方对索引定义是存储引擎用于快速查找记录的一种数据结构。需要额外开辟空间和数据维护 工作。
索引是物理数据页存储在数据文件中InnoDBibd文件利用数据页(page)存储。索引可以加快检索速度但是同时也会降低增删改操作速度索引维护需要代价。
索引涉及的理论知识二分查找法、Hash和BTree。
二分查找法
二分查找法也叫作折半查找法它是在有序数组中查找指定数据的搜索算法。它的优点是等值查询、范 围查询性能优秀缺点是更新数据、新增数据、删除数据维护成本高。 首先定位left和right两个指针 计算(leftright)/2 判断除2后索引位置值与目标值的大小比对 索引位置值大于目标值就-1right移动如果小于目标值就1left移动
举个例子下面的有序数组有17 个值查找的目标值是7过程如下 第一次查找
第二次查找
第三次查找
第四次查找
Hash结构
Hash底层实现是由Hash表来实现的是根据键值 key,value 存储数据的结构。非常适合根据key查找 value值也就是单个key查询或者说等值查询。其结构如下所示
从上面结构可以看出Hash索引可以方便的提供等值查询但是对于范围查询就需要全表扫描了。 Hash索引在MySQL 中Hash结构主要应用在Memory原生的Hash索引 、InnoDB自适应哈希索引。 InnoDB提供的自适应哈希索引功能强大接下来重点描述下InnoDB自适应哈希索引。 InnoDB自适应哈希索引是为了提升查询效率InnoDB存储引擎会监控表上各个索引页的查询当 InnoDB注意到某些索引值访问非常频繁时会在内存中基于BTree索引再创建一个哈希索引使得内 存中的 BTree 索引具备哈希索引的功能即能够快速定值访问频繁访问的索引页。 InnoDB自适应哈希索引在使用Hash索引访问时一次性查找就能定位数据等值查询效率要优于 BTree。 自适应哈希索引的建立使得InnoDB存储引擎能自动根据索引页访问的频率和模式自动地为某些热点页 建立哈希索引来加速访问。另外InnoDB自适应哈希索引的功能用户只能选择开启或关闭功能无法 进行人工干涉。 SQLshow engine innodb status \G;
show variables like %innodb_adaptive%;BTree结构
MySQL数据库索引采用的是BTree结构在B-Tree结构上做了优化改造。 B-Tree结构 索引值和data数据分布在整棵树结构中 每个节点可以存放多个索引值及对应的data数据 树节点中的多个索引值从左到右升序排列
B树的搜索从根节点开始对节点内的索引值序列采用二分法查找如果命中就结束查找。没有 命中会进入子节点重复查找过程直到所对应的的节点指针为空或已经是叶子节点了才结束。
BTree结构 非叶子节点不存储data数据只存储索引值这样便于存储更多的索引值 叶子节点包含了所有的索引值和data数据 叶子节点用指针连接提高区间的访问性能
相比B树B树进行范围查找时只需要查找定位两个节点的索引值然后利用叶子节点的指针进 行遍历即可。而B树需要遍历范围内所有的节点和数据显然BTree效率高。
聚簇索引和辅助索引
簇索引和非聚簇索引BTree的叶子节点存放主键索引值和行记录就属于聚簇索引如果索引值和行 记录分开存放就属于非聚簇索引。 主键索引和辅助索引BTree的叶子节点存放的是主键字段值就属于主键索引如果存放的是非主键值 就属于辅助索引二级索引。 在InnoDB引擎中主键索引采用的就是聚簇索引结构存储。 聚簇索引聚集索引 聚簇索引是一种数据存储方式InnoDB的聚簇索引就是按照主键顺序构建 BTree结构。BTree 的叶子节点就是行记录行记录和主键值紧凑地存储在一起。 这也意味着 InnoDB 的主键索引就 是数据表本身它按主键顺序存放了整张表的数据占用的空间就是整个表数据量的大小。通常说 的主键索引就是聚集索引。
InnoDB的表要求必须要有聚簇索引 如果表定义了主键则主键索引就是聚簇索引 如果表没有定义主键则第一个非空unique列作为聚簇索引 否则InnoDB会从建一个隐藏的row-id作为聚簇索引
辅助索引 InnoDB辅助索引也叫作二级索引是根据索引列构建 BTree结构。但在 BTree 的叶子节点中 只存了索引列和主键的信息。二级索引占用的空间会比聚簇索引小很多 通常创建辅助索引就是 为了提升查询效率。一个表InnoDB只能创建一个聚簇索引但可以创建多个辅助索引。
非聚簇索引 与InnoDB表存储不同MyISAM数据表的索引文件和数据文件是分开的被称为非聚簇索引结 构。
索引分析与优化
EXPLAIN
MySQL 提供了一个 EXPLAIN 命令它可以对 SELECT 语句进行分析并输出 SELECT 执行的详细信 息供开发人员有针对性的优化。例如 EXPLAIN SELECT * from user WHERE id 3; EXPLAIN 命令的输出内容大致如下
select_type 表示查询的类型。常用的值如下 SIMPLE 表示查询语句不包含子查询或union PRIMARY表示此查询是最外层的查询 UNION表示此查询是UNION的第二个或后续的查询 EXPLAIN SELECT * from user WHERE id 3; DEPENDENT UNIONUNION中的第二个或后续的查询语句使用了外面查询结果 UNION RESULTUNION的结果 SUBQUERYSELECT子查询语句 DEPENDENT SUBQUERYSELECT子查询语句依赖外层查询的结果。
最常见的查询类型是SIMPLE表示我们的查询没有子查询也没用到UNION查询。 type 表示存储引擎查询数据时采用的方式。比较重要的一个属性通过它可以判断出查询是全表扫描还 是基于索引的部分扫描。常用属性值如下从上至下效率依次增强。 ALL表示全表扫描性能最差。 index表示基于索引的全表扫描先扫描索引再扫描全表数据。 range表示使用索引范围查询。使用、、、、in等等。 ref表示使用非唯一索引进行单值查询。 eq_ref一般情况下出现在多表join查询表示前面表的每一个记录都只能匹配后面表的一 行结果。 const表示使用主键或唯一索引做等值查询常量查询。 NULL表示不用访问表速度最快。
possible_keys 表示查询时能够使用到的索引。注意并不一定会真正使用显示的是索引名称。 key 表示查询时真正使用到的索引显示的是索引名称。 rows MySQL查询优化器会根据统计信息估算SQL要查询到结果需要扫描多少行记录。原则上rows是 越少效率越高可以直观的了解到SQL效率高低。 key_len 表示查询使用了索引的字节数量。可以判断是否全部使用了组合索引。 key_len的计算规则如下 字符串类型 字符串长度跟字符集有关latin11、gbk2、utf83、utf8mb44 char(n)n*字符集长度 varchar(n)n * 字符集长度 2字节 数值类型 TINYINT1个字节 SMALLINT2个字节 MEDIUMINT3个字节 INT、FLOAT4个字节 BIGINT、DOUBLE8个字节 时间类型 DATE3个字节 TIMESTAMP4个字节 DATETIME8个字节 字段属性 NULL属性占用1个字节如果一个字段设置了NOT NULL则没有此项。
Extra Extra表示很多额外的信息各种操作会在Extra提示相关信息常见几种如下 Using where 表示查询需要通过索引回表查询数据。 Using index 表示查询需要通过索引索引就可以满足所需数据。 Using filesort 表示查询出来的结果需要额外排序数据量小在内存大的话在磁盘因此有Using filesort 建议优化。 Using temprorary 查询使用到了临时表一般出现于去重、分组等操作。
回表查询
在之前介绍过InnoDB索引有聚簇索引和辅助索引。聚簇索引的叶子节点存储行记录InnoDB必须要 有且只有一个。辅助索引的叶子节点存储的是主键值和索引字段值通过辅助索引无法直接定位行记 录通常情况下需要扫码两遍索引树。先通过辅助索引定位主键值然后再通过聚簇索引定位行记 录这就叫做回表查询它的性能比扫一遍索引树低。 总结通过索引查询主键值然后再去聚簇索引查询记录信息
覆盖索引
在SQL-Server官网的介绍如下
在MySQL官网类似的说法出现在explain查询计划优化章节即explain的输出结果Extra字段为Using index时能够触发索引覆盖。
不管是SQL-Server官网还是MySQL官网都表达了**只需要在一棵索引树上就能获取SQL所需的所 **有列数据无需回表速度更快这就叫做索引覆盖。 实现索引覆盖最常见的方法就是将被查询的字段建立到组合索引。
最左前缀原则
复合索引使用时遵循最左前缀原则最左前缀顾名思义就是最左优先即查询中使用到最左边的列 那么查询就会使用到索引如果从索引的第二列开始查找索引将失效。
LIKE查询
面试题MySQL在使用like模糊查询时索引能不能起作用 回答MySQL在使用Like模糊查询时索引是可以被使用的只有把%字符写在后面才会使用到索引。
SQLselect * from user where name like %o%; //不起作用
select * from user where name like o%; //起作用
select * from user where name like %o; //不起作用NULL查询
面试题如果MySQL表的某一列含有NULL值那么包含该列的索引是否有效 对MySQL来说NULL是一个特殊的值从概念上讲NULL意味着“一个未知值”它的处理方式与其他 值有些不同。比如不能使用这样的运算符对NULL做算术运算的结果都是NULLcount时 不会包括NULL行等NULL比空字符串需要更多的存储空间等。
“NULL columns require additional space in the row to record whether their values are NULL. For MyISAM tables, each NULL column takes one bit extra, rounded up to the nearest byte.”
NULL列需要增加额外空间来记录其值是否为NULL。对于MyISAM表每一个空列额外占用一位四舍 五入到最接近的字节。
虽然MySQL可以在含有NULL的列上使用索引但NULL和其他数据还是有区别的不建议列上允许为 NULL。最好设置NOT NULL并给一个默认值比如0和 ‘’ 空字符串等如果是datetime类型也可以 设置系统当前时间或某个固定的特殊值例如’1970-01-01 00:00:00’。
索引与排序
MySQL查询支持filesort和index两种方式的排序filesort是先把结果查出然后在缓存或磁盘进行排序 操作效率较低。使用index是指利用索引自动实现排序不需另做排序操作效率会比较高。 filesort有两种排序算法双路排序和单路排序。 双路排序需要两次磁盘扫描读取最终得到用户数据。第一次将排序字段读取出来然后排序第二 次去读取其他字段数据。 单路排序从磁盘查询所需的所有列数据然后在内存排序将结果返回。如果查询数据超出缓存 sort_buffer会导致多次磁盘读取操作并创建临时表最后产生了多次IO反而会增加负担。解决方 案少使用select *增加sort_buffer_size容量和max_length_for_sort_data容量。 如果我们Explain分析SQL结果中Extra属性显示Using filesort表示使用了filesort排序方式需要优 化。如果Extra属性显示Using index时表示覆盖索引也表示所有操作在索引上完成也可以使用 index排序方式建议大家尽可能采用覆盖索引。 以下几种情况会使用index方式的排序。 ORDER BY 子句索引列组合满足索引最左前列 explain select id from user order by id; //对应(id)、(id,name)索引有效 WHERE子句ORDER BY子句索引列组合满足索引最左前列 explain select id from user where age18 order by name; //对应(age,name)索引 以下几种情况会使用filesort方式的排序。 对索引列同时使用了ASC和DESC explain select id from user order by age asc,name desc; //对应(age,name)索引 WHERE子句和ORDER BY子句满足最左前缀但where子句使用了范围查询例如、、in 等 explain select id from user where age10 order by name; //对应(age,name)索引 ORDER BY或者WHEREORDER BY索引列没有满足索引最左前列 explain select id from user order by name; //对应(age,name)索引 使用了不同的索引MySQL每次只采用一个索引ORDER BY涉及了两个索引 explain select id from user order by name,age; //对应(name)、(age)两个索引 WHERE子句与ORDER BY子句使用了不同的索引 explain select id from user where nametom order by age; //对应(name)、(age)索引 WHERE子句或者ORDER BY子句中索引列使用了表达式包括函数表达式 explain select id from user order by abs(age); //对应(age)索引
查询优化
慢查询定位
开启慢查询日志 查看 MySQL 数据库是否开启了慢查询日志和慢查询日志文件的存储位置的命令如下 SHOW VARIABLES LIKE slow_query_log% 通过如下命令开启慢查询日志 SQLSET global slow_query_log ON;
SET global slow_query_log_file OAK-slow.log;
SET global log_queries_not_using_indexes ON;
SET long_query_time 10; long_query_time指定慢查询的阀值单位秒。如果SQL执行时间超过阀值就属于慢查询 记录到日志文件中。log_queries_not_using_indexes表示会记录没有使用索引的查询SQL。前提是slow_query_log 的值为ON否则不会奏效。
查看慢查询日志
文本方式查看 直接使用文本编辑器打开slow.log日志即可。 time日志记录的时间 UserHost执行的用户及主机 Query_time执行的时间 Lock_time锁表时间 Rows_sent发送给请求方的记录数结果数量 Rows_examined语句扫描的记录条数 SET timestamp语句执行的时间点 select…执行的具体的SQL语句
使用mysqldumpslow查看 MySQL 提供了一个慢查询日志分析工具mysqldumpslow可以通过该工具分析慢查询日志 内容。 在 MySQL bin目录下执行下面命令可以查看该使用格式。 perl mysqldumpslow.pl --help 运行如下命令查看慢查询日志信息 perl mysqldumpslow.pl -t 5 -s at C:\ProgramData\MySQL\Data\OAK-slow.log 除了使用mysqldumpslow工具也可以使用第三方分析工具比如pt-query-digest、 mysqlsla等。
慢查询优化
索引和慢查询 如何判断是否为慢查询 MySQL判断一条语句是否为慢查询语句主要依据SQL语句的执行时间它把当前语句的执 行时间跟 long_query_time 参数做比较如果语句的执行时间 long_query_time就会把 这条执行语句记录到慢查询日志里面。long_query_time 参数的默认值是 10s该参数值可 以根据自己的业务需要进行调整。 如何判断是否应用了索引 SQL语句是否使用了索引可根据SQL语句执行过程中有没有用到表的索引可通过 explain 命令分析查看检查结果中的 key 值是否为NULL。 应用了索引是否一定快 下面我们来看看下面语句的 explain 的结果你觉得这条语句有用上索引吗比如 select * from user where id0; 虽然使用了索引但是还是从主键索引的最左边的叶节点开始向右扫描整个索引树进行了 全表扫描此时索引就失去了意义。 而像select * from user where id 2;这样的语句才是我们平时说的使用了索引。它表示 的意思是我们使用了索引的快速搜索功能并且有效地减少了扫描行数。
查询是否使用索引只是表示一个SQL语句的执行过程而是否为慢查询是由它执行的时间决定 的也就是说是否使用了索引和是否是慢查询两者之间没有必然的联系。 我们在使用索引时不要只关注是否起作用应该关心索引是否减少了查询扫描的数据行数如果 扫描行数减少了效率才会得到提升。对于一个大表不止要创建索引还要考虑索引过滤性过 滤性好执行速度才会快。
提高索引过滤性 假如有一个5000万记录的用户表通过sex男’索引过滤后还需要定位3000万SQL执行速度也 不会很快。其实这个问题涉及到索引的过滤性比如1万条记录利用索引过滤后定位10条、100 条、1000条那他们过滤性是不同的。索引过滤性与索引字段、表的数据量、表设计结构都有关 系。
下面我们看一个案例 SQL表student
字段id,name,sex,age
造数据insert into student (name,sex,age) select name,sex,age from
student;
SQL案例select * from student where age18 and name like 张%;全表扫描优化1 alter table student add index(name); //追加name索引 优化2 alter table student add index(age,name); //追加age,name索引 优化3 可以看到index condition pushdown 优化的效果还是很不错的。再进一步优化我们可以把名 字的第一个字和年龄做一个联合索引这里可以使用 MySQL 5.7 引入的虚拟列来实现。 SQL//为user表添加first_name虚拟列以及联合索引(first_name,age)
alter table student add first_name varchar(2) generated always as
(left(name, 1)), add index(first_name, age);
explain select * from student where first_name张 and age18慢查询原因总结 全表扫描explain分析type属性all 全索引扫描explain分析type属性index 索引过滤性不好靠索引字段选型、数据量和状态、表设计 频繁的回表查询开销尽量少用select *使用覆盖索引
分页查询优化
一般性分页 一般的分页查询使用简单的 limit 子句就可以实现。limit格式如下 SELECT * FROM 表名 LIMIT [offset,] rows 第一个参数指定第一个返回记录行的偏移量注意从0开始 第二个参数指定返回记录行的最大数目 如果只给定一个参数它表示返回最大的记录行数目
思考1如果偏移量固定返回记录量对执行时间有什么影响 select * from user limit 10000,1;
select * from user limit 10000,10;
select * from user limit 10000,100;
select * from user limit 10000,1000;
select * from user limit 10000,10000**结果**在查询记录时返回记录量低于100条查询时间基本没有变化差距不大。随着查询记录 量越大所花费的时间也会越来越多。 思考2如果查询偏移量变化返回记录数固定对执行时间有什么影响
SQLselect * from user limit 1,100;
select * from user limit 10,100;
select * from user limit 100,100;
select * from user limit 1000,100;
select * from user limit 10000,100;结果在查询记录时如果查询记录量相同偏移量超过100后就开始随着偏移量增大查询时间 急剧的增加。这种分页查询机制每次都会从数据库第一条记录开始扫描越往后查询越慢而 且查询的数据越多也会拖慢总查询速度。 分页优化方案 第一步利用覆盖索引优化 SQLselect * from user limit 10000,100;
select id from user limit 10000,100;第二步利用子查询优化 SQLselect * from user limit 10000,100;
select * from user where id (select id from user limit 10000,1) limit 100;原因使用了id做主键比较(id)并且子查询使用了覆盖索引进行优化。
最后祝大家早日学有所成拿到满意offer
