explain执行计划

使用explain关键字可以模拟优化器执行SQL查询语句,从而知道MySQL是如何处理你的SQL语句的,分析你的查询语句或是表结构的性能瓶颈。

explain执行计划包含的信息

执行计划详细信息

其中最重要的字段为:id、type、key、rows、Extra

字段详解

id

select查询的序列号,包含一组数字,表示查询中执行select子句或操作表的顺序 三种情况:

1、id相同:执行顺序由上至下

id字段相同

2、id不同:如果是子查询,id的序号会递增,id值越大优先级越高,越先被执行

id不同

3、id相同又不同(两种情况同时存在):id如果相同,可以认为是一组,从上往下顺序执行;在所有组中,id值越大,优先级越高,越先执行

id相同又不同

select_type

查询的类型,主要是用于区分普通查询、联合查询、子查询等复杂的查询

1、SIMPLE:简单的select查询,查询中不包含子查询或者union 2、PRIMARY:查询中包含任何复杂的子部分,最外层查询则被标记为primary 3、SUBQUERY:在select 或 where列表中包含了子查询 4、DERIVED:在from列表中包含的子查询被标记为derived(衍生),mysql或递归执行这些子查询,把结果放在零时表里 5、UNION:若第二个select出现在union之后,则被标记为union;若union包含在from子句的子查询中,外层select将被标记为derived

6、UNION RESULT:从union表获取结果的select

select_type

type

访问类型,sql查询优化中一个很重要的指标,结果值从好到坏依次是:

system > const > eq_ref > ref > fulltext > ref_or_null > index_merge > unique_subquery > index_subquery > range > index > ALL

一般来说,好的sql查询至少达到range级别,最好能达到ref

1、system:表只有一行记录(等于系统表),这是const类型的特例,平时不会出现,可以忽略不计

2、const:表示通过索引一次就找到了,const用于比较primary key 或者 unique索引。因为只需匹配一行数据,所有很快。如果将主键置于where列表中,mysql就能将该查询转换为一个const

type

3、eq_ref:唯一性索引扫描,对于每个索引键,表中只有一条记录与之匹配。常见于主键 或 唯一索引扫描。

eq_ref唯一性索引扫描

注意:ALL全表扫描的表记录最少的表如t1表

4、ref:非唯一性索引扫描,返回匹配某个单独值的所有行。本质是也是一种索引访问,它返回所有匹配某个单独值的行,然而他可能会找到多个符合条件的行,所以它应该属于查找和扫描的混合体

ref非唯一性索引扫描

5、range:只检索给定范围的行,使用一个索引来选择行。key列显示使用了那个索引。一般就是在where语句中出现了bettween、<、>、in等的查询。这种索引列上的范围扫描比全索引扫描要好。只需要开始于某个点,结束于另一个点,不用扫描全部索引

range

6、index:Full Index Scan,index与ALL区别为index类型只遍历索引树。这通常为ALL块,应为索引文件通常比数据文件小。(Index与ALL虽然都是读全表,但index是从索引中读取,而ALL是从硬盘读取)

index

7、ALL:Full Table Scan,遍历全表以找到匹配的行

ALL

possible_keys

查询涉及到的字段上存在索引,则该索引将被列出,但不一定被查询实际使用

key

实际使用的索引,如果为NULL,则没有使用索引。 查询中如果使用了覆盖索引,则该索引仅出现在key列表中

key1

key2

key_len 表示索引中使用的字节数,查询中使用的索引的长度(最大可能长度),并非实际使用长度,理论上长度越短越好。key_len是根据表定义计算而得的,不是通过表内检索出的

ref 显示索引的那一列被使用了,如果可能,是一个常量const。

rows 根据表统计信息及索引选用情况,大致估算出找到所需的记录所需要读取的行数

Extra 不适合在其他字段中显示,但是十分重要的额外信息

1、Using filesort : mysql对数据使用一个外部的索引排序,而不是按照表内的索引进行排序读取。也就是说mysql无法利用索引完成的排序操作成为“文件排序”

Using filesort

由于索引是先按email排序、再按address排序,所以查询时如果直接按address排序,索引就不能满足要求了,mysql内部必须再实现一次“文件排序”

2、Using temporary: 使用临时表保存中间结果,也就是说mysql在对查询结果排序时使用了临时表,常见于order by 和 group by

Using temporary

3、Using index: 表示相应的select操作中使用了覆盖索引(Covering Index),避免了访问表的数据行,效率高 如果同时出现Using where,表明索引被用来执行索引键值的查找(参考上图) 如果没用同时出现Using where,表明索引用来读取数据而非执行查找动作

Using index

覆盖索引(Covering Index):也叫索引覆盖。就是select列表中的字段,只用从索引中就能获取,不必根据索引再次读取数据文件,换句话说查询列要被所建的索引覆盖。 注意: a、如需使用覆盖索引,select列表中的字段只取出需要的列,不要使用select * b、如果将所有字段都建索引会导致索引文件过大,反而降低crud性能

4、Using where : 使用了where过滤

5、Using join buffer : 使用了链接缓存

6、Impossible WHERE: where子句的值总是false,不能用来获取任何元祖

Impossible WHERE

7、select tables optimized away: 在没有group by子句的情况下,基于索引优化MIN/MAX操作或者对于MyISAM存储引擎优化COUNT(*)操作,不必等到执行阶段在进行计算,查询执行计划生成的阶段即可完成优化

8、distinct: 优化distinct操作,在找到第一个匹配的元祖后即停止找同样值得动作

综合Case

综合Case

执行顺序 1(id = 4)、【select id, name from t2】:select_type 为union,说明id=4的select是union里面的第二个select。

2(id = 3)、【select id, name from t1 where address = ‘11’】:因为是在from语句中包含的子查询所以被标记为DERIVED(衍生),where address = ‘11’ 通过复合索引idx_name_email_address就能检索到,所以type为index。

3(id = 2)、【select id from t3】:因为是在select中包含的子查询所以被标记为SUBQUERY。

4(id = 1)、【select d1.name, … d2 from … d1】:select_type为PRIMARY表示该查询为最外层查询,table列被标记为 “derived3”表示查询结果来自于一个衍生表(id = 3 的select结果)。

5(id = NULL)、【 … union … 】:代表从union的临时表中读取行的阶段,table列的 “union 1, 4”表示用id=1 和 id=4 的select结果进行union操作。

慢SQL优化步骤

Step1:explain查看 (show profile可以查看耗时分布)

Step2:确认优化目标\方向,对于复杂sql需要理清执行步骤

优化目标:

  1. type是否能够按照 const>eq_reg>ref>range>index>ALL的顺序优化,最差也要达到range级别。
  2. 避免filesort的出现、避免rows数据量太大等负面字段、索引选择性是否足够、对于关联查询尽量保证关联字段在第二张表上有可用索引(原因:NestLoop)

Step3:遵照SQL索引原则增加或调整SQL,常见如下

  1. 保证where后的谓词尽可能出现在索引中,并且组合索引按选择性顺序排序,范围查询条件尽量放在后边
  2. (如果sql中有排序语句)是否能够通过索引解决排序问题
  3. 是否能使用use index,全部通过索引获取数据

NestLoop

除了full Join,其他所有类型的查询SQL,都以类似的方式执行。

NestLoop(内嵌套循环)算法,简单来说就是逐行查询处理,或者内嵌逐行查询。对于高版本的使用join buffer对上层表数据缓存,无需多次遍历上层表,下层表直接使用(Block NestLoop)。

以下以两个示例详细说明执行计划,其他join以及单表查询原理也是类似的!

示例1:内关联inner join

SELECT 
    people.id,user.id
FROM
    user
        INNER JOIN
    people ON user.name = people.name
WHERE
    user.enumType = 'orange'
        AND people.enumType = 'orange';

示例1对应伪代码:

//先扫描先执行的表,优化器通常选择关联的较小的表,explain第一行。
people_iterator=people_table.iterator();
//逐行遍历,并且丢弃where筛选不通过的行
while(people_iterator.hashNext()){
 
    people_item=people_iterator.next();
 
    if(people_item.enumType=='orange'){
        //筛选通过后,在进入第二个嵌套
        user_iterator=user_table.iterator()
        //逐行遍历第二个表
        while(user_iterator.hashNext()){
 
            user_item=user_iterator.next();
            //过滤:on 的条件匹配以及当前表的where条件
            if(user_item.name==people_item.name&&user_item.enumType=='orange' ){
 
                output(people.id,user.id);
             }
        }
    }
}   

示例2:非内关联

SELECT 
    people.id,user.id
FROM
    user
        LEFT JOIN
    people ON user.name = people.name
WHERE
    user.enumType = 'orange'
        AND people.enumType = 'orange';

示例2伪代码

//先扫描先执行的表,优化器通常选择关联的较小的表,explain第一行。
people_iterator=people_table.iterator();
//逐行遍历,并且丢弃where筛选不通过的行
while(people_iterator.hashNext()){
 
    people_item=people_iterator.next();
 
    if(people_item.enumType=='orange'){
        //筛选通过后,在进入第二个嵌套
        user_iterator=user_table.iterator()
        //逐行遍历第二个表
        while(user_iterator.hashNext()){
 
            user_item=user_iterator.next();
            //过滤:on 的条件匹配以及当前表的where条件
            if(user_item.name==people_item.name&&user_item.enumType=='orange' ){
 
                output(people.id,user.id);
             }
            //与innerjoin不同的,leftJoin需要即使on条件不成立,也要保留左边数据
            else if(!is_innerJoin){
                output(null,user.id);//保留左边数据
             }
         }
     }
 }   

注意:尽量保证关联字段在第二张表上有可用索引。 (因为第一张表示全表扫描,然后会对第二张表用关联字段查询,详情请看NestLoop理解关联过程)

SQL使用常用策略

1.通常情况下,使用一个性能好的sql去做更多的事情,而不是使用多个sql

除非这个sql过长效率低下或者对于delete这种语句,过长的delete会导致太多的数据被锁定,耗尽资源,阻塞其他sql。

2.分解关联查询。 将关联( join……)放在应用中处理,执行小而简单的sql,好处是:

  • 分解后的sql通常由于简单固定,能更好的使用mysql缓存。
  • 执行拆分后的sql,可以减少锁的竞争。
  • 程序具备更强的扩展性
  • 关联sql使用的是内嵌循环算法nestloop,而应用中可以使用hashmap等结构处理数据,效率更高

关于Count() count()函数有两种含义:统计行数、统计列数。 比如:count(*)代表统计的行数;count(talbe.cloumn)代表统计的是这个列不为null的数量。 关于Limit 在使用Limit 1000,20这种操作的时候,mysql会扫描偏移量(1000条无效查询)数据,而只取后20条,尽量避免这种写法,想办法规避。 关于Union 需要将whereorder bylimit这些限制放入到每个子查询,才能充分提升效率。另外如非必须,尽量使用Union all而非union,因为union会给每个子查询的临时表加入distinct,对每个临时表做唯一性检查,效率较差。

查看MYSQL使用情况:

/*1.查看索引  
(1)单位是GB*/   
 
SELECT CONCAT(ROUND(SUM(index_length)/(1024*1024*1024), 6), ' GB') AS 'Total Index Size' 
FROM information_schema.TABLES WHERE table_schema LIKE 'database';   
/*  
+------------------+   
| Total Index Size |   
+------------------+   
| 1.70 GB |   
+------------------+  
*/  

/*  
(2)单位是MB  
*/  
SELECT CONCAT(ROUND(SUM(index_length)/(1024*1024), 6), ' MB') AS 'Total Index Size'   
FROM information_schema.TABLES WHERE table_schema LIKE 'database';  
/*  
   其中“database”为你所要查看的数据库  
*/  
 
 
/*  
2.查看表空间  
*/  
SELECT CONCAT(ROUND(SUM(data_length)/(1024*1024*1024), 6), ' GB') AS 'Total Data Size'   
FROM information_schema.TABLES WHERE table_schema LIKE 'database';   
/*  
+-----------------+   
| Total Data Size |   
+-----------------+   
| 3.01 GB |   
+-----------------+  
*/  

/*  
3.查看数据库中所有表的信息  
*/  
SELECT CONCAT(table_schema,'.',table_name) AS 'Table Name',   
    table_rows AS 'Number of Rows',   
    CONCAT(ROUND(data_length/(1024*1024*1024),6),' G') AS 'Data Size',   
    CONCAT(ROUND(index_length/(1024*1024*1024),6),' G') AS 'Index Size' ,   
    CONCAT(ROUND((data_length+index_length)/(1024*1024*1024),6),' G') AS'Total'  
FROM information_schema.TABLES   
WHERE table_schema LIKE 'database';   

参考:https://blog.csdn.net/q845301261/article/details/80244877


毕生所求无它 爱与自由而已