MySQL 字符集不一致导致索引失效的一个真实案例

142 阅读 0 评论 94 点赞

我是靠谱客的博主丰富西牛，这篇文章主要介绍MySQL 字符集不一致导致索引失效的一个真实案例，现在分享给大家，希望可以做个参考。

字符集

文章目录

- 问题描述
- 问题分析
- 总结

大家好，我是只谈技术不剪发的 Tony 老师。今天给大家分析一个由于 MySQL 字符集不一致导致索引失效的案例。

问题描述

有个朋友给我发来一个问题，说是他们的系统有几十万用户，某个查询需要 5 秒以上的时间才能返回，同时服务器 CPU 资源占用率将近 100%。这个对于用户的线上操作影响非常大，那么我们就来看看如何分析和解决这个慢查询问题。

为了便于说明问题，我们对表结构进行了简化：

复制代码

1
2
3
4
5
6
7
8
9
10
11
12
create table customer(
  cid int auto_increment primary key,
  cname varchar(50) not null,
  register_time datetime not null,
  recommender varchar(50) character set utf8
) engine=innodb default charset=utf8mb4;

create unique index uk_customer_cname on customer(cname);

insert into customer(cname, register_time, recommender) values('张三', now(), '');
insert into customer(cname, register_time, recommender) values('李四', now(), '张三'),('王五', now(), '李四');

customer 是用户表，其中 cid 是主键；cname 上有一个唯一索引；recommender 是用户的推荐人。

实际查询涉及了很多表，经过简化之后存在性能问题的语句如下：

复制代码

1
2
3
4
5
6
select c.*
from customer c
join customer r on (c.recommender = r.cname )
where r.cid = 1
and c.register_time between now() - interval 1 day and now();

大意是查找通过某人推荐，在指定时间段内注册的用户。

问题分析

了解问题之后，首先我让他给我发来了 explain 执行计划：

复制代码

1
2
3
4
5
6
7
8
9
10
11
12
explain
select c.*
from customer c
join customer r on (c.recommender = r.cname )
where r.cname = '张三'
and c.register_time between now() - interval 1 day and now();

id|select_type|table|partitions|type |possible_keys    |key              |key_len|ref  |rows|filtered|Extra      |
--|-----------|-----|----------|-----|-----------------|-----------------|-------|-----|----|--------|-----------|
 1|SIMPLE     |r    |          |const|uk_customer_cname|uk_customer_cname|202    |const|   1|   100.0|Using index|
 1|SIMPLE     |c    |          |ALL  |                 |                 |       |     |   3|   33.33|Using where|

从结果可以看出，有一个全表扫描（type = ALL）的操作，显然这是因为 recommender 字段上缺少索引。

????关于 MySQL 执行计划的详细介绍，可以参考这篇文章。

所以，我们首先为 recommender 字段创建了一个索引：

复制代码

1
2
create index idx_customer_cname on customer(recommender);

之后再次查看了执行计划，结果没有任何变化，创建的索引没有生效。然后我们使用了 show warnings 命令看看有没有更多的信息：

复制代码

1
2
3
4
5
6
7
show warningsG
*************************** 1. row ***************************
  Level: Note
   Code: 1003
Message: /* select#1 */ select `hrdb`.`c`.`cid` AS `cid`,`hrdb`.`c`.`cname` AS `cname`,`hrdb`.`c`.`register_time` AS `register_time`,`hrdb`.`c`.`recommender` AS `recommender` from `hrdb`.`customer` `c` join `hrdb`.`customer` `r` where ((`hrdb`.`c`.`register_time` between <cache>((now() - interval 1 day)) and <cache>(now())) and (convert(`hrdb`.`c`.`recommender` using utf8mb4) = '张三'))
1 row in set (0.00 sec)

这里有一个问题，就是存在字符集转换：

复制代码

1
2
convert(`hrdb`.`c`.`recommender` using utf8mb4) = '张三')

recommender 需要转换为 utf8mb4 字符集，查看表结构之后发现它的字符集是 utf8，和表中的其他字段字符集不一样。原来他们是从之前的版本迁移过来的表结构，不知怎么会导致遗留一个字段的字符集忘记了调整。

????MySQL 支持数据库、表以及字段级别的字符集（Character Set）和排序规则（Collation）。不同字符集支持的字符种类和数量不同，例如 ASCII 字符集只能存储字母、数字和常见的符号，GB2312 和 GB18030 可以支持中文，Unicode 字符集能够支持多国语言；排序规则定义了字符的排序顺序，例如是否区分大小写、是否区分重音、中文按照拼音还是偏旁进行排序等。

接下来就是修改字段的字符集了：

复制代码

1
2
alter table customer modify column recommender varchar(50) character set utf8mb4;

然后，再次查看执行计划的结果如下：

复制代码

1
2
3
4
5
id|select_type|table|partitions|type |possible_keys     |key               |key_len|ref  |rows|filtered|Extra      |
--|-----------|-----|----------|-----|------------------|------------------|-------|-----|----|--------|-----------|
 1|SIMPLE     |r    |          |const|uk_customer_cname |uk_customer_cname |202    |const|   1|   100.0|Using index|
 1|SIMPLE     |c    |          |ref  |idx_customer_cname|idx_customer_cname|203    |const|   1|   33.33|Using where|