详解mysql中的字符集和校验规则

吾爱主题阅读：185 2024-04-01 23:52:16 评论：0

1几种常见字符集

在MySQL中，最常见的字符集有ASCII字符集、latin字符集、GB2312字符集、GBK字符集、UTF8字符集等，下面我们简单介绍下这些字符集：

ASCII字符集

这个字符集使用1个字节进行编码，一个字节具有8位，总共可以保存128个字符，具体的对应关系如下：

latin字符集

latin字符集一共可以保存256个字符，相比ASCII码，它又包含了128个西欧常用字符。

GB2312字符集

它包含了中文汉字、拉丁字符、希腊字符等，其中汉字占了大多数，有6763个，其他文字符号638个，而且它兼容ASCII字符。当对ASCII编码的时候，它采用1个字节进行编码，也就是128位，当对其他字符进行编码的时候，它采用2个字节进行编码。可以理解它是一种边长编码方式。

GBK字符集

该字符集是对GB2312字符集的一个扩充，它兼容GB2312字符集，一般采用两个字节进行编码。

UTF8字符集

它通常由1~4个字节来进行编码，根据使用字节的不同，也可以分为UTF8和utf8mb4两种，mb4的意思就是最多4个字节的意思，一般来讲UTF8采用三个字节进行编码，除此之外，还有utf16以及utf32，utf16使用2个或4个字节编码一个字符，utf32使用4个字节编码一个字符。

需要注意的是，一些emoji表情需要使用utf8mb4来表示。

2 mysql中支持的字符集

MySQL支持很多字符集，以我本地的字符集为例，使用show charset；命令查看当前服务器支持的字符集，结果如下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 mysql --dba_admin@127.0.0.1:(none) 22:46:48>>show charset; + ----------+-----------------------------+---------------------+--------+ | Charset | Description | Default collation | Maxlen | + ----------+-----------------------------+---------------------+--------+ | big5 | Big5 Traditional Chinese | big5_chinese_ci | 2 | | dec8 | DEC West European | dec8_swedish_ci | 1 | | cp850 | DOS West European | cp850_general_ci | 1 | | hp8 | HP West European | hp8_english_ci | 1 | | koi8r | KOI8-R Relcom Russian | koi8r_general_ci | 1 | | latin1 | cp1252 West European | latin1_swedish_ci | 1 | | latin2 | ISO 8859-2 Central European | latin2_general_ci | 1 | | swe7 | 7bit Swedish | swe7_swedish_ci | 1 | | ascii | US ASCII | ascii_general_ci | 1 | | ujis | EUC-JP Japanese | ujis_japanese_ci | 3 | | sjis | Shift-JIS Japanese | sjis_japanese_ci | 2 | | hebrew | ISO 8859-8 Hebrew | hebrew_general_ci | 1 | | tis620 | TIS620 Thai | tis620_thai_ci | 1 | | euckr | EUC-KR Korean | euckr_korean_ci | 2 | | koi8u | KOI8-U Ukrainian | koi8u_general_ci | 1 | | gb2312 | GB2312 Simplified Chinese | gb2312_chinese_ci | 2 | | greek | ISO 8859-7 Greek | greek_general_ci | 1 | | cp1250 | Windows Central European | cp1250_general_ci | 1 | | gbk | GBK Simplified Chinese | gbk_chinese_ci | 2 | | latin5 | ISO 8859-9 Turkish | latin5_turkish_ci | 1 | | armscii8 | ARMSCII-8 Armenian | armscii8_general_ci | 1 | | utf8 | UTF-8 Unicode | utf8_general_ci | 3 | | ucs2 | UCS-2 Unicode | ucs2_general_ci | 2 | | cp866 | DOS Russian | cp866_general_ci | 1 | | keybcs2 | DOS Kamenicky Czech-Slovak | keybcs2_general_ci | 1 | | macce | Mac Central European | macce_general_ci | 1 | | macroman | Mac West European | macroman_general_ci | 1 | | cp852 | DOS Central European | cp852_general_ci | 1 | | latin7 | ISO 8859-13 Baltic | latin7_general_ci | 1 | | utf8mb4 | UTF-8 Unicode | utf8mb4_general_ci | 4 | | cp1251 | Windows Cyrillic | cp1251_general_ci | 1 | | utf16 | UTF-16 Unicode | utf16_general_ci | 4 | | cp1256 | Windows Arabic | cp1256_general_ci | 1 | | cp1257 | Windows Baltic | cp1257_general_ci | 1 | | utf32 | UTF-32 Unicode | utf32_general_ci | 4 | | binary | Binary pseudo charset | binary | 1 | | geostd8 | GEOSTD8 Georgian | geostd8_general_ci | 1 | | cp932 | SJIS for Windows Japanese | cp932_japanese_ci | 2 | | eucjpms | UJIS for Windows Japanese | eucjpms_japanese_ci | 3 | + ----------+-----------------------------+---------------------+--------+ 39 rows in set (0.00 sec)

可以看到，一共支持39中字符集，当然，不同的版本这个数字还有一些出入。在这39中字符集里面，需要我们记住的主要有以下几个：

1 2 3 4 5 6 7 8 9 10 + ----------+-----------------------------+---------------------+--------+ | Charset | Description | Default collation | Maxlen | + ----------+-----------------------------+---------------------+--------+ | latin1 | cp1252 West European | latin1_swedish_ci | 1 | | ascii | US ASCII | ascii_general_ci | 1 | | gb2312 | GB2312 Simplified Chinese | gb2312_chinese_ci | 2 | | gbk | GBK Simplified Chinese | gbk_chinese_ci | 2 | | utf8 | UTF-8 Unicode | utf8_general_ci | 3 | | utf8mb4 | UTF-8 Unicode | utf8mb4_general_ci | 4 | + ----------+-----------------------------+---------------------+--------+

这里，我们暂时只需要知道他们最大长度包含几个字节就ok了。

3 校验规则

字符集的校验规则，指的是字符集比较大小的时候依据的准则，比如我们比较a和B的大小，如果不考虑大小写，那么a<B，如果考虑大小写，则a>B,也就是说，同一字符集，不同的比较规则，对某列数据的排序结果也就会产生不同。

MySQL中的字符校验规则可以通过show collation；语法来查看，如下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 mysql --dba_admin@127.0.0.1:(none) 23:00:36>>show collation; + -----------------------+----------+-----+---------+----------+---------+ | Collation | Charset | Id | Default | Compiled | Sortlen | + -----------------------+----------+-----+---------+----------+---------+ | big5_chinese_ci | big5 | 1 | Yes | Yes | 1 | | big5_bin | big5 | 84 | | Yes | 1 | | dec8_swedish_ci | dec8 | 3 | Yes | Yes | 1 | | dec8_bin | dec8 | 69 | | Yes | 1 | ........... | koi8r_general_ci | koi8r | 7 | Yes | Yes | 1 | | koi8r_bin | koi8r | 74 | | Yes | 1 | | latin1_german1_ci | latin1 | 5 | | Yes | 1 | | koi8u_general_ci | koi8u | 22 | Yes | Yes | 1 | | utf8_general_ci | utf8 | 33 | Yes | Yes | 1 | | utf8_bin | utf8 | 83 | | Yes | 1 | | utf8_unicode_ci | utf8 | 192 | | Yes | 8 | | utf8_icelandic_ci | utf8 | 193 | | Yes | 8 | | utf8_latvian_ci | utf8 | 194 | | Yes | 8 | | utf8_romanian_ci | utf8 | 195 | | Yes | 8 | | utf8_slovenian_ci | utf8 | 196 | | Yes | 8 | | utf8_polish_ci | utf8 | 197 | | Yes | 8 | | utf8_estonian_ci | utf8 | 198 | | Yes | 8 | + -----------------------+----------+-----+---------+----------+---------+ 195 rows in set (0.00 sec)

我们可以看到，结果中一共有195中比较规则，其中，每种字符集都包含自己默认的校验规则，我们简单解释一条：utf8_polish_ci以波兰语为规则进行对比，这个校验规则由三个部分组成，比较规则名称以与其关联的字符集的名称开头，utf8是指的是utf8字符集的比较规则，polish指的是波兰语，_ci指的是不区分大小写。

针对最后面的后缀，我们可以总结如下：

_ai 不区分重音

_as 区分重音

_ci case insensitive(不敏感) 不区分大小写

_cs case sensitive(敏感) 区分大小写

_bin 二进制

上面的结果中，我们还可以看到，一些校验规则的default列的值是yes，就代表这个校验规则是该字符集的默认校验规则。

4 服务器上的字符集和比较规则

mysql提供了两个系统变量来表示服务器级别的字符集和比较规则，一个是character_set_sever，另外一个是collation_server，我们可以查看它们的默认值：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 mysql --dba_admin@127.0.0.1:(none) 23:12:28>>show variables like 'character_set_server' ; + ----------------------+-------+ | Variable_name | Value | + ----------------------+-------+ | character_set_server | utf8 | + ----------------------+-------+ 1 row in set (0.00 sec) mysql --dba_admin@127.0.0.1:(none) 23:12:47>>show variables like 'collation_server'; + ------------------+-----------------+ | Variable_name | Value | + ------------------+-----------------+ | collation_server | utf8_general_ci | + ------------------+-----------------+ 1 row in set (0.00 sec) mysql --dba_admin@127.0.0.1:(none) 23:12:57>>

在mysql中，字符集和校验规则分为4个级别，分别是服务器级别、数据库级别、表级别以及字段级别，这里我们分别举例子来看：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 数据库级别 mysql 23:23:48>> create database yyz character set utf8 collate utf8_general_ci ; Query OK, 1 row affected (0.01 sec) 表级别 mysql 23:24:23>> create table yyz.yyz ( name varchar (10) ) charset gb2312 collate gb2312_chinese_ci; Query OK, 0 rows affected (0.04 sec) 字段级别 mysql 23:27:06>> mysql --dba_admin@127.0.0.1:(none) 23:27:06>>alter table yyz.yyz add num varchar(10) charset gbk collate gbk_chinese_ci; Query OK, 0 rows affected (0.11 sec) Records: 0 Duplicates: 0 Warnings: 0 查看结果 mysql 23:28:27>>show create table yyz.yyz; + -------+---------------------------------------------------------------------------------------------------------------------------------------------------+ | Table | Create Table | + -------+---------------------------------------------------------------------------------------------------------------------------------------------------+ | yyz | CREATE TABLE `yyz` ( ` name ` varchar (10) DEFAULT NULL , `num` varchar (10) CHARACTER SET gbk DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=gb2312 | + -------+---------------------------------------------------------------------------------------------------------------------------------------------------+ 1 row in set (0.00 sec)