mysql 循环批量插入的实例代码详解

吾爱主题阅读：153 2024-04-05 14:20:55 评论：0

背景

前几天在MySql上做分页时，看到有博文说使用 limit 0,10 方式分页会有丢数据问题，有人又说不会，于是想自己测试一下。测试时没有数据，便安装了一个MySql，建了张表，在建了个while循环批量插入10W条测试数据的时候，执行时间之长无法忍受，便查资料找批量插入优化方法，这里做个笔记。

数据结构

寻思着分页时标准列分主键列、索引列、普通列3种场景，所以，测试表需要包含这3种场景，建表语法如下：

1 2 3 4 5 6 7 8 9 10 11 12 drop table if exists `test`.`t_model`; Create table `test`.`t_model`( `id` bigint NOT NULL AUTO_INCREMENT COMMENT '自增主键' , `uid` bigint COMMENT '业务主键' , `modelid` varchar (50) COMMENT '字符主键' , `modelname` varchar (50) COMMENT '名称' , ` desc ` varchar (50) COMMENT '描述' , primary key (`id`), UNIQUE index `uid_unique` (`uid`), key `modelid_index` (`modelid`) USING BTREE ) ENGINE=InnoDB charset=utf8 collate =utf8_bin;

为了方便操作，插入操作使用存储过程通过while循环插入有序数据，未验证其他操作方式或循环方式的性能。

执行过程

1、使用最简单的方式直接循环单条插入1W条，语法如下：

1 2 3 4 5 6 7 8 9 10 11 12 drop procedure if exists my_procedure; delimiter // create procedure my_procedure() begin DECLARE n int DEFAULT 1; WHILE n < 10001 DO insert into t_model (uid,modelid,modelname,` desc `) value (n,CONCAT( 'id20170831' ,n),CONCAT( 'name' ,n), 'desc' ); set n = n + 1; END WHILE; end //　　　　　　　　　　　　　　　 delimiter ;

插入1W条数据，执行时间大概在6m7s，按照这个速度，要插入1000W级数据，估计要跑几天。

2、于是，构思加个事务提交，是否能加快点性能呢？测试每1000条就commit一下，语法如下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 delimiter // create procedure u_head_and_low_pro() begin DECLARE n int DEFAULT 17541; WHILE n < 10001 DO insert into t_model (uid,modelid,modelname,` desc `) value (n,CONCAT( 'id20170831' ,n),CONCAT( 'name' ,n), 'desc' ); set n = n + 1; if n % 1000 = 0 then commit ; end if; END WHILE; end // delimiter ;

执行时间 6 min 16 sec，与不加commit执行差别不大，看来，这种方式做批量插入，性能是很低的。

3、使用存储过程生成批量插入语句执行批量插入插入1W条，语法如下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 drop procedure IF EXISTS u_head_and_low_pro; delimiter $$ create procedure u_head_and_low_pro() begin DECLARE n int DEFAULT 1; set @exesql = 'insert into t_model (uid,modelid,modelname,`desc`) values ' ; set @exedata = '' ; WHILE n < 10001 DO set @exedata = concat(@exedata, "(" ,n, "," , "'id20170831" ,n, "','" , "name" ,n, "','" , "desc'" , ")" ); if n % 1000 = 0 then set @exesql = concat(@exesql,@exedata, ";" ); prepare stmt from @exesql; execute stmt; DEALLOCATE prepare stmt; commit ; set @exesql = 'insert into t_model (uid,modelid,modelname,`desc`) values ' ; set @exedata = "" ; else set @exedata = concat(@exedata, ',' ); end if; set n = n + 1; END WHILE; end ;$$ delimiter ;