mysql 循环批量插入的实例代码详解

数据库 2024/11/14 佚名

3 1 2

饿虎岗资源网 Design By www.oxmxm.com

背景

前几天在MySql上做分页时，看到有博文说使用 limit 0,10 方式分页会有丢数据问题，有人又说不会，于是想自己测试一下。测试时没有数据，便安装了一个MySql，建了张表，在建了个while循环批量插入10W条测试数据的时候，执行时间之长无法忍受，便查资料找批量插入优化方法，这里做个笔记。

数据结构

寻思着分页时标准列分主键列、索引列、普通列3种场景，所以，测试表需要包含这3种场景，建表语法如下：

drop table if exists `test`.`t_model`;

Create table `test`.`t_model`( 
 `id` bigint NOT NULL AUTO_INCREMENT COMMENT '自增主键',
 `uid` bigint COMMENT '业务主键',
 `modelid` varchar(50) COMMENT '字符主键',
 `modelname` varchar(50) COMMENT '名称',
 `desc` varchar(50) COMMENT '描述',
 primary key (`id`),
 UNIQUE index `uid_unique` (`uid`),
 key `modelid_index` (`modelid`) USING BTREE
) ENGINE=InnoDB charset=utf8 collate=utf8_bin;

为了方便操作，插入操作使用存储过程通过while循环插入有序数据，未验证其他操作方式或循环方式的性能。

执行过程

1、使用最简单的方式直接循环单条插入1W条，语法如下：

drop procedure if exists my_procedure; 
delimiter //
create procedure my_procedure()
begin
 DECLARE n int DEFAULT 1;
 WHILE n < 10001 DO
 insert into t_model (uid,modelid,modelname,`desc`) value (n,CONCAT('id20170831',n),CONCAT('name',n),'desc'); 
 set n = n + 1;
 END WHILE;
end
//　　　　　　　　　　　　　　　
delimiter ;

插入1W条数据，执行时间大概在6m7s，按照这个速度，要插入1000W级数据，估计要跑几天。

2、于是，构思加个事务提交，是否能加快点性能呢？测试每1000条就commit一下，语法如下：

delimiter //
create procedure u_head_and_low_pro()
begin
 DECLARE n int DEFAULT 17541;
 WHILE n < 10001 DO
   insert into t_model (uid,modelid,modelname,`desc`) value (n,CONCAT('id20170831',n),CONCAT('name',n),'desc'); 
   set n = n + 1;
   if n % 1000 = 0 
   then
    commit;
   end if;
 END WHILE;
end
//
delimiter ;

执行时间 6 min 16 sec，与不加commit执行差别不大，看来，这种方式做批量插入，性能是很低的。

3、使用存储过程生成批量插入语句执行批量插入插入1W条，语法如下：

drop procedure IF EXISTS u_head_and_low_pro;
delimiter $$
create procedure u_head_and_low_pro()
begin
 DECLARE n int DEFAULT 1;
 set @exesql = 'insert into t_model (uid,modelid,modelname,`desc`) values ';
 set @exedata = '';
 WHILE n < 10001 DO
 set @exedata = concat(@exedata,"(",n,",","'id20170831",n,"','","name",n,"','","desc'",")");
 if n % 1000 = 0 
 then
  set @exesql = concat(@exesql,@exedata,";");
  prepare stmt from @exesql;
  execute stmt;
  DEALLOCATE prepare stmt;
  commit; 
  set @exesql = 'insert into t_model (uid,modelid,modelname,`desc`) values ';
  set @exedata = "";
 else
  set @exedata = concat(@exedata,',');
 end if;
 set n = n + 1;
 END WHILE;
end;$$ 
delimiter ;

执行时间 3.308s。

总结

批量插入时，使用insert的values批量方式插入，执行速度大大提升。

以上所述是小编给大家介绍的mysql 循环批量插入的实例代码详解,希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对网站的支持！
如果你觉得本文对你有帮助，欢迎转载，烦请注明出处，谢谢！

mysql,循环,mysql,批量插入

饿虎岗资源网 Design By www.oxmxm.com

广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！

饿虎岗资源网 Design By www.oxmxm.com

评论“mysql 循环批量插入的实例代码详解”

暂无评论...

P70系列延期，华为新旗舰将在下月发布

3月20日消息，近期博主@数码闲聊站透露，原定三月份发布的华为新旗舰P70系列延期发布，预计4月份上市。

而博主@定焦数码爆料，华为的P70系列在定位上已经超过了Mate60，成为了重要的旗舰系列之一。它肩负着重返影像领域顶尖的使命。那么这次P70会带来哪些令人惊艳的创新呢？
根据目前爆料的消息来看，华为P70系列将推出三个版本，其中P70和P70 Pro采用了三角形的摄像头模组设计，而P70 Art则采用了与上一代P60 Art相似的不规则形状设计。这样的外观是否好看见仁见智，但辨识度绝对拉满。

更新日志

2024年11月14日

mysql 循环批量插入的实例代码详解

MySQL数据表合并去重的简单实现方法

详解MYSQL中重命名procedure的一种方法

评论“mysql 循环批量插入的实例代码详解”

P70系列延期，华为新旗舰将在下月发布

更新日志

友情链接