Mysql提升大数据表拷贝效率的解决方案

数据库 2024/11/14 佚名

3 1 2

饿虎岗资源网 Design By www.oxmxm.com

前言

本文主要给大家介绍了关于Mysql提升大数据表拷贝效率的相关内容，分享出来供大家参考学习，我们大家在工作上会经常遇到量级比较大的数据表；

场景: 该数据表需要进行alter操作比如增加一个字段,减少一个字段. 这个在一个几万级别数据量的数据表可以直接进行alter表操作,但是要在一个接近1000W的数据表进行操作,不是一件容易的事；

可能情况:

1.导致数据库崩溃或者卡死

2.导致其他进程进行数据库读写I/O变慢

3.还有一个可能就是数据格式不一致导致数据无法写入(比如一个varchar类型要改为int类型,当数据长度过大时会报错)

解决方案:--

1.重新创建一张数据表 create new_table select * from old_table 这种形式相当于复制一张新的数据表 ----(不建议): 这里面仅仅复制数据表的字段和数据 , 但是表结构主键,索引和默认值都不会拷贝过来

2.分成两个步骤

1). create new_table like old_table 创建一个新表,表结构和old_table一致(包含主键,索引和默认值等)

2). insert into new_table select * from old_table 把old_table的数据全部拷贝到new_table里面去

----(如果数据量少的话,在几万行左右建议使用此方案, 如果数据量到达数百万上千万时, 这个也是不适用的)

扩展: 如果你只要拷贝一部分数据表的话,可以指定 insert into new_table (字段1,字段2) select 字段1,字段2 from old_table [limit n,m] ；

1).通过select from into outfile 命令来导出数据表数据

2).通过load data infile into 命令来导入数据表数据

不多废话直接看图,感受下100万左右的数据量方案2 和方案3 处理速度相差多少

>select * from money_info into outfile '/var/lib/mysql-files/money.txt'; 
>create table money_info_cyq11 like money_info;
>load data infile '/var/lib/mysql-files/money.txt' into table money_info_cyq11;

>create table money_info_cyq22 like money_info;
>insert into money_info_cyq22 select * from money_info;

速度在4倍左右,网上说的20倍还没体验到[捂脸]

注:这里还存在一个问题

outfile的目录是有要求的

>show variables like '%secure%';

通过这条命令可以看到secure_file_priv 对应out_file的目录在哪个位置 , 指定这个位置导出即可；

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对的支持。

mysql拷贝表,拷贝mysql,mysql如何拷贝数据库

饿虎岗资源网 Design By www.oxmxm.com

广告合作：本站广告合作请联系QQ：858582 申请时备注：广告合作（否则不回）
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！

饿虎岗资源网 Design By www.oxmxm.com

评论“Mysql提升大数据表拷贝效率的解决方案”

暂无评论...

P70系列延期，华为新旗舰将在下月发布

3月20日消息，近期博主@数码闲聊站透露，原定三月份发布的华为新旗舰P70系列延期发布，预计4月份上市。

而博主@定焦数码爆料，华为的P70系列在定位上已经超过了Mate60，成为了重要的旗舰系列之一。它肩负着重返影像领域顶尖的使命。那么这次P70会带来哪些令人惊艳的创新呢？
根据目前爆料的消息来看，华为P70系列将推出三个版本，其中P70和P70 Pro采用了三角形的摄像头模组设计，而P70 Art则采用了与上一代P60 Art相似的不规则形状设计。这样的外观是否好看见仁见智，但辨识度绝对拉满。

更新日志

2024年11月14日

Mysql提升大数据表拷贝效率的解决方案

win10下mysql 5.7.23 winx64安装配置方法图文教程

基于mysql+mycat搭建稳定高可用集群负载均衡主备复制读写分离操作

评论“Mysql提升大数据表拷贝效率的解决方案”

P70系列延期，华为新旗舰将在下月发布

更新日志

友情链接