mysql亿级数据量转移数据慢的情况用程序处理

[mysql] 2022-08-16 圈点751

摘要:​mysql在上亿级优化一下结构还是够用的,不过在亿级数据量转移数据时就会比较麻烦了,会比较慢,情况分析如下

mysql在上亿级优化一下结构还是够用的,不过在亿级数据量转移数据时就会比较麻烦了,会比较慢,情况分析如下。


1,数据量在上亿级一般的存储空间在30G以上。会比较大。

2,转移数据的时候,只带字段名,不要带主键和索引等附加结构。速度会非常快。

3,如果数据需要处理,比如:去重,过滤等。能用程序处理的尽量在程序中消耗内存处理,也可以在程序中分段处理数据,尽量不要在数据库中处理,会非常慢。

4,在这个级别转移后,创建索引等也是相当的慢,可以手动暂停索引,再修复索引,会快得多。一般需要关闭数据库或者是锁表处理。

5,转移数据的时候,如果需要对数据量进行相当大的变动,可以先按一定的规则分表,再合表。比如需要对某个varchar字段去重,可以对这个字段的第1个字符分批处理,然后各去重,再合并。

​mysql  

感谢反馈,已提交成功,审核后即会显示