mysql亿级数据量转移数据慢的情况用程序处理

mysql在上亿级优化一下结构还是够用的，不过在亿级数据量转移数据时就会比较麻烦了，会比较慢，情况分析如下。

1，数据量在上亿级一般的存储空间在30G以上。会比较大。

2，转移数据的时候，只带字段名，不要带主键和索引等附加结构。速度会非常快。

3，如果数据需要处理，比如：去重，过滤等。能用程序处理的尽量在程序中消耗内存处理，也可以在程序中分段处理数据，尽量不要在数据库中处理，会非常慢。

4，在这个级别转移后，创建索引等也是相当的慢，可以手动暂停索引，再修复索引，会快得多。一般需要关闭数据库或者是锁表处理。

5，转移数据的时候，如果需要对数据量进行相当大的变动，可以先按一定的规则分表，再合表。比如需要对某个varchar字段去重，可以对这个字段的第1个字符分批处理，然后各去重，再合并。