MySQL-如何快速插入百万行？ [重复]

Question

这个问题已经在这里有了答案：

• 如何尽快将2000万条记录插入MySql数据库中 4答案

因此，出于开发目的，我需要一个具有约100万至1亿个值的表，而我目前的方法根本不是很快。

开发人员通常要做什么以使其表具有百万行，以测试其程序可以多快地处理它们？

我当前的方法有10个for循环，但是对于需要的行数来说，它的速度确实很慢。

那么，我该怎么办才能快速插入数百万行？在这种情况下，专业开发人员会做什么？

Answer 1

1. 编写脚本以生成数据
2. 使用输出插入数据库
3. 过夜
4. 在做事情时享受一品脱

Answer 2

从您的问题尚不清楚，您需要插入的数据的本质是什么，但是，如果可以动态生成数据，那么比最快的方式是在一个查询中执行此操作（将插入1m个客户）

INSERT INTO customers (id, customer_name)
SELECT n, CONCAT('Customer', n)
  FROM
(
select a.N + b.N * 10 + c.N * 100 + d.N * 1000 + e.N * 10000 + f.N * 100000 + 1 N
from (select 0 as N union all select 1 union all select 2 union all select 3 union all select 4 union all select 5 union all select 6 union all select 7 union all select 8 union all select 9) a
      , (select 0 as N union all select 1 union all select 2 union all select 3 union all select 4 union all select 5 union all select 6 union all select 7 union all select 8 union all select 9) b
      , (select 0 as N union all select 1 union all select 2 union all select 3 union all select 4 union all select 5 union all select 6 union all select 7 union all select 8 union all select 9) c
      , (select 0 as N union all select 1 union all select 2 union all select 3 union all select 4 union all select 5 union all select 6 union all select 7 union all select 8 union all select 9) d
      , (select 0 as N union all select 1 union all select 2 union all select 3 union all select 4 union all select 5 union all select 6 union all select 7 union all select 8 union all select 9) e
      , (select 0 as N union all select 1 union all select 2 union all select 3 union all select 4 union all select 5 union all select 6 union all select 7 union all select 8 union all select 9) f
) t

这是10k行的SQLFiddle演示

推荐阅读：

• MySQL：有效地填充存储过程中的表
• INSERT语句的速度

Answer 3

通常，插入最慢的部分是更新索引。 要加快批量插入的速度，请禁用索引，发送插入，然后重新启用它们。

另外，请使用多重插入语法中的一种，而不是为每个单独的行发出INSERT语句。

Answer 4

我想您插入您的记录，如下所示：

INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");
INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2");

而是使用此：

INSERT INTO `table1` (`field1`, `field2`) VALUES ("data1", "data2"),
                                                 ("data1", "data2"),
                                                 ("data1", "data2"),
                                                 ("data1", "data2"),
                                                 ("data1", "data2");

注意：要优化插入速度，请将许多小操作合并为一个大操作。 理想情况下，您进行单个连接，一次发送许多新行的数据，并将所有索引更新和一致性检查延迟到最后。

Answer 5

最快的解决方案是根本不加载数据，而是从预先填充的数据目录开始。

如果您只是初始化数据以进行开发/测试，则根本不要加载数据。 从物理备份启动MySQL的新实例。

您可以使用Percona XtraBackup对任何正在运行的MySQL实例进行物理备份，而不会阻止流量。

然后准备备份，即可立即用作实时数据目录。

然后，您可以像运行cp一样快地建立一个新的测试实例，以复制该数据目录，并启动mysqld的实例，并在备份副本中指定--datadir。

您可以重复此操作，将物理备份复制到所需的多个开发/测试实例。

---

第二种选择：不使用INSERT ，使用LOAD DATA INFILE 。 即使使用预备语句和多行语法，这也比使用INSERT快一个数量级。

第三种选择：将批量数据准备为CSV文件，将其移至MySQL的数据目录，然后创建一个表，其中ENGINE=CSV指向该文件。 瞧，您有一个充满数据的表。 然后使用ALTER TABLE ENGINE=InnoDB并将其转换为真实的内部表。