如何尽快将大量记录插入到MySql数据库中

Question

我有一个如下所示的数据库表：

create table temperature
(id int unsigned not null auto_increment primary key,
temperature double
);

在我的程序中，我将大约 2000 万个温度插入到表格中。 我在 .Net 环境中工作，使用 Connector/Net 连接到 MySql。 代码如下：

List<double> temps = new List<double>();
...
string connStr = "server=localhost;user=name;database=test;port=3306;password=*****;";
MySqlConnection conn = new MySqlConnection(connStr);
try
{
    conn.Open();

    //temps.Count is about 20 million
    for (int i = 0; i < temps.Count; i++)
    {
        string sql1 = "INSERT INTO temperature VALUES (null, "+temps[i]+")";
        MySqlCommand cmd1 = new MySqlCommand(sql1, conn);
        cmd1.ExecuteNonQuery();
    }

}
catch (Exception ex)
{
    Console.WriteLine(ex.ToString());
}
conn.Close();

如何尽可能快地插入这么多行数据？ （它每分钟只能在我的电脑中插入 2000 条记录。）

Answer 1

有多种方法可以优化批量插入。 一些是：

• LOAD DATA INFILE 。 .NET有一个包装器 API 。 这是最快的方法，但与简单的插入有一些限制和语义差异。

• 多行INSERT语句：

  INSERT INTO temperature (temperature) VALUES (1.0), (2.0), (3.0), ...

  您不应该一次插入 20.000.000 行，但可能想尝试 1.000-10.000 以获得非常大的加速。 这是一种提高速度的简单且没有问题的方法。 通常可以达到 10 倍，有时甚至更多。

• 锁定表（ LOCK TABLES ）。

• 暂时禁用索引。

• MySQL 选项调整。

• INSERT DELAYED （在这里很可能没有那么有用）。

该文档确实为您提供了有关选项的更详细的详细信息。 一些选项取决于表类型（ InnoDB与MyISAM ）。

一般建议：始终指定您在VALUES前面插入的列。 这使得代码更易于维护。

Answer 2

您可以使用bulk insert的概念，它可以同时执行多个插入操作，从而最大限度地减少多次调用ExecuteNonQuery开销。

在 MySQL 中，这称为LOAD DATA ，请在此处查看详细信息： http : //dev.mysql.com/doc/refman/5.5/en/load-data.html

在 MS SQL Server 中，这称为bulk insert ，因此众所周知，这就是我用这个名称提到它的原因。

Answer 3

您应该进行批量插入。 ADO.NET 的方法是使用DataAdapter 。

对于 MySQL 特定的解决方案，请使用MySqlBulkLoader 。

Answer 4

一般规则 ：-

1. 使用加载数据 infile
2. 在导入期间禁用密钥，在导入所有数据后重新启用它
3. 在数据库服务器本身运行脚本，使用套接字而不是 tcp/ip 连接

大多数提示在文档中都有解释。