将记录从哈希表插入数据库

Question

我正在寻找关于基于对象集合将大量记录插入数据库（从SQL2000开始）的最佳方式的任何建议。

目前，我的代码看起来类似于下面的代码片段，并且每条记录都使用一个简单的sql简单INSERT命令插入（每次调用该函数时都要打开和关闭数据库连接！-我确定这一定会使速度变慢吗？）。

该例程需要能够应付常规地插入多达100,000条记录的问题，我想知道是否有更快的方法（我敢肯定一定有？？）。 我看到一些帖子提到使用基于xml的数据和批量复制例程-这是我应该考虑的问题，还是任何人都可以提供任何可以建立的简单示例？

foreach (DictionaryEntry de in objectList)
{
  eRecord record = (eRecord)de.Value;

  if (!record.Deleted)
  {
    createDBRecord(record.Id,               
                   record.Index,
                   record.Name,
                   record.Value);
  }
}

感谢您的任何建议，

保罗。

Answer 1

这样做会比较慢。 您需要考虑使用BCP或BULK INSERT的批量INSERT技术，或者如果使用的是.NET 2.0，则可以使用SqlBulkCopy类 。 这是使用SqlBulkCopy的示例： SqlBulkCopy-在SQL Server之间高速复制表数据

这是SQL Server 2000的一个简单示例：

如果您有CSV文件csvtest.txt，格式如下：

1，约翰·史密斯

2，鲍勃，霍普

3，凯特，居里

4，彼得，绿色

此SQL脚本会将csv文件的内容加载到数据库表中（如果任何行包含错误，将不会插入该错误，而将插入其他行）：

USE myDB
GO

CREATE TABLE CSVTest
(
    ID INT,
    FirstName VARCHAR(60),
    LastName VARCHAR(60)
)
GO

BULK INSERT 
CSVTest
FROM 'c:\temp\csvtest.txt'
WITH
(
    FIELDTERMINATOR = ',',
    ROWTERMINATOR = '\n'
)
GO


SELECT *
FROM CSVTest
GO

您可以将字典内容写到CSV文件中，然后大容量插入该文件。

另请参见： 使用bcp和BULK INSERT

如果实现自己的IDataReader方法，则可以避免写入中间文件。 请参阅ADO.NET 2.0教程：重新讨论了SqlBulkCopy以高速传输数据

相关的SO问题： 如何将变量如数组/数据表传递给SQL Server？