VB.NET 用DataTable更新Access数据库

Question

我一直在阅读一些肝病论坛和一些帮助书籍，但似乎无法理解这一点。 我的任务是从两个文本文件中读取数据，然后将该数据加载到现有的 MS Access 2007 数据库中。 所以这就是我想要做的：

1. 从第一个文本文件中读取数据，并使用 CarID 作为我的唯一字段，为每一行数据添加数据到 DataTable。
2. 从第二个文本文件中读取数据并在 DataTable 中查找现有 CarID（如果存在，则更新该行）。 如果它不存在，则添加一个新行。
3. 一旦我完成将 DataTable 的内容推送到数据库。

到目前为止我所拥有的：

    Dim sSQL As String = "SELECT * FROM tblCars"
    Dim da As New OleDb.OleDbDataAdapter(sSQL, conn)
    Dim ds As New DataSet
    da.Fill(ds, "CarData")
    Dim cb As New OleDb.OleDbCommandBuilder(da)

    'loop read a line of text and parse it out. gets dd, dc, and carId

    'create a new empty row
    Dim dsNewRow As DataRow = ds.Tables("CarData").NewRow()

    'update the new row with fresh data
    dsNewRow.Item("DriveDate") = dd
    dsNewRow.Item("DCode") = dc
    dsNewRow.Item("CarNum") = carID
    'about 15 more fields

    'add the filled row to the DataSet table
    ds.Tables("CarData").Rows.Add(dsNewRow)

    'end loop

    'update the database with the new rows
    da.Update(ds, "CarData")

问题：

在构建我的表时，我使用“SELECT * FROM tblCars”但是如果该表已经有数百万条记录怎么办。 这不是浪费资源吗？ 如果我想用新记录更新，我应该尝试不同的东西吗？

一旦我完成第一个文本文件，然后 go 到我的下一个文本文件。 这里最好的方法是什么：首先查找基于 CarNum 的现有记录或创建第二个表，然后在最后合并两者？

最后，当 DataTable 完成填充并将其推送到数据库时，我想确保如果记录已经存在三个主要字段（DriveDate、DCode 和 CarNum），它们会使用新字段进行更新，如果没有存在然后这些记录被附加。 我的流程有可能吗？

tia AGP

Answer 1

将每个文本文件加载到 memory 是性能更好的选项，并且更易于编码。 这当然完全取决于您有多少 memory 可用，以及您的文本文件有多大。

我的方法是首先将文件中的所有数据加载到 DataTable 中。 然后将此表转换为 XML。 然后，您可以将 XML 传递到存储过程中。 此存储过程会将 XML 转换为可以运行 SQL 查询的表变量或临时表。

从这里开始，这是一个简单的案例，在 tblCars 上的 SP 中使用您传入的数据进行“不存在”查询，并且插入是适用的。

在我看来，这是迄今为止性能最好的选项，您的应用程序无需从 SQL 中提取任何数据。 SQL 已针对此类事物进行了优化，并且将大大超越应用程序。

如果您想变得非常聪明，您可以使用工作线程读取每个文本文件，并在读取它们后立即将它们加载到 SQL 中。 它将节省 memory 的使用量并且速度非常快。