使用ADO将大型csv文件导入mdb时的性能问题

Question

这是我的代码，但是将所有1700万行导出到mdb大约需要一个小时。 我不能为此目的使用mysql或sql server。 我必须在Access db中执行此操作，并且很快因为此过程每周运行一次。 Plz建议可用于此任务的最快方法

Sub insertDataIntoMDB()
 Dim Dbfilepath As String
 Set cnn = CreateObject("ADODB.Connection")
 Set rs = CreateObject("ADODB.Recordset")
 Set rst = CreateObject("ADODB.Recordset")

        Dim arrData() As String
        Dim s As String
        Dim i As Integer


        Dbfilepath = ThisWorkbook.Path & "\DB\Interface.accdb"
        cnn.Open "Provider= Microsoft.ACE.OLEDB.12.0;" & " Data Source=" & Dbfilepath & ";" & "Persist Security Info =False;"

        q1 = "DELETE * FROM MYTABLE"
        Set rs = cnn.Execute(q1)

        'q1 = "ALTER TABLE MyTable ALTER COLUMN ID autonumber(1,1)"
        'Set rs = cnn.Execute(q1)

        p = UserForm1.csvFolder & "\" & sItem & ".csv"

        Open p For Input As #1
        Do While Not EOF(1)

          Close #1


            Line Input #1, s
            arrData = Split(s, ",")
           q1 = "INSERT INTO MyTable(F1,F2,F3) values(" & arrData(0) & "," & arrData(1) & "," & arrData(2) & ")"
           Set rst = cnn.Execute(q1)
        Loop
        Close #1
        rs.Close
        rs`enter code here`t.Close
        Set rst = Nothing
        cnn.Close
        Set rs = Nothing
        Set cnn = Nothing


End Sub

Answer 1

在这里，您的速度非常慢，并且有可能破坏数据。

q1 = "INSERT INTO MyTable(F1,F2,F3) values(" & arrData(0) & "," & arrData(1) & "," & arrData(2) & ")"
Set rst = cnn.Execute(q1)

字符串连接速度很慢，尤其是在VBA中。 因此，一旦您编写"something" & "something"并将其放入循环中，您就会要求性能降低。

此外，使用DAO的访问通常比使用ADO的访问要快。

阅读此答案
也许这个问题及其答案

如果您坚持使用ADO，则可能要使用SELECT语句打开记录集，然后将数据追加到该记录集，然后再调用UpdateBatch。

您可以在这里阅读更多讨论

祝好运！