使用Java将文件中的大量数据传输到数据库？

Question

我能够将巨大的文本文件数据加载到行数为33264591的数据库中。我使用普通的BufferedReader逐行读取数据并能够推送数据。 在这里，要花近3个小时的时间来逐行读取并插入数据库需要大量时间。

有人可以建议我使用Java快速插入数据的更好方法吗？

先感谢您

Answer 1

好吧，在继续之前，我建议您使用探查器并找出为什么要花费这么多时间。 如果您知道问题出在哪里，将更容易解决。

Answer 2

我相信读取大文件的最佳方法是使用BufferedReader并逐行读取它。 这就是您正在做的。 我想知道您是否在读取文件的同一循环中插入数据。 在您的情况下，我能想到的唯一优化方法是在单独的线程中进行数据库插入，这样就不会由于DB插入过程中的任何延迟而阻止文件读取。 随着表大小的增加，数据库插入将逐渐开始变得越来越慢。 因此，在单独的线程中进行数据库插入将是一个好主意。

Answer 3

批量插入，而不是一次插入一行。