将 1000 多条记录写入数据库表的最有效方法

Question

我们有一个产品，一旦我们公司的一名员工批准，就需要将 1000 多条记录写入数据库表。 一次写入此数量记录的传统方式可能是循环或 MySQL 直接批量插入表。

除此之外，我还有几个表正在由 CRON 作业检查，并一次用 2000 条记录更新另一个表。

我很想知道我是否应该继续进行 MySQL 批量插入（这会影响性能）还是使用像 Kafka 这样的事件处理工具？

Answer 1

我感觉到一个技巧可以比LOAD DATA更快地加快速度，这可能是最快的......

“一旦被...批准”——这是否意味着您将数据放在某处，并且想要“按下按钮”将它们添加到特定表中？ 如果是这样的话，...

将它们预加载到另一个表中。 然后让这个查询准备好运行：

INSERT INTO real_table
    SELECT * FROM pending_table;

但是...列是否正确排列？ 可以有双键吗？ 如果是这样，您是否需要更新某些内容？ 见 IODKU。 等等。

我建议你在这一天到来之前测试这个过程。 如果失败了可能会很尴尬。