每10分钟从CSV文件更新一次MySQL

Question

我是MySQL的新手，正在寻找一种每10分钟运行一次MySQL更新的方法。 基本上，有一个中央CSV文件，该文件每十分钟在我们从中获取数据的服务器上更新一次。 我正在尝试设置一个MySQL表，该表将读取该CSV文件，并每隔十分钟将其加载到MySQL表中。

我知道您可以使用“加载数据”直接将MySQL表链接到CSV文件。 我的困惑来自实际的自动更新。 我进行了一些研究，并阅读了有关“ cron”作业的信息，这些作业将按设定的时间间隔执行自动化任务。 我的想法是让cron作业每十分钟运行一次PHP脚本（如果主机允许的话）。

我只是想知道这是否是最佳做法。 我一直在搜寻，没有看到许多其他选择，并且想看看你们是否都知道我可能会缺少的任何其他方法，因此我可以对这项工作进行适当的评估。 谢谢你的帮助！

Answer 1

cron将成为必经之路。 根据所加载文件的大小，这可能是一项昂贵的任务（就时间而言）。 我建议cron将文件上传到临时表，然后在事务中删除旧表，然后将临时表重命名为正确的表名。 如果文件相对较小，则遍历文件中的每一行并基于查询数据库确定是否需要添加或更新记录可能很有意义。