缩放红宝石脚本以使用sidekiq将数据存储在MySQL中？

Question

我有一个可以在几千条记录上正常运行的脚本，并且我开始学习sidekiq来帮助定期在数百万条记录上运行它。

我有两个桌子。 一个装有汽车零件的表和另一个包含销售统计信息的表。 我通过公司提供的API访问销售统计信息，我的脚本从汽车零件表中抓取一行，并从零件统计信息API中请求数据，并将其存储在另一个表中，该表用于与另一个数据集一起进行报告。

我想知道的是，在使用sidekiq时，标记汽车零件表中的记录以了解它们已被处理的最佳方法是什么？

我认为使用1或0进行简单标记是可以的，但是添加最后的Modifyed_date或added_date可能更有效？

哪个选项最适合使用Ruby，Sidekiq和MySQL尽快处理所有记录？

我知道遇到插入问题是MySQL，这是我们一直在研究的一件事，但希望获得一些建议或链接来帮助我们。

我希望一切都清楚。 提前致谢。

Answer 1

我认为使用1或0进行简单标记是可以的，但是添加最后的Modifyed_date或added_date可能更有效？

您正在这里进行微优化。 我可能会过早加入。

我通过公司提供的API访问销售统计信息

与那些API调用的成本相比，这些SQL调整可能带来的任何性能提升都没有。