在Java中处理来自mysql的数百万条记录并将结果存储在另一个数据库中

Question

• 我在MySQL中有大约1500万条记录（只读），将使用10个表的联接来获取这些记录。 每天大约插入50000个新记录。 未来数量将继续增加。
• 每个记录将由Java程序独立处理。 将对同一条记录进行多次处理，并根据该处理计算输出。
• 结果将存储在另一个数据库中。
• 处理应在一小时内完成

我的问题是

1. 如何以分布式方式设计处理引擎（java程序集群）以使处理尽可能快？ 更准确地说，我当时想启动许多竞价型实例并完成处理。
2. mysql会成为读取瓶颈吗？
3. 我在大数据解决方案方面没有任何经验。 我应该使用spark还是任何其他map reduce解决方案？ 如果是，那我该如何进行？

Answer 1

我处在类似的情况下，我们每天收集大约1500万条记录。 我要做的是创建一些收集表，这些表经过旋转并进行了初始处理。 完成此操作后，我将数据移至下一阶段，在将其添加到大型数据集中之前，需要进行进一步的处理。 对其进行分解将获得最佳性能，并且避免必须遍历大量数据。

我不确定您对处理数据的含义以及为什么要在Java中进行处理，您可能有充分的理由。 我想如果将它卸载到MySQL并让它执行尽可能多的处理，性能会更好。