在Java中處理來自mysql的數百萬條記錄並將結果存儲在另一個數據庫中

Question

• 我在MySQL中有大約1500萬條記錄（只讀），將使用10個表的聯接來獲取這些記錄。 每天大約插入50000個新記錄。 未來數量將繼續增加。
• 每個記錄將由Java程序獨立處理。 將對同一條記錄進行多次處理，並根據該處理計算輸出。
• 結果將存儲在另一個數據庫中。
• 處理應在一小時內完成

我的問題是

1. 如何以分布式方式設計處理引擎（java程序集群）以使處理盡可能快？ 更准確地說，我當時想啟動許多競價型實例並完成處理。
2. mysql會成為讀取瓶頸嗎？
3. 我在大數據解決方案方面沒有任何經驗。 我應該使用spark還是任何其他map reduce解決方案？ 如果是，那我該如何進行？

Answer 1

我處在類似的情況下，我們每天收集大約1500萬條記錄。 我要做的是創建一些收集表，這些表經過旋轉並進行了初始處理。 完成此操作后，我將數據移至下一階段，在將其添加到大型數據集中之前，需要進行進一步的處理。 對其進行分解將獲得最佳性能，並且避免必須遍歷大量數據。

我不確定您對處理數據的含義以及為什么要在Java中進行處理，您可能有充分的理由。 我想如果將它卸載到MySQL並讓它執行盡可能多的處理，性能會更好。