Spring 批處理 - 需要幫助和建議來決定比較兩個不同數據庫的最佳方法並創建具有差異的 excel 報告

Question

問題陳述：我需要比較兩個不同數據庫之間的詳細信息，並通過 excel 報告不匹配情況。其中一個數據源是我信任的主數據源 (DB2)，而輔助數據源（在本例中為 HANA）需要與小學相比。 我是Spring批次的新手。 任何幫助表示贊賞。

設計方法：我從基於塊的處理開始，我正在使用 Item Reader 來讀取主要數據（比如一天，因為我希望每天報告這些不匹配）。 據我了解 Spring 文檔和到目前為止來自 Stackoverflow 的參考資料，建議通過 Item reader 讀取主數據源，為每個項目從輔助數據庫中獲取相應的數據並構建一個摘要 object，它將寫成 Excel 或 CSV文件。

問題：

1. 在項目處理器中為每條記錄進行數據庫調用會不會太過分了？ 或者在通過使用 tasklet 並行讀取數據源后，在 memory 中比較它們是否有點矯枉過正。 （我不確定我是否可以通過tasklet實現同步讀取）。 我們在第一次運行期間查看主表中大約 400,000 條記錄，之后每天運行大約 2000 條記錄。
2. 此外，主數據庫有 2 個表（在不同模式下，其中一個是 Base 並提供與另一個表和其他數據源進行比較的參考）需要進行比較，我目前正在通過連接查詢和 Item 閱讀器獲取來實現這一點使用此連接查詢的數據。 有一個更好的方法嗎。？

Answer 1

在這種情況下，我建議從第一個數據庫讀取數據，然后在處理器中查詢第二個數據庫。 如果此數據不存在於第二個數據庫中，則此值將傳遞給負責將其寫入 excel 文件的編寫器。