通過API導入大數據

Question

我正在嘗試開發一個系統，我將通過提供的API將我的數據庫與3方數據庫同步。 API具有我們可以提供From-Date和To-Date的格式

問題

1. 沒有API只給我修改過的記錄。
2. 數據太大（平均每天1000條記錄）
3. 需要一個調度程序，以便所有記錄自動更新
4. 我還需要跟蹤修改后的記錄（這是最大的問題，因為我無法通過修改日期獲取它們）

注意：根據之前的要求，我已經開發了一個系統，我可以在其中指定記錄的日期和日期更新（使用GUI完成，沒有使用ajax）。 即使我要求1天的記錄，系統也會出現超時錯誤。

注2：我真的不應該說，但客戶端太嚴格（DUMB）;（他只需要解決方案別的什么都不會做

Answer 1

假設數據不需要“新鮮”，您是否可以編寫一個進程來每小時/每晚運行那些數據並將其處理到數據庫中？

顯然，這只有在您確定以前的記錄未更新時才有效嗎？

API是否提供批次？

為什么選擇使用Ajax的Web客戶端來處理這些數據？ Windows /控制台應用程序會更適合嗎？

Answer 2

如果數據太大而無法通過任何給定的查詢進行檢索，那么您只需通過ID進行檢索即可。 找出一個好的大小（100條記錄？250？），然后按該大小的組旋轉系統中的每條記錄。

你沒有說你是在拉下數據，推高數據，還是兩者兼而有之。 如果你只是把它拉下來，那么這是你能做的最好的，隨着更多記錄的增加，它會越來越慢。 如果您只是推動它，那么您可以跟蹤“推送日期”。 如果是兩者，你如何解決沖突？