定期從Excel文件更新數據集的策略

Question

我有〜10個excel文件，這些文件是由第三方制作的，並且每晚都有更新，可以下載。 它們包含〜10個字段（所有短文本/日期），每個字段包含約10,000至〜1m行。

我打算創建一個簡單的Web應用程序，以使人們能夠搜索數據。 我將其托管在AWS或類似產品上。 搜索量會很輕，每天大約有1000次搜索。

我必須假設所有記錄在每個晚上都是唯一的，並且需要完全替換在線數據集。

對於我來說，將excel文件中的數據轉換為Postgres這樣的數據庫並在其之上創建一個簡單的搜索相對簡單。

我的問題是如何處理每晚進行數據庫更新所需的時間？ 我應該創建兩個數據庫，讓我的應用程序隔夜更改一次嗎？

處理這種情況的典型策略是什么？

我目前的技能是Ruby / Rails / Postgres構建和簡單的（ish）Web應用程序。 我一直對技術含糊不清，因為我對使用什么持開放態度。 我很高興學習一些新知識來解決問題。

Answer 1

如果您一次完成所有更新，則不需要太多的dbs-在您每次更新表時，人們看到的都是“舊”版本，在COMMIT之后不久，他們將看到所有的“新”版本。