定期从Excel文件更新数据集的策略

Question

我有〜10个excel文件，这些文件是由第三方制作的，并且每晚都有更新，可以下载。 它们包含〜10个字段（所有短文本/日期），每个字段包含约10,000至〜1m行。

我打算创建一个简单的Web应用程序，以使人们能够搜索数据。 我将其托管在AWS或类似产品上。 搜索量会很轻，每天大约有1000次搜索。

我必须假设所有记录在每个晚上都是唯一的，并且需要完全替换在线数据集。

对于我来说，将excel文件中的数据转换为Postgres这样的数据库并在其之上创建一个简单的搜索相对简单。

我的问题是如何处理每晚进行数据库更新所需的时间？ 我应该创建两个数据库，让我的应用程序隔夜更改一次吗？

处理这种情况的典型策略是什么？

我目前的技能是Ruby / Rails / Postgres构建和简单的（ish）Web应用程序。 我一直对技术含糊不清，因为我对使用什么持开放态度。 我很高兴学习一些新知识来解决问题。

Answer 1

如果您一次完成所有更新，则不需要太多的dbs-在您每次更新表时，人们看到的都是“旧”版本，在COMMIT之后不久，他们将看到所有的“新”版本。