完整 api 调用的增量加载

Question

我有一个 API，我需要从中获取注册数据到我的数据库中并每天对其进行汇总。 每次我调用 API 时，我都会获得数据的完整副本。 有时旧帐户会被删除，因此历史数据会发生变化。

这是来自 API 的数据的样子：

我想像这样汇总它，以查看每日帐户创建和激活：

现在，我可以做的是每天导入完整数据，然后像这样聚合：

SELECT
Current_date() as snapshot_date,
SUM(CASE WHEN accountCreateOn = current_date() THEN 1  ELSE 0 END) as accountCreateOn,
SUM(CASE WHEN accountActivateOn = current_date() THEN 1  ELSE 0 END) as accountActivateOn
FROM full_data

但这似乎不是很抗故障。 如果管道出现故障几天会发生什么？ 解决此类问题的正确方法是什么？

Answer 1

最简单和最容错的方法是完整地存储您获得的数据，并尽可能详细地存储它们。 您无法获得任何更好的信息，并且遗漏信息（包括对其进行聚合）总是会带来危险，即有一天您会想要回答有关那些本可以在完整数据集上回答但无法回答的问题的问题回答了减少的一个。

离开这条路径的唯一原因可能是数据集太大以至于无法存储和处理它们。 对于在现代硬件上运行的现代 DBMS 系统，您不太可能遇到该问题。 因此，我会为我的业务创建最大规模的综合测试数据，比如我梦想的每年帐户激活的 10 倍。 如果数据库可以处理这一点，则意味着您不必担心一个问题。