如何在 BIG QUERY 中创建具有增量负载的表

Question

我有一个 EMP 表，每天都会被 WRITE_TRUNCATE。 截断的数据与记录进入日期一起保存在名为 emp_hx 的历史表中。 像下面这样

但由于空间问题，我们只想维护“hx”表中更改的记录或新记录，这就像一种增量加载的表。 如何在 BIG QUERY 中实现此类表或如何实现 select 此类增量数据，

请指导我们。

预期 output 如下

Answer 1

你似乎想要：

select min(created_time) as created_time, empid, empname, sal
from emp_hx
group by empid, empname, sal;

Answer 2

您可以使用 row_number() 函数仅通过 created_time 拉取最新更新的行

Answer 3

BigQuery 合并命令可以完全按照Google BQ 的要求执行 - 如何将现有数据插入表中？ 如今，所有现代数据湖都支持使用合并命令更新数据。 要检查语法，您可以参考 BigQuery 的合并命令部分： https://cloud.google.com/bigquery/docs/reference/standard-sql/dml-syntax