增量 - Pentaho 数据集成 (PDI)

Question

我开始使用 pentaho 数据集成，我打算用它来用来自服务器的数据更新数据湖。 但是，我只需要添加数据湖中尚不存在（增量）的数据。

SQL 示例：

SELECT COLUM1, COLUM2, COLUM3, COLUM4 FROM TABLEX

我不知道我是否可以通过 sql、filter 或其他方式进行此增量。

Answer 1

有多种方法可以实现这一目标

例子 ：

取两个表输入步骤（源和目标）和两个添加校验和步骤，然后比较源和目标的校验和，如果不匹配则插入目标。

Answer 2

让事情变得简单：使用流查找和过滤器。

第一步，从源中通过一些键（业务键，bla bla ...）在湖中查找目标表，并获取新列作为名称检查器（初始检查器在查找链接中的选择子句中等于 1）。

第二步，如果 checker = 1（目标中存在记录），则不执行其他操作，将新记录插入到目标中。