Apache Nifi ExecuteSQL处理器

Question

我正在尝试使用ExecuteSQL处理器从oracle数据库中获取数据。我有一些查询，比如我的oracle数据库中有15条记录。当我运行ExecuteSQL处理器时，它将作为流处理连续运行并将整个记录存储为HDFS中的单个文件并重复执行相同操作。因此，hdfs位置中将有许多文件将从oracle db获取已经获取的记录，这些文件包含相同的数据。如何使这个处理器在这样的数据库中运行它必须从oracle db获取所有数据一次并存储为单个文件，并且当新的记录插入到db中时，它必须将它们摄取到hdfs位置？

Answer 1

看一下QueryDatabaseTable处理器：

https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.standard.QueryDatabaseTable/index.html

您需要告诉此处理器一个或多个列用于跟踪新记录，这是最大值列属性。 如果你的表有一个id-id列，你可以使用它，每次运行它都会跟踪看到的最后一个id，并在下次执行时从那里开始。