Apache Nifi ExecuteSQL處理器

Question

我正在嘗試使用ExecuteSQL處理器從oracle數據庫中獲取數據。我有一些查詢，比如我的oracle數據庫中有15條記錄。當我運行ExecuteSQL處理器時，它將作為流處理連續運行並將整個記錄存儲為HDFS中的單個文件並重復執行相同操作。因此，hdfs位置中將有許多文件將從oracle db獲取已經獲取的記錄，這些文件包含相同的數據。如何使這個處理器在這樣的數據庫中運行它必須從oracle db獲取所有數據一次並存儲為單個文件，並且當新的記錄插入到db中時，它必須將它們攝取到hdfs位置？

Answer 1

看一下QueryDatabaseTable處理器：

https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.standard.QueryDatabaseTable/index.html

您需要告訴此處理器一個或多個列用於跟蹤新記錄，這是最大值列屬性。 如果你的表有一個id-id列，你可以使用它，每次運行它都會跟蹤看到的最后一個id，並在下次執行時從那里開始。