apache-nifi：使用模板时如何避免重复

Question

我正在使用NiFi在远程Hive上执行一些查询。
由于查询很复杂而且没有SELECT任何东西我需要使用需要查询为FlowFile的PutHiveQL处理器。
要在流文件中生成一个查询，我正在使用GenerateFlowFile后跟一个ReplaceText 。
群集有3个主机，查询执行3次。
有没有办法以简单的方式生成/执行此查询一次？

为了避免重复，我试图使用HashContent然后是DetectDuplicate ，我面临着缓存持久性问题。

如何使用处理器从DistributedMapCacheService删除条目？
有没有办法设置存储在DistributedMapCacheService的每个条目的TTL？

Answer 1

您可以将GenerateFlowFile处理器安排在处理器的“调度”选项卡上的“仅主节点”上运行。 这将仅导致集群中的主节点执行该处理器，从而仅执行一个查询。