Nifi MergeRecord处理器合并空值

Question

我正在拆分字段列表，并尝试在最后合并它们。 我有2种字段，标准字段和自定义字段。 我处理自定义字段的方式与标准字段不同。

{
 "standardfield1" : "fieldValue1",
  "customField1" : "customValue"
}

这些必须翻译成

{ 
  "standardfield1" : "fieldValue1",
  "customFields" : [
   { "type" : "customfield",
     "id" : 1212 //this is id of the customField1, retrieved at run time
     "value" :  "customValue"
   } ]
}

我的mergeRecord架构设置为

{
  "name": "custom field",
  "namespace": "nifi",
  "type": "record",
  "fields": [
    { "name": "id", "type": "string" },
    { "name": "type", "type": "string" },
    { "name": "value", "type": "string" }

  ]
}

根据我的需要，我将标准字段的内容设置为新的flowfile属性，因为我可以从中提取它，并将空值放入flowfile内容中。

因此，自定义字段和标准字段都连接到mergeRecord处理器。

只要有效负载中有自定义字段，它就可以正常工作。 如果只有标准字段而没有自定义字段，则mergeRecord处理器将不会合并任何内容，也不会失败，它只会引发NullPointerException，并且流文件会永远停留在队列中。

我想使mergeRecord处理器甚至合并空的内容流文件。

任何帮助，将不胜感激

Answer 1

我不确定我是否完全理解您的用例，但是对于上面的输入，如果您已将customField1的ID提取/填充到属性中（我们称其为myId），则可以使用JoltTransformJSON在上方获得所需的输出，使用此链规范：

[
  {
    "operation": "shift",
    "spec": {
      "standardfield1": "standardfield1",
      "customField*": {
        "@": "customFields.[&(1,1)].value",
        "#customfield": "customFields.[&(1,1)].type",
        "#${myId}": "customFields.[&(1,1)].id"
      }
    }
  },
  {
    "operation": "remove",
    "spec": {
      "customFields": {
        "0": ""
      }
    }
  },
  {
    "operation": "modify-overwrite-beta",
    "spec": {
      "customFields": {
        "*": {
          "id": "=toInteger"
        }
      }
    }
  }
]

如果存在customField，这将创建customFields数组，并使用上面的值（包括myId属性的值）填充该数组。 您可以进行调整（例如，在上面的Chain中添加Default规范），以便为customFields添加一个空数组（例如，保持架构满意）。 如果我误解了您要做什么，请告诉我，我们将尽最大努力为您提供帮助。