使用 NiFi 在 HBase 中摄取 json 数据

Question

我正在尝试将存储在 HDFS 中的非常简单的 XML 文件写入 HBase。 我想将 XML 文件转换为 json 格式，并在 HBase 中为 json 数组中的每个元素创建一行。 请参阅以下 XML 结构：

<?xml version="1.0" encoding="UTF-8"?>
<customers>
<customer customerid="1" name="John Doe"></customer>
<customer customerid="2" name="Tommy Mels"></customer>
</customers>

并查看以下所需的 HBase output 行：

1    {"customerid"="1","name"="John Doe"}
2    {"customerid"="2","name"="Tommy Mels"}

我已经为我的流程尝试了许多不同的处理器，但这就是我现在所拥有的：GetHDFS -> ConvertRecord -> SplitJson -> PutHBaseCell。 ConvertRecord 工作正常，正在将 XML 文件正确转换为 json 格式，但我无法将 json 记录拆分为 2。

c5927a55-d217-4dc1-af04-0aff743 column=person:rowkey, timestamp=1574329272237, value={"customerid":"1","name":"John Doe"}\x0A{
 cfe4e                           "customerid":"2","name":"Tommy Mels"}

对于 splitjson 处理器，我使用以下 jsonpath 表达式：$.*

截至目前，我在 PutHBaseCell 处理器中收到 IllegalArgumentException，指出行长度为 0，请参阅以下 PutHBaseCell 处理器设置：

有什么提示吗？

Answer 1

我认为问题在于 SplitJson 无法正常工作，因为从技术上讲，您的流文件的内容是多个 json 文档，每行一个。 我认为 SplitJson 会期望它们位于一个数组中，例如：

[
    {"customerid"="1","name"="John Doe"},
    {"customerid"="2","name"="Tommy Mels"}
]

一种选择是将 SplitRecord 与 JsonTreeReader 一起使用，它应该能够理解 json-per-line 格式。

另一种选择是避免使用 JsonTreeReader 将 ConvertRecord -> PutHBaseRecord 中的 go 拆分在一起。