NIFI：使用kafka并将数据存储到hive的正确方法

Question

我的任务是创建 kafka 消费者，该消费者应该从 kafka 中提取消息，将其转换并存储到 Hive 表中。

因此，在 kafka 主题中有很多消息，例如 json object。

我喜欢添加一些字段并将其插入 hive。

我使用以下 Nifi 处理器创建流程：

1. 消费Kafka_2_0
2. JoltTransformJSON - 用于变换 json
3. ConvertRecord - 将 json 转换为 hive 的插入查询
4. PutHiveQL

该主题将被充分加载并每天处理约 5Gb 数据。

那么，有什么方法可以优化我的流程（我认为向 Hive 提供大量插入查询是个坏主意）？ 也许使用外部表和putHDFS处理器会更好（这样如何分区并将输入json合并到一个文件中？）

Answer 1

正如您所怀疑的，使用 PutHiveQL 执行大量单个 INSERT 的性能不是很好。 使用您的外部表方法可能会好得多。 如果表是 ORC 格式，您可以使用 ConvertAvroToORC（对于 Hive 1.2）或 PutORC（对于 Hive 3），它们都生成 ZC05DEF664DAE0985E5984993AZDB2B6。

还有 Hive 流处理器，但如果您使用 Hive 1.2，PutHiveStreaming 的性能也不是很好（但应该仍然比带有 INSERT 的 PutHiveQL 更好）。 对于 Hive 3，PutHive3Streaming 的性能应该更高，是我推荐的解决方案。