使用NiFi将CSV数据导入Hive

Question

我正在尝试将csv数据导入Hive数据库。 以此目的，

我尝试过

listFile --> FetchFile --> ConvertCSVToAvro --> ConvertAvroToOrc --> PutHDFS

CSV数据被转换为ORC格式，并且数据正在加载到HDFS中。 在此HDFS数据之上，我可以创建配置单元外部表。

现在，我想用putHiveQL处理器进行测试。

为此，我需要将CSV数据转换为AVRO到JSON？

无法将ORC数据直接加载到Hive中？

如果是，我们必须手动创建Hive表还是自动创建？

Answer 1

我们可以在NiFi流本身中创建Hive表 。

ConvertAvroToOrc处理器使用该属性将hive.ddl属性添加到flowfles，我们可以使用PutHiveQL处理器在Hive中创建表。

listFile --> FetchFile --> ConvertCSVToAvro --> ConvertAvroToOrc --> PutHDFS -->
 ReplaceText(Always replace with ${hive.ddl}) --> PutHiveQL

对此，我已经详细说明了有关NiFi流程的信息，以在配置单元中动态创建表/分区。

• 将ORC数据加载到HDFS中之后，请在HDFS目录顶部创建表。
• 通过使用SelectHiveQL从表中读取数据，并基于处理器中选择的output format(csv,avro)生成该格式的流文件。