根据Kafka-> Flume-> hdfs接收的消息数据写入自定义HDFS目录
[英]Writing to custom HDFS directory based on message data for Kafka -> Flume -> hdfs ingestion
问题描述
如何根据Kafka消息中的消息类型使用Flume写入自定义hdfs目录？
假设kafka消息： {"type": "A", "data": "blah"}在type字段中具有“ A”的消息应写入/data/A ，消息： {"type": "B", "data": "blah"}在类型字段中具有” B“的应写入/data/B等
1 个解决方案
解决方案1
1 已采纳 2015-12-29 07:08:08
我认为您需要自定义水槽水槽。 Apache Flume自定义接收器
Flume HDFS Sink无法从Kafka通道在hdfs中创建文件
[英]Flume HDFS sink is not creating files in hdfs from Kafka channel
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.