根據Kafka-> Flume-> hdfs接收的消息數據寫入自定義HDFS目錄
[英]Writing to custom HDFS directory based on message data for Kafka -> Flume -> hdfs ingestion
問題描述
如何根據Kafka消息中的消息類型使用Flume寫入自定義hdfs目錄？
假設kafka消息： {"type": "A", "data": "blah"}在type字段中具有“ A”的消息應寫入/data/A ，消息： {"type": "B", "data": "blah"}在類型字段中具有” B“的應寫入/data/B等
1 個解決方案
解決方案1
1 已采納 2015-12-29 07:08:08
我認為您需要自定義水槽水槽。 Apache Flume自定義接收器
Flume HDFS Sink無法從Kafka通道在hdfs中創建文件
[英]Flume HDFS sink is not creating files in hdfs from Kafka channel
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.