是否可以将 WebHDFS 与 Flume 一起使用？

Question

我想让flume代理位于hadoop集群之外，并且想知道是否可以使用flume使用WebHDFS将消息发送到hadoop集群中。

如果没有，是否有使用 WebHDFS 的替代方法？ 使用多层水槽仍然需要我在 hadoop 集群内运行水槽代理。

Answer 1

水槽代理可以在他们自己的机器上运行，而无需在 hadoop 集群中，只要你指定“hdfs”作为它们的类型。

我有一个水槽代理将 avro 事件写入 hdfs 接收器，而不是在 hadoop 集群上或使用 WebHDFS。

下面是它的设置：

agent.sinks.sink1.channel = channel1
agent.sinks.sink1.type = hdfs
agent.sinks.sink1.hdfs.path = hdfs://hadoopd1.x.y.z/day/id/
agent.sinks.sink1.hdfs.rollInterval = 300
agent.sinks.sink1.hdfs.fileType = DataStream
agent.sinks.sink1.hdfs.writeFormat=Text
agent.sinks.sink1.hdfs.fileSuffix=.avro
agent.sinks.sink1.serializer=avro_event
agent.sinks.sink1.serializer = org.apache.flume.sink.hdfs.AvroEventSerializer$Builder