是否可以將 WebHDFS 與 Flume 一起使用？

Question

我想讓flume代理位於hadoop集群之外，並且想知道是否可以使用flume使用WebHDFS將消息發送到hadoop集群中。

如果沒有，是否有使用 WebHDFS 的替代方法？ 使用多層水槽仍然需要我在 hadoop 集群內運行水槽代理。

Answer 1

水槽代理可以在他們自己的機器上運行，而無需在 hadoop 集群中，只要你指定“hdfs”作為它們的類型。

我有一個水槽代理將 avro 事件寫入 hdfs 接收器，而不是在 hadoop 集群上或使用 WebHDFS。

下面是它的設置：

agent.sinks.sink1.channel = channel1
agent.sinks.sink1.type = hdfs
agent.sinks.sink1.hdfs.path = hdfs://hadoopd1.x.y.z/day/id/
agent.sinks.sink1.hdfs.rollInterval = 300
agent.sinks.sink1.hdfs.fileType = DataStream
agent.sinks.sink1.hdfs.writeFormat=Text
agent.sinks.sink1.hdfs.fileSuffix=.avro
agent.sinks.sink1.serializer=avro_event
agent.sinks.sink1.serializer = org.apache.flume.sink.hdfs.AvroEventSerializer$Builder