Hadoop Flume Java客户端将日志传输到hdfs

Question

是否可以使用flume Java客户端将Web服务器日志传输到HDFS？ 如果是这样，怎么办？ 请帮我.....

我已经看到几个人在写入HDFS时遇到问题

Answer 1

使用log4j Flume附加程序将应用程序事件发送到Flume。 然后，Flume可以将事件写入HDFS，稍后可以使用Hive或其他框架对其进行分析。 检查本文以获取有关代码和配置文件的详细说明。 本文中提到的附加程序是Flume的一部分，已移至 Log4J 2 。

另外，从Facebook看Scribe 。 但是，它已经超过2年没有更新。 看起来它并没有引起太多关注。