用水槽或kafka替换掉

Question

我需要您的建议。 在当前情况下，我们在云上只有一个应用程序，通过splunk，我们可以查看日志。 我正在考虑使用我们的大数据工具（例如flume / kafka）来实现这一点，其中我可以从云（当前由splunk获取）中获取实时日志数据，并将其提供给我们的HDFS。 这里很少关注

1. 这可行并且有意义吗？
2. 用于日志搜索（具有与splunk相同的功能）
   

我们可以使用哪种工具？

Answer 1

如果只想将日志移入HDFS，则可以将Flume与HDFS接收器一起使用。
其他选项也很少，例如-

Logstash

您可以使用诸如Elasticsearch和Kibana之类的其他框架来为日志提供更多功能。