用水槽或kafka替換掉

Question

我需要您的建議。 在當前情況下，我們在雲上只有一個應用程序，通過splunk，我們可以查看日志。 我正在考慮使用我們的大數據工具（例如flume / kafka）來實現這一點，其中我可以從雲（當前由splunk獲取）中獲取實時日志數據，並將其提供給我們的HDFS。 這里很少關注

1. 這可行並且有意義嗎？
2. 用於日志搜索（具有與splunk相同的功能）
   

我們可以使用哪種工具？

Answer 1

如果只想將日志移入HDFS，則可以將Flume與HDFS接收器一起使用。
其他選項也很少，例如-

Logstash

您可以使用諸如Elasticsearch和Kibana之類的其他框架來為日志提供更多功能。