從Mesos群集收集日志

Question

我的團隊正在Amazon EC2實例上部署新集群。 經過一番研究，我們決定選擇Apache Mesos作為群集管理器，使用Spark進行計算。

我們問自己的第一個問題是，對於每個不同的框架，從所有計算機收集日志的最佳方法是什么？ 到現在為止，我們開發了一些自定義的bash / python腳本，這些腳本從預定義的位置收集日志，將其壓縮並發送到S3。 這種旋轉是由每小時執行一次的cron作業激活的。

我一直在尋找實現此目的的“最佳”（或標准）方法。 我找到了Apache Flume ，它也是日志的數據收集器，但我不知道如何將其集成到Mesos群集中以收集日志（並用於Spark）。

我發現了這個 “相似”的問題，但是解決方案不是開源的，也不再受支持。

是否有更好的輪換日志方式或我缺少的標准方式？

非常感謝你

Answer 1

沒有完美的答案。 如果您使用的是Spark並且對使用Flume感興趣，則必須編寫一個自定義的Flume-> Spark接口，因為據我所知尚不存在。 但是，您可以執行以下操作：

1. 使用Flume實時獲取日志數據。
2. 讓Flume使用自定義攔截器對日志數據進行預處理。
3. 完成預處理后，讓Flume將數據寫入Kafka。
4. 讓Spark流讀取Kafka隊列以處理日志並運行您的計算。

據推測，Spark Streaming尚未達到黃金時段的生產水平，但這是一種潛在的解決方案。