如何分發Apache Flume 1.4

Question

我查看了Apache Flume 1.4文檔，但對如何跨節點分配工作不清楚。 我必須從多個來源獲取數據，並為每個來源獲取多個查詢詞，並且需要定期對其進行輪詢。 適用於flume-master和flume-node的Flume的較舊版本。 Cloudera發行說明說，這些概念已由代理替換。 但是如何分配代理商？

我是否應該在每個節點上手動創建多個配置並在每個節點上啟動代理？ 還是可以通過任何集中機制來完成？

Answer 1

您可以在Cloudera Manager中配置Flume代理-請參閱Cloudera文檔 （添加Flume）。 如果您不使用Cloudera，則可以使用通用配置管理工具（例如Puppet）來解決此問題-盡管需要更多工作，但它似乎更靈活。