如何分发Apache Flume 1.4

Question

我查看了Apache Flume 1.4文档，但对如何跨节点分配工作不清楚。 我必须从多个来源获取数据，并为每个来源获取多个查询词，并且需要定期对其进行轮询。 适用于flume-master和flume-node的Flume的较旧版本。 Cloudera发行说明说，这些概念已由代理替换。 但是如何分配代理商？

我是否应该在每个节点上手动创建多个配置并在每个节点上启动代理？ 还是可以通过任何集中机制来完成？

Answer 1

您可以在Cloudera Manager中配置Flume代理-请参阅Cloudera文档 （添加Flume）。 如果您不使用Cloudera，则可以使用通用配置管理工具（例如Puppet）来解决此问题-尽管需要更多工作，但它似乎更灵活。