如何在Elasticsearch和Logstash中添加动态主机

Question

我的原型适用于设备发送日志，然后将logstash解析后放入Elasticsearch。

Logstash输出代码 ：-

    output{
    if [type] == "json" {
    elasticsearch {
     hosts => ["host1:9200","host2:9200","host3:9200"]
     index => "index-metrics-%{+xxxx.ww}"
    }
  }

} 

现在我的问题是：

我将提出这个解决方案。 为了简单起见，假设我有一个集群，并且现在在该集群中有5个节点。

所以我知道我可以在elasticsearch输出插件中提供5个节点IP /主机名的数组，然后它将轮流分发数据。

如何避免将所有节点IP /主机名放入logstash配置文件中。

随着系统投入生产，我不想手动进入每个logstash实例并更新这些主机。

在这种情况下应遵循的最佳实践是什么？

我的要求是：

我想运行我的ES集群，并且想随时添加/删除/更新任意数量的节点。 我需要所有logstash实例发送数据，而不管ES端的更改如何。

谢谢。

Answer 1

如果要添加/删除/更新，则需要在服务启动之前运行sed或某种形式的字符串替换。 Logstash配置是“已编译”的，不能以这种方式更改。

hosts => [$HOSTS] ... $ HOSTS="\\"host1:9200\\",\\"host2:9200\\"" $ sed "s/\\$HOSTS/$HOSTS/g" $config

您的另一个选择是将环境变量用于动态部分，但这将不允许您使用动态数量的主机。