在Kubernetes上为Apache Spark部署Elasticsearch

Question

我想知道是否有人使用Elasticsearch for Hadoop库配置Kubernetes集群的经验。 在尝试从spark写入elasticsearch时，我遇到了节点发现超时的问题。 由于用于处理发现的用于ES 的elasticsearch-cloud-kubernetes插件，我已启动并运行Elasticsearch，但我不确定如何最好地配置elasticsearch-hadoop以了解kubernetes集群中的节点（pod）。 我已经尝试将spark.es.nodes设置为es-client服务，但这似乎不起作用。 我也知道我可以启用es.nodes.wan.only ，但正如文档中所述，这会严重影响性能，这会使它们在同一个集群上运行失败。 任何帮助，将不胜感激。

Answer 1

我不是那个在elasticsearch-hadoop上接受过教育但是你试过将elasticsearch-hadoop指向你的elasticsearch服务而不是特定的节点吗？ 您的主节点通常会处理ES群集中​​的所有内容。