使用Prometheus JMX代理從在單個節點上運行的多個Spark執行者導出指標

Question

我正在運行spark集群，並且我有一個節點，該節點上正在運行三個執行程序。 我想使用Prometheus JMX代理為所有三個執行器的指標進行剪貼。 我正在通過Spark提交命令中的“ spark.executor.extraJavaOptions”傳遞Prometheus Java代理，如下所示。

--conf "spark.executor.extraJavaOptions=-javaagent:/opt/agent/jmx_prometheus_javaagent-0.3.1.jar=6677:/opt/agent/spark.yml" 

我正在傳遞端口，因為6677和JMX指標僅適用於一位執行者。 對於其他兩個執行程序，javaagent將失敗，因為端口6677已在使用中，並且將不報告其他兩個執行程序的度量標准。 有人可以指導我如何解決這個問題。 我在這里找到了類似的問題，但沒有答案。

Answer 1

為其他2個執行程序使用不同的端口？ 您不能在同一端口上監聽3台服務器，這與Prometheus或JMX無關。