使用 Prometheus 監控大量小型 Spark 集群

Question

當我每次需要時啟動一個新集群時，如何使用 Prometheus（它使用“拉”方法）來監控我的 Spark 集群，這意味着我沒有一個穩定的監控端點。

Answer 1

這在一定程度上取決於您啟動集群的方式/位置。 使用 Kubernetes 時，您可以使用Kubernetes SD 配置來發現您的目標或使用Prometheus Operator （另請參見此處）。

如果在 EMR 上運行，您可以使用引導操作來配置node_exporter和jmx_exporter 。 有關如何執行此操作的示例，請參見this 。

或者，您可以將Prometheus Pushgateway與自定義 Spark 接收器（ 示例）一起用於此用例。