實時監控Spark作業

Question

我想實時監控Spark Jobs

為此，我從Spark Monitoring REST API中獲取數據並顯示在可視化文件中。 一種解決方案是每1秒鍾輪詢一次API。 但是我想不做投票。

我們可以做類似Webhook的事情嗎 ？

提前致謝 ：）

Answer 1

我不了解Webhook，但我認為您可以使用SparkListener將Spark Scheduler事件實時推送到您的后端應用程序。