如何使用 REST API 在 YARN 上獲取 Spark 作業的狀態？

Question

Spark 應用程序可以運行許多作業。 我的火花在紗線上運行。 版本 2.2.0。

如何獲取給定應用程序 ID 的作業運行狀態和其他信息，可能使用 REST API？

工作如下：
在此處輸入圖片說明

Answer 1

YARN 有一個Cluster Applications API 。 這顯示了狀態以及其他信息。 要使用它：

$ curl 'RMURL/ws/v1/cluster/apps/APP_ID'

使用您的應用程序 ID 作為 APP_ID。

它提供：

Answer 2

這可能會晚，但為了方便起見。 希望它有幫助。 您可以使用下面的 Rest API 命令來獲取在 YARN 上運行的任何作業的狀態。

curl --negotiate -s -u : -X GET ' http://resourcemanagerhost:8088/ws/v1/cluster/apps/application_121766109986_12343/state '

O/P - {"state":"RUNNING"}

在整個作業周期中，狀態會從 NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED 變化

您可以使用 jq 進行格式化輸出。

curl --negotiate -s -u : -X GET ' http://resourcemanagerhost:8088/ws/v1/cluster/apps/application_121766109986_12343 '| jq .app.state

O/P - “正在運行”