在使用命令行界面將Flink作業提交到Yarn中時，如何獲取應用程序ID？

Question

我的團隊正在構建一個基於flink的實時計算平台。 我們將flink作業提交給Yarn。 我們創建一個流程並使用CLI運行commit命令。 為了獲得紗線應用程序ID，我們創建一個線程並解析過程輸出。 應用程序ID用於其他方法。

例如，我們通過以下命令提交作業：

nohup flink run  -m yarn-cluster -d -yqu root.default 
-ynm BDP_RTC_FLINK_10457_MultiOutputTestFrontEnd -yjm 1024 
-yn 2 -ytm 1024 -ys 2 

輸出如下所示：

2018-10-10 11:21:04 [info] 2018-10-10 11:21:04,629 INFO  org.apache.flink.yarn.AbstractYarnClusterDescriptor           - Submitting application master application_1536669298614_67675
2018-10-10 11:21:04 [info] 2018-10-10 11:21:04,654 INFO  org.apache.hadoop.yarn.client.api.impl.YarnClientImpl         - Submitted application application_1536669298614_67675
2018-10-10 11:21:04 [info] 2018-10-10 11:21:04,656 INFO  org.apache.flink.yarn.AbstractYarnClusterDescriptor           - Deploying cluster, current state ACCEPTED
2018-10-10 11:21:12 [info] 2018-10-10 11:21:12,699 INFO  org.apache.flink.yarn.AbstractYarnClusterDescriptor           - YARN application has been deployed successfully.
2018-10-10 11:21:12 [info] 2018-10-10 11:21:12,700 INFO  org.apache.flink.yarn.AbstractYarnClusterDescriptor           - The Flink YARN client has been started in detached mode.

我們解析進程輸出並獲取應用程序ID： application_1536669298614_67675 。

在我們的情況下，是否還有其他優雅的解決方案來獲取應用程序ID？

Answer 1

也許您可以得到紗線應用程序和flink作業之間的關系。

首先，列出紗線應用。

yarn application -list

然后，您將獲得應用程序列表，並且可以在yarn應用程序上列出flink作業。

./bin/flink list -m yarn-cluster -yid <Yarn Application Id>

順便說一句，你可以使用

./bin/flink run -d

不使用

nohup