在YARN群集中提交作業之前，Flink TaskManager不會啟動
[英]Flink TaskManagers do not start until job is submitted in YARN cluster
問題描述
我正在使用Amazon EMR在YARN上運行Flink Cluster。 我的設置包括用於1個主節點和2個核心節點的m4.large實例。 我已經使用以下命令在YARN上啟動了Flink flink-yarn-session -n 2 -d -tm 4096 -s 4 ： flink-yarn-session -n 2 -d -tm 4096 -s 4 。
Flink作業管理器和應用程序管理器啟動，但是沒有任務管理器在運行。 Flink Web界面顯示任務管理器，任務插槽和可用插槽為0。 但是，當我將作業提交給flink群集時，任務管理器將得到分配，並且作業將運行，並且Web UI將按預期顯示正確的值，並在作業完成后返回到0。
我希望即使沒有提交作業也可以運行任務管理器，因為我想使用Flink的REST API根據可用的插槽值監視和修改並行性。
是否有我錯過的配置阻止任務管理器一直運行？
1 個解決方案
解決方案1
2 已采納 2018-10-04 14:25:48
Flink-6中更改了Flink的行為，以允許動態分配資源。 從Flink版本1.5.0開始，可以放置mode: legacy flink-conf.yaml中的mode: legacy可以在舊模式下運行Flink，在舊模式下，任務管理器將與作業管理器一起啟動。
Apache Flink-在hadoop / Yarn集群上提交作業后超時
[英]Apache flink - Timeout after submitting job on hadoop / yarn cluster
在紗簇上提交Flink Job以從其最后一個保存點恢復其狀態
[英]Submit Flink Job on Yarn cluster to restores its state from it's last savepoint
當flink作業失敗時，紗線報告flink作業完成並成功
[英]Yarn report flink job as FINISHED and SUCCEED when flink job failure
當YARN運行時，提交的hadoop作業陷入“已接受”狀態
[英]When YARN is running the hadoop job submitted get stuck in Accepted state
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.