我可以強制 YARN 為 Application Master 容器使用主節點嗎？
[英]Can I force YARN to use the master node for the Application Master container?
問題描述
在我的 Hadoop/Spark 運行期間，我的大 ol 主節點硬件幾乎沒有做任何事情，因為 YARN 在每個任務上使用隨機從節點作為 AM。 我更喜歡舊的 Hadoop 1 方式； 當事情出錯時，通過這種方式避免了大量的日志追逐和 ssh 痛苦。
是否可以？
1 個解決方案
解決方案1
1 已采納 2018-01-19 15:37:53
可以使用 Spark 和 YARN 節點標簽。
- 標記您的節點
- 使用
spark.yarn.am.nodeLabelExpression屬性
好讀：
YARN 中的 Application Manager 和 Application Master 之間的區別？
[英]Difference between Application Manager and Application Master in YARN?
如何為紗線應用程序的容器設置與應用程序主控不同的內存
[英]How to set the memory for a yarn application's container different from application master
即使Application Master終止后，紗線應用程序也不會被終止
[英]Yarn application not getting killed even after Application Master is terminated
如何在紗線客戶端模式下在遠程主節點上提交spark作業？
[英]How to submit a spark job on a remote master node in yarn client mode?
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.