在 NUMA 上工作的 YARN 會尊重節點 memory 位置嗎？
[英]Will YARN working on NUMA respect node memory locality?
問題描述
我正在使用基於 Giraph 的應用程序，該應用程序在 NUMA 系統中大量使用 memory。 它頻繁地對 memory 進行讀寫操作，並且具有多個線程。 假設我安排 4 個工作人員的內核數量與每個芯片的內核數量一樣多，這是否意味着他們將被固定到特定的 CPU，以便他們只能使用本地 NUMA memory？
1 個解決方案
解決方案1
1 2021-02-11 13:49:33
這取決於您使用的 YARN 版本。 從 YARN 3.1.0 開始，您可以在配置中啟用 NUMA 調度。 補丁可以在這里找到：
在YARN上運行Spark-Submit但是不平衡（只有1個節點正在運行）
[英]run Spark-Submit on YARN but Imbalance (only 1 node is working)
即使節點有可用內存，紗線作業也會以退出代碼143崩潰
[英]Yarn job crashes with exit code 143 even though node has available memory
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.