繁体   English   中英

在 NUMA 上工作的 YARN 会尊重节点 memory 位置吗?

Will YARN working on NUMA respect node memory locality?

提示:本站收集StackOverFlow近2千万问答,支持中英文搜索,鼠标放在语句上弹窗显示对应的参考中文或英文, 本站还提供   中文繁体   英文版本   中英对照 版本,有任何建议请联系yoyou2525@163.com。

我正在使用基于 Giraph 的应用程序,该应用程序在 NUMA 系统中大量使用 memory。 它频繁地对 memory 进行读写操作,并且具有多个线程。 假设我安排 4 个工作人员的内核数量与每个芯片的内核数量一样多,这是否意味着他们将被固定到特定的 CPU,以便他们只能使用本地 NUMA memory?

1 个回复

这取决于您使用的 YARN 版本。 从 YARN 3.1.0 开始,您可以在配置中启用 NUMA 调度。 补丁可以在这里找到:

https://issues.apache.org/jira/browse/YARN-5764

1 在特定的NUMA节点上创建命名共享内存?

与这篇文章类似,我想在特定的NUMA节点(不一定是本地)上创建一个命名的共享内存段(通过CentOS 7上的shm_open() + mmap()创建)。 该帖子建议使用numa_move_pages()来实现。 我还有几个问题: 如果另一个进程(在另一个NUMA本地的核心上运 ...

2 获取内存在NUMA中的位置

我目前正在2个节点的NUMA系统上工作。 我有一个指向某些内存的指针,但我不知道它在哪个节点中。有什么方法可以获取内存的节点号? (获取当前线程的节点掩码不起作用的原因是,该节点的内存已满,因此即使线程已绑定到当前节点,它仍可能会在相邻节点上分配内存。因此,我正在寻找获取内存位置的直接方 ...

3 在C中,将内存迁移到NUMA节点

我正在开发NUMA应用程序,我需要将大数组从一个节点(实际创建它们的节点)迁移到另一个节点。 我不能使用numa_alloc_onnode()函数,因为我需要在分配内存的进程与其子进程之间共享内存。 情况如下: 我有(BIG)node *数组的这个数组(其维数等于NUMA个节点 ...

7 如何将所有内存分配限制到一个NUMA节点

我是NUMA感知的多线程编程的新手。 我编写代码时将所有线程及其内存分配限制为一个节点。 在程序的开头,我进行了以下调用: struct bitmask *bm = numa_parse_nodestring("0"); if (bm == 0) { exit(1); } numa ...

2012-10-09 19:02:11 2 818   numa
8 从多个NUMA节点中保留内存块

这个问题讨论了如何强制linux内核排除某些内存被使用(因此内核可见)。 使用memmap=nn[KMG]$ss[KMG]你可以排除1块内存。 是否可以多次提供此内核引导参数,以从各种NUMA节点中排除物理内存的多个部分。 你试过了吗? 有什么建议么 ? ...

9 我可以将页表的位置更改为另一个 NUMA 节点吗?

嗨,我正在研究 linux 内核的内存管理。 我的机器有多个NUMA节点,我想知道我是否可以将页表的位置从NUMA 0更改为NUMA N。我研究过,在页表初始化时,CR3寄存器有指向页表将被初始化的位置的指针。 并且该位置在 NUMA 0(第一个 NUMA 节点)的内存(内核空间)上。 那么在初 ...

10 为什么 ReadWriteOnce 在不同的节点上工作?

我们在 K8s 上运行的平台有不同的组件。 我们需要在其中两个组件(comp-A 和 comp-B)之间共享存储,但我们错误地将 PV 和 PVC 定义为ReadWriteOnce ,即使这两个组件在不同节点上运行,一切正常,我们能够从两个组件读取和写入存储。 根据 K8s 文档,可以将ReadW ...

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2022 STACKOOM.COM