CUDA全局存储器在哪里？

Question

我知道在CUDA的内存层次结构中，我们拥有诸如共享内存，纹理内存，常量内存，寄存器之类的东西，当然还有我们使用cudaMalloc（）分配的全局内存。

我一直在寻找可以找到的所有文档，但是我还没有遇到任何明确解释什么是全局内存的文档。

我相信分配的全局内存在图形卡本身的GDDR上，而不是在与CPU共享的RAM上，因为其中一个文档确实指出指针不能被主机端取消引用。 我对吗？

Answer 1

全局内存是一个虚拟地址空间，可以映射到设备内存（图形卡上的内存）或页面锁定（固定）主机内存。 后者要求CC> 1.0。

本地，常量，纹理和本地内存在全局内存中分配，但可以通过不同的地址空间和缓存进行访问。

在CC> 2.0上，通用地址空间允许将共享内存映射到全局地址空间。 但是，共享存储器始终驻留在每个SM片内存储器中。

Answer 2

全局内存位于芯片外，但位于图形卡上。

本地内存存储在全局内存中，但是地址的交错方式使得当数组存储在其中时，当warp中的每个线程从其数组中的相同索引读取时，访问将合并在一起。

常量和纹理内存也（最初）也存储在全局内存中，但它缓存在片上缓存中。

共享内存以及L1和L2高速缓存在芯片上。

Answer 3

CUDA C编程指南的 3.2.2节对此进行了讨论。 简而言之，所有类型的内存（即共享的，恒定的，纹理的和全局的）都驻留在设备的内存（即GPU本身）中。

但是，您可以专门声明部分内存是“映射的”，即可以从设备访问主机上的内存。 为此，请参阅《编程指南》第3.2.4节。