C++ CUDA Gridsize含义说明

Question

我是 CUDA 编程的新手。 我目前正在对大量大数据样本进行蒙特卡洛模拟。

我试图动态最大化并计算要提交给 GPU 的块数。 我遇到的问题是我不清楚如何计算一次可以提交给 GPU 的最大块数。

这是查询时我的 GPU 的 output ：

-----------------------------------------------
CUDA Device #:                   0
Name:                            NVIDIA GeForce GTX 670
Revision number:                 3.0
Warp size:                       32
Maximum threads per block:       1024
Maximum Grid size:               2147483647
Multiprocessor Count:            7
-----------------------------------------------

我不清楚的是，每个块的最大线程数明确定义为 1024，但网格大小不是（至少对我而言）。 当我在文档和在线查看时，定义如下：

int cudaDeviceProp::maxGridSize[3] [inherited]
Maximum size of each dimension of a grid

我想知道的是网格大小参考：

• GPU可以提交的最大线程总数？ （因此我会像这样计算块数： MAX_GRID_SIZE / MAX_THREAD_PER_BLOCK ）
• 1024 个线程的最大块数（因此我将简单地使用MAX_GRID_SIZE ）

最后一个对我来说似乎有点疯狂，因为 MAX_GRID_SIZE = 2^31-1 (2147483647) 因此最大线程数将是 (2^31-1)*1024 = ~ 2.3 万亿线程。 这就是为什么我倾向于认为第一个选项是正确的。 但我正在寻找外部输入。

我发现了很多关于计算块主题的讨论，但几乎所有讨论都特定于一个 GPU，而不是计算或思考它的一般方法。

Answer 1

在 Nvidia CUDA 上，网格大小表示块的数量（而不是线程的数量），这些块在一次 kernel 调用中发送到 GPU。

最大网格大小可以而且很大，因为 CUDA 编程 model （通常）不保证块同时运行。 这有助于在不同代的低端和高端硬件上运行相同的内核。 所以网格是用于独立任务的，块中的线程可以协作（尤其是与共享 memory 和同步屏障）。

因此，一个非常大的网格或多或少与围绕您的 kernel 调用或在您的代码周围的 kernel 内的自动循环相同。

如果你想把你的GPU的占用率（并行效率）优化到最大，你应该计算一下，可以同时运行多少个线程。

典型的最大值是maximum number of threads per SM x number of SMs 。 GTX 670 有 7 个 SM（该代称为 SMX），每个最多有 1024 个线程。 因此，为了获得最大占用率，您可以运行多个 7x1024 线程。

每个多处理器 1024 个线程还有其他限制因素，主要是每个线程或块需要的寄存器数量和共享 memory。 GTX 每个 SM 有 48 KB 共享 memory，每个 SM 有 65536 个 32 位寄存器。 因此，如果您将线程限制为每个线程 64 个寄存器，那么您可以使用每个块 1024 个线程。

有时，运行内核的大小小于最大大小，例如每个块 256 个线程。 GTX 670 每个 SM 最多可以同时运行 16 个块。 但是每个 SM 总共不能获得超过 1024 个线程。 所以一无所获。

要优化 kernel 本身或获得漂亮的图形和数字反馈，关于 kernel 的效率和瓶颈，请使用 Nvidia Compute Nsight 工具（如果有版本，它仍然支持 3.0 Kepler 生成）。

为了获得全速，优化 memory 访问（合并）并确保 warp 中的 32 个线程以完美的步调运行通常很重要。 此外，您应该尝试用对共享 memory 的访问替换对全局 memory 的访问（注意银行冲突）。