多维 CUDA 内核块中的线程是否被打包以填充扭曲？

Question

NVIDIA GPU 有调度完整的扭曲来一起执行指令（嗯，有点；另见这个问题）。 因此，如果我们有一个“线性”块，比如 90 个线程（或 X x Y x Z = 90 x 1 x 1） - GPU 内核将具有三个扭曲来调度指令执行：

• 线程 (0,0,0) 到 (31,0,0)
• 线程 (32,0,0) 到 (63,0,0)
• 线程 (64,0,0) 到 (89,0,0) + 6 个未使用的通道

这是简单明了的。 但是 - 如果我们有一个多维块，其 X 维不是 32 的倍数，会发生什么？ 比如说，X x Y x Z = 30 x 3 x 1 ？ 至少有两种直观的方式可以将它们分解为扭曲。

选项 1 - 将线程打包成完整的经纱：

• 线程 (0,0,0) 到 (29,0,0) + (0,1,0) 到 (1,1,0)
• 线程 (2,1,0) 到 (30,1,0) + (0,2,0) 到 (3,2,0)
• 线程 (4,2,0) 到 (30,2,0) + 6 个未使用的通道

选项 2 - 将具有不同 z、y 坐标的线程保持在单独的经线中：

• 线程 (0,0,0) 到 (29,0,0) + 2 个未使用的通道
• 线程 (0,1,0) 到 (29,1,0) + 2 个未使用的通道
• 线程 (0,2,0) 到 (29,2,0) + 2 个未使用的通道

第一个选项可能需要更少的扭曲（考虑 16 x 2 x 1 块的情况）； 第二个选项可能会防止扭曲内的一些分歧 - 尽管这取决于内核代码的细节。

我的问题：

1. 如果我不尝试指定有关聚合到经纱中的任何内容 - 默认情况下选择哪个选项？ 这是否因 GPU/驱动程序而异？
2. 我可以影响选择这两个选项中的哪一个，或者以其他方式影响线程聚合成多维块中的扭曲吗？

Answer 1

tl; dr：CUDA 包含完整的经线。

从编程指南中推断出这一点

（感谢@RobertCrovella）

CUDA Programming API 的§4.1 节说：

一个块被分割成warp的方式总是一样的； 每个 warp 包含连续的线程，增加线程 ID，第一个 warp 包含线程 0。线程层次结构（第 2.2 节）描述了线程 ID 如何与块中的线程索引相关。

CUDA Programming API 的第 2.2 节说：

线程的索引和它的线程 ID 以一种直接的方式相互关联：对于一维块，它们是相同的； 对于大小为(Dx, Dy)的二维块，索引为(x, y)的线程的线程ID为(x + y Dx)； 对于大小为 (Dx, Dy, Dz) 的三维块，索引为 (x, y, z) 的线程的线程 ID 为 (x + y Dx + z Dx Dy)。

因此，多维“线程索引”以直接的方式线性化为一维“线程 ID”，并且这些只是按顺序打包到扭曲中。

亲眼看到这个

您可以使用以下程序检查分区到扭曲：

__global__ void test_kernel()
{
    unsigned active_lanes = __activemask();
    printf("Thread (%2u,%2u): Active lane mask %8X\n",
        threadIdx.x, threadIdx.y, active_lanes);
};

int main()
{
    cudaSetDevice(0);
    test_kernel<<<1,{31,2,1}>>>();
    cudaDeviceSynchronize();
}

如果 warp 是完全打包的，那么您将拥有一个带有完整掩码 (0xFFFFFFFF) 的线程，以及带有 30 个线程掩码 (0x3FFFFFFF) 的 30 个线程。 否则，模式会有所不同。

...确实，我们得到了第一个选择。

“但我想要选项2！”

好吧，如果你想为不同的 Y 轴和 Z 轴坐标单独扭曲，就是“填充”你的块尺寸，以便第一个（X 轴）尺寸始终是扭曲尺寸 32 的倍数。当然，这有，必须执行额外检查的成本：

if (threadIdx.x >= unpadded_x_block_size) { return; }

但这并不是很昂贵（特别是如果您在其他地方使用 threadIdx.x，并且您可以在内核编译时计算 unpadded_x_block_size 。）