为什么 CUDA 内核必须在执行任何操作之前检查“if (index < n)”？

Question

这就是恼人的样板文件的定义。 显然 kernel 不应该在索引 >= n 的地方被调用。

OpenCL 不需要你做这样的边界检查，它已经在 kernel 之外为你完成了。

Answer 1

OpenCL / CUDA 内核与数千/数百万线程并行运行。 这些线程被分组为 32/64/128/256 个线程的工作组，理想情况下为 64 个。例如，在每个工作组中，线程可以通过本地/共享 memory 传递数据，并且限制适用于分支，例如如果一个线程处于慢速分支 A和快速分支 B 中的所有其他线程，工作组中的所有线程都必须等到一个完成 A。

工作组始终作为整个工作组执行。 这意味着：如果全局大小为 50 个线程，每个线程作用于大小为 50 的数组的一个条目，工作组大小为 32，则您将有 2 个工作组。 第一个（线程 0-31）已满，每个线程都可以读/写它在数组中的条目。 但是第二个工作组（线程 32-63）仅部分访问数组中位置 (32-49) 的有效数据，并且线程 (50-63) 将在未分配的 memory 空间中读/写，从而导致崩溃。

为了防止最后一个部分填充的工作组越界访问 memory 导致崩溃，通常使用保护子句if(thread_index>=global_range) return; 被引入，因此最后部分填充的工作组中的虚拟线程立即返回并且不访问 memory。

仅当您通过 CPU 端的其他健全性检查确保您的数组大小始终是工作组大小的干净倍数时，您才可以省略此保护子句。

Answer 2

较短：

CUDA 没有独立的全局线程空间定义，可以用来限制线程总数与问题大小一致。 因此，如果需要，此限制必须在 kernel 代码中完成。 OpenCL 提供了全局工作项空间/大小的独立定义，启动机制使用它来确保启动的工作项不超过该数量。 如果这足以解决问题的大小，则不需要进一步的内核调节。

更长：

在 CUDA 中，我们所拥有的“全局线程空间”（CUDA 通常可能称之为“网格”）的唯一定义是由网格维度（块数）和块维度（每个块的线程数）给出的内核启动语法，例如使用典型的 CUDA 运行时 API 语法：

kernel<<<number_of_blocks, threads_per_block,...>>>(...);

第二个数字大致对应于 OpenCL 中的局部工作大小，两个数字的乘积大致对应于 OpenCL 中的全局工作大小。 在 CUDA 中，没有其他方法可以指定“全局线程空间”（对应 OpenCL 中的全局工作大小，即 OpenCL 中启动的工作项总数）。

那么，在 CUDA 中，“全局线程空间”是由 kernel 启动时指示的这两个数字的乘积给出的，因此我们经常会遇到这样一种情况，即指定一个大于所需数字的网格大小很方便线程数（可能由问题大小而不是网格大小决定）。 其原因在各种论坛帖子中都有详细介绍，但从根本上产生了这暗示的网格规范的粒度性质。 例如，有关一些计算注意事项的讨论，请参见此处。

当网格大小大于所需的线程数时，使用我在 kernel（1D例子）：

__global__ void kernel(..., size_t N){
  size_t idx = blockIdx.x*blockDim.x+threadIdx.x;  // get globally unique thread ID
  if (idx < N) { // make sure thread will be "in-bounds" for problem space
    ...   // body of kernel
  }
}

即使我们想在 kernel 发射点使用某种自动机制消除这个“样板”，我们也没有这样做的定义。 CUDA 运行时可以“自动”使用程序员或启动 API 提供的编号，以进一步限制启动的线程数，少于启动配置 arguments 给出的网格定义。

然而，在 OpenCL 中，我们有一个单独的、独立的“全局线程空间”定义，即clEnqueueNDRangeKernel的global_work_size参数。 此参数独立于任何其他启动参数提供，因此我们有一个“全局线程空间”（全局工作项空间）的“独立”定义，它不受任何“粒度规范”要求的约束。 因此，启动机制可以并且确实将全局工作项空间/大小限制为等于此数字。 在足以满足实际问题大小的情况下，不需要对活动工作项进行进一步的“样板”调节。

顺便说一句，与这个问题并不真正相关，OpenCL 也将这个全局工作项“空间”的“知识”扩展到 kernel api，例如使用get_global_size()和相关的 get_global_id() 。 CUDA 没有相应的定义，因此，也没有相应的 kernel API。相反，CUDA 程序员通常会使用所提供的维度内置变量的乘积来确定全局网格维度（并且通常会使用规范算法组装一个全局唯一的 ID - 对于一维案例——我已经在上面的 kernel 示例中指出了这一点）。

我上面对“CUDA”的使用应该主要有 CUDA C++。 当我们谈论另一种 CUDA 语言绑定时存在一些细微差别，例如 Numba CUDA python，但是缺乏独立的全局空间定义的一般想法也适用于那里。