CUDA 在 kernel 启动后对 cudaDeviceSynchronize 进行错误检查可能无法捕获所有错误？

Question

我最近在@talonmies 接受的答案中发现了一条评论，内容如下：

请注意，与所有其他 CUDA 错误不同，后续同步调用 CUDA 运行时 API 不会报告 kernel 启动错误。因此，仅将 gpuErrchk() 放在下一个 cudaMemcpy() 或 cudaDeviceSynchronize() 调用周围不足以捕获所有可能的错误情况。 我认为在 kernel 启动后立即调用 cudaGetLastError() 而不是 cudaPeekAtLastError() 是更好的风格，即使它们具有相同的效果，以帮助不知情的读者。

我的问题是，cudaGetLastError 怎么可能捕捉到在 cudaDeviceSynchronize 中检测不到的错误？ cudaDeviceSynchronize 不应该返回任何未清除的错误吗？

我总是在 API 调用周围进行错误检查，在 kernel 启动后我调用 cudaDeviceSynchronize（因为我的内核花费的时间比数据传输时间长，所以我没有明显的性能损失）并且我认为我这样是安全的。 在什么情况下这种方法会失败？

Answer 1

此处介绍了异步（粘性）与同步（非粘性）错误的描述。 此外，我在此在线培训系列第 12 单元中详细介绍了这个确切的主题。

请熟悉这些。 我不会在这里完整地叙述或重复所有相关的想法。

我的问题是，cudaGetLastError 怎么可能捕捉到在 cudaDeviceSynchronize 中检测不到的错误？ cudaDeviceSynchronize 不应该返回任何未清除的错误吗？

不。

大多数 CUDA 运行时 API 调用，包括cudaMemcpy() 、 cudaMalloc() 、 cudaStreamCreate() 、 cudaDeviceSynchronize()和许多其他示例，将返回符合以下描述的错误：

1. 任何先前发生的异步错误。 此类错误发生在设备代码的执行期间，它们破坏了 CUDA 上下文，除非破坏底层 CUDA 上下文，否则无法清除它们。

2. 仅作为运行时调用本身的结果而发生的任何同步错误。

这意味着如果我调用cudaMemcpy() ，它将报告每个项目 1 的任何异步错误，以及由于cudaMemcpy()调用而发生的任何同步错误，而不是任何其他错误。 同样对于cudaDeviceSynchronize() 。

那么错过了什么？

kernel 调用导致的同步错误。 例如：

mykernel<<<1,1025>>>(...);

我们立即知道这样的启动无法进行，因为每个块 1025 个线程在 CUDA（当前）中是非法的。 这种类型的错误不是由于设备代码执行而导致的，而是由于检查 kernel 启动请求而导致的。 这是一个同步错误，而不是异步错误。

如果你这样做：

__global__ void mykernel(){}

int main(){
  mykernel<<<1,1025>>>();
  cudaError_t err = cudaDeviceSynchronize();
  }

err变量将包含cudaSuccess （更准确地说，是对应于cudaSuccess的枚举标记，同样适用于此答案中的所有其他此类引用）。 另一方面，如果你这样做：

int main(){
  mykernel<<<1,1025>>>();
  cudaError_t err = cudaGetLastError();
  cudaDeviceSynchronize();
  }

err变量将包含类似cudaErrorInvalidConfiguration的内容（枚举标记 9，请参见此处）。

您可能希望自己尝试这个实验。

无论如何，这个答案是由专家精心设计的。 我个人不会打折其中的任何部分。

是的， cudaGetLastError() （和cudaPeekAtLastError() ）行为不同于大多数其他 cuda 运行时 API 调用错误报告，我在包含上述第 1 项和第 2 项的部分中进行了描述。 他们将（除其他事项外）报告同步错误，来自另一个尚未清除的先前发生的运行时 API 调用（或 kernel 启动）。