捕获从 cudaLaunchHostFunc 中的回调抛出的异常

Question

我想检查托管 memory 中的错误标志，该标志可能由运行在某个 stream 上的 kernel 编写。根据错误标志，我需要抛出异常。 我会简单地同步这个 stream 并从主机检查标志，但我需要从 CUDA 图表内部这样做。 AFAIK 我需要以某种方式在 cudaLaunchHostFunc 回调中编码这个主机端错误检查。

我试图了解 cudaLaunchHostFunc function 如何处理异常。 该文档没有提及任何相关内容。 有没有办法捕获从提供给 cudaLaunchHostFunc 的 function 内部抛出的异常？

考虑以下 MWE：

#include<iostream>
#include <stdexcept>

__global__ void kern(){
  int id = blockIdx.x*blockDim.x + threadIdx.x;
  printf("Kernel\n");
  return;
}

void foo(void* data){
  std::cerr<<"Callback"<<std::endl;
  throw std::runtime_error("Error in callback");
}

void launch(){
  cudaStream_t st = 0;
  kern<<<1,1,0,st>>>();
  cudaHostFn_t fn = foo;
  cudaLaunchHostFunc(st, fn, nullptr);
  cudaDeviceSynchronize();
}

int main(){
  try{
    launch();
  }
  catch(...){
    std::cerr<<"Catched exception"<<std::endl;
  }
  return 0;
}

这段代码的output是：

Kernel
Callback
terminate called after throwing an instance of 'std::runtime_error'
  what():  Error in callback
Aborted (core dumped)

异常被抛出，但它似乎没有传播到启动 function。我本以为上面的 launch() function 等效于（异常）以下内容：

void launch(){
  cudaStream_t st = 0;
  kern<<<1,1,0,st>>>();
  cudaStreamSynchronize(st);
  foo(nullptr);
  // cudaHostFn_t fn = foo;
  // cudaLaunchHostFunc(st, fn, nullptr);
  cudaDeviceSynchronize();
}

它确实输出了预期的结果：

Kernel
Callback
Catched exception

此外，在第一种情况下，所有 cuda 调用都返回 cudaSuccess。

Answer 1

多亏了我现在理解的评论，我的问题本质上与例如这个问题相同： 如何在线程之间传播异常？

用于将异常从工作线程带到主线程的技术也适用于此。

为了完成，我的虚拟示例中的 foo 和 launch 函数可以重写如下

void foo(void* data){
  auto e = static_cast<std::exception_ptr*>(data);
  std::cerr<<"Callback"<<std::endl;
  try{
    throw std::runtime_error("Error in callback");
  }
  catch(...){
    *e = std::current_exception();
  }
}

void launch(){
  cudaStream_t st = 0;
  dataD = 0;
  kern<<<1,1,0,st>>>();
  cudaStreamSynchronize(st);
  cudaHostFn_t fn = foo;
  std::exception_ptr e;
  cudaLaunchHostFunc(st, fn, (void*)&e);
  cudaDeviceSynchronize();
  if(e) std::rethrow_exception(e);
}

哪个打印出预期的：

Kernel
Callback
Catched exception