cudaStreamDestroy（）不同步/阻止？

Question

我在Win7 x64机器的Quadro NVS 295上使用CUDA 4.2。 从《 CUDA C编程手册》中，我读到以下内容：

“ ...通过调用cudaStreamDestroy（）释放流。

for (int i = 0; i < 2; ++i)
cudaStreamDestroy(stream[i]);

cudaStreamDestroy（）等待给定流中的所有先前命令完成，然后销毁该流并将控制权返回给主机线程。”

这是真的吗？ 我写了一个小代码，在其中或多或少地执行以下操作（我只会放置伪代码）：

//transfer input buffer to device
cudaMemcpyToArrayAsync( ... , stream[1]);

//launch kernel
my_kernel <<<dimGrid, dimBlock, 0, stream[1]>>> (...);

//transfer from device to host
cudaMemcpyAsync(.., cudaMemcpyDeviceToHost, stream[1]);

//Destroy stream. In theory this should block the host until everything on the stream is completed!
ret = cudaStreamDestroy(stream[1]); 

在此示例中，似乎cudaStreamDestroy（）调用立即返回到主机，即不等待cudaMemcpyAsync（）调用和其他strem指令完成。 如果我输入“ cudaStreamSynchronize（stream [1]）;” 在销毁流之前致电，一切进行得很好，但速度较慢。 所以，我做错了什么？

非常感谢您的回复！

Answer 1

我不确定您要查看的文档的版本，但与我的文档不同。 我的CUDA 4.2文档说：

销毁并清理stream指定的异步流。

如果在调用cudaStreamDestroy（）时设备仍在流中工作，则该函数将立即返回，并且一旦设备完成了流中的所有工作，与流相关的资源就会自动释放。

而且，以我的经验，这正是它的作用。 驱动程序将等到流为空并将其销毁。 但是cudaStreamDestroy 不会阻塞调用线程。

您可以通过运行以下示例来确认这一点：

#include <stdio.h>
#include <assert.h>
#include <unistd.h>

__global__ void kernel(int * inout, const int N)
{
    int gid = threadIdx.x + blockIdx.x * blockDim.x;
    int gstride = gridDim.x * blockDim.x;

   for (; gid < N; gid+= gstride) inout[gid] *= 2;
}

#define gpuErrchk(ans) { gpuAssert((ans), __FILE__, __LINE__); }
inline void gpuAssert(cudaError_t code, char *file, int line, bool abort=true)
{
   if (code != cudaSuccess) 
   {
      fprintf(stderr,"GPUassert: %s %s %d\n", cudaGetErrorString(code), file, line);
      if (abort) exit(code);
   }
}

int main(void)
{
    const int N = 2<<20, sz = N * sizeof(int);

    int * inputs, * outputs, * _inout;

    gpuErrchk( cudaMallocHost((void **)&inputs, sz) );
    gpuErrchk( cudaMallocHost((void **)&outputs, sz) );
    gpuErrchk( cudaMalloc((void **)&_inout, sz) );

    for(int i=0; i<N; i++) { inputs[i] = i; outputs[i] = 0; }

    cudaStream_t stream[2];
    for (int i = 0; i < 2; i++)
        gpuErrchk( cudaStreamCreate(&stream[i]) );

    gpuErrchk( cudaMemcpyAsync(_inout, inputs, sz, cudaMemcpyHostToDevice, stream[1]) );

    kernel<<<128, 128, 0, stream[1]>>>(_inout, N);
    gpuErrchk(cudaPeekAtLastError());

    gpuErrchk( cudaMemcpyAsync(outputs, _inout, sz, cudaMemcpyDeviceToHost, stream[1]) );

    for(int i = 0; i < 2; i++)
        gpuErrchk( cudaStreamDestroy(stream[i]) );

    sleep(1); // remove the sleep and see what happens....

    for(int i = 0; i < N; i++)
        assert( (2 * inputs[i]) == outputs[i] );

    cudaDeviceReset();

    return 0;
}

没有sleep()的代码将失败，因为GPU尚未完成，但是有了它， assert就会通过。 请注意，即使在结果相同的情况下， sleep也与在cudaStreamDestroy调用之前使用显式流同步原语cudaStreamDestroy ，所做的事情有细微的差别。 如果流在销毁时不为空，则结果检查将永远无法通过。

Answer 2

CUDA流只是设备任务的执行队列。 所有接受流的函数仅将新任务添加到队列中，而无需等待执行结果。 cudaStreamDestroy是一项特殊任务，这意味着需要销毁流，然后完成所有先前的设备任务。 话

“ cudaStreamDestroy（）在破坏流并将控制权返回给主机线程之前，等待给定流中的所有先前命令完成。”

表示在您的设备代码完成之前，流无法销毁。