從一個內核啟動到另一個內核，共享內存是否持久？

Question

當嘗試查找共享內存是否可以被多個內核訪問時，我發現共享內存中的數據有時在被另一個內核訪問時仍然存在，但有時卻不存在。 此外，在通過cuda-gdb調試程序時，上一個內核寫入共享內存中的數據始終可以被下一個內核讀取。

以下是一段2gpus的測試代碼。

    extern __shared__ double f_ds[];
    __global__ void kernel_writeToSharedMem(double* f_dev, int spd_x)
    {
       int tid_dev_x = (blockDim.x * blockIdx.x + threadIdx.x);
       int tid_dev_y = (blockDim.y * blockIdx.y + threadIdx.y);
       int tid_dev = tid_dev_y* spd_x + tid_dev_x;

       if(tid_dev < blockDim.x * blockDim.y * gridDim.x*gridDim.y)
          f_ds[threadIdx.y*blockDim.x+threadIdx.x] = 0.12345;
       __syncthreads()
    }

  __global__ void kernel_readFromSharedMem(double *f_dev, int dev_no, int spd_x)
    {
       int tid_dev_x = (blockDim.x * blockIdx.x + threadIdx.x);
       int tid_dev_y = (blockDim.y * blockIdx.y + threadIdx.y);
       int tid_dev = tid_dev_y* spd_x + tid_dev_x;

       if(tid_dev < blockDim.x * blockDim.y * gridDim.x*gridDim.y)
         {
           f_dev[tid_dev] = f_ds[threadIdx.y*blockDim.x+threadIdx.x];
           printf("threadID %d in dev [%d] is having number %f\n",
                   tid_dev,dev_no,f_ds[threadIdx.y*blockDim.x+threadIdx.x]);
         }
       __syncthreads();
     }


    int main()
    {
     ...

       dim3 block_size(BLOCK_SIZE,BLOCK_SIZE);
       im3 grid_size(spd_x/BLOCK_SIZE,spd_y/BLOCK_SIZE);
       for(int i = 0; i < ngpus; i++)
         {
           cudaSetDevice(i);
           kernel_writeToSharedMem<<<grid_size,block_size,sizeof(double)*BLOCK_SIZE*BLOCK_SIZE,stream[i]>>>(f_dev[i],spd_x);
           cudaDeviceSynchronize();
           cudaThreadSynchronize();
          }
        for(int i = 0; i < ngpus; i++)
         {
           cudaSetDevice(i);
           kernel_reaFromSharedMem<<<grid_size,block_size,sizeof(double)*BLOCK_SIZE*BLOCK_SIZE,stream[i]>>>(f_dev[i], int i, spd_x);
           cudaDeviceSynchronize();
           cudaThreadSynchronize();
          }
      ...
    }

運行程序后發生4種情況。

1）Dev0為0.12345，但Dev1為0;

2）Dev0為0但Dev1為0.12345;

3）Dev0和Dev1均為0；

4）Dev0和Dev1均為0.12345。

在cuda-gdb中運行時4）總是這樣。

這是否表明共享內存的持久性只有一個內核？ 僅在一個內核偶爾發生后才清除或釋放共享內存嗎？

Answer 1

保證共享內存僅在分配它的塊的生存期內具有作用域。 從塊到塊或從內核啟動到內核啟動再使用共享內存的任何嘗試都是完全未定義的行為，並且永遠不應依賴於明智的代碼設計。