CUDA atomicAdd跨塊

Question

我無法使用atomicAdd函數來處理所有塊。 事實證明，以下內核代碼為我提供了一個塊中的線程總數（例如< 5000 ）：

__global __ void kernelCode(float *result)
{
    int index = threadIdx.x+blockIdx.x*blockDim.x;
    if (index < 5000)
    {
        atomicAdd(result, 1.0f);
    }
}

你能告訴我如何在沒有分配整個1.0f數組的情況下添加一些值嗎？ 這是因為我在資源非常有限的系統上使用此代碼 - 每一位都很重要。

Answer 1

此代碼可以跨多個塊工作，而無需分配1.0f的數組。 if (index < 5000)語句不是為了將您限制為單個線程塊。 它旨在確保只有整個網格中的合法線程參與操作。

嘗試這樣的事情：

#include <iostream>
#define TOTAL_SIZE 100000
#define nTPB 256

#define cudaCheckErrors(msg) \
    do { \
        cudaError_t __err = cudaGetLastError(); \
        if (__err != cudaSuccess) { \
            fprintf(stderr, "Fatal error: %s (%s at %s:%d)\n", \
                msg, cudaGetErrorString(__err), \
                __FILE__, __LINE__); \
            fprintf(stderr, "*** FAILED - ABORTING\n"); \
            exit(1); \
        } \
    } while (0)

__global__ void kernelCode(float *result)
{
    int index = threadIdx.x+blockIdx.x*blockDim.x;
    if (index < TOTAL_SIZE)
    {
        atomicAdd(result, 1.0f);
    }
}

int main(){

  float h_result, *d_result;
  cudaMalloc((void **)&d_result, sizeof(float));
  cudaCheckErrors("cuda malloc fail");
  h_result = 0.0f;
  cudaMemcpy(d_result, &h_result, sizeof(float), cudaMemcpyHostToDevice);
  cudaCheckErrors("cudaMemcpy 1 fail");
  kernelCode<<<(TOTAL_SIZE+nTPB-1)/nTPB, nTPB>>>(d_result);
  cudaDeviceSynchronize();
  cudaCheckErrors("kernel fail");
  cudaMemcpy(&h_result, d_result, sizeof(float), cudaMemcpyDeviceToHost);
  cudaCheckErrors("cudaMemcpy 2 fail");
  std::cout<< "result = " << h_result << std::endl;
  return 0;
}

您可以將TOTAL_SIZE更改為任何可以方便地放入float

請注意，我在瀏覽器中鍵入此代碼，可能會出現打字錯誤。