全局内存写在CUDA中被认为是原子的吗？

Question

全局内存写入是否在CUDA中被认为是原子的？

考虑以下CUDA内核代码：

int idx = blockIdx.x*blockDim.x+threadIdx.x;
int gidx = idx%1000;
globalStorage[gidx] = somefunction(idx);

全局内存是否写入globalStorage atomic ?,例如，没有竞争条件使并发内核线程写入存储在globalStorage中的同一变量的字节，这可能会导致结果混乱（例如，parial写入） ？

请注意，我不是在谈论像add / sub / bit-wise等原子操作，只是直接全局写。

编辑：重写示例代码以避免混淆。

Answer 1

CUDA中的内存访问不是隐式原子的。 但是， 只要idx对正在运行的内核中的每个线程具有唯一值，您最初显示的代码本质上不是内存竞争。

所以你原来的代码：

int idx = blockIdx.x*blockDim.x+threadIdx.x;
globalStorage[idx] = somefunction(idx);

如果内核启动使用1D网格并且globalStorage的大小合适，那么将是安全的，而你的第二个版本：

int idx = blockIdx.x*blockDim.x+threadIdx.x;
int gidx = idx%1000;
globalStorage[gidx] = somefunction(idx);

不会是因为多线程可能会写入globalStorage的相同条目。 没有原子保护或序列化机制可以在这种情况下产生可预测的结果。