优化复杂的 CUDA kernel 以提高 memory 和计算效率

Question

我最近将OpenCL kernel转换为 CUDA，然后运行nvvp ，发现以下两行代码对我的代码速度造成了严重影响：

#define FL4(f) make_float4(f,f,f,f)
float4 S = FL4(r->vec.x)*normal[eid]+FL4(r->vec.y)*normal[eid+1]+FL4(r->vec.z)*normal[eid+2];
float4 T = normal[eid+3] - (FL4(r->p0.x)*normal[eid]+FL4(r->p0.y)*normal[eid+1]+FL4(r->p0.z)*normal[eid+2]);

其中每个normal[i]是全局 memory 中的float4 （只读），如您所见，我需要读取 3x normal s 来计算S和 4x normal s（其中 3 个与前一行重叠）到计算T 。 因此，这两行总共需要 64 个字节，这使得它们占了我代码的 memory 延迟的近 90%。

更新 [04/18/2020]

要重现这一点，可以遵循以下简单命令（优化此代码仅在考虑到软件的现有功能和复杂性的情况下才有意义，因此我想在不破坏内核的情况下对此进行调查）

git clone https://github.com/fangq/mmc_trinity.git
cd mmc_trinity/src
git checkout trinity
make clean
make cuda
cd ../examples/validation
./run_tess.sh -n 1e6 -D T -c cuda -G 1 

要编译上述代码，您需要在系统上预先安装 cuda(nvcc)。 makefile 应该在 Linux、Mac 和 windows 上的 cygwin64/mys2 上工作。 使用-G?? 到 select 哪个 GPU 使用，使用-c cuda -L列出所有 Z39466FE22B062A34CFE09 设备。 如果您有功能强大的 GPU，则将 1e6 增加到 1e7 或 1e8。

目前，使用预先优化的 kernel 的上述基准的速度（ -n 1e8 ）为

22507.31 photon/ms on Titan V
16051.36 photon/ms on RTX 2080
 8112.93 photon/ms on GTX 1080Ti
 5050.76 photon/ms on GTX 980Ti

完整的 kernel 文件（opencl/cuda 兼容）可以在https://github.com/fangq/mmc_trinity/blob/trinity/src/mmc_core.cl找到

我提到的两个热点位于https://github.com/fangq/mmc_trinity/blob/trinity/src/mmc_core.cl#L526-L527

与 cuda 相关的主机代码可以在https://github.com/fangq/mmc_trinity/blob/trinity/src/mmc_cu_host.cu找到

我想显着提高执行速度，尤其是减少热点的 memory 开销。

我以前认为在 CUDA 中读取的每个全局 memory 都带有一个 128 字节的缓存线 - 所以，读取 1x float 和 4x float4的成本相同。 但是，我从这两行观察到的 memory 延迟明显高于我对读取单个浮点数的预期。

下面是来自 nvvp 的nvvp 。 我想听听您对降低这两条线路的 memory 读取成本的策略有何看法。 我想提一提的是，这段代码实现了蒙特卡洛算法。 由于执行的随机性，线程之间几乎没有合并。

Answer 1

这是一个更新：

将频繁访问的normal数据（通过将所有四面体 w.r.t. 到源位置的距离排序）移动到常数 memory 后，ZCD69B4957F06CD818D7BF3D 的延迟不再从 a27% 下降到瓶颈 291Z。

这是修复 memory 延迟的提交：

https://github.com/fangq/mmc_trinity/commit/9ed59da8ec6b88375b9bdf1f7798f906ef8a5c65

尽管 memory 延迟已基本消除，但指令依赖性现在接管了，并在 PC 采样分析结果中从 37% 增长到 51%。 请参阅底部的饼图。 我对此并不感到惊讶，但看到 Titan V 上的模拟速度下降了一点，与 1080Ti 和 980Ti 相反，我有点惊讶。

before     after
22507.31  19204.92  photon/ms on Titan V    (slower)
 8112.93   9983.03  photon/ms on GTX 1080Ti (faster)
 5050.76   5518.46  photon/ms on GTX 980Ti  (faster)

看来，高寄存器数（104）仍然是最大的瓶颈（尽管在不完全改变算法的情况下我们能做的很少）。

我仍然对有效优化此代码的建议持开放态度，并将在此线程中进行进一步的澄清和讨论。 提前致谢。