如何计算调用 cuBlas function 的 MPI 程序实现的 FLOPS

Question

我正在使用 cuBlas function 加速 MPI 程序。 为了评估应用程序的效率，我想知道程序运行后 GPU 的 FLOPS、memory 用法和其他内容，尤其是 FLOPS 。

我已阅读相关问题： 如何计算 kernel 的 Gflops 。 我认为答案提供了两种计算程序 FLOPS 的方法：

1. model 操作的计数除以操作的成本时间
2. 使用 NVIDIA 的分析工具

第一个解决方案不依赖于任何工具。 但我不确定 model 计数的含义。 是 O(f(N))？ 就像 GEMM 的 model 计数是 O(N^3)？ 如果我将 4 x 5 和 5 x 6 的两个矩阵相乘并且成本时间为 0.5 s，那么 model 的计数是否为 4 x 5 x 6 = 120？ 所以 FLOPS 是 120 / 0.5 = 240？

第二种解决方案使用 nvprof，现在已弃用，取而代之的是 Nsight System 和 Nsight Compute。 但是这两个工具仅适用于 CUDA 程序，而不是 MPI 程序启动 CUDA function 。 所以我想知道是否有一个工具来分析启动 CUDA function 的程序。

我一直在寻找这个问题两天，但仍然找不到可接受的解决方案。

Answer 1

但我不确定 model 计数的含义。 是 O(f(N))？ 就像 GEMM 的 model 计数是 O(N^3)？ 如果我将 4 x 5 和 5 x 6 的两个矩阵相乘并且成本时间为 0.5 s，那么 model 的计数是否为 4 x 5 x 6 = 120？ 所以 FLOPS 是 120 / 0.5 = 240？

标准的 BLAS GEMM 操作是C <- alpha * (A dot B) + beta * C和对于 A (m x k)、B (k x n) 和 Z0D61F8370CAD1D412F80B841 行的每个内积 3412F80B841 A 和 B 的一列乘以 alpha 是2 * k + 1 flop 并且A dot B中有m * n内积，另外还有2 * m * n flop 用于将beta * C添加到该点积。 因此，当alpha和beta都非零时，总的 model FLOP 计数为(2 * k + 3) * (m * n) 。

对于您的示例，假设alpha = 1和beta = 0并且实现足够聪明，可以跳过额外的操作（大多数是）GEMM flop count is (2 * 5) * (4 * 6) = 240，如果执行时间为 0.5 秒，model 算术吞吐量为 240 / 0.5 = 480 flop/s。

如果您确实需要计算 GEMM（或其他 BLAS/LAPACK 操作）的性能，我建议您使用该方法。 这是自 1970 年代以来大多数计算机线性代数文献和基准测试的工作方式，您会发现大多数报告结果都是这样计算的，包括 HPC LINPACK 基准测试。

Answer 2

使用 CLI 分析 MPI 代码清楚地说明了如何使用 nsys 收集 MPI 程序运行时信息。

NVIDIA GPU 上的 gitlab Roofline Model使用 ncu 来收集程序的实时 FLOPS 和 memory 使用情况。 计算这些指标的方法是：

时间：

sm__cycles_elapsed.avg / sm__cycles_elapsed.avg.per_second

翻牌：

DP：sm__sass_thread_inst_executed_op_dadd_pred_on.sum + 2 x sm__sass_thread_inst_executed_op_dfma_pred_on.sum + sm__sass_thread_inst_executed_op_dmul_pred_on.sum

SP：sm__sass_thread_inst_executed_op_fadd_pred_on.sum + 2 x sm__sass_thread_inst_executed_op_ffma_pred_on.sum + sm__sass_thread_inst_executed_op_fmul_pred_on.sum

HP：sm__sass_thread_inst_executed_op_hadd_pred_on.sum + 2 x sm__sass_thread_inst_executed_op_hfma_pred_on.sum + sm__sass_thread_inst_executed_op_hmul_pred_on.sum

张量核心：512 x sm__inst_executed_pipe_tensor.sum

字节：

DRAM：dram__bytes.sum

L2：lts__t_bytes.sum

L1：l1tex__t_bytes.sum