有没有办法使用详细的缓存/CPU 效率信息来分析 MPI 程序？

Question

操作系统：Ubuntu 18.04 问：如何分析多进程程序？

我通常使用 GNU perf 工具来分析程序如下： perf stat -d./main [args] ，该命令将返回详细的性能计数器，如下所示：

         47,455.09 msec task-clock                #    8.602 CPUs utilized          
           129,199      context-switches          #    0.003 M/sec                  
                92      cpu-migrations            #    0.002 K/sec                  
            16,228      page-faults               #    0.342 K/sec                  
   117,757,409,457      cycles                    #    2.481 GHz                      (49.84%)
   236,496,093,412      instructions              #    2.01  insn per cycle           (62.31%)
     1,454,901,353      branches                  #   30.658 M/sec                    (62.18%)
         6,168,091      branch-misses             #    0.42% of all branches          (62.30%)
   183,462,410,176      L1-dcache-loads           # 3866.021 M/sec                    (62.55%)
       189,736,991      L1-dcache-load-misses     #    0.10% of all L1-dcache hits    (62.75%)
         8,330,520      LLC-loads                 #    0.176 M/sec                    (50.14%)
           628,142      LLC-load-misses           #    7.54% of all LL-cache hits     (50.25%)

       5.516529249 seconds time elapsed

      46.947476000 seconds user
       0.989185000 seconds sys

我关注的是 CPU 效率（第 1 行）、IPC（第 6 行）、L1 和 LLC 带宽（第 9 和 11 行）。

但是现在，我需要分析 MPI 程序的每个进程，假设我们通过执行mpiexec -np 3./main [args]有 3 个进程，我怎样才能获得每个进程的 CPU 效率、IPC、L1 和 LLC 信息分别处理？ （通过使用 perf stat -d，我只能得到包含 3 个进程的整体信息，这对我来说目前还不够）

我想要的output是这样的：

PID: 1
LLC Band.: xxx

PID: 2
LLC Band.: xxx

PID: 3
LLC Band.: xxx

我怎样才能做到这一点？ （我想知道 GNU gperf可以做到这一点吗？或者是否有一些 C++ 方法可以做到这一点？）

Answer 1

gperf 或 gprof 等基本分析器不适用于 MPI 程序，但有许多分析工具专门设计用于 MPI，它们收集和报告每个 MPI 等级的数据。 几乎所有这些都可以收集缓存未命中的硬件性能计数器。 这里有几个选项：

• HPCToolkit用于基于采样的分析。 适用于未修改的二进制文件。
• TAU和Score-P提供基于仪器的分析。 通常需要重新编译。
• TiMemory和Caliper可让您标记要测量的代码区域。 TiMemory 还有用于屋顶线分析等的脚本。

体面的 HPC 中心通常安装一个或多个。 请参阅手册以了解如何收集硬件计数器。