LLC 负载值与 perf stat 不一致

Question

我正在尝试使用 perf stat 来获取硬件计数器信息，以便在英特尔至强处理器（基于 Skylake）上进行基准测试。 当我提供-e LLC-loads -d -d -d标志时，perf stat 打印出 LLC-loads 两次 - 一次是由于-e LLC-loads ，另一次是由于打开了详细标志。 但是，结果不一致：

$ perf stat -e LLC-loads,LLC-stores,L1-dcache-loads,L1-dcache-stores -d -d -d <my benchmark executable>

Performance counter stats for '<my benchmark executable>':

        5145246847      LLC-loads                                                     (30.78%)
        8167130238      LLC-stores                                                    (30.80%)
      198057619358      L1-dcache-loads                                               (30.80%)
       83142567530      L1-dcache-stores                                              (30.80%)
      197792116698      L1-dcache-loads                                               (30.79%)
       27391515211      L1-dcache-load-misses     #   13.84% of all L1-dcache hits    (30.78%)
        5114059688      LLC-loads                                                     (30.78%)
        3025020254      LLC-load-misses           #   58.97% of all LL-cache hits     (30.76%)
   <not supported>      L1-icache-loads                                             
          58697135      L1-icache-load-misses                                         (30.75%)
      198322967573      dTLB-loads                                                    (30.74%)
         209105723      dTLB-load-misses          #    0.11% of all dTLB cache hits   (30.72%)
           2639992      iTLB-loads                                                    (30.74%)
           1368656      iTLB-load-misses          #   51.84% of all iTLB cache hits   (30.76%)
   <not supported>      L1-dcache-prefetches                                        
   <not supported>      L1-dcache-prefetch-misses                                   

      25.301480157 seconds time elapsed

     585.222699000 seconds user
       1.070800000 seconds sys

从output中可以看出，output中有两个不同值的LLC-load。 我错了什么？

我已经尝试了多种不同的基准测试，假设它可能是特定于基准测试的，但这种行为随处可见。

Answer 1

请注意多路复用，因为您指定了如此多的事件：它们在总时间的(30.78%)中被采样，并从中推断出数量。 Skylake 每个逻辑内核只有 4 个可编程计数器，可以同时对不同的硬件事件进行计数。

您的程序并非随时间 100% 均匀，并且存在采样/外推噪声，因此数字接近但相差几个百分点。 （多路复用代码没有组合指定两次的事件，而只是将它的两个实例放入轮换中。）

如果您只计算事件的两个实例而没有许多其他事件，您会期望计数完全相等，因为它们在不同的 HW 计数器上同时处于活动状态。 （除非第一个计数器在编程后会对任何事件进行计数，而 kernel 仍在对第二个进行编程。--all --all-user会避免这种情况，告诉硬件仅在逻辑核心位于用户空间时才计数。）例如

$ perf stat -e LLC-loads,LLC-loads cmp /dev/zero /dev/full
^Ccmp: Interrupt

 Performance counter stats for 'cmp /dev/zero /dev/full':

            31,425      LLC-loads                                                          
            31,425      LLC-loads                                                          

       2.748813842 seconds time elapsed

       1.113722000 seconds user
       1.633880000 seconds sys

（计数很少，我猜cmp使用的缓冲区足够小以适合 L3 缓存。我使用了两个不同的文件，它们将读取为全零，因此它不能检测到它们是相同的。）

有关的：

• Perf 工具统计 output：“循环”的多路复用和缩放- instructions:D和cycles:D将告诉 perf 始终计算那些； Intel CPU 上有针对这些事件的专用非可编程计数器，但多路复用代码不知道这些。 您可以对其他事件执行此操作，但这会占用您未指定:D的事件的插槽。