在决定哪个更好或性能更好时，缓存未命中率是唯一重要的因素吗？

Question

如果我有两种不同的缓存子系统设计 C1 和 C2，它们的硬件复杂度大致相同，考虑到缓存子系统的有效性是首要因素，我是否可以决定哪一个是更好的选择，即应该尽量减少未命中数。

给出下面的总未命中率：

miss_rate = (number of cache misses)/(number of cache reference)

• miss rate of C1 = 0.77

• miss rate of C2 = 0.73

给定的未命中率信息是否足以决定哪个子系统更好？

Answer 1

是的，假设两个缓存的命中延迟相同，您关心的工作负载的实际未命中率是该工作负载的最终因素。 它并不总是一概而论。

大小、关联性、驱逐策略的所有差异都很重要，因为它们对任何给定工作负载的未命中率都有影响。 甚至缓存行（块）大小也会影响到这一点：具有两倍数量的 32 字节行的缓存与具有一半数量的 64 字节行的缓存将能够缓存更多分散的单词，但在一个小姐。 （除非你有硬件预取，但预取算法最终只会影响未命中率。）

如果命中和未命中延迟是固定的，那么所有未命中都是平等的，您只需要更少的延迟。

嗯，不仅仅是延迟，还有对流水线的整体影响，如果 CPU 不是 1980 年代的简单有序设计，那么它只会因未命中而停止。 这是家庭作业通常假设的，否则未命中成本取决于上下文的细节，因此无法仅基于指令组合、命中/未命中率和未命中成本来计算性能。

一个乱序的 exec CPU 可以比其他的更好地隐藏一些未命中的延迟。 （在一些更大的依赖链的关键路径上与不是。）即使是可以记分板加载的有序 CPU 也可以在缓存未加载的阴影下完成工作，直到它到达读取加载结果的指令。 （并且使用存储缓冲区，通常可以隐藏存储未命中延迟。）因此，未命中惩罚可能会有所不同，具体取决于哪些加载未命中，软件指令调度是否能够隐藏更多或更少的延迟。 （如果加载后的独立工作包括其他加载，那么您需要一个非阻塞缓存来处理未命中。未命中到内存级并行的多次未命中也有帮助，因为能够在 2 次或更多次缓存未命中加载后命中。）

我认为通常对于具有不同缓存几何形状和大小的大多数工作负载，不会有明显的偏向于更容易隐藏或不隐藏更多的未命中，因此您仍然可以说未命中率是最终重要的唯一因素。

缓存的未命中率取决于工作负载，因此您不能说仅一个工作负载或跟踪的较低未命中率就平均而言或在所有情况下都更好。 例如，一个 8 路关联 16 KiB 缓存在一个工作负载上可能比 32 KiB 2 路缓存具有更高的命中率（2 路缓存有很多冲突未命中），但在工作集所在的不同工作负载上主要是一个连续的 24KiB 阵列，32K 2 路缓存可能具有更高的命中率。

Answer 2

“更好”一词是主观的，如下所示：

1. 就硅房地产而言，硬件成本意味着更大的芯片生产成本更高，因此每个芯片的成本更高。 （更大的缓存甚至可能不适合有问题的芯片。）

2. 硬件成本，就硅工艺技术而言，意味着更快的缓存需要更先进的芯片工艺，因此会增加每个芯片的成本。

3. 给定缓存的未命中率是特定于工作负载的（例如特定于应用程序或特定于算法）。 因此，两个不同的工作负载在所讨论的每个缓存上可能具有不同的未命中率。 因此，这里的“更好”可能意味着平均工作负载（或多个不同工作负载的平均值），但存在很大的可变空间。

4. 我们必须知道缓存在命中和未命中时的性能——因为具有更高命中率的更复杂的缓存可能需要更长的时间。

总之，为了说未命中率越低越好，我们必须知道所有其他因素都相同。 否则，需要定义更好的概念，可能包括成本/收益定义。