缓存未命中是否与我们是否使用堆内存相关？

Question

为了获得最佳性能，请尝试最小化缓存未命中。 我想我们都可以同意。

我建议并想问的是以下内容。 我这样说：

template <typename T>
struct {
    T* a;
    T* b;
    T* c;
};

比以下情况更容易发生缓存未命中：

template <typename T>
struct {
    T a;
    T b;
    T c;
};

我经常提出这样的论点： 最小化堆分配以最小化缓存未命中 。 我对此有错吗？

基本原理：从我的工作仿真器（我编写了包括MMU的PowerPC的仿真器）：内存被拉入页面或块中。 如果您在堆栈上分配所有内容，则编译器将有更好的机会将所有内容保存在连续的内存块中，这意味着提取单个页面/块将包含整个结构/类（假设您未使用巨大的结构/类），因此您的缓存未命中次数将减少。

当人们提到现代CPU时，我还没有完全理解它们（我不知道它是否仅指多个高速缓存级别上的页表遍历过程）。 有人告诉我，我的论点对此不正确，我不明白他们的意思。 有人可以告诉我我的论证是正确的还是不正确的，以及由于x86 / x64体系结构中的特定原因是否错误？

Answer 1

在堆栈或堆上，您将遇到缓存未命中的情况。 所以不，这与最小化堆分配无关。

问题是处理器如何才能尽可能多地重用缓存信息并预测要去的地方。 这就是vector量比列表更好的原因，因为您正在以可预测的方式（与列表或地图相比）遍历数据。

所以，问题是，你的struct的结构说3 float是那些获得在堆中分配，或数组float ？ 如果是第一个，然后是坏的，请使用数据本身而不是指针，如果是后者，则请使用数据，如果遍历每个数组，则具有局部性。

3个基本规则是位置，位置，位置。

然后是关于结构数组（AoS），数组结构（SoA，通常在并非所有条目都对计算有用的情况下通常更好）和数组结构数组（AoSoA，带有矢量化代码，最后一个数组将被打包的完整讨论。花车/整数...）。