在处理内存中的一些长向量时如何不搞乱缓存？

Question

前提

我想做一些涉及k长数据向量（每个长度为n ）的计算，我在主内存中接收，并将某种结果写回主存。 为简单起见，假设计算仅仅是

for(i = 0; i < n; i++)
    v_out[i] = foo(v_1[i],v_2[i], ... ,v_k[i])

也许

for(i = 0; i < n; i++)
    v_out[i] = bar_k(...bar_2(bar_1(v_1[i]),v_2[i]), ... ),v_k[i])

（这不是代码，它是伪代码。） foo()和bar_i()函数没有副作用。 k是常量（在编译时已知）， n仅在此计算发生之前就已知（并且它相对较大 - 至少比整个L2高速缓存大小大几倍并且可能更多）。

假设我在x86_64处理器（Intel，或AMD，或者你有什么）的单个核心上的单个线程上;可能这个选择很重要。 最后，假设foo()相应的bar_i()是不密集的计算，即，从存储器读取数据和写回是显著甚至主导相对于时间n （分别k X n ）的调用foo() （ bar_i() ）。

题

如何安排此计算，以避免：

• 来自一个输入向量的数据清除另一个向量的高速缓存数据。
• 输入矢量数据清除缓存的输出矢量数据。
• bar_j(...bar_1(v_1[i])...)中间结果保留在寄存器或L1缓存中，如果有足够的容量将它们保留在那里直到v_ {j + 1} [i] ... v_k的数据[i]到达并允许我们完成计算。 L2也是如此。
• 当我们打算继续处理该缓存行中的元素时，输出向量的L1缓存行被清除。 L2也是如此。
• 内存带宽利用不足。
• 核心空闲时间，尽可能。
• 在v_out上写 - 读 - 写 - 读 - 写序列（如果这些写需要更新到主存中，这可能是非常昂贵的;这里的动机是它可能很容易只读取一个向量，更新输出并重复） 。

笔记：

• 输入数据的任何重新排列都计入总计算时间。 这些向量不会在备用排列中重复使用，因此它基本上是浪费时间。
• 如果它让你更容易假设对齐，或者没有对齐，那就没问题，只需这样说。
• 使用bar_i函数进行计算可以提高访问模式的灵活性，但是在缓存v_out值时会产生额外的挑战。

Answer 1

来自一个输入向量的数据清除另一个向量的高速缓存数据。

如果在同一函数调用中使用v_1 [i]，v_2 [i]，...，v_k [i]，则输入向量将不会清除为其他向量缓存的数据。 对于在向量中读取的每个元素， CPU将仅获取缓存行，而不是整个向量 。 因此，如果您读取k个元素，您将从每个向量中带来k个缓存行。

输入矢量数据清除缓存的输出矢量数据。

你有与上述相同的情况。 情况并非如此。

只要我们需要，输出向量数据就会保留在寄存器或L1高速缓存中（在条形图中）。

在编写数据之前，您可以尝试使用_mm_prefetch内在函数来获取数据。

内存带宽利用不足。

为此，您需要最大化全宽度事务的数量。 基本上，当CPU取出缓存行时，您需要立即使用所有元素。 为此，您必须重新排列数据。 我会将所有k个向量视为kxn元素的矩阵， 以列主格式存储 。

type* pMat = (type*)aligned_alloc(CACHE_LINE_SIZE, n * k * sizeof(type));
v_0[i] = pMat[i * k + 0];
v_1[i] = pMat[i * k + 1];
// ...
v_k-1[i] = pMat[i * k + k-1];

这将把v_0，... v_k元素放在SIMD寄存器中，你可能有更好的矢量化。

核心空闲时间，尽可能。

较少的缓存未命中，较少的超越指令将导致较少的空闲时间。

在v_out上写 - 读 - 写 - 读 - 写序列（如果这些写需要更新到主存中，这可能是非常昂贵的;这里的动机是它可能很容易只读取一个向量，更新输出并重复） 。

您可以使用预取（_mm_prefetch）降低序列的价格。

Answer 2

为了减少清除缓存数据，您可以将k向量重新排列为1向量，其中包含具有k成员的结构。 这样，循环将按顺序访问这些元素，而不是在内存中跳转。

struct VectorData
{
    Type1 Var1;
    Type2 Var2;
    // ...
    TypeK VarK;
};

std::vector<VectorData> v_in;

for (i = 0; i < n; i++){
    v_out[i] = foo(v_in[i].Var1, v_in[i].Var2, ... , v_in[i].VarK);
    // Or just pass the whole element:
    v_out[i] = foo(v_in[i]);
}