给定一个 int 偏移向量，如何使用 AVX512 内在函数收集单个字节？

Question

我有一个基地址 (uint8_t*) 和一个 16 个偏移量的向量 (__m512i)。 我最终需要一个 __m128i，其中包含从 16 个不同的 memory 位置收集的 16 个字节。

至于现在我明白没有这样的原始，我能用的只是

uint8_t base;
__m512i offsets;
__m512i values = _mm512_i32gather_epi32(base, offsets, 1);

这给了我一个 __m512i 我有

Vjjj Vjjj Vjjj Vjjj Vjjj Vjjj Vjjj Vjjj Vjjj Vjjj Vjjj Vjjj Vjjj Vjjj Vjjj Vjjj

（j 是垃圾，V 是我感兴趣的值）

现在我需要重新打包数据，最终得到一个只有我感兴趣的数据的向量，但我越来越困惑，我什至不知道我是否遵循了正确的方法。

Answer 1

您正在寻找的洗牌是 AVX512F 的一部分： _mm512_cvtepi32_epi8 ( VPMOVDB )。 有趣的事实：如果你愿意，它甚至可以以内存目标存储的形式出现，尽管在 Skylake-avx512 硬件上它并不比正常效率高。 （它确实允许在没有 AVX512BW 的 Xeon Phi 上进行字节屏蔽存储。）

是的，如果您可以安全地读取每个字节元素末尾之后的 3 个字节的垃圾， 而不会因触摸未映射的页面而出错，那么 dword 收集 + 打包可能是您最好的选择。 特别是如果它们不太可能跨越缓存行或特别是页面边界。 如果您的索引对那些最坏情况的字节位置存在偏差，请考虑以不同方式对齐源数据或执行其他操作。

如果索引中有任何类型的模式，这可以提高手动加载+随机播放的效率，特别是如果单个向量加载可以跨越您想要的多个值。 即使只有一个固定的步幅，也值得考虑循环索引以使用vpinsrb或其他东西一次插入一个元素，如在AVX2 字节收集中使用 uint16 索引，到 __m256i中。 但是使用最近的硬件（Skylake）和宽向量（尤其是 AVX512），聚集非常好，每个时钟可以接近 0.5 个元素。

---

您的_mm512_i32gather_epi32操作数顺序错误，并且base当然需要是指针，而不是标量uin8_t ：

__m128i bytegather(uint8_t *base, __m512i offsets)
{
    __m512i values = _mm512_i32gather_epi32(offsets, base, 1);
    return _mm512_cvtepi32_epi8(values);   // pack with truncation.
}

---

对于带有_mm256_i32gather_epi32的 AVX2 版本，您必须使用不同的随机播放。 也许提取高半部分，将其左移，字混合（ vpblendw ），因此您想要的所有字节都在一个__m128i中。 然后vpshufb ( _mm_shuffle_epi8 ) 将你想要的 8 个字节打包到寄存器的底部？

在聚集之前从高半部分的索引中减去一两个可以避免需要移位，因此您想要的字节位于 dword 元素中的不同位置。 但请注意，这意味着如果index=0您正在从表格开始之前加载。 因此，如果可能出现段错误，则不能这样做。 （这对性能来说可能是个坏主意）。

---

如果您有多个这些向量并希望最终从 4 个偏移量向量构建__m512i字节，您可以考虑使用 2-input pack 指令（如_mm512_packs_epi32 vpackssdw ）和最终的 qword shuffle 来修复车道内行为. 但是这些包只有饱和版本，没有截断，并且首先从每个输入中清除高垃圾需要额外的指令。

相反，最好使用_mm512_permutex2var_epi16 ( vpermt2w ) 作为第一步，尽管它在 Skylake-X 上花费了多个 shuffle 微指令，不幸的是，即使在vpermb是单微指令的 Ice Lake 上也是如此。 您需要计算总 shuffle uops 以从 4 个__m512i输入中生成一个__m512i并查看哪个最便宜，因为这与使用_mm512_cvtepi32_epi8截断到__m128i然后建立备份相比。