标量 CPU 与向量 GPU 与矩阵 AI 与空间 FPGA

Question

“...架构的广度涵盖标量 (CPU)、向量 (GPU)、矩阵 (AI) 和空间 (FPGA)”

我还没有听说过将 CPU 与 GPU 描述为标量与矢量。 此外，AI 被描述为一种架构（是的，ML 肯定需要大型矩阵 - 但矩阵架构意味着什么 - 并且不是像 NVIDIA Titans 那样经常用于加速 ML 的 GPU）或 FPGA 被描述为空间架构（空间在什么意义上 - 不是 3D AR/VR/XR 空间计算对吗？）

有人可以解释这样的声明（ 来源）是什么意思吗？

Answer 1

• CPU 是标量的：每个周期，1 条指令对 1 个数据字进行操作。
• GPU 是向量：每个周期，一条指令对许多数据字进行操作。
• 矩阵：每个周期，1 条指令将矩阵相乘（通常是小矩阵，例如 2x4 * 4x2 以产生大小为 2x2 的 output 矩阵）。
• 空间架构：与指令流经 pipe 的传统架构 (CPU/GPU) 相比，这里的数据流经处理元素的网格。

现代 CPU 具有一些矢量功能 (AVX)，并且可能具有专门的矩阵处理硬件 (Intel Nervana)。 现代 GPU 除了是传统的矢量处理器外，还具有专门的矩阵处理硬件（NVIDIA Volta/Turing）。