对于较大的交叉或外部产品，NumPy 比 PyTorch 更快

Question

我正在计算大小为(50500,)向量之间的巨大外(50500,)并发现 NumPy 在这样做时比 PyTorch 快（很多？）。

以下是测试：

# NumPy

In [64]: a = np.arange(50500) 
In [65]: b = a.copy()  

In [67]: %timeit np.outer(a, b) 
5.81 s ± 56.3 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

-------------

# PyTorch

In [73]: t1 = torch.arange(50500)
In [76]: t2 = t1.clone()

In [79]: %timeit torch.ger(t1, t2) 
7.73 s ± 143 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)

理想情况下，我希望在 PyTorch 中完成计算。 那么，如何加快 PyTorch 中为如此巨大的向量计算外积的速度？

---

注意：我试图将张量移动到 GPU，但我MemoryError因为它需要大约 19 GiB 的空间。 所以，我最终不得不在 CPU 上做这件事。

Answer 1

不幸的是，没有大量的努力，真的没有办法专门加速torch.ger()计算外积torch.ger()的方法。

说明和选项

numpy 函数np.outer()之所以这么快是因为它是用 C 编写的，你可以在这里看到： https : //github.com/numpy/numpy/blob/7e3d558aeee5a8a5eae5ebb6aef03de892a92ebd/numpy/core/numeric.py#L1123该函数使用来自umath C 源代码的操作。

Pytorch 的torch.ger()函数在这里用 C++ 编写： https : //github.com/pytorch/pytorch/blob/7ce634ebc2943ff11d2ec727b7db83ab9758a6e0/aten/src/ATen/native/LinearAlgebra.cpp#L142稍微慢一点你可以在你的例子中看到。

“在 PyTorch 中加速计算外积”的选项是在 pytorch 的本机代码中为外积添加 C 实现，或者在使用 Cython 之类的东西与 C 接口时创建自己的外积函数，如果你真的不想的话使用 numpy （这没有多大意义）。

聚苯乙烯

另外顺便说一句，使用 GPU 只会提高 GPU 上的并行计算速度，这可能不会超过在 RAM 和 GPU 内存之间传输数据所需的时间成本。

Answer 2

一个非常好的解决方案是将两者结合起来。

class LazyFrames(object):
    def __init__(self, frames):
        self._frames = frames

    def __array__(self, dtype=None):
        out = np.concatenate(self._frames, axis=0)
        if dtype is not None:
            out = out.astype(dtype)
        return out

frames可能只是你的 pytorch 张量。

该对象确保观察之间的公共帧仅存储一次。 它的存在纯粹是为了优化可能很大的内存使用（例如 DQN 的 1M 帧重播缓冲区）。 在传递给模型之前，此对象仅应转换为 numpy 数组。

参考： https : //github.com/Shmuma/ptan/blob/master/ptan/common/wrappers.py