将向量 (1 x N) 乘以张量 (N x M x M)

Question

我正在寻找 numpy 或最好是 pytorch 中的矩阵运算，它允许将向量 (1 x N) 乘以张量 (N x M x M) 并得到 (1 x M x M)。 这可以使用 for 循环轻松完成，但 for 循环不允许在训练期间进行反向传播。 我尝试在 numpy 和 pytorch（以及其他几个如 dot 和 bmm）中使用 matmul，但无法正常工作。 这是我正在尝试做的一个示例（其中 M=2，但在我的用例中是 256）：

a = np.array([1,2,3])
b = np.array([[[1,2],[3,4]],[[5,6],[7,8]],[[9,10],[11,12]]])

我想执行操作： 1*[[1,2],[3,4]] + 2*[[5,6],[7,8]] + 3*[[9,10],[11,12]] ，这可以通过这样的 for 循环来实现：

for i in range(3):
  matrix_sum += a[i]*b[i]

任何建议或解决方案将不胜感激。

Answer 1

您可以使用简单的 einsum：

#this gives you 2-D array (M,M)
np.einsum('i,ijk->jk',a,b)

output：

[[38 44]
 [50 56]]

或其他解决方案：

#this gives you 3-D array (1,M,M)
a[None,:]@b.swapaxes(0,1)

output：

[[[38 44]
  [50 56]]]

Answer 2

Numpy 和 pytorch 是基于矩阵乘法构建的！

手电筒示例：

A = torch.rand(1, N)
B = torch.rand(N, M, M)

C = A @ B.transpose(0, 1) 
C.transpose_(0, 1)
C.shape
torch.size(1, M, M)

和 numpy 类似：

A = np.random.randn(1, N)
B = np.random.randn(N, M, M)

C = A @ B.transpose(1, 0, 2)
C = C.transpose(1, 0, 2)
C.shape
(1, M, M)

为 Einsum 爱好者编辑：

Pytorch 和 numpy 几乎以相同的方式处理 einsum：

torch.einsum('i,ijk->jk', A, B)
np.einsum('i,ijk->jk', A, B)

Pytorch einsum 文档： https://pytorch.org/docs/master/generated/torch.einsum.html Numpy einsum 文档： https://numpy.org/doc/stable/reference/generated8648.45einsum/8647.einsum