将张量传递给线性层的问题 - Pytorch

Question

我正在尝试构建一个神经网络，但是我无法弄清楚最大池化层哪里出了问题。

    self.embed1 = nn.Embedding(256, 8)
    self.conv_1 = nn.Conv2d(1, 64, (7,8), padding = (0,0))
    self.fc1 = nn.Linear(64, 2)

def forward(self,x):

    import pdb; pdb.set_trace()
    x = self.embed1(x) #input a tensor of ([1,217]) output size: ([1, 217, 8]) 
    x = x.unsqueeze(0) #conv lay needs a tensor of size (B x C x W x H) so unsqueeze here to make ([1, 1, 217, 8])
    x = self.conv_1(x) #creates 64 filter of size (7, 8).Outputs ([1, 64, 211, 1]) as 6 values lost due to not padding. 

    x = torch.max(x,0) #returning max over the 64 columns. This returns a tuple of length 2 with 64 values in each att, the max val and indices.
    x = x[0] #I only need the max values. This returns a tensor of size ([64, 211, 1])
    x = x.squeeze(2) #linear layer only wants the number of inputs and number of outputs so I squeeze the tensor to ([64, 211])
    x = self.fc1(x) #Error Size mismatch (M1: [64 x 211] M2: [64 x 2])

我理解为什么线性层不接受 211 但是我不明白为什么我的列最大化后的张量不是 64 x 2。

Answer 1

您使用torch.max返回两个输出：沿 dim=0 的最大值和沿该维度的argmax 。 因此，您只需要选择第一个输出。 （您可能要考虑为此任务使用自适应最大池化）。

您的线性层期望其输入为 64（即batch_size × 64形状的张量）。 但是，您的x[0]的形状似乎是13504 x 1 - 绝对不是 64。

例如，请参阅此线程。

Answer 2

如果我猜对了您的意图，那么您的错误是您将torch.max用于 2d maxpooling，而不是torch.nn.functional.max_pool2d 。 前者在张量维度上减少（例如，在所有特征图或所有水平线上），而后者在[batch, features, h, w]张量的[h, w]平面中的每个正方形空间邻域中减少。

Answer 3

取而代之的是：

  x = x.squeeze(2)

你可以这样做：

  x = x.view(-1, 64) # view will now correctly resize it to [64 x 2]

您可以将 view 视为 numpy reshape。 我们使用 -1 表示我们不知道我们想要多少行，但我们知道我们有多少列，64。