如何在 pytorch 中使用可學習的參數，限制在 0 和 1 之間？

Question

我想使用一個只取 0 到 1 之間的值的可學習參數。如何在 pytorch 中執行此操作？

目前我正在使用：

self.beta = Parameter(torch.Tensor(1))
#initialize
zeros(self.beta)

但是，當我訓練時，我得到了這個參數的零和 NaN。

Answer 1

您可以讓“原始”參數采用任何值，然后將其通過 sigmoid function 以獲取范圍 (0, 1) 內的值，以供 function 使用。

例如：

class MyZeroOneLayer(nn.Module):
  def __init__(self):
    self.raw_beta = nn.Parameter(data=torch.Tensor(1), requires_grad=True)

  def forward(self):  # no inputs
    beta = torch.sigmoid(self.raw_beta)  # get (0,1) value
    return beta

現在您有了一個具有有效范圍 (0,1) 的可訓練參數的模塊