Function 的激活函數

Question

是否可以定義激活 function 的 function？ 我試着做：

def activation():
    # return nn.Sin()
    # return nn.Tanh()
    # return nn.Sigmoid()
    # return nn.Tanhshrink()
    return nn.HardTanh(-1,1)
    # return nn.Hardswish()
    # return nn.functionnal.silu()

但是在嘗試調用它時出現錯誤。 這是一個例子：

def f():
  return nn.Tanh()
input = torch.randn(2)
output = f(input)
print(output)

它輸出“TypeError：f() 采用 0 位置 arguments 但給出了 1”。 即使我給了它一個參數x，它也不起作用。

Answer 1

您可以使用面向對象的方法：

>>> f = nn.Tanh()
>>> output = f(x)

或者功能方法，您可以在nn.functional中找到nn.Tanh的等價物作為tanh 。

>>> f = nn.functional.tanh
>>> output = f(x)

Answer 2

實際上，您沒有為 function 提供論據。 這是你想要做的嗎？

def f(x):
  return nn.Tanh(x)