說不是所有的激活 function 通過激活或停用 ANN 中的神經元來工作是否正確？

Question

我理解，從計算的角度來看，即使激活 function 的 output 為零，它仍會將零從神經元輸出到下一層，因此術語激活和停用神經元是松散描述架構和在模擬我們自己的大腦結構的人工神經網絡 (ANN) 中的過程。

但是，我是從語言的角度來問這個的。 換句話說，由於有很多不同的激活函數，有些通過輸出二進制數（零或一）來工作，而另一些則從不 output 為零，因此說某些激活函數總是激活神經元是正確的，因為它們從不 output 為零，而其他人通過激活或停用神經元來工作，因為它們在閾值上工作？

謝謝！

Answer 1

您嘗試在自然語言中在bool和float之間進行隱式類型轉換，現在您的大腦很困惑如何解析它；-)

首先，人工神經網絡是數學模型。 與生物學的類比是如此微弱，它基本上只是在講故事。

在人工神經網絡的上下文中，“激活函數”是一個特定位置的數學 function（在對加權輸入求和之后），從浮點數映射到浮點數。

因此，如果您真的想談論“激活”和“停用”，您應該定義這些術語，以確保所有讀者都參與其中。 如果 output 為零或更低，您可以說一個神經元被“停用”。

該語言的問題在於，當您編寫一個匯總所有激活的公式時。 “停用”算作-1.0還是0.0 ？ 你也必須定義它。 正如您注意到的那樣，這些術語因非二進制tanh和relu激活函數而分解。

回答您的問題：不，我認為您不能說“某些激活功能總是激活”。 你可以說一些激活函數可以激活（+1.0）或抑制（-1.0）神經元，而不是不影響它們（0.0）。 但通常你會使用抑制權重，而不是神經元。 它正在盡可能地擴展生物學類比 go。