神经网络、线性和逻辑回归

Question

逻辑和线性回归是神经网络的特例吗？

请指出我是否可以认为这个陈述是正确的。

Answer 1

神经网络可以配置为执行逻辑回归或线性回归。

在任何一种情况下，神经网络都只有一个可训练层（output 层），并且该层只有一个神经元（执行W * x + b仿射计算和激活的算子）。 它们的不同之处在于激活 function。

对于逻辑回归，在 output 层有一个 sigmoid 激活 function，产生范围为 [0.0, 1.0] 的浮点数。 您可以通过对该值应用 0.5 的阈值来做出二元决策。

对于线性回归，在 output 层通常没有激活 function，因此您得到一个无界浮点数。

通常，您可以将隐藏层添加到您的神经网络中（以增加非线性和更多学习能力）并且仍然执行二进制分类和回归，只要如上所述配置 output 层激活即可。