什么是计算S形的最快方法？

Question

我正在尝试实现一个循环神经网络，其中sigmoid被选为激活函数。

我的第一个原型是用python编写的，我发现sigmoid在某种程度上是该程序的瓶颈，占总运行时间的约30％。

# x is a fixed size vector here
def sigmoid(x):
    return numpy.reciprocal(1.0 + numpy.exp(-x))

所以我尝试了另一个实现

def sigmoid(x):
    y = numpy.exp(x)
    return y/(1+y)

并且令人惊讶地发现它比第一种方法快50％。

我也尝试了第三种方法

def sigmoid(x):
    return (1.0+numpy.tanh(x/2.0))/2.0

，这比第一种方法稍慢。

后来我用C ++测试了所有3个实现。 前两种方法几乎没有任何区别，而且tanh略微（~5％）更快。 为什么会这样？ 我认为numpy是用C ++编写的。

Answer 1

基于此 ，似乎你最好的选择是scipy.special.expit