Sigmoid函数又称logistic函数,在逻辑回归中很常见。
公式如下。
Sigmoid函数常用作神经网络的阈值函数,将变量映射在0、1之间。 该函数单调递增,(0,0.5 )对称,两端的变化速度变慢。
它是神经网络中的激活函数,其作用是引入非线性。优点:
) sigmoid函数单调连续,输出范围有限,数据在传输过程中不易发散
)2)输出范围为) 0,1 ),因此可以将二分类后的模型作为输出层,输出表示概率。
(3)求导很容易,其导数可以自己表示) f’(x ) f'(x ) )1- f (x ) )缺点:
)1)容易引起坡度消失的问题。 sigmoid函数及其导数Deriv.Sigmoid的图如下,导数的值总是小于1,总是围绕0变化,在深层神经网络中容易引起梯度消失问题。
)2) 0不作为对称轴)这是通过tahn函数改善的) ) ) )。