什么是激活函数
在神经网络中，对所有输入进行加权相加，然后对结果应用函数。 这个函数被称为激活函数。 如下图所示。
使用为什么使用激活函数激活函数并不实际激活任何内容。 这是一个抽象的概念，可以处理更复杂的问题，以便在使用激活函数时使中间输出多样化。
在不应用结果函数的情况下，每一层最后输出的是前一层输入的线性函数，无论增加多少神经网络，我们最后的输出都只是最初输入的数据的线性组合。 激活函数在神经元中引入非线性因素，加入多层神经网络后，可以将线性函数和非线性函数拟合到神经网络中，使得神经网络不仅适用于线性问题，而且可以应用于更多的非线性问题。
有论文将激活函数定义为几乎处处可微函数f: R-R
对于有哪些激活函数神经网络，第一版使用三种激活函数： Sigmoid函数、Tanh函数和ReLU函数。
基本概念：
饱和
如果函数f(x )满足以下条件：
的，右饱和；
如果函数f(x )满足以下条件：
时，称为左饱和。
f(x )满足左饱和和右饱和两者的情况称为饱和。
软包和与硬包和
基于饱和的定义，如果存在常数c1且在xc1时总是满足，则将其称为右硬饱和； 类似地，存在c2并且在xc2时永久充满被称为左硬饱和。 如果同时满足左饱和，又满足右饱和，则称为硬包。 相比之下，如果只有在x趋向极值时才能满足F(X )的倒数为0，则为软饱和。
1. Sigmoid 函数sigmoid曾风靡一时，但由于sigmoid有自身的缺陷，目前已很少使用。
函数的公式如下。
相应的
函数曲线如下所示。
优点：
1Sigmoid的取值范围为(0，1 )，而且是单调增加，所以容易最优化
2Sigmoid求导比较容易，可以直接推导。
坏处：
1 Sigmoid函数的收敛比较慢
2Sigmoid是软饱和的，容易出现梯度消失，不太适合深度网络训练(从图中sigmoid的导数可以看出，当x无限大时导数也变为0 ) ) )。
3 Sigmoid函数并不是以0，0为中心点
2. Tanh函数tanh是双正切曲线，通过(0，0 )点。 与Sigmoid函数相比，更倾向于使用tanh函数
函数表达式：
相应的
函数曲线如下所示。
优点：
1函数输出以(0，0 )为中学
相对于Sigmoid收敛速度快
坏处：
1 tanh没有解决sigmoid坡度消失的问题
3. ReLU函数这几年常用的激活函数。
公式如下。
图形图像：
优点：
在SGD中，收敛速度比Sigmoid和tanh快很多
2有效地缓解了梯度消失问题
3可以对神经网络使用稀疏表示
4对于无监督学习，也能取得较好的效果
坏处：
1训练中容易出现神经元失望，随后梯度永远为0的情况。 例如，在非常大的梯度结果神经元之后，当调整权重参数时，这个ReLU神经元对于以后的输入永远不被激活，这个神经元的梯度永远为0，导致不可逆的死亡。
参考： http://www.cn blogs.com/rgvb 178/p/6055213.html