如果不用激活函数的使用原因激励函数，每层输出都是上层输入的线性函数，不管有多少神经网络，输出都是输入的线性组合。 如果使用的话，激活函数在神经元中引入非线性因素，使得神经网络可以任意逼近任何非线性函数，神经网络可以应用于许多非线性模型。 例如，在单层感知器中，分类结果比某个值大的为类，小的为类。 然后，在该时刻输出结果中产生步骤。 逻辑函数解决了阶跃函数的突然阶跃问题，以0-1的概率输出，结果更平滑。 他是单调上升的函数，连续性好，没有不连续点。 1. softmax函数si=eiejs _ I=frac { e ^ I } {sume ^ j } si=ejei
映射区间[ 0，1 ]主要是离散化概率分布激活函数SoftmaxSigmoid本质离散概率分布非线性映射任务多分类二分类定义域某一维矢量单数值域[ 0，1 ] [ 0，1 ]的结果之和一定为1的正数2. sigmoid函数f(x
映射区间(0，1 )是神经网络中逻辑函数的反向传播sigmoid函数对f(x )=11EXF(x )=(FRAC )1) (e^-x ) f ) x )=1 ex1
f(x )=1) 1ex )2) ex ) f ) (x )=-(FRAC ) ) (1e^{-x} ) ) (1e^{-x} ) f ) ) ) x ) 2
f(x )=ex ) 1ex ) 2f ) ) x ) FRAC ) e^{-x}{(1e^{-x}}^{2}f ) ) x )=) 1ex ) 2ex
f(x )=1ex1) 1ex ) 2f ) ) x ) ) FRAC ) 1e^{-x}-1}{(1e^{-x}}^{2}}f ) ) x ) 1ex1
f(x )=11ex1ex11exf ) ) x ) ) Frac{1} ) 1e^{-x}(Frac ) 1e^{-x}-1}{1e^{-x}}}f ) x )=1eexf
f(x )=11ex ) f ) ) x )=) FRAC )1) e^{-x}(1- ) FRAC )1) ) e^{-x} ) f ) x )=1ex1
f(x )=f ) x ) ) 1f ) x )=f ) x ) ) (1-f ) x ) ) x )=f ) x ) ) 1f ) x ) )
sigmoid是极端情况(类别数2 )下的softmax
因此，sigmoid的最大值取1/41/41/4
所以sigmoid在多层神经网络中很少使用。 因为会发生梯度消失。 为什么会这样呢？ 当我们反向传播时，求梯度的是连锁定律，也就是多个导数公式联合的形式。 整个坡度非常小，因为sigmoid的最大值为1/41/41/4。
3. tanh函数f(x )=tanh ) x )=exexexf (x )=tanh ) ) x ) (e^x ) ) (e^xe^{-x} ) f ) ) x ) )
映射区间(-1，1 )也称为双正切函数sigmoid函数和tanh函数，如果神经网络的层数变多，则在进行逆传播时为了连锁地寻求导电，乘以多个项，在饱和区域(导数接近零的地方)计算函数
例如，sigmoid函数及其导数的函数如下，会出现梯度消失的问题
解决方案：可以通过批标准化(batch normalization )解决
4. ReLU函数
映射区间： [0，]
RELU函数的优点：
对大脑的研究表明，生物神经元的信息编码通常比较分散和稀疏。 通常，大脑中同一时间只有约1%-4%的神经元被激活。 线性修正和正则化可以用于调试机器神经网络中的神经元的活性(即输出)为正值，而逻辑函数当输入为0时达到1/2，即但是，注意，通常在修正线性单元(即使用线性整流的神经网络)中，约50%的神经元处于激活状态。更有效的梯度下降和反向传播：简化了计算过程，避免了梯度爆炸和梯度消失问题：其他复杂，如指数函数同时活性度的分散性降低神经网络整体的计算成本。 RELU总结
ReLU函数大于零的部分和小于零的部分分别是线性函数，但整体不是线性函数，仍然可以是激活函数。 ReLU函数实际上将所有负值设为0，但将正值保持不变的操作为单侧抑制。 训练数据时，对于不同的任务，某些神经元的输出影响可能大，可能小，也可能不影响。 像人脑一样，左脑和右脑分别管理逻辑能力和想象力，使用右脑时抑制左脑，使用左脑时抑制右脑。 RELU函数正好可以直接抑制小于0的数。 这是因为缺乏将神经网络的激活逼近生物处理过程的归纳线性模型的表达能力，引入激活函数是为了增加非线性因素，而许多激活函数被应用于各种模型训练的RELU函数的引入又给神经网络增加了生物学特性