Relu函数：
y=max（0，x）
蓝色为Relu函数，红色曲线为Relu函数的导数。
优点：
1.在正区间内不会发生梯度消失问题，
2. 函数比较简单，求导计算复杂度较低。
3. 梯度能维持在不错的区间，也就是收敛速度快。
缺点：
1.负区间梯度一直为0，导致部分神经元不会被激活，相应的参数一直不被更新
2.非zero-centered，收敛速度一般
sigmoid函数定义：
从函数可以看出，最小值接近于0，最大值接近于1.
蓝色为原始sigmoid函数曲线，红色为sigmoid函数的导数。 从导数可以看出，x轴的值很大或者很小时都会导致梯度消失。。
此外，是非0均值，收敛速度会比较慢。函数有幂运算，计算复杂度高。
leaky Relu函数：
y=max（x，ax）
a一般为很小的值，所以在负区间的话，梯度不为0，解决了Relu在负区间梯度为0的缺点。。