线性整流单元
原始函数
导数
在神经元中，x可以用作输入。 两者：
ReLu的一般作用：
大多数输出层在不知道是否使用其激活函数时，也可以在隐式层中利用其优点。
即使比其他激活函数更早学习也不会产生梯度消失的缺点：
部分神经元发生坏死现象，永远不激活(可使用Leaky ReLu )，不压缩数据，并随模型层数的增加而扩大
请关注：负的x轴。 两个函数都是0值，红线表示原始函数，蓝线表示导数
可视化代码实现：
importmathimportmatplotlib.pyplotaspltimportnumpyasnpimportmpl _ toolkits.axisartistasaxisartist # relu是一个类，class relu 33666666636363636363636363636636363636372 w_input ) :returnmax ) 0.0，w_input ) #导数defbackward ) self，output (3360 if output 0.0: return1else 3360 return ax ) : # )将绘图区域对象添加到画布fig.add_axes(ax )隐藏坐标提取ax.axis[:].set_visible ) false ) # new _ floation . set_axisline_style('-'，size=1.0 ) # y轴ax.axis['x'].set_ )，其中x轴的箭头指向方向ax.axis [ ' y ' ]=ax.new size ] x=NP.linspace (-5，5， 100 ) y_forward=[]y_backward=[] defget_list_forward(x ) :forIinrange(len ) x ) ) 3360 y _ forward returny _ forwardddefget _ list _ backward (x ) backward ).backward returny _ backward y _ forward=get _ list _ forward (x ) y_backward=get_list_backward(x () 绘制对象axax=axisartist.subplot(fig，111 ) axis (fig，ax ) #x，y轴范围PLT.ylim ) (-5，5 ) )-y