在熟悉坡度之后，在查找函数最小值(或尽可能小的值)的位置的过程中，我们发现了坡度的线索。 这就是上一篇文章提到的坡度所具备的特征。
梯度法：通过不断地沿着梯度方向前进，逐渐减小函数值的过程，这就是梯度法。 梯度法是解决机器学习中优化问题的常用方法，尤其是神经网络学习中常用的迭代法
根据是根据目的求出最小值还是最大值，梯度法的叫法不同，求出最小值的梯度法称为梯度下降法gradient descent method，求出最大值的梯度法称为梯度上升法gradient ascent method，两者是损失函数的符号一般来说，梯度法
坡度法用公式表示。 的读数为xndxy或qjdy。
该表示更新量，是神经网络学习中被称为学习率(learning rate )的超级参数。 学习率决定一次学习应该学习多少，以及应该用多少程序更新参数。 无论这个值是太大还是太小，都到不了“好位置”，所以这个参数一般是边测试边调试的人工参数，用这个来说，现在就可以实现这个坡度下降了
defgradient_descent(f，init_x，lr=0.01，step_num=100 ) : ' ' '梯度下降法，f为优化函数init_x为初始值，lr学习率()
使用此函数求出f(x0，x1 )=x0x1的最小值
deffunc(x ) : returnx [0] * * 2x [1] * * 2x=NP.array (-3.0，4.0 ) ) print ) gradient_descent ) func，ininion 0 )，即使lr过大或过小，也不能得到良好的结果print(gradient_descent(func，init_x=NP.aaadd ) step_num=100 )
为了直观地查看图元，修改坡度法函数，用于保存坡度的原始数据并指向极小值，以便在一个点上识别每次迭代！
defgradient_descent_history(f，init_x，lr=0.01，step_num=100 ) : " '坡度下降法， 此外，还保存坡度源数据(' ' x=init _ xx _ history=[ ] foriinrange (step _ num ) : x _ history.append (x.copy ) ) ) NP.array(x_history ) importmatplotlib.pylabaspltinit _ x=NP.array ([-8.0，6.0 ] init _ x，0.1，20 ) PLT . 0 )点)的绿色虚线PLT .同样，x _ history [ :1 ]是第二列的PLT.plot [ x _ history [ 3360，0 ]，x _ history [ :1 ]，
下一个中心差分函数出现在上一篇文章中，放置它很容易浏览。
def _ numerical _ gradient _ no _ batch (f， x ) :h=1e-4# 0.0001grad=NP.zeros_like ) x )产生类似x.shape的阵列的偏导数forIinrange(x.size ) :tmp=x(I ) x (I )=float ) tmp 还原值returngraddefnumerical _ gradient (f，x ) : ' ' '中心差分梯度' ' ifx.ndim==1: return _ numerical _ gradim x ) efx