RMSprop，全名： Root Mean Sqaure prop。
要理解这篇博文，首先需要理解：
指数加权平均采用动量梯度下降法组织和翻译cjdcjl深度学习系列视频：
3359 mooc.study.163.com/learn/2001281003？ tid=2001391036#/learn/content？ type=detailid=2001702124 cid=2001693085
RMSprop
与使用动量的梯度下降一样，RMSprop的目的也是消除垂直方向的抖动，使梯度下降迅速收敛。
将其计算方法(详细参照以下)导数看作水平方向的w和垂直方向的b。 计算dw和db的平方值。 这实际上是平方版的指数加权平均。 而且由于在更新时除去根编号求出平均值，所以称为Root Mean Sqaure prop。 在进行除法运算的情况下，因为dw小，所以计算的根编号也小，因为db大，所以计算的根编号也变大，所以更新时b变小，w不怎么变化。
算法描述该算法描述来自花本《deep learning》，与以下计算方法不共享参数符号：
RMSprop计算方法在每次迭代中，使用mini-batch上的：
sdw=2sdw(12 ) dw2s_{dw}=beta_2s_{dw}(1- ) beta_2) dw^2SDW=2SDW ) 12 ) dw2-elelement-wiselelemement-wint-wiswisen
SDB=2SDB(12 ) db2s _ { db }=(beta _ 2s _ { db } (1(beta _2) db^2sdb=2sdb ) 12 ) db2-Element-windows
更新方法如下。
w=wdw sdw=w- alphafrac { dw } {sqrt { s _ { dw }epsilon } w=ws dwdw
b=bdb sdb=B-alphafrac { db } {sqrt { s _ { db }epsilon } b=bsdb db
取=108 (epsilon=10 ^ {-8 } )=108的目的是防止除以0或较小的数。