定义指数移动平均(Exponential Moving Average )又称为加权移动平均，是一种对最近的数据赋予更高权重的平均方法。
有数据 1， n theta_1，theta_n 1，n，
ema:vt=vt1(1)tEMA:v_t=beta ) cdotv_{t-1}(1-beta ) cdot ) theta _ tema 3360 vt=vtv
深度学习中的EMA是在深度学习的优化过程中， t theta_t t是t-ttt时间点的模型权重weights，而v t v_t vt是TTT时间点的阴影权重shadow weights。 坡度下降时，此阴影的权重会一直保持，但此阴影的权重不参与训练。 基本假定：通过对最后n步求平均可以使模型更加鲁棒，因为模型的权重在最后n步中在实际最好处波动。
为什么在测试中使用滑动平均值？ [1]滑动平均可以使模型在测试数据上更鲁棒(robust )。 “在使用随机梯度下降算法训练神经网络时，使用滑动平均在很多应用中可以在一定程度上提高最终模型在测试数据上的表示。 ”
对神经网络侧的权重weights使用滑动平均，得到对应的阴影变量shadow_weights。 在训练期间也使用原始的无滑动平均权重weights。 否则，weights将无法获得下一次更新的值。 另外，如何求出以下weights的阴影变量shadow_weights？ 然后在测试过程中用shadow_weights代替weights作为神经网络边缘的权重，对测试数据有很好的效果。 由于shadow_weights的更新更为顺畅，因此对于随机梯度的降低，更顺畅的更新说明不会明显脱离最大的优点； 关于坡度下降batch gradient decent，阴影变量似乎没有什么效果。 坡度下降的方向已经是最佳的，所以loss一定会减少。 有关最小-缓冲梯度设计的信息，请尝试平均幻灯片。 最终，mini-batch gradient decent的参数更新也有抖动。
decay=0.999，可以更直观地理解，在最后1000次训练期间，模型已经训练完毕，处于抖动阶段。 滑动平均相当于最后1000次抖动的平均，由此得到的权重更robust。
详情导出https://Zhan.zhi Hu.com/p/68748778
reference [1] https://www.cn blogs.com/wuliyttaotao/p/9479958.html