BN:batchnorm的批量标准化。
解决问题:输入的数据都有不同的分布,给下层网络的训练带来困难。
计算方法:
1 .首先求出本次的批次数据x的平均值
2 .求出这次批次的分散
3 .接下来,将本次批次的x标准化。 Xi-e(x )/(根号下批次方差-极小值) eps ) )确保分母不等于0。
4 .最后最重要的是引入定标和平移变量和
当和分别等于该batch的方差和均值时,yi返回归一化前的x,和分别称为平移参数和缩放参数。 由此,在保证每次数据标准化后仍然保留的学习特征的同时,可以完成标准化这一操作,加速训练。