首页 > 编程知识 正文

激励的原理四个层面,bn层的原理和作用

时间:2023-05-05 08:05:01 阅读:21415 作者:1520

BN:batchnorm的批量标准化。

解决问题:输入的数据都有不同的分布,给下层网络的训练带来困难。

计算方法:

1 .首先求出本次的批次数据x的平均值

2 .求出这次批次的分散

3 .接下来,将本次批次的x标准化。 Xi-e(x )/(根号下批次方差-极小值) eps ) )确保分母不等于0。

4 .最后最重要的是引入定标和平移变量和

当和分别等于该batch的方差和均值时,yi返回归一化前的x,和分别称为平移参数和缩放参数。 由此,在保证每次数据标准化后仍然保留的学习特征的同时,可以完成标准化这一操作,加速训练。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。