目录1、Internal Covariate Shift现象2、BatchNormalization算法3、BatchNormalization层参数量4、BatchNormalization层计算量5、BatchNormalization层计算量5
1、国际共享偏移现象
网络在训练过程中，中间层权重不断变化，该层输出数据的分布发生变化，这种数据分布的变化称为“‘internalcovariateshift”。
2、BatchNormalization算法为了解决Internal Covariate Shift现象，Sergey Ioffe and Christian Szegedy提出了BatchNormalization算法。 thisoperationsimplyzero-centersandnormalizeseachinput，thenscalesandshiftstheresultusingtwonewparametervectorsperlayer 3360
B是输入平均向量，该向量元素数量等于输入数(或输入通道数)，该值在一个batch上计算； B是输入标准偏差矢量，该矢量要素数量等于输入数(或输入通道数)，在一个batch上计算该值； mB为batch size大小； 是批中第I个输入实例的零中心和归一化值。是定标因子的向量，该向量元素的个数等于输入个数(或输入通道数)，在训练中不断学习更新； 是平移因子矢量，该矢量要素个数与输入个数(或输入通道数)相等，在训练中不断学习更新； z(I )是批次中第I个输入实例按比例缩放和移动的结果。 在推理过程中，求得的平均值和标准差不代表，因为输入的batch size可能小于1。 实际上，此时输入的平均值 B和标准偏差 B实际上采用了整个训练集的平均值和标准偏差，但这两个值会随着训练的进行而逐渐反复更新。 训练结束后，不是在整个数据集上计算平均值和标准偏差，而是在训练过程中反复更新的两个平均值和标准偏差分别称为moving_mean、moving_variance，由训练集确定，并
3、BatchNormalization层的参数量由以上可知，一个BatchNormalization层涉及的参数包含在四个矩阵(向量)中，分别为gamma、beta、moving
4、BatchNormalization层的计算量按以下公式计算：
FLOPs=2*C*W*H C是BatchNormalization层的输入通道数，w和h分别是BatchNormalization层的输入轮廓的宽度和高分辨率，2表示包括乘法和加法。
在实际应用中，往往将BatchNormalization层合并为卷积层，而不单独考虑其计算量。
5、BatchNormalization层的优点BatchNormalization可以考虑提高模型的泛化能力，采用BatchNormalization层后去除较早的dropout和l2等正则化方法； 提高训练速度，采用BatchNormalization层后。 可以设定较大的初始学习率，并在此基础上大幅提高训练速度。