TensorFlow实现条件批量归一化(Conditional Batch Normalization )条件批量归一化(Conditional Batch Normalization ) TensorFlow实现条件批量归一化，并对残差块应用条件批量归一化
条件批规范化(Conditional Batch Normalization ) )。
批量归一化(Batch Normalization，BN )是深度学习中常用的网络训练技术，不仅能加快模型的收敛速度，更重要的是深层网络中的“梯度方差” 为了稳定，现在BN几乎成为所有卷积神经网络的标准技巧，可以简单地回顾下一个BN方程。
b(x )=) x)(x ) )bn ) x )=) gamma(FRAC(x-) mu ) x ) }{sigma(x ) } ) betabn ) x )=
这里，平均值和标准偏差是用[n，h，w]维来计算的，各正规化层中只有1个针对和的仿射变换参数，它们是训练时网络自身学习的。
但是，在生成对抗网络(Generative Adversarial Networks，GAN )中使用BN时，存在生成图像在某种程度上同质化的缺点。 例如，CIFAR10数据集有10种图像。 6种是动物(鸟、猫、鹿、狗、青蛙、马)，4种是交通工具)分别是飞机、汽车、轮船、卡车。 很明显，不同类型的图像看起来完全不同——交通具有硬而直的边缘，动物倾向于弯曲的边缘和柔软的纹理。
在样式迁移中，活动统计数据决定图像的样式。 因此，混合批次统计信息可以创建看起来像动物，但也像交通工具的图像。 例如，车形状的猫等。 这是因为在批处理规范化中，由不同种类的图像构成的批处理中只使用了1个 gamma 和 beta 。 每种类型都有 gamma 和 beta ，就解决了这个问题，这就是条件批规范化的意义。 每个类别都有(伽马和1个
β beta β，因此CIFAR10中的10个类别每层有10个 γ gamma γ 和10个 β beta β。 TensorFlow实现条件批归一化现在，我们可以构造条件批处理规范化所需的变量，如下所示：
形状为 (10, C) 的 β beta β 和 γ gamma γ，其中 C 是激活通道数。(1, 1, 1, C) 形状的游动均值和方差。在训练中，均值和方差是从小批次计算得出的。在推论过程中，我们使用训练中累积的移动均值。它们的形状使算术运算可以广播到 N，H 和 W 维度。利用自定义层实现条件批归一化，首先创建所需变量：
class ConditionBatchNorm(Layer): def build(self, input_shape): self.input_size = input_shape n, h, w, c = input_shape self.gamma = self.add_weight(shape=[self.n_class, c], initializer='zeros', trainable=True, name='gamma') self.moving_mean = self.add_weight(shape=[1, 1, 1, c], initializer='zeros', trainable=False, name='moving_mean') self.moving_var = self.add_weight(shape=[1, 1, 1, c], initializer='zeros', trainable=False, name='moving_var')当运行条件批归一化时，为标签检索正确的 β beta β 和 γ gamma γ。这是使用 tf.gather(self.beta, labels) 完成的，它在概念上等效于 beta = self.beta[labels]，如下所示：
def call(self, x, labels, trainable=False): beta = tf.gather(self.beta, labels) beta = tf.expand_dims(beta, 1) gamma = tf.gather(self.gamma, labels) gamma = tf.expand_dims(gamma, 1)if training:mean, var = tf.nn.moments(x, axes=(0,1,2), keepdims=True)self.moving_mean.assign(self.decay * self.moving_mean + (1-self.decay)*mean)self.moving_var.assign(self.decay * self.moving_var + (1-self.decay)*var)output = tf.nn.batch_normalization(x, mean, var, beta, gamma, self.eps)else:output = tf.nn.batch_normalization(x, self.moving_mean, self.moving_var, beta, gamma, self.eps)return output 在残差块中应用条件批归一化条件批归一化的使用方式与批归一化相同，作为示例，现在我们将条件批归一化添加到残差块中：
class ResBlock(Layer): def build(self, input_shape): input_filter = input_shape[-1] self.conv_1 = Conv2D(self.filters, 3, padding='same', name='conv2d_1') self.conv_2 = Conv2D(self.filters, 3, padding='same', name='conv2d_2') self.cbn_1 = ConditionBatchNorm(self.n_class) self.cbn_2 = ConditionBatchNorm(self.n_class) self.learned_skip = False if self.filters != input_filter: self.learned_skip = True self.conv_3 = Conv2D(self.filters, 1, padding='same', name='conv2d_3') self.cbn_3 = ConditionBatchNorm(self.n_class)以下是使用条件批归一化残差块的前向计算代码：
def call(self, input_tensor, labels): x = self.conv_1(input_tensor) x = self.cbn_1(x, labels) x = tf.nn.leaky_relu(x, 0.2) x = self.conv_2(x) x = tf.cbn_2(x, labels) x = tf.nn.leaky_relu(x, 0.2) if self.learned_skip: skip = self.conv_3(input_tensor) skip = self.cbn_3(skip, labels) skip = tf.nn.leaky_relu(skip, 0.2) else: skip = input_tensor output = skip + x return output