前言我最近知道了一些关于GAN的事情。 现在，GAN除了直流GAN之外，还有WGAN、WGAN-GP、LSGAN、EBGAN、BEGAN。 虽然很容易理解，但是很多与数学有关的东西都没能理解。 WGAN从理论角度提出了一些改进，但一些paper说他的收敛速度比不上DC。
Began : boundaryequilibriumgenerativeadversarialnetworks的例子可以生成128*128大小的清晰面孔，所以我们打算先在began上做一个简单的尝试。
我以前写了DCGAN的tensorflow实现，这次试着换成pyTorch。 要知道，现在在github上，很多项目都是用pyTorch写的，对以后读大神的代码很有帮助。 tensorflow的api确实肥大，很多时候不知道应该使用哪个api。 我觉得解决方案是唯一最好的实现方法，这让学习变得容易。 虽然不用花太多时间了解不同方法之间的异同比较，可以集中精力学习应该学习的东西，但是最终，我觉得时间很难把握，分心的事情太多了。
因此，这次我们参考了pyTorch官方直流gan教程来改写BEGAN的实现。 主要目的是熟悉pyTorch. pyTorch的教程。 说明详细清晰，各步骤的理由逻辑也很清楚。
paper的原理和细节优点的贡献点如下
但是，提出了简单的蓝色指甲油GAN结构快速稳定收敛的平衡概念，提出了一种平衡分配器和生成器的新方式，在平衡生成图像的视觉质量和样本多样性方面表现出收敛性除了WGAN以外还有这个特性的GAN .数学关联作为数学无知的洋葱，这一部分我不太清楚，以后知道了再补充
网络架构比较简单，一个是编码器，一个是解码器
生成器和解码器的结构相同，分隔符是编码器解码器，输入是图像，输出大小相同的图像的每个卷积层的激活函数是ELU
损耗函数BEGAN的描述符结构比较特殊，其他GAN的描述符往往出现的概率是输入样本是否为真实样本，但BEGAN将自动编码器引入d，d与输入相同
给出网络结构和以下迭代更新公式，可以再现原paper的论文。
收敛度量BEGAN提出了衡量GAN训练收敛质量的测试量
MLOBAL=L(X )L ) x ) l (g ) z ) ) M_{global}=L(x ) x ) (伽马l )-l (g ) z ) ) Mglobal=L(x ) x )
实验结果仍为64*64人脸图像大小，但本次数据集是基于celeba在openface上截取的人脸区域，尽量减少了头发帽子等背景的影响，也降低了GAN的难度。 我只是初学者的试水。
训
练了大概 1 3 frac{1}{3} 31个epoch之后生成的图像如下， 可能由于BEGAN是学习error分布，前期较长时间在较为模糊的一个状态中，DCGAN在相同训练数据的时候已经可以看到一些比较清晰的人脸了。但是BEGAN的大部分人脸还是比较模糊，只有个轮廓在，可能和损失函数是pixel-wise有关，更容易生成一些平滑的图像。样本多样性倒是还可以，64个随机样本没有看到生成一样的人脸的。 2 3 frac{2}{3} 32个epoch之后效果明显变好，各个人脸的五官都清晰很多，就是眼睛有点偏小的感觉，不知道我是我的觉还是训练数据集里面缺少大眼男神和女神，哈哈哈。
训练完成一个epoch后，脸部细节基本都比较清晰了
训练5个epoch后，眼睛也睁开了，细节更清晰逼真，看来之前训练不够，导致眼睛都像闭上一样显得小，足够训练之后，眼睛也比较清晰了，能看出眼球和神态表情了。部分图片感觉光线有点暗。不同角度性别肤色表情的人脸都有，多样性还不错。带眼镜的没有，可能不容易生成。
gif变化图，前期模糊差异比较大，生成人脸后变化较小。
训练过程中的loss变化曲线
作者提出的convergence measure变化曲线，感觉和loss差异也不大。从中来看，网络在前期极速下降，20k次迭代后趋于收敛。
从目前一些paper来看，深度学习的一些改进还是需要很深的数学基础做铺垫，要不就只能像我一样看明白了，能实现出来但是不知道为啥这样效果会好，学习道路深远。最近也的确感觉两句话更有体会：
书读百遍其义自见。纸上得来终觉浅，绝知此事要躬行。浅显的道理很早就明白了，但是真实体会感觉还是不一样的，希望能慢慢变成大神。
目前GAN尝试了DCGAN和BEGAN两种方案，据说18年之后对于GAN理论上的没有太大突破，更多paper都集中于应用了，看到cycleGAN的效果感觉真酷，年后有空赶紧实现体验膜拜一下。