专栏《GAN的优化》 (第一季)正式结束！
在这个赛季中，我们从生成模型出发，阐述了GAN的基本理论、工作原理、更普遍的f分集测量和Wasserstein距离以及IPM框架，顺便展示了处理WGAN莱布尼茨限制的优雅解决方法其次，介绍了GAN训练困难的原因和一些训练技巧； 然后从动力学角度探索GAN的训练，结合GAN和动力学方程，阐述了一致优化，总结了各种GAN正则项的优劣，最后谈了GAN中模式崩溃的问题，介绍了一些较好的解决方案。
到此为止，对GAN整体优化专栏第一季度的内容进行了较大的总结！
作者|小米粥言有三
编辑|言有三
1 GAN原理
在第一篇文章中，我们将首先介绍生成模型的一部分，从极大似然法到显式定义概率密度函数，再到隐式定义概率密度函数的GAN。 然后，GAN介绍了其基本结构、工作原理，得出了一些基本结论，并从分布测量和博弈论两个角度阐述了GAN。
【GAN优化】GAN优化专栏首先介绍在线化、生成模型和GAN的基础
2 f-GAN
第2章介绍了概率密度函数的距离、f分集定义的一系列距离、共轭函数，然后导出了如何使用fGAN生成原始GAN，最后是KL分集和JS分集的好fan是一个具有一定“通用”意义的模型，可以定义框架，从这个框架中自然派生出其他GAN模型。
【GAN的优化】从KL和JS的分散度到fGAN
3 WGAN和SNGAN
第三篇文章体验了WGAN，首先指出了以前f分散度的问题，然后介绍了新的距离测量Wasserstein距离，展示了使用对偶方法转化Wasserstein距离，WGAN是一个具有重要里程碑意义的模型，第四篇文章带领大家一起学习SNGAN，学习特征值和奇异值问题，学习如何利用光谱范数解决1-Lipschitz限制，导出SNGAN，最后给出了快速求解矩阵最大奇异值的方法。 为了解决1-Lipschitz的限制，SNGAN是一个更重要、更优雅的方案。
【GAN优化】详细调查对偶和WGAN
【GAN优化】SNGAN (光谱正规化GAN )的详细情况
4 IPM
的第五篇文章介绍了GAN的IPM框架。 关于GAN的目标函数，除了f-divergence以外，还有另一大类别。 是IPM。 众所周知的WGAN是属于IPM框架下的GAN的一种。 IPM (INTM )也是两个概率分布之间距离的测量值。 本文选择不同的函数集合
【GAN优化】一览显示IPM框架下的各种GAN
5 训练问题
的第六篇文章侧重于GAN培训的四个问题。 第一部分介绍最优判别器的梯度消失问题，第二部分用一个例子介绍距离计算时的问题，第三部分介绍优化问题的混乱和模式崩溃的简要说明，最后部分简要论述参数空间问题。
【GAN优化】GAN训练的几个问题
6 训练小技巧
第七篇文章主要介绍了GAN训练时的几个技巧。 GAN的训练其实是寻找纳什均衡状态的过程，但是很难采用梯度下降达到收敛。 首先阐述了GAN的纳什均衡状态及其状态的难点，介绍了特征匹配、历史平均、单侧标签平滑等几个技术，可以保证GAN尽可能进入收敛状态。 514a91642c4c50accc7793a7a40f68?from=pc">【GAN优化】GAN训练的小技巧
7 GAN与动力学
第八篇文章带大家领略了GAN与动力学的结合，这篇文章首先介绍了常微分方程以及如何使用欧拉法得到常微分方程的数值解，接着描述了欧拉法与动力学系统之间的内在联系，然后从动力学的系统重新看梯度下降算法，最后从动力学视角重新表述了GAN，提供一个新颖的视角，这是接下来两篇分析GAN训练过程的理论基础。
【GAN优化】从动力学视角看GAN是一种什么感觉？
8 一致优化
第九篇文章介绍了一个非常优雅的GAN优化算法，一致优化。先从一个关于动力学系统收敛的重要命题出发，将其与GAN对接起来，然后进入动力学系统的特征值分析，最后介绍一致优化的所提出的正则项，而且最重要的是，这里给出了一定条件下，使用一致优化算法可收敛到纳什均衡状态的理论保证。
【GAN优化】详解GAN中的一致优化问题
9 GAN的正则项
第十篇文章里用了一个非常简单且直观的Dirac-GAN进行实验收敛性，首先说明了标准的GAN或者WGAN是无法收敛到纳什均衡的，需要添加正则项。接下来，WGAN-GP也无法收敛，而一致优化正则项和zero centered gradient可以实现收敛，这为我们提供了很好的训练GAN的启示指导。
【GAN优化】如何选好正则项让你的GAN收敛
10 模式崩溃
第十一篇文章首先讲了GAN的模式崩溃问题，并用一个简单的例子做了过程示意，接着重点描述了通过修改目标函数来解决模式崩溃的方法，着重介绍了unrolled GAN的思想，并同样进行了过程示意描述，最后又比较简单地描述了另一种方案：DRAGAN。
第十二篇文章首先将说明模式崩溃问题的本质是GAN无法通过训练达到最优纳什均衡状态，并介绍两种解决模式崩溃问题的思路：修改目标函数和网络结构，然后介绍了一种简单而有效的解决方案MAD-GAN，最后一部分给出MAD-GAN的强化版本MAD-GAN-Sim。
【GAN优化】什么是模式崩溃，以及如何从优化目标上解决这个问题
【GAN优化】解决模式崩溃的两条思路：改进优化和网络架构
12篇文章，说多不多，说少也不少，真的是花了自己非常大的心血，质量不敢说多高，但是自己确实是在认认真真、绞尽脑汁做这件事情。同时也非常感谢
有三AI，给了我一个写东西的平台，感谢给我的宽松自由的环境。
要忙于实验、论文，忙于其他的事情，公众号的部分暂时就先写到这里吧，其实，关于GAN的知识内容非常非常多，远非几篇文章能描述，每次涉及到到的内容我也只能浅尝辄止，或者选择具有代表性的内容聊一聊。
说一下，关于GAN的其他内容，网络结构或者隐空间，应用等等之类，我以后还会继续涉及到，之前相关内容也会加强完善，可能会用别的形式展示出来，敬请期待。
Ps：大家一定要持续关注有三AI哦！