首页 > 编程知识 正文

半壁无限高势阱(登峰造极__边界均衡生成对抗网络(BEGAN)(七))

时间:2023-05-03 16:39:41 阅读:124156 作者:908

简介

请先看图。 下图左右两端的两栏是真实的图像,剩下的是计算机生成的:

这是谷歌在arXiv上发表的论文《BEGAN:边界均衡生成对抗网络》中得到的结果。 针对GAN训练困难、生成样本多样性难以控制、平衡识别器和生成器难以收敛等问题,该工作提出了改进。 特别值得注意的是,作者使用简单的结构,经过常规训练,取得了很好的视觉效果。

原始论文地址: https://arxiv.org/pdf/1703.10717.pdf

一、BEGAN主要贡献

提出了一种新的简单强大的GAN网络结构,采用标准训练方式在无训练的情况下训练轨迹也能快速稳定地收敛。 对GAN中g、d能力的平衡提出了均衡的概念。 (GAN的理论基础是goodfellow在理论上证明了GAN均衡点的存在,但没有确切的测量指标表明GAN均衡程度。) . 提供可以平衡图像多样性和生成质量的超级参数。 提出了收敛度的估计。 这个机制只在WGAN上出现过。 作者在论文中也说,他们的灵感来自WGAN。 http://www.Sina.com/http://www.Sina.com /

在介绍beaGAN之前,必须回顾一下GAN和EB gan (基于能源的gan )。 那些是梅根的基础。

其中,“EBGAN是杨乐村项目团队提交给ICLR2017的工作,从能源模型的角度对GAN进行了扩展。 EBGAN将判别器视为能量函数。 在实际数据区域附近的区域,能量函数的能量值较小,而在其他区域(即非实际数据区域),能量函数的能量值较高。 因此,在EBGAN中对GAN给出了能量模型的解释。 也就是说,生成器的目的是生成能量最小的样本,而判别器的目的是给这些生成样本提供较高的能量。

“从能量模型的角度来看鉴别器和GAN的好处是,可以使用更宽的结构和损耗函数来训练GAN结构。 例如,文中如下图所示,以自编码器(AE )的结构为判别器实现了整体的GAN框架。

二、BEGAN原理

此前曾表示,BEGAN也以AE为判别器,在架构上与EBGAN非常相似。 但是在生成器中,BEGAN借鉴了Wasserstein GAN定义loss的思路。 传统的GAN试图直接匹配数据分布,但作者提出了用Wasserstein距离派生的损耗匹配编码器的损耗分布的方法。 这是通过在传统的GAN目标中添加用于平衡分类器和生成器的平衡项来实现的。

判别器:借鉴EBGAN

在深度神经网络中,应该考虑发生器的函数g和分类器的函数d的表现能力的要素。 它们取决于模型实现函数的方式和参数的数量。 传统上,g和d往往不平衡,而鉴别器d往往能在训练的早期阶段与发生器g竞争。 为了解决这个问题,作者引入了平衡的概念。

作者提出了测量生成样本多样性的超参数:生成样本损失预期与真实样本损失预期之比。 在作者的模型中,判别器有两个目标。 对实际图像进行自编码,区分生成图像和实际图像。 这个超级参数可以平衡这两个目标。 值低时,判别器过于关注实际图像的自编码,因此图像的多样性变差。

生成器:借鉴 WGAN

作者使用带有指数线性单元(ELUs )的3x3卷积。 每层重复两次。 每次下采样卷积滤波时线性增加。 下采样操作在子采样中执行,采样步骤为2,上采样由最近邻实现。 在编码器和解码器边界,处理的数据块在整个卷上层叠,不需要非线性操作即可映射到嵌入状态。

作者表明,他们方法的训练过程更简单,与传统的GAN相比网络结构也更简单。 “批规格化”、dropout、不需要反卷积或卷积滤波的指数增长”(exponentialgrowthforconvolutionfilters )。

传统的GAN及其变种希望生成器生成的数据分布尽可能接近实际数据的分布。 在生成数据分布与实际数据分布相同的情况下,生成器g确认通过训练可以生成与实际数据分布相同的样本,即获得足够的能力来生成假数据,从这一点来看,研究者们为了使g的生成数据分布尽可能接近实际数据分布而将各种损失函数

作者认为,代替这种估计概率分布的方法,比根并不直接估计生成分布Pg与真实分布Px之间的差,而且不是设计合理的损耗函数来拉近距离,而是估计分布误差之间的距离,分布误差分布越近,这些分布也越近。 也就是说,如果我们认为两个人很像,发现他们中的第二个和第三个很像,那我们就完全可以说第一个和第三个很像了。

在弹子枪中,第一个相当于训练的数据x,第二个相当于d对x编码解码图像d(x ),第三个相当于d将g的生成作为输入的结果d(g ) z ),所以||d(x )-x|||-||d(-d )

不是就意味着 g(z) 的数据分布和x分布几乎一样了,那么就说明G学到了生成数据的能力。

哪么重点来了,那么多GAN改进版,到底哪一个效果更好呢,最新的Google一项研究表明,GAN、WGAN、WGAN-GP、LS GAN、DRAGAN、BEGAN啥的,都差不多。大部分情况来说,还是WGAN-GP用的更多一些。生成高清图像BEGAN最简单合适。

系列传送门:
初窥门径__生成对抗网络(GAN)(一)
小试牛刀__GAN实战项目之mnist数据集(二)
融会贯通__条件生成对抗网络(cGAN)(三)
炉火纯青__深度卷积生成对抗网络(DCGAN)(四)
登堂入室__生成对抗网络的信息论扩展(infoGAN)(五)
渐入佳境__距离生成对抗网络(WGAN)(六)
一代宗师__循环一致性生成对抗网络(CycleGAN)(八)

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。

  • 相关阅读