首页 > 编程知识 正文

关于阅读与写作的论文(BEGAN论文阅读)

时间:2023-05-06 08:35:30 阅读:124155 作者:4097

论文:

Berthelot D,Schumm T,metzl.began : boundaryequilibriumgenerativeadversarialnetworks [ j ].arxivpreprintarxiv 33601703。

1、介绍

GANs是学习数据分布,实现从其支部采样的模型的方法。 GANs的架构是基于生成器g(z ),生成器g(z )将取自均匀分布的样本z映射到数据分布; 分类器d(x )用于测量样本x是否来自数据分布。 通常,基于博弈论,生成器和分类器可以通过交替训练来实现协作学习。

GANs可以生成更清晰的图像,但仍然面临很多问题。 1、通常训练非常困难。 2、难以选择正确的超级参数3、难以控制生成样本的多样性4、难以平衡分类器与生成器的收敛速度:分类器往往在训练开始时获得优势4、容易遇到模型崩溃问题

2、相关工作

介绍了DCGANs、EBGANs、WGANs等几种GANs的变体

3、主要方法

BEGANs以自编码器为分类器,以基于Wasserstein距离的损失与自编码器的损失分布一致。 采用神经网络结构,在训练中增加额外的均衡过程来平衡生成器和分类器。

用下式计算来自样本上编码器的误差。

BEGAN使用Wasserstein距离计算了实际数据和生成数据的损失分布之间的d的距离。

关于2个正态分布,两者间的Wasserstein距离的计算公式如下(例如

这里,m1、m2是两个正态分布的平均值,c1、c2是方差值。

根据GAN的对抗性原则,d以扩大两个分布的距离,即w最大化为目标,g以w最小化为目标。

本文假设为常数,在此假设下证明w与|m1-m2|单调性相同,可以从|m1-m2|得到g和d的目标函数。

d的目标是使两个支部之间的距离w最大化,w与|m1-m2|单调性相同,因此使w最大化与|m1-m2|等价。

最大化w有两个解:

W=m1-m2,m1-,m2-0;

或者W=m2-m1,m2-,m1-0。

第二组解一方面可以扩大两个分布的距离,另一方面可以减小实际样本中的误差。

因此,d目标是m2-m1的最大化,与m1-m2的最小化等价

g的目标可以通过最小化两个分布之间的距离并最小化m-2来实现。

综上所述,d和g的目标函数如下。

论文说,如果e[l(x ) ]=e[l(g ) z ],分类器和发生器之间的训练是平衡的,为了缓和这个条件,加入并规定了超级参数[ 0,1 ]。

在BEGAN模型中,分类器有两个目标。 也就是说,对实际图像进行自编码和区分实际图像生成图像。 可以平衡这两个目标,低则生成图像的多样性降低。 因为此时识别器可以关注自编码实际图像,并将视为多样性的比例。 (这部分论文是这样写的,但我不知道为什么)

比根采用比例控制理论(这是第一次看到)来保持均衡条件。 具体实现方法加入变量kt[ 0,1 ] (l (g ) ) z ) )的梯度。

最终的目标函数是

其中,k是k的学习率,实验中设为0.001,k的初始值K0=0。

此外,还添加了表示模型培训程度的变量。

该变量越小,表示模型的收敛度越高。

模型结构:

因为还不知道具体的机制,所以打算从代码开始看。

4、实验

论文采用Adam法优化了参数,初始学习率为0.0001,初始学习率高会引起模型崩溃,从而避免降低学习率。 可以训练从32像素到256像素的模型,通过增加或减少卷积层来调整图像尺寸。 使用360K图像集而不是CelebA,该数据集与更多类型的表情有不同的拍摄角度。 论文称,由于采用了与其他模型不同的数据集,因此不方便直接进行比较。

实验比较不同值的结果表明,值低时得到的图像太单一,随着的增大多样性增加。

本文中有关空间连续性的部分无法理解。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。