1 .卷积神经网络的应用图像风格转换
修复图像
改变面貌
图像超清化
图像翻译
文字生成图像
2 .卷积神经网络学到了什么
卷积神经网络各层的激活值可以看作是图像的抽象表示。 卷积神经网络可以将某一层的每一激活值视为一个分类器,许多分类结果构成抽象表示。 水平越高,特征的抽象度越高。 )
3 .图像风格转换-V1 3.1内容特征风格特征
将内容特征:图像输入CNN得到的某一层的激活值。
使用内容特征生成图像:
保持卷积神经网络的参数不变
图像x的像素值被调整为使其与CNN上的y图像的内容特征点的距离变小。 图像被输入到卷积神经网络,并且通过将一层的激活值f与从在相应位置生成的图像中提取的特征量p相加,来获得丢失函数。 )
与将风格特征:图像输入CNN得到的某一层的激活值的关联。 (是所有内容特征的共性,一般来说,越是在上层,越能得到风格特征的结果。 )
风格特征的计算——Gram矩阵
3.2 优劣慢:各图需逐步征求指导
阶段性调整:可以产生多张效果
一次计算能得到结果吗?
4 .图像样式转换-V2
同样的网络还可以实现图像超清化
训练:
x是要转换的图像
Ys是样式图像
Yc是内容图像
X=Yc
预测:
输入新图像
经过传输器
得到转换结果
4.1图像风格变换V1和V2的异同(1)在V1和V2不同的V1中是随机的。
在V2中,x是经过Image Transform Net得到的。
)不能明确定义基于V1和V2的相同Gram矩阵计算样式丢失的——样式丢失
4.2图像样式转换V2的网络细节(1)不使用轮询层,而使用滑动和分形滑动卷积,在下采样和上采样滑动卷积步骤=1时在strided1的情况下,例如在strided=2的情况下,图像size的纵横比分别降低一半。 与轮询相比,在卷积层上滑动可以存储更多的信息(why )。 因此,图像生成网络通常使用strided=2的卷积层而不是轮询层来保留更多的信息。
图像变小后,需要放大。 fractionally strided相当于strided的反向操作。 如果strided=2,则图像为1/2。 如果strided=1/2,则图像将加倍。 下采样下采样,图像变小; 上采样上采样,图像变大。
为什么先做down-sampling,再做up-sampling?
减小了feature_map的大小,提高了性能
如果提高结果图像中视场区域——的样式变换,则物体变形,因此初始结果中的视场区域越大,结果图像中的各图像越好
)在使用5个residual blocks生成的网络中,使用残差连接(residual blocks )的好处:残差连接是恒等连接,y=x f(x ) x )可以尽可能地保留输入图像中的更多信息可以集中精力学习需要f(x )变换的部分。
(3)输出层使用scaled tanh,输出值为[ 0,255 ] )4)保证第一个和最后一个卷积核使用9*9核,其他使用3*3
5 .图像样式转换- v 31 .退出gram矩阵
6.3种风格转换算法的比较