机器心灵专栏
苏黎世理工大学计算机视觉实验室
苏黎世联邦理工大学计算机视觉研究所的研究人员提出了一种统一框架HCFlow，可以同时处理图像的超分辨率和图像的重缩放，在通用图像的超分辨率、脸部图像的超分辨率、图像的重缩放等任务中获得最好的结果。 这篇论文被ICCV2021接收了。
近年来，在图像超分辨率[ imagesr ] [ Sr流，ECCV2020]和图像再缩放[imagerescaling][IRN，ECCV2020]任务中，标准化流正规化流模型令人吃惊这两个任务有本质的区别，但都有很高的相似性。 基于以上两项工作，来自苏黎世联邦理工大学计算机视觉实验室的研究人员提出了HCFlow，用一个统一的框架处理图像超分辨率和图像重定标，在通用图像超分辨率、面部图像超分辨率和图像重定标等任务中这篇论文被ICCV2021接收了。
论文地址：3https://Arxiv.org/ABS/2108.05301 Github地址33603359 Github.com/Jingyun Liang/HC Flow
摘要
近来，归一化流模型在基础视觉领域取得了惊人的效果。 的超分辨率(image SR )，可以从低分辨率图像中预测细节不同的高质量、高分辨率)图像。 “重新缩放图像”(image rescaling )可以通过将缩减像素采样和上像素采样过程结合起来进行建模来提高性能。
本文提出了一个统一的框架HCFlow，可以解决这两个问题。 具体而言，HCFlow通过对低分辨率图像和丢失的高频信息进行概率建模，在高分辨率图像和低分辨率图像之间学习双射(bijection )。 这里，高频信息的建模过程在多阶段的条件下依赖于低分辨率图像。 在训练中，该研究利用最大似然损失函数进行优化，引入感知损失函数(perceptual loss )和对损失函数) GAN loss )的生成等进一步提高了模型效果。
实验结果表明，HCFlow在通用图像超分辨率、人脸图像超分辨率、图像重缩放等任务中获得了最佳结果。
超分辨率v.s .图像重新缩放
的超分辨率目标是由低分辨率图像重构高分辨率图像。 低分辨率的图像空间一般给出。 例如，双三次下采样(bicubic downsampling )图像。
重新缩放的目标是将高分辨率图像缩减像素采样为视觉效果好的低分辨率图像，从而可以良好地恢复原始的高分辨率图像。 与图像超级分支任务不同，可以自己定义图像重新缩放时的低分辨率图像空间。 主要的APP场景是减少图片存储和带宽。
方法
标准化流的简要介绍
规范化的流模型致力于在目标空间(如高分辨率图像x )和隐藏空间(如遵循高斯分布的隐藏变量z )之间学习双射。 其模型结构通常是由多层可逆变换组成的可逆神经网络(invertible neural network ) :
根据变量变换公式(change of variable formula )和链式法则，可以通过以下最大似然损失函数优化模型参数：
详情请参阅以下内容。
RealNVP论文： https://arxiv.org/ABS/1605.08803 Glow论文： https://Arxiv.org/ABS/1
807.03039Eric Jang博客：https://blog.evjang.com/2018/01/nf1.html滑铁卢大学CS480：https://www.youtube.com/watch?v=3KUvxIOJD0k低分辨率图像空间建模
图像超分辨率和图像再缩放任务实际上都有一个图像退化（降采样）和图像超分（上采样）的过程。基于归一化流模型，该研究可以在高分辨率图像 x 和低分辨率图像 y 以及一个编码高频信息的隐变量 a 之间学习一个可逆双射变换
。由于直接对自然图像进行概率建模是很难的，该研究设计了一个基于真实低分辨率图像 y * 的条件分布模型：
理想情况下，研究者希望 y 和 y * 越接近越好，所以他们将 p(y|y*)表示为整齐的啤酒函数
，并通过一个具有极小方差的高斯分布来近似表示 p(y|y*)：
由于高频信息 p(a|y)可以通过另一个归一化流模型变换为一个高斯分布 p(z)，整个模型可以定义为：
这样，高分辨率图像 x 就可以通过一个可逆神经网络变换为低分辨率图像 y 和编码高频信息的隐变量 z，且都服从参数已知的高斯分布。因此，我们可以方便地通过计算最大似然损失函数来优化模型。
多层级网络结构
为了更好地建模低分辨率图像和高频信息之间的关系（即 p(a|y)），该研究进一步提出了一个多层级条件依赖建模框架。在保持整体网络可逆性的条件下，逐步恢复高频信息，重建出高分辨率图像。如下图所示，归一化流的前向过程类似于二叉树的深度优先遍历，而反向过程则从最深层逐步计算至第一层。y 和 a 分别代表各层的低频和高频信息，数字代表计算顺序，蓝色箭头代表条件依赖关系。
具体的网络结构如下图所示。
实验
图像超分辨率
该研究使用最大似然损失函数训练模型，并使用 L1 损失函数，感知损失函数（perceptual loss）和生成对抗损失函数（GAN loss）进一步提升模型效果。在参数量下降 1/3 的情况下，HCFlow 在通用图像超分辨率和人脸图像超分辨率上，都取得了最佳的结果。在不同的随机采样中，可以生成细节不同的高质量高分辨率图像。值得注意的是，与 基于 GAN 的模型类似，基于归一化流的模型主要关注视觉效果，PSNR 通常有所下降。
图像再缩放
由于图像再缩放通常不关注重建结果的多样性，HCFlow 采用与 IRN （ECCV2020）一致的训练策略，将前向过程和反向过程分别视为编码和解码过程。训练损失函数包括在高分辨率图像和低分辨率图像上的 L1 损失函数，以及在隐变量上的约束。在相近的模型参数量下，取得了 0.10-0.34dB 的提升。
更多的模型细节请阅读 [论文原文] 和已开源的[代码]。