文章目录一，前言二，网络详解2.1 fsr CNN 2.2 espcn 2.3 vdsr 2.4 edsr 2.5 Sr-gan
一、前言
我写这篇文章，主要看了NTIRE图像恢复(Image Restoration )。 在挑战中以超分辨课程获胜的队伍的方法。 在这里和大家分享，如果有错误的地方，请指出来。 以学习为主。
主要有图像超分辨率、图像模糊、频谱重建三个方向。
基于深度学习的超分辨率重建：
发展历史为http://www.Sina.com /http://www.Sina.com /3358 www.Sina.com /http://www.Sina.com /3http://www.Sina 3333333 下图
2.2 ESPCN SRCNN[1]主要提出FSRCNN[2]，该方式随后用于多种方法的上采样重建。
2.3 VDSR ESPCN[3]为VDSR[4]，在PSNR及SSIM评价指标上有较大提高。 VDSR以后的大部分方法都采用这种方式。 当然，还有很多优秀的网络，如RED、DRRN、MemNet和LapSR，但这里很少介绍。
2.4 EDSR EDSR[5]主要使用增强的ResNet，去除batchnorm，使用L1丢失训练。
2.5 SR-GAN SRGAN是将GAN导入SR进行重建的。 另外，SRGAN与其他上述方法不同，重构得到的图像比上述方法清晰，但在PSNR和SSIM上都比上述方法采用bicubic得到的图像低很多。 主要原因是SRGAN[6](当然，在非GAN方法中使用了感知损失，例如EnhanceNet[8]，感知损失重构后的图像在人类认知视觉上更舒适，但在细节恢复上确实与原图有很大不同
超分辨率重构方向：
第一个方向是以真实可靠的细节恢复为目标，应用场景如医学图像上的超分辨率重建、低分辨率相机的脸部和形状的恢复等对细节有严格要求的场景。 另一个追求整体视觉效果，细节要求不高。 例如，低分辨率视频电视恢复、照相机的模糊图像的恢复等。 NTIRE2018比赛：
本次比赛使用的数据集为DIV2K数据集[9]，共包含1000张2K分辨率的RGB图像，其中800张为训练集，100张为验证集，100张为测试集。 评价标准使用了PSNR、SSIM。 这意味着在这个场景中使用感知损失进行重建不是一个很好的选择。 大多数团队为SRCNN[1]是最早用CNN来进行超分辨率重建的论文。FSRCNN[2]或ESPCN [3]。 在经典的bicubic 8倍放大赛道中，由Toyota-TI提出的深度后退项目网络(dbpn ) )获得了第一名，如下图所示。 DBPN的主要思想是，传统的CNN方法从LR到SR都是完全采用的过程，这个过程不能完全处理与LR到SR的HR的区别。 在高倍率下更明显。 因此，DBPN希望通过提供subpixel convolution的方法和重复VDSR [4]的修正反馈机制来恢复更好的细节特征。 这次NTIRE2018的结果显示，DBPN在高倍率下具有比LapSR、EDSR更好的效果。
团队在SR重建中被定位为两个优化问题：
第一，个人理解应该与DBPN相似，如何以更大的尺寸放大以获得更好的细节利益。
第二个问题是，对于存在于Mild、Difficult现实LR图像中的噪声，在放大图像的同时不放大噪声，如何减弱噪声对重构的影响。
针对第一个问题，在bicubic中，Pixel Overflow是http://www.Sina.com/RGB layer shuffle、Per-Image Mean、Shift Residual Scaling Factor等(NTIRE2018报告介绍了该团队使用sobel过滤器提取SR和ground truth特征，以强调边缘和细节损失，但团队报告显示
针对第二个问题，团队使用在EDSR前增加了一个去噪网络，两者通过将去除输出层的去噪网络与去除输入层的EDSR串接实现端对端的模型训练。如图8，实验表明去除头尾的方式比直接串联两个网络的方式效果更好。
鸣谢
Dong C, Chen C L,He K, et al. Image Super-Resolution Using Deep Convolutional Networks[J]. IEEETransactions on Pattern Analysis & Machine Intelligence, 2016,38(2):295-307.Dong C, Chen C L,Tang X. Accelerating the Super-Resolution Convolutional Neural Network[J].2016:391-407.Shi W, CaballeroJ, Huszar F, et al. Real-Time Single Image and Video Super-Resolution Using anEfficient Sub-Pixel Convolutional Neural Network[C]// IEEE Conference onComputer Vision and Pattern Recognition. IEEE Computer Society, 2016:1874-1883.Kim J, Lee J K,Lee K M. Accurate Image Super-Resolution Using Very Deep ConvolutionalNetworks[C]// IEEE Conference on Computer Vision and Pattern Recognition. IEEEComputer Society, 2016:1646-1654.Lim B, Son S, KimH, et al. Enhanced Deep Residual Networks for Single ImageSuper-Resolution[C]// Computer Vision and Pattern Recognition Workshops. IEEE,2017:1132-1140.Ledig C, Theis L,Huszar F, et al. Photo-Realistic Single Image Super-Resolution Using aGenerative Adversarial Network[J]. 2016:105-114.Johnson J, AlahiA, Li F F. Perceptual Losses for Real-Time Style Transfer andSuper-Resolution[J]. 2016:694-711.Sajjadi M S M,Schölkopf B, Hirsch M. EnhanceNet: Single Image Super-Resolution ThroughAutomated Texture Synthesis[J]. 2016.E. Agustsson andR. Timofte. NTIRE 2017 challenge on single image super-resolution: Dataset andstudy. In The IEEE Conference on Computer Vision and Pattern Recogni[1]tion(CVPR) Workshops, July 2017. 1, 2Haris M,Shakhnarovich G, Ukita N. Deep Back-Projection Networks ForSuper-Resolution[J]. 2018.Tai Y, Yang J, LiuX, et al. MemNet: A Persistent Memory Network for Image Restoration[J].2017:4549-4557.Lai W S, Huang JB, Ahuja N, et al. Deep Laplacian Pyramid Networks for Fast and AccurateSuper-Resolution[C]// IEEE Conference on Computer Vision and PatternRecognition. IEEE Computer Society, 2017:5835-5843.Zhang K, Zuo W,Chen Y, et al. 魔幻的鱼 a Gaussian Denoiser: Residual Learning of Deep CNN forImage Denoising.[J]. IEEE Transactions on Image Processing, 2017,26(7):3142-3155.Zhang K, Zuo W,Zhang L. Learning a Single Convolutional Super-Resolution Network for MultipleDegradations[J]. 2017.Blau Y, MichaeliT. The Perception-Distortion Tradeoff[J]. 2017.NTIRE 2018Challenge on Single Image Super-Resolution: Methods and Results