另一方面，介绍rdn —— residualdensenetwork ——残差深度网络
RDN是一种基于深度学习的超得分方法，发表在CVPR 2018上
二、结构RDN网络结构分为四个部分。
1、SF enet (shallowfeatureextractionnet，浅层特征提取网络) 2、rdbs (residualdenseblocks，残差稠密块) 3、dff (densefeaturefusioned )
2.1 SFENet包含两个CONV层，提取浅层特征
2.2 RDBs包括d个RDB，用于提取每个层的特征，一个RDB提取一个局部特征。 RDB结构如下图(c )所示。
可见，RDB=Residual block (残差块) Dense block (密集块)
由于随着网络深度的增加，各层CONV层的特征逐渐分级(可得到层次特征)，有不同感受区的接收场)。 Hierarchical features必须为图像重建提供重要信息，充分利用所有图层的信息和特征。
一个RDB结构分为三个部分。
2.2.1连续内存邻居存储(cm ) RDB包括c个[CONV ReLU]，其中cm机制向当前RDB中的每个CONV层，即图) c的小桥发送先前RDB的状态
2.2.2局部特征融合(lff ) LLF融合前面RDB的各个状态和当前RDB的所有CONV层。
在RDN中，从上一个RDB输出的feature-map与当前RDB直接连接。 在这种情况下，必须减少feature的数量。
我们使用11个CONV来减少功能的数量/控制输出信息。 11CONV用于减少通道数，保持nh、nw恒定。 (具体请参阅ggdfh深度学习4.2.5笔记。 ) ) ) ) ) ) ) ) )。
2.2.3局部残差学习(lrl )，结合以下两者，查看c图底部的红色箭头和绿色加号：
上一个RDB输出上的LFF的1*1CONV输出
引入LRL，进一步提高信息流，提高网络显示能力，达到更好的性能
2.3 dff (定义特征块) dff全局提取各层特征。
包括两个部分：
2.3.1 .全局特征融合(GFF ) GFF用于将所有RDB提取的特征融合在一起，以获得全局特征。 GFF分为两个部分：
1x1 CONV融合一系列特征(1*1CONV的作用是减少通道数量，维持Nh，Nw )。 详见ggdfh4.2.5)以3x3 CONV为下一步的GRL进一步提取特征2.3.2.GRL (全球残差学习) )。
实现：
浅层特征所有RDB提取的特征
2.4上采样网上采样网络(up net )此模块代表网络中的最后一个上采样卷积操作。 实现了输入图像的放大操作。
三、实现细节除了用于融合局部或全局特征CONV层的kernel size=1x1外，其他CONV层均为3x3的kernel size=3x3的CONV层。 为了保持inputsize恒定，使用了SAME padding浅层特征提取层、局部全局特征融合层的CONV的滤波器数为G0=64其他层(RDB中)的CONV的滤波器数为g，作为其激活函数，ReLU ？ ) RDN的最后一个CONV，如果需要输出彩色HD图像，则该输出的channel=3； 如果需要输出灰度高清图像，则可以设置该输出的通道=1四，讨论(与其他网络的不同) 4.1 Difference to DenseNet受到DenseNet的启发，在RDB中添加了局部密集的连接。 与DenseNet不同，去除了BN层。 提高运算速度降低计算复杂性和GPU内存消耗与DenseNet不同。 删除轮询层，以防止将像素级信息删除到RDN中。 我们使用局部残差学习将紧密耦合层和局部特征融合(LFF )耦合到RDN。 上一个RDB中提取的特征与当前RDB中的每个CONV直接相关。 (局部特征融合LFF )。 更好地保障信息流的贯通和DenseNet的区别。 使用GFF，concat并活用在各RDB中提取的所有特征。 DenseNet在整个网络中只使用每个DenseBlock的最后一个输出。 4.2 Difference to SRDenseNet RDN在三个方面改进了SRDenseNet的DenseNet :
1 )添加了CM机制，使以前的RDB模块与当前的RDB模块直接接触
2 )使用LFF，RDB以更大的增长率可用
3 ) RDB中的LRL模块将信息流增加到RDB中，并提取整体
局特征时不使用Dense Connection，取而代之的是DFF（Dense Feature Fusion, 稠密特征块，包含GFF和GRL)损失函数：SRDenseNet使用L2 ；RDN使用L1（提高了性能，加快了收敛） 4.3 Difference to MemNet 损失函数：MemNet使用L2 ；RDN使用L1（提高了性能，加快了收敛）MemNet要用Bicubic插值方式对LR图片进行上采样，从而使LR图片达到所需的大小，这就导致特征提取和重建过程都在HR空间（高分辨率空间）中进行；而RDN从原始的LR图片（低分辨率图片）提取各层特征，很大程度上减少了计算的复杂度，并提高了性能MemNet中包含了递归和门限单元，这使得当前层不能接收上一层的输入，而RDB的前后模块是有交互的MemNet 没有全部利用中间的特征信息，而RDN通过Global Residual Learning 将所有信息都利用起来。 五、实验及结果 5.1 实验设置： 数据集 数据集： DIV2K(800 training imgs + 100 vali imgs + 100 testing imgs)训练：DIV2K——800 training img + 5 vali img测试：五个standard benchmark datasets：Set5 [1], Set14 [33], B100 [18], Urban100 [8], and Manga109 [19]. 退化模型训练的输入图片（LR）使用DIV2K的高清图片通过下面3种退化模型得到：
BI模型：Bicubic插值方式对高清图片进行下采样， 缩小比例为x2，x3，x4BD模型：先对高清图片做（7*7卷积，1.6方差）kydgb滤波，再对滤波后图片做下采样， 缩小比例为x3。DN模型：①Bicubic插值方式对高清图片进行下采样， 缩小比例为x3，②再加30%的kydgb噪声。 训练设置 在每个训练batch中，随机取出16张RGB的LR patches（shape = 32 * 32）作为输入随机地对patches做数据增强——上下翻转，垂直翻转90°等一个epoch包含1000个iteration使用Touch7框架来写RDN，并使用Adam作为优化器所有层的学习率初始化都是10-4，并且每200个epoch就减少至一半训练RDN需要一天的时间，泰坦GPU，200个epoch 超参D/C/G的设置
从上图看出，大的D/C/G值能提升性能，原因是加深了网络深度
可看出， CM, LRL, and GFF 缺一不可，缺一个性能就下降
可看出，RDN的重建效果最佳在BD和DN退化模型下：
可看出，依然是RDN的重建效果最佳 实验结果（真是图片下）
在真实图片下，不再有原始的高清图片（如DIV2K），因此也当然没有退化模型，真实图片的退化模型（比如湍流大气和视宁度造成的模糊）都是未知规律的
从结果可以看出，分层特征对于不同或未知的退化模型执行依然有鲁棒性（强健）