图像超分辨率(SR )是以从低分辨率观察恢复高分辨率图像为目标的低级计算机视觉问题。 近年来，基于深卷积神经网络(CNN )的SR方法取得了显著成功，CNN模型的性能不断提高。 近年来，有多种将通道注意和空间注意等注意机制集成到SR模型中的方法。 注意力机制的引入通过提高静态cnn的显示能力，大大提高了这些网络的性能。
目前的研究表明，注意机制在高性能超分区模型中非常重要。 但是，真正讨论“注意力为什么起作用，以及它是如何起作用的”的研究很少。
今天介绍的论文试图量化和可视化静态注意力机制，表明并非所有的注意模块都是有益的。 [1]为了高精度SR图像，提出了网络(attention network，A2N )中的注意力。 具体而言，A2N由非注意分支和结合注意分支组成。
[1]dropout模块(ADM )建议生成两个分支的动态权重，抑制不重要的参数。 由此，注意力模块可以不受其他惩罚地关注有益的例子，因此可以通过较少的附加参数来增加注意力模型的容量。
动机被赋予输入特性后，注意力机制预测热点图。 例如，频道注意生成1D注意图； 空间注意力生成2D注意力图通道——空间注意力生成3D注意力图。 当然，我们问了两个问题：
图像各部分注意力的因素是高还是低？ 注意力机制总是有利于SR模式吗？ 为了回答上述第一个问题，[1]使用由10个注意模块组成的网络，每个模块使用通道和空间注意层，因此每个像素都有独立的系数。
注意事项热点：由于空间有限，我们选择了几个代表性块。 各列分别表示第一、第三、第六、第十注意块。 第1行的：平均输入特性图。 第二行的：平均输出配置文件。 第3行：平均注意图。 在前两行中，特征中的白色区域表示零值，红色区域表示正值，蓝色区域表示负值。 注意在图表(第3行)中，颜色越亮表示系数越高。 来源[1]
上图为一些特征和注意图的视觉效果，上表为注意图与高通滤波的相关系数。 这种测量方法不能准确测量注意反应，其目的是量化不同水平之间的相对高通量相关性。
每个注意块的注意图与对应特征图的高通滤波器输出特征之间的相关系数。
从上图和上表可以看出，不同水平的学习注意力差异很大。 例如，模块1和模块10的反应完全相反，即，低级提醒模块混合在低频模式，高级提醒模块混合在高频模式，中间提醒模块的反应混合在一起。
综上所述，[1]提出尽量减少注意力的使用，同时尽量减少附加参数的数量。 一个直观的想法是：只将注意力集中在性能的关键层。 但是，上述分析并不是衡量注意层有效性的有效解决方案。
为了定量测量注意层的有效性，[1]提出了注意dropout框架。 他们通过关闭特定的注意层进行了一系列的比较实验，结果如下表所示。
由上表可见，模块的深度对注意模块的插入位置有很大影响。 该结果进一步验证了在整个网络上均匀设置注意力是次优的解决方案。
方法：使用RCAN、PANet等固定提醒层方案，同时激活与图像内容无关的所有提醒图。 以上实验表明，注意层的有效性随位置而变化。 这启发了[1]建立非注意短连接分支和注意分支，并将它们与动态权重混合。
如图所示，网络架构由三个部分构成：
浅层特征提取注意块深度特征提取中的注意图像重建模块。 输入图像和输出图像分别用ILR和ISR表示。
浅层特征提取模块中使用单个卷积层。 然后他们
其中fext(() )是内核大小为33的卷积层，从输入LR图像ILR提取浅层特征，x0是提取的特征图。 他们利用A2B将链式网络构建为深度特征提取器。
其中，fA2B(()表示我们在注意块中的建议。 A2B无注意力分支与注意力分支相结合动态调整权重。
深度特征提取后，通过重构模块升级深度特征xn。 重构模块首先使用最近插值进行上采样，然后在两个卷积层之间使用简化的通道-空间注意层。
他们受动态内核的启发，提出可学习的ADM自动放弃不重要的注意特性，平衡注意力分支到非注意力分支。 具体而言，各ADM采用加权方法控制注意分支和非注意分支的动态加权贡献。
请注意，如上图所示，dropout模块通过使用块的相同输入特性作为两个独立分支来生成权重。
形式上，有：
其中，x^{na}_ n是非注意分支的输出，x^{att}_ n是注意分支的输出。 F_ {11}(() )提供11核卷积。 {na}和{att}分别是非注意分支和注意分支的权重，根据从网络输入的特征计算{na}和{att}，而不是人为设定的两个固定值。 有：用于计算动态权重
其中，f_drop(()是注意力丢弃模块。
注意力丢弃模块可以在上图中详细查看。 首先，使用全局平均池化压缩输入xn1。 连接层由两个完全连接的层组成，使用ReLU激活。 通过使用全局池化来增加接受域，可以从整体上利用注意力退出模块
图像中捕获特征。 结论实验结果表明，该模型与目前最先进的轻量级网络相比，具有更好的权衡性能。局部归因图的实验也证明注意(A2)结构中的注意可以从更广泛的范围内提取特征。
论文
1.Haoyu Chen, Jinjin Gu, Zhi Zhang.Attention in Attention Network for Image Super-Resolution,arXiv:2104.09497
本文作者：Nabil MADALI