注意力机制文章------频道注意力se-net : squeeze-and-excitation networks论文详细论文链接： https://arxiv.org/pdf/1709.01507.pdf
Github代码： https://github.com/hujie-frank/senet
注意力机制最先用于自然语言处理(NLP )，然后广泛用于计算机视觉)，之后引入注意力机制进行视觉信息处理。 注意力机制的核心思想是可以从大量信息中筛选出重要的信息。 注意力机制可分为通道注意力和空间注意力，本文主要论述了通道注意力的机制。
摘要部分卷积神经网络的核心组成部分是卷积算子，通过融合各层局部感知域内的空间和通道信息，使网络构建信息特征。 许多先前的研究都调查了这种关系的空间分量，试图通过提高整个特征水平的空间编码质量来提高CNN的代表性。 在该工作中，通过关注信道关系，对信道方向的特性响应进行显式建模，提出了一种新的架构单元，对信道之间的相互依赖关系进行建模，并自适应地重新校准信道方向的特性响应。 这些块堆积在一起，形成了SENet体系结构，表明它们可以在不同的数据集上非常有效地进行总结。 此外，SE模块以很小的额外计算成本证明了目前最先进的中枢神经系统有明显的性能提高。 压迫和激励网络构成了我们ILSVRC 2017分类提交的基础，获得了第一名，前五名的误差降至2.251%，超过了2016年的获奖项目，相对上升了25%。
网络体系结构
这篇论文是通道维度(channel-wise )提高注意力的机制，重要的两个操作是squeeze和excitation，因此论文将该attention结构命名为SE block。 SE block是为了明确实现特征频道的相互依存关系。 也就是说，通过自动学习获取每个特征信道的重要度，并利用该重要度对每个特征信道给出权重值，使得神经网络将重点放在特定的特征信道上。 也就是说，提高对当前任务有用的特征通道，抑制对当前任务不太有用的特征通道。
注意力机制的具体实现过程如上图所示。 由输入x给出，该特征信道的数量是c’，并且通过一系列卷积等(Ftr )一般变换获得特征信道的数量是c的特征。 与传统的CNN不同，接下来通过3个操作重新定位之前获得的特征。
squeeze操作通过全局池化(global pooling )，将每个通道的二维特征(HW )压缩为一个实数，论文通过平均值池化来实现。 这是空间维度的一种特征压缩。 由于这个实数是根据二维特征的所有值计算出来的，所以具有一定程度的全局感受域，通道数一定，因此squeeze操作后为11*C，公式如下。
Excitation操作如下式所示，在前面的squeeze中得到的结果是z。 这里首先将z乘以W1，就是全连接层操作。 第一个全连接层将c通道压缩为C/r通道以降低计算量。 该r是定标参数，这里为16，并且经过第一个全连接层维度设为C/r11； 然后经过另一个ReLU层，输出维数不变； 然后，由于与W2相乘和W2相乘也是所有连接层的过程，第二个所有连接层的作用是返回c个信道，所以输出的维度为C11，最后经过sigmoid函数获得s。
这两个全连接层的作用是融合各通道的性能映射信息。 这是因为前面的squeeze是在其中一个通道的feature map中操作的。
Scale操作将当前获得的标准化权重添加到各信息的特征中。 论文中的方法是采用乘法，每个通道乘以权重系数，在通道维度中引入attention机制。 具体公式如下。
应用程序
上图显示了此SE Block是如何嵌入到主流网络(Inception和resnet )中的。 全局轮询是队列操作，FC Relu FC Sigmoid是扩展操作。 具体过程是首先通过全连接层(FC ) )将特征维度降低到原始维度，然后经过Relu函数激活，再通过同一个全连接层(FC )返回原始特征维度c，通过Sigmoid函数转换为0~1的归一化权重
在这里，所有连接层的参数都被loss不断地反复更新。
实验结果
)论文比较了加入多个分类网络和不加入SE block的效果，发现加入SE block的网络模型可以获得更好的分类效果； SENet的核心思想是通过全连接网络基于loss自动学习特征权重，而不是直接根据特征信道的数值分布来判断，从而提高有效特征信道的权重。 当然SE block必然增加了一些参数和计算量，但在效果面前，这个性价比很高。
)论文认为，在扩展操作中，使用两个全连接层比直接使用一个全连接层更有好处。
1 )具有更多非线性的2 )可以更好地拟合通道之间的复杂性
在结论文中，我们提出了SE模块。 这是一种架构单元，其目的在于通过使得网络能够执行动态信道特性的重新校准，来提高网络的表现能力。 许多实验证明了SENets的有效性，并在多个数据集和任务中提供了领先的性能。 此外，SE模块还揭示了传统架构无法充分建模基于通道的功能依赖的几个问题。 希望证明这个见解对于需要强烈区分特征的其他任务有帮助。 最后，SE块生成的特征重要性值可以用于其他任务，如用于模型压缩的网络修剪。