论文《ACNet: Attention Based Network to Exploit Complementary Features for RGBD Semantic Segmentation》已经被ICIP2019(2019 IEEE International Conference on Image Processing)接收，论文提出了一种全新的方法，基于时下流行的注意力机制，用于室内场景下的RGBD图像语义分割——通过利用图像深度信息，获得更好的语义分割效果，在包含40个类别的复杂室内场景通用数据集NYUDv2上取得了SOTA效果，mIoU达到了48.3%，论文主要的贡献在于注意力辅助模块和三平行分支的网络架构。
原文链接：ICIP 2019 开源论文 | 基于注意力网络的RGBD图像语义分割方法
论文地址：https://arxiv.org/abs/1905.10089
工程链接：https://github.com/anheidelonghu/ACNet。
当下图像语义分割的研究多关注室外场景，为自动驾驶等任务提供支持，而关注室内场景的研究较少，室内场景图像中目标亮度不均且在空间上存在较多的重叠，使用RGBD图像相较于RGB图像，能够取得较好的分割效果，RGBD图像即RGB图像和深度(Depth)图像的结合，包括RGB三个通道和一个代表像素点与相机距离的深度通道共四个通道。已有的RGBD图像语义分割方法有两种思路：一是利用两个编码器分别从RGB图像和深度图像中提取特征，结合之后进行上采样；二是在下采样阶段直接将两个特征融合处理。前者不能将两种特征充分融合，后者没有考虑两种特征对最终结果的贡献程度，对于RGB图像信息和深度图像信息可能不充分对等的RGBD图像中，都不能取得较好的效果。为此论文提出了集成注意力机制的三平行分支架构的语义分割网络ACNet，在通用数据集NYUDv2上取得了SOAT效果。
2.ACNet ACNet网络架构如下图所示：
两个基于ResNet的独立分支分别用于RGB图像和深度图像的特征提取，根据每一层特征所包含的信息量设计的多个注意力辅助模块(ACM，Attention Complementary Modules)来平衡特征的分布，使网络更加关注图像的有效区域，一个同样基于ResNet的独立分支用于融合RGB特征和深度特征，最后经过多次上采样得到分割结果。ACNet在保持原始RGBD特征流的同时充分利用了融合后的特征，最后分几步进行上采样，下面具体来看。
2.1 注意力辅助模块-ACM 如上图所示，室内场景下的RGBD图像中，RGB图像和深度图像的特征分布完全不同，为了使网络专注于目标的有效区域，论文设计了多个注意力辅助模块ACMs，单个ACM结构如下图所示：
ACM基于通道注意力机制，假定输入特征图 A = [ A 1 , . . . , A C ] ∈ R C × H × W A=[A_1,...,A_C] in R^{C times H times W} A=[A1,...,AC]∈RC×H×W，首先应用全局平均池化，得到输出 Z ∈ R C × 1 × 1 Z in R^{C times 1 times 1} Z∈RC×1×1，其中 C C C代表通道数， H , W H,W H,W分别表示特征图的高和宽，特征图的第 k k k个通道可以表示为：
Z k = 1 H × W ∑ i H ∑ j W A k ( i , j ) Z_k = frac{1}{H times W} sum^H_i sum^W_j A_k(i,j) Zk=H×W1i∑Hj∑WAk(i,j)
之后保持 Z Z Z的通道数不变，通过一个点卷积( 1 × 1 1times1 1×1)层，以挖掘通道之间的联系以确定其权重的分布，接着应用sigmoid激活方法得到 V ∈ R C × 1 × 1 V in R^{C times 1 times 1} V∈RC×1×1，与输入特征图 A A A进行一次叉乘得到外积 U U U，一个具有更多有效信息的特征图。该阶段的过程可以表示为：
U = A ⨂ σ [ ϕ ( Z ) ] U= A bigotimes sigma[phi(Z)] U=A⨂σ[ϕ(Z)]
2.2 特征融合架构为了过早或过晚融合RGB特征和深度特征，ACNet设计的第三个独立分支逐阶段的进行特征融合，充分利用浅层和深层的特征，不仅保留了两个独立分支的特征信息，还能有效利用融合特征。
3. 实验 3.1 ACM的分析 以layer2时的特征图为例，可视化如下图所示，
不同阶段的ACM得到的权重分布：
NYUDv2和SUN-RGBD测试集：
论文提出用于室内场景下RGBD图像语义分割网络ACNet，三分支架构和注意力辅助模块较好的平衡了RGBD图像中RGB图像特征和深度图像特征，并充分利用了二者的融合形式，共同作用于最终分割结果，最终在NYUDv2和SUN-RGBD数据集上都取得了SOAT效果。论文最后指出未来的研究方向为分割的实时性和闭环检测。
欢迎扫描二维码关注微信公众号 深度学习与数学 [每天获取免费的大数据、AI等相关的学习资源、经典和最新的深度学习相关的论文研读，算法和其他互联网技能的学习，概率论、线性代数等高等数学知识的回顾]