论文主题：深度敏感空间金字塔池化的基于RGBD语义分割摘要标准的2D卷积核的RGBD语义分割模型往往将深度图作为一个独立的通道，这一特性不能充分挖掘深度信息带来的几何结构信息。 针对该缺陷，提出构建深度敏感的卷积核和池化层，以实现深度信息的充分挖掘； 利用深度敏感空间金字塔模块提取多尺度信息，实现分割不同尺度物体的效果。 的数据集为NYU v2和SUN RGB-D。
在本文之前，基于传统卷积神经网络的RGBD语义分割使用深度信息的方式大致可以分为两种：第一种是将深度信息编码为HHA三通道的灰度，然后是HAA三通道的灰度和RGB三通道的图像该方法使得网络参数量加倍，无法充分挖掘基于深度信息的几何结构信息。 二是利用3D神经网络进行几何信息挖掘。 有的学者试图利用基于点云的图形神经网络从深度信息中挖掘几何信息来辅助语义分割。 首先根据深度信息得到3D点云，然后利用3D点云基于k近邻图(graph )，将该图嵌入2D的卷积神经网络，将卷积层特征输出到该图，基于时间的反向传播算法) BBB
实验表明此方法取得了很不错的实验效果[2]，以上的这两种 3D神经网络虽然对几何信息进行了有效挖掘，但是其运算量和显存使用量都很大。
一种充分挖掘几何信息的新方法：利用局部像素间深度的相似性对卷积操作和池操作进行加权处理，认为同一语义标签具有相似的深度值。 提出了深度敏感卷积神经网络。 该网络包括深度敏感卷积模块和深度敏感池化模块，这种网络能有效地分割大物体，向小目标的提升相对较少。 基于此思想提出了空间金字塔池化的思想，并利用空腔空间金字塔池化模块捕捉多尺度特征。 该方式将原图像转换为多尺度后，输入几个独立的深度网络进行处理，通过在输出端融合减少计算量。 基于这样的网络，再次提出了空腔空间金字塔池化模块(DAPP )实现RGBD图像的多尺度信息捕获。
贡献1 )引入深度敏感卷积网络充分挖掘RGBD图像中的几何信息，改善整体语义分割的效果。 2 )提出深度敏感空间金字塔池化模块(depth-awarespatialpyramidpooling，DSPP )用于捕获RGBD图像中的多尺度信息，改善各尺度物体的语义分割效果。 基于深度敏感空间金字塔池划分的RGBD语义分割这种网络可以将RBGD图像中的几何信息无缝地合并到二维卷积中。
1、深度敏感卷积神经网络
深度信息卷积网络需要逼近与语义标签相同的像素点对应的深度信息，与图像的局部图像相似的像素点近似的像素点对卷积在此局部位置的输出有很大贡献。 这相当于利用深度相似性增强卷积核，并对标准卷积核进行了空间变换，具有与空洞卷积和可变形卷积解卷积(10 )相似的思想
深度敏感卷积神经网络的具体实现是利用深度相似性矩阵对标准卷积核进行加权处理。 深度敏感卷积神经网络由两个模块组成。 为深度敏感卷积和深度敏感池化。 其中，深度敏感卷积利用深度相似性矩阵对原始标准卷积核进行加权，深度敏感平均池化模块利用深度相似性矩阵对特征图对应的位置进行加权后，进行标准池化操作。 操作如下图所示。
深度敏感卷积
的标准卷积运算公式：
灵敏的卷积运算公式：
其中，@是常数，D(Pi是像素点pi上的深度值，根据公式可以看出，深度值的相似度越小，对应的相似度函数的输出越大。
式(2)定义的深度敏感卷积，在和的梯度更新过程中只比标准卷积操作有更多的使用深度相似度函数的乘法加权，没有添加需要训练的网络参数，计算高效，可以无缝用于待卷积网络的梯度传播
2、深度敏感平均池化
的标准平均池化公式：
这里，x是特征图，y是输出特征图，r是以点P0为中心网格区域，平均池操作平等处理特征图上的各点，使输出平滑对边缘特征的位置精度的维持有损伤，但深度敏感平均池操作对与中心像素的深度类似性大的像素
3、深度敏感空间金字塔池化
基于深度敏感空间金字塔池化模块的多尺度特征融合示意图如图2所示。 其中金色虚线包围的模块就是深度敏感空间金字塔池化模块(DSPP )。 深度敏感空间金字塔池化模块采用4个不同采样率的深度敏感腔卷积核) dconv )对第5个池化层) pool5)输出的特征图进行不同稀疏度的采样，这样可以实现较少尺度的参考的思想，通过对第七卷积层conv7中生成的C通道特征图进行全局池化操作global pooling，gp )，可以进行全局池化操作
生成 C 维的向量，将此 C 维向量的每一个元素加到对应的特征图的每一个位置上，从而形成一个含有 2C 个通道（channel）的 3D kldpkq（3D tensor），随后利用 1×1 的卷积核进行降维，四个多尺度通道都进行上述相同的处理，然后采取求和融合的方式对四个多尺度通道的结果进行融合，最后利用双线性插值上采样到和原图同样尺寸的语义标签图。
基于深度敏感空间金字塔池化模块优化的卷积网络的架构示意图如图所示，整个网络的输入是 RGB 图像和深度图，经过五个卷积组的输出后，接入基于深度敏感空间金字塔池化的多尺度特征融合模块（DSPP-Fusion），最后将输出的特征图经过双线性插值到和原输入一样的尺寸，即得到语义分割预测特征图（predict label）。
本文提出的方法在主流的 RGBD 图像语义分割数据集—NYU v2和 SUN RGB-D 数据集上都取得了很不错的效果。
这一块见论文详情！！！！！！
结论本文针对原始的深度敏感卷积神经网络（DACNN）在复杂场景对上下文信息的捕获能力的不足问题，提出引入深度敏感的空间金字塔池化模块DSPP对原始算法进行改进。
经改进的基于深度敏感空间金字塔池化的卷积神经网络模（DACNN-DSPP）融合了DACNN 在捕获几何信息能力上的优点DSPP 在捕获上下文信息的优点，且基于深度敏感空间金字塔池化的卷积神经网络模型并没有带来太多的训练参数，模型的复杂度和原始模型在同一量级。DACNN-DSPP 算法在两个一xndnht大 RGBD 语义分割数据集（NYU v2和SUNRGB-D）上的表现均优于 DACNN 模型，从而验证了本文算法的有效性，具有更强的语义推断能力。