摘要基本概念是众多工作中融合不同尺度特征是提高分割性能的重要手段。 低层特征分辨率更高,包含更多的位置、细节信息,但由于卷积更少,其语义性更低,噪声更多。 高层特征具有更强的语义信息,但分辨率低,对细节的感知能力差。 如何有效融合两者,发挥优势,摒弃无谓的住宿,是改善分割模式的关键。
很多工作通过融合多层来提高检测和分割的性能,根据融合和预测的优先顺序分为早期融合(Early fusion )和后期融合(Late fusion )。
早期融合(Early fusion ) :
首先融合多层特征,然后训练预测器达到融合后的特征(只有完全融合后才统一进行检测)。 这样的方法也称为skip
采用连接,即concat、add操作。 这一观点的代表是inside-outsidenet(ion )和HyperNet。
两种典型特征融合方法是: (1)融合concat )系列特征,直接连接两个特征。 设两个输入特征x和y维数为p和q,则输出特征z的维数为p q;
)2) add :并行策略(36 )将这两个特征向量组合创建复向量,对于输入特征x和y,z=x iy,其中I为虚数单位。
慢融合(Late )
fusion ()通过结合不同层的检测结果来改善检测性能(在最终融合完成之前,在部分融合层开始检测,有多层检测,最终融合多个检测结果)。 这种研究构想的代表性有两种。
)1) feature不融合,分别预测多尺度feture,合并预测结果。 例如,单短多盒
检测器(SSD )、多比例CNN、ms-CNN )。
)2) feature进行金字塔融合,融合后进行预测。 例如featurepyramidnetwork(FPN )等。