嵌入式掩码一、简要介绍二、内容介绍2.1、摘要2.2、存在掩码rcnn的问题2.3、提出解决方法2.4、网络结构图2.5、实验结果三、目标检测FCOS3.1、摘要3.2、锚定缺点3.3、FCOS优势
一、简要介绍
paper地址：3359 arxiv.org/pdf/1912.01954 v2.pdf
代码地址：3359 github.com/ying hdb /嵌入式掩码
目前，进行实例划分的方法有两种： 、two-stage方法：
当实例分割是目标检测网络的一个额外分支，如掩码rcnn时，需要利用RoI轮询提取物体的粗略RoI区域，语义上对RoI区域进行分割，得到最后的实例分割结果。、one-stage方法：
相当于直接使用语义分割得到分割结果后，通过聚类或某种手段将同一事例分组，得到最终的事例分割结果
嵌入式掩码是one-stage的实例划分方法。CVPR2019的一篇论文。
正如标题所示，嵌入式掩码：用于单级实例划分的嵌入联接。 自MaskRCNN于2019年底发布以来，业界鲜有如此惊人的研究成果。 在大多数情况下，基于两级加cascade更改backbone的工作本质上意义不大。 要说为什么，那是因为你的订单贵了，但速度变差了。 这基本上在实用性上大大降低了。 2019年底，两篇基于FCOS的论文打破了这一僵局，其中一篇是嵌入式掩码的论文。大致思想：
为每个候选框和每个像素计算嵌入式，即，特征编码，最后，根据像素与候选框的嵌入式距离确定像素是否属于住在该框中的物体。 框架是基于anchor-free的单阶段目标检测框架FCOS。
二、内容介绍2.1、摘要当前实例划分方法可以分为基于划分的方法(划分后聚类)和基于建议的方法)检测后再用repooling预测各实例的建议屏蔽)。 在本工作中，我们提出了一个叫做嵌入式掩码的单阶段方法。 这结合了两种方法的优点。 与基于方案的方法一样，嵌入式掩码建立在检测模型之上，具有较强的检测能力。 此外，嵌入式掩码还应用其他嵌入模块以生成像素和建议的嵌入。 如果像素嵌入属于同一实例，则像素嵌入由建议的嵌入引导。 该嵌入合并过程将像素的嵌入相似的情况指派给所提出的掩模。 像素级群集允许嵌入式蒙版生成高分辨率的蒙版，而不会因存储池而丢失细节。 与基于拆分的方法相比，建议简化和增强快速、高性能的群集过程。 嵌入式掩模没有华丽的功能，可以达到与掩模r-CNN同等的性能。 后者是有代表性的两阶段法，可以更高速地生成更详细的口罩。
2.2、MaskRcnn存在的问题文章指出MaskRcnn是two-stage的代表，即实例划分视为目标检测的扩展。 如果在那些边界框中标识了检测到的实例，就可以在每个实例的边界框中处理划分任务，而Mask RCNN在很多性能指标评测中获得优异的成绩，是最常见的实例划分方法。但是！
在“ROI轮询/ROI对齐”过程中，会出现特征丢失和纵横比失真，从而创建蒙版。 此外，调整过多的参数仍然存在复杂的缺点。 因此，许多研究开始走向单阶段实例划分。 但当时进展不大，一些新提出的方法在精度和速度上都不及MaskRcnn，存在瓶颈。 一步实例分割倾向于在像素级直接处理图像，避免了repooling操作。 它们预测每个像素的特征，并应用聚类过程对每个对象实例进行分组。 然而，这种方法的困难在于它的聚类过程，例如难以确定聚类的数目和聚类中心的位置，并且不能与基于建议的方法进行性能比较。
2.3、为了提出解决方案，嵌入式掩码综合了基于方案的方法和基于分割的方法的优点。 该方法保持了较强的检测能力，同时保持了图像的详细信息。 通过这种方式，不仅可以在基准测试中获得高分，还可以生成高分辨率的口罩，使其高速动作，提出了嵌入式口罩。主要思想：
在聚类方法中使用嵌入
)1)被嵌入的像素被称为像素嵌入，其是表示每个像素的图像。
)2)例如嵌入建议。 嵌入称为提案，这是除去了边界框和分类的实例的提案。
像素嵌入和提案嵌入与对应于相同实例上述嵌入进行嵌入结合. 在推理过程中，对于从非最大抑制(NMS )中幸存的每个事例提案，添加被认为是聚类中心的提案嵌入，指导像素嵌入之间的聚类，生成事例的屏蔽。 此过程不仅可以避免确定集群的中心及其数量，而且不需要计算“ROI轮询/ROI对齐”。 这样既可以省去复杂的操作，又可以保留基本的细节。 此外，本文还预测，事例提案的另一个参数会给聚类过程带来一定的裕度，该裕度对提案很敏感。 灵活的边，适用于多尺度对象
进行实例分割，这是大多数单阶段方法所不具备的机制。EmbedMask简化了基于分段方法的聚类过程，避免了Mask R-CNN中的重池过程。 2.4、网络结构图
EmbedMask实例分割框架由两个并行模块组成，一个用于查找实例建议的位置，另一个用于预测实例建议的掩码。使用目标检测方法FCOS作为基线。
这个算法是一种基于FCN的逐像素目标检测算法，实现了无锚点（anchor-free）、无提议（proposal free）的解决方案，并且提出了中心度（Center—ness）的思想，同时在召回率等方面表现接近甚至超过目前很多先进主流的基于锚框目标检测算法。
3.1、摘要本文提出一种基于像素级预测一阶全卷积目标检测(FCOS)来解决目标检测问题，类似于语音分割。目前大多数先进的目标检测模型，例如RetinaNet、SSD、YOLOv3、Faster R-CNN都依赖于预先定义的锚框。相比之下，本文提出的FCOS是anchor box free，而且也是proposal free，就是不依赖预先定义的锚框或者提议区域。通过去除预先定义的锚框，FCOS完全的避免了关于锚框的复杂运算，例如训练过程中计算重叠度，而且节省了训练过程中的内存占用。更重要的是，本文避免了和锚框有关且对最终检测结果非常敏感的所有超参数。由于后处理只采用非极大值抑制(NMS)，所以本文提出的FCOS比以往基于锚框的一阶检测器具有更加简单的优点。
3.2、锚框缺点①、检测表现效果对于锚框的尺寸、长宽比、数目非常敏感，因此锚框相关的超参数需要仔细的调节。
②、锚框的尺寸和长宽比是固定的，因此，检测器在处理形变较大的候选对象时比较困难，尤其是对于小目标。预先定义的锚框还限制了检测器的泛化能力，因为，它们需要针对不同对象大小或长宽比进行设计。
③、为了提高召回率，需要在图像上放置密集的锚框。而这些锚框大多数属于负样本，这样造成了正负样本之间的不均衡。
④、大量的锚框增加了在计算交并比时计算量和内存占用。
①、FCOS与许多基于FCN的思想是统一的，因此可以更轻松的重复使用这些任务的思路。
②、检测器实现了proposal free和anchor free，显著的减少了设计参数的数目。设计参数通常需要启发式调整，并且设计许多技巧。另外，通过消除锚框，新探测器完全避免了复杂的IOU计算以及训练期间锚框和真实边框之间的匹配，并将总训练内存占用空间减少了2倍左右。
③、FCOS可以作为二阶检测器的区域建议网络(RPN)，其性能明显优于基于锚点的RPN算法。
④、FCOS可以经过最小的修改便可扩展到其他的视觉任务，包括实例分割、关键点检测。
FCOS首先使用Backone CNN(用于提取特征的主干架构CNN)，s为feature map之前的总步伐。
与anchor-based检测器的区别
第一点
anchor-based算法将输入图像上的位置作为锚框的中心店，并且对这些锚框进行回归。
FCOS直接对feature map中每个位置对应原图的边框都进行回归，换句话说FCOS直接把每个位置都作为训练样本，这一点和FCN用于语义分割相同。
FCOS算法feature map中位置与原图对应的关系
第二点
在训练过程中，anchor-based算法对样本的标记方法是，如果anchor对应的边框与真实边框(ground truth)交并比大于一定阈值，就设为正样本，并且把交并比最大的类别作为这个位置的类别。
在FCOS中，如果位置 [公式] 落入任何真实边框，就认为它是一个正样本，它的类别标记为这个真实边框的类别。
这样会带来一个问题，如果标注的真实边框重叠，位置 [公式] 映射到原图中落到多个真实边框，这个位置被认为是模糊样本，后面会讲到用多级预测的方式解决的方式解决模糊样本的问题。
基于锚框的检测器由于大的步伐导致低召回率，需要通过降低正的锚框所需的交并比分数来进行补偿：在FCOS算法中表明，及时是大的步伐(stride)，也可以获取较好的召回率，甚至效果可以优于基于锚框的检测器。
真实边框中的重叠可能会在训练过程中造成难以处理的歧义，这种模糊性导致基于fcn的检测器性能下降：在FCOSzhong ，采用多级预测方法可以有效地解决模糊问题，与基于锚框的模糊检测器相比，基于模糊控制器的模糊检测器具有更好的性能。
为了解决真实边框重叠带来的模糊性和低召回率，FCOS采用类似FPN中的多级检测，就是在不同级别的特征层检测不同尺寸的目标。
与基于锚框不同的地方
基于锚框的检测器将不同尺寸的锚框分配到不同级别的特征层
FCOS通过直接限定不同特征级别的边界框的回归范围来进行分配
此外，FCOS在不同的特征层之间共享信息，不仅使检测器的参数效率更高，而且提高了检测性能。
通过多级预测之后发现FCOS和基于锚框的检测器之间仍然存在着一定的距离，主要原因是距离目标中心较远的位置产生很多低质量的预测边框。
在FCOS中提出了一种简单而有效的策略来抑制这些低质量的预测边界框，而且不引入任何超参数。具体来说，FCOS添加单层分支，与分类分支并行，以预测"Center-ness"位置。
center-ness(可以理解为一种具有度量作用的概念，在这里称之为"中心度")，中心度取值为0,1之间，使用交叉熵损失进行训练。并把损失加入前面提到的损失函数中。测试时，将预测的中心度与相应的分类分数相乘，计算最终得分(用于对检测到的边界框进行排序)。因此，中心度可以降低远离对象中心的边界框的权重。因此，这些低质量边界框很可能被最终的非最大抑制（NMS）过程滤除，从而显着提高了检测性能。