内容提要：实例分割可广泛应用于各种应用场景，作为计算机视觉领域的重要研究方向之一，具有很大的难度和挑战性。 在许多场景中，由于遮挡，拆分实例是一个难题。 最近，来自华中大、阿里等机构的研究人员提出了一种大规模的视频实例分割数据集OVIS来解决这一问题。
原创：HyperAI超神经
关键词：屏蔽视频实例分割计算机视觉
在计算机视觉中，目标检测是最中心的问题，被认为是目标检测中实例划分最困难的任务。 实例分割是指根据对象物的检测，分割物体的像素。
物体之间经常存在相互屏蔽，这也成为了技术人员头疼的问题。 我们人类看到被遮挡的物体，可以通过经验和联想来识别。
那么，在计算机的视觉中，是否能像人类一样准确地识别被遮挡的物体呢？ 在事例分割的研究命题中，解决屏蔽引起的干扰是重要的研究方向。
理想实例划分
实际中的实例分割
华中科技大学、阿里巴巴、康奈尔大学、约翰斯霍普金斯大学、牛津大学团队收集了一个用于遮挡视频实例分割的大规模数据集 OVIS（Occluded Video Instance Segmentation ），可用于同时检测、分割和跟踪遮挡场景中的实例。
数据集中的目标对象主要包括动物、人、交通工具等常见类别
这是继谷歌 YouTube-VIS 数据集之后，第二个大规模遮挡视频实例分割数据集。
OVIS：诞生于 901 段严重遮挡视频对于我们平时看到的一切，很少有孤立出现的物体，都或多或少有屏蔽情况。 然而，研究表明，在人的视觉系统中，即使在遮挡下也可以区分目标对象的实际边界，但在计算机视觉系统中，遮挡视频实例的分割问题成为一大课题。
为了进一步探索和解决这一问题，来自华科、阿里等机构的团队试图在传统的开源实例划分算法中开发更好的模型。
为了完成这项工作，团队首先收集了OVIS数据集，并将其用于屏蔽场景中视频实例的分割。 最近发表的论文 《Occluded Video Instance Segmentation》 详细介绍了该数据集。
遮挡视频实例分割
论文地址：https://arxiv.org/pdf/2102.01558.pdf
为了收集此数据集，请访问团队一共采集了近万段视频，并最终从中挑选出了 901 段遮挡严重、运动较多、场景复杂的片段，每段视频都至少有两个相互遮挡的目标对象。
大多数分辨率为1920x1080，介于5s和60s之间。 他们每五帧标记一帧的密度，进行高质量的标记，最终得到OVIS数据集。
与OVIS 共包含 5223 个目标对象的 296k 个高质量 mask 标注。以前的GoogleYouTube-vis数据集中的4883个目标对象和131k masks标记相比，OVIS显然有更多的目标对象和masks标记
但是，OVIS实际上使用的视频比YouTube-VIS少。 因为团队理念倾向于使用更长的视频来提供长期跟踪功能。 OVIS的平均视频时间和平均实例时间分别为12.77s和10.55s，相应的YouTube-VIS两个参数分别为4.63s和4.47s。
OVIS 数据集与 YouTube-VIS 数据集相关参数对比小组为了使中断视频实例分割的任务更困难，以一定的视频片段数为代价标记了更长、更复杂的视频。
OVIS 数据集共包含 25 种生活中常见的类别，如下图所示，具体种类包括人、鱼、车辆、马、羊、斑马、兔、鸟、家禽、大象、摩托车、狗、猴子、船、乌龟、猫、牛、牛、狗
这 25 个类别均为常见的语义类别
选择这些类别主要考虑以下三点。
这些目标处于运动状态，也容易发生严重的屏蔽
在生活中很常见
这些类别是当前流行的大规模形象和现实
例分割数据集（如 MS COCO，LVIS，Pascal VOC 等）有很高的重叠，因此方便研究人员进行模型的迁移和数据的复用。与先前的其他 VIS 数据集相比，OVIS 数据集最显著的特点在于，很大一部分物体，都因不同因素被严重遮挡。因此，OVIS 是评估视频实例分割模型处理严重遮挡的有效测试平台。
为了量化遮挡的严重程度，团队提出了一个指标 mean Bounding-box Overlap Rate (mBOR)来粗略的反映遮挡程度。mBOR 指图像中边界框重叠部分的面积占所有边界框面积的比例。从参数对比列表中可以看出，相比于 YouTube-VIS，OVIS 有着更严重的遮挡。
OVIS 数据集详细信息如下：
Occluded Video Instance Segmentation
遮挡视频实例分割数据集
数据来源：《Occluded Video Instance Segmentation》
包含数量：5223 个目标对象，296k 个 masks
种类数量：25 种
数据格式：框架：jpg；注释：Json
视频分辨率：1920×1080
数据大小：12.7 GB
下载地址：https://hyper.ai/datasets/14585
OVIS 对视频实例分割提出更高基准
OVIS 数据集被随机分为 607 个训练视频、140 个验证视频和 154 个测试视频。团队在 OVIS 上对 5 种现有的开源视频实例分割算法，进行了综合评估，同时这也是对 OVIS 数据集的基线性能进行基准测试。
评估结果如下表所示：
在 OVIS 验证和测试集上，各个方法的定量比较在 YouTube-VIS 验证集上各方法表现
与 YouTube0-VIS 相比，FEELVOS、IoUTracker+、MaskTrack R-CNN、SipMask 以及 STEm-Seg 五种算法，在 OVIS 上的性能都至少下降了 50%。比如，SipMask 的 AP 从 32.5 降到 12.1，而 STEm-Seg 从 30.6 降到 14.4。这些结果都在提醒研究者们，应进一步关注视频实例分割问题。
此外，团队通过使用校准模块，在原有算法基础上，显著提高了其性能。其开发的 CMaskTrack R-CNN 比原算法 MaskTrack R-CNN 的 AP 改善了 2.6，从 12.6 提升至 15.2，CSipMask 比 SipMask 改善了 2.9，从 12.1 提升至 15.0。
CMaskTrack R-CNN 在 OVIS 上的定性评价，每行显示视频序列中 5 帧的结果
在上图的图（c）中，鸭群比较拥挤的场景下，团队的方法几乎正确检测和跟踪了所有的鸭子，不过第二帧最左边的一个鸭子检测失败。不过，在之后的帧中，这只鸭子又被重新跟踪，证明团队的模型很好地捕获了时间线索。
团队又在 YouTube-VIS 数据集上进一步评估了他们提出的 CMaskTrack R-CNN 和 CSipMask 算法，结果与原方法相比，在 AP 上都超越了原方法。
未来应用：视频全景分割、合成遮挡数据团队表示，常用的视频分割算法在 OVIS 的基线表现，远远低于在 YouTube-VIS 上的表现，这表明未来，研究者应该在遮挡视频对象处理上投入更多精力。
此外，团队利用时态上下文线索，探索了解决遮挡问题的方法，将来，团队将在无监督、半监督或交互式设置下，在视频对象分割场景中，将 OVIS 的实验轨迹形式化。另外，将 OVIS 扩展到视频全景分割也是至关重要的（注：视频全景分割即同时实现对背景的语义分割和前景的实例分割，这是实例分割领域近来的新趋势）。
背景对目标对象造成遮挡，这会影响算法对背景的预测
此外，合成遮挡数据也是团队需要进一步探索的方向。团队表示，相信 OVIS 数据集将引发更多在复杂和多样场景下理解视频的研究。
这一技术未来在影视剧特效、短视频、直播中，人物与背景的分离工作中都将起到重要作用。
参考资料：
论文地址：https://arxiv.org/pdf/2102.01558.pdf
项目官网：http://songbai.site/ovis/
谷歌 YouTube-VIS 数据集：
https://youtube-vos.org/dataset/vis/
—— 完 ——
扫描二维码，加入讨论群
获得更多优质数据集
了解人工智能落地应用
关注顶会&论文
回复「读者」了解详情
更多精彩内容（点击图片阅读）