机器心灵专栏
作者： ckdhf (深兰北京AI研究开发中心) )。
迪兰科技北京AI研发中心的DeepBlueAI队在CVPR 2020夜间行人检测挑战赛中获得两冠、一亚军。 本文将介绍该团队的解决方案。
最近，在CVPR 2020 Workshop举办的Night Owls检测挑战赛公布了最终结果。 深兰科技北京AI研发中心的DeepBlueAI团队获得了“一帧行人检测”和“多帧行人检测”两个赛道的冠军和“检测一帧所有物体”赛道的亚军。
本文介绍了DeepBlueAI团队的解决方案。
介绍NightOwls检测挑战赛
检测由RGB摄像机拍摄的夜间场景图像的行人是一个非常重要但未得到足够重视的问题，目前最新的视觉检测算法无法很好地预测结果。 官方baseline的Caltech (知名行人检测数据集)的Miss Rate )越小越好)达到7.36% )，但在夜间行人数据集中仅为63.99%。
行人检测是安全可靠的自动驾驶车等多种系统的重要组成部分，但采用计算机视觉方法解决夜间场景检测问题的关注较少，因此cvpr 2020 Scalabilityinautonomousdrivingworkshook Shook
nightowlsdetetectionchallenge 2020包括三个类别：一帧行人检测(与2019年相同)、多帧行人检测和一帧所有物体的检测)行人、自行车、摩托车。
pedestriandetectionfromasingleframe (三星as 2019竞争) )。
pedestriandetectionfromamultipleframes
从单一框架(从属、循环、摩托车)
比赛主题介绍
夜间行人数据集示例
路线1:卫星检测信息框架
这个任务只需要检测行人。 与Ground truth的category_id=1相对应的行人类别。 使用的算法与ICCV 2019 NightOwls挑战赛相同，只使用当前帧作为检测的输入。
路线2:卫星检测框架
该任务的要求是与任务1一样只检测行人，但在该任务中可以使用当前帧和所有以前的帧[n，N-1，N-2，…]来预测当前帧的行人。
这两个任务的数据集由279000 ngddw注释的图像组成。 这些图片来源于欧洲多个城市的黎明和夜晚的40段视频，涵盖了不同的气象条件。
模型效果的评价使用了行人检测常用的指标“Average Miss Rate metric”，但只考虑了高度=50px的非遮蔽目标。
来自轨迹3:单一框架
在此任务中，必须检测训练集中出现的帧中的所有类别，如自行车、摩托车等，并允许使用视频序列信息。
问题的难点
这次比赛的主要难点有以下几点。
运动模糊和图像噪声
与普通的检测数据集不同，该竞赛考虑到实际的驾驶状况，使用的是车辆行驶中收集的数据，因此在车速较快或有相对运动时，会持续生成运动模糊图像。 另外，由于照相机是普通的RGB照相机，因此在光弱的环境中收集的图像的质量大幅降低，这也是影响模型效果的主要原因。
对比度大，颜色信息少
这是因为收集的数据主要来自夜间环境
所导致的必然结果，所以在进行数据增强的时候需要谨慎，不同增强方式会造成较大的影响。不同的数据分布
该比赛的数据集涵盖了不同的城市和天气，之前常用的行人检测数据集一般未同时满足这两个条件。该数据具有多样性，且与常用数据集的数据分布存在较大差异。该比赛数据集与常用于训练预训练模型的数据集（如 COCO 数据集、OBJ365）的数据分布存在很大的不同，因此对基于常用数据集预训练的模型进行 fine-tune 的效果不如预期。
DeepBlueAI 团队解决方案
DeepBlueAI 团队在单帧行人检测和多帧行人检测两个赛道中取得了冠军成绩，在检测单帧中所有物体赛道中获得了亚军。
就检测器而言，该团队首先通过常规检测所累积的经验构造出一个 baseline：
Baseline = Backbone + DCN + FPN + Cascade + anchor ratio (2.44)
这些模块早已是各个比赛的「常客」，也被许多专业人士进行了比较透彻的分析，此处不再赘述。DeepBlueAI 团队进行了简单的实验，发现这些模块总是有用，进而将这套算法作为 baseline，加上一些行人检测的小 trick，如将 anchor ratio 改为 2.44、针对标注为 ignore 的目标在训练过程中 loss 不进行回传处理。
具体主要工作包含以下几个方面：
1. Double Heads
通过观察实验发现，baseline 将背景中的石柱、灯柱等物体检测为行人，这种情况大多和 head 效果不好有关。该团队基于此进行了实验，如 TSD [7]、CLS [8]、double head [9]，并最终选择了效果好且性价比高的 double head 结构（如下图所示）：
Double Heads 结构
通过对比实验可以发现：使用 FC-head 做分类、Conv-head 做回归，可以得到最好的效果。
分类更多地需要语义信息，而坐标框回归则更多地需要空间信息，double head 方法采用分而治之的思想，针对不同的需求设计 head 结构，因此更加有效。当然这种方法也会导致计算量的增加。在平衡速度和准确率的情况下，该团队最终选择了 3 个残差 2 个 Non-local 共 5 个模块。
2. CBNet [10]
合并功能更强大的 backbone 可提高目标检测器的性能。CBNet 作者提出了一种新颖的策略，通过相邻 backbone 之间的复合连接 (Composite Connection) 来组合多个相同的 backbone。用这种方式他们构建出了一个更强大的 backbone，称为「复合骨干网络」(Composite Backbone Network)。
当然这也带来了模型参数大小和训练时间的增加，属于 speed–accuracy trade-off。该团队也尝试过其他的改进方式，但最终还是选择了实用性更强的 CBNet，该方法不用再额外担心预训练权重的问题。
该团队选择了性价比较高的双 backbone 模型结构。
3. 数据增强
该团队发现 Pixel-level 的增强方式导致了性能结果大幅下降，因此没有在这个方向继续尝试。
而图像增强方式 Retinex，从视觉上看带来了图像增强，但是该方法可能破坏了原有图片的结构信息，导致最终结果没有提升。
于是，该团队最终选择了 Spatial-level 的增强方式，使得结果有一定的提升。
实验细节
1. 将 Cascade rcnn + DCN + FPN 作为 baseline；
2. 将原有 head 改为 Double head；
3. 将 CBNet 作为 backbone；
4. 使用 cascade rcnn COCO-Pretrained weight；
5. 数据增强；
6. 多尺度训练 + Testing tricks。
实验结果
下图展示了该团队使用的方法在本地验证集上的结果：
该团队将今年的成绩与去年 ICCV 2019 同赛道冠军算法进行对比，发现在不使用额外数据集的情况下，去年单模型在 9 个尺度的融合下达到 11.06，而该团队的算法在只用 2 个尺度的情况下就可以达到 10.49。
未来工作
该团队虽然获得了不错的成绩，但也基于已有的经验提出了一些未来工作方向：
1. 由于数据的特殊性，该团队尝试使用一些增强方式来提高图片质量、亮度等属性，使图片中的行人更易于检测。但结果证明这些增强方式可能破坏原有图片结构，效果反而降低。该团队相信会有更好的夜间图像处理办法，只是还需要更多研究和探索。
2. 在允许使用之前帧信息的赛道二中，该团队仅使用了一些简单的 IoU 信息。由于收集这个数据集的摄像头一直在移动，该团队之前在类似的数据集上使用过一些 SOTA 的方法，却没有取得好的效果。他们认为之后可以在如何利用时序帧信息方面进行深入的探索。
3. 该领域存在大量白天行人检测的数据集，因此该团队认为之后可以尝试 Domain Adaption 方向的方法，以充分利用行人数据集。
参考文献：
[1] Lin T Y , Dollár, Piotr, Girshick R , et al. Feature Pyramid Networks for Object Detection[J]. 2016.
[2] Dai J, Qi H, Xiong Y, et al. Deformable Convolutional Networks[J]. 2017.
[3] Cai Z , Vasconcelos N . Cascade R-CNN: Delving into High Quality Object Detection[J]. 2017.
[4] Xie S , Girshick R , Dollar P , et al. Aggregated Residual Transformations for Deep Neural Networks[C]// 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE Computer Society, 2017.
[5] Bochinski E , Eiselein V , Sikora T . High-Speed tracking-by-detection without using image information[C]// 2017 14th IEEE International Conference on Advanced Video and Signal Based Surveillance (AVSS). IEEE, 2017.
[6] Henriques J F , Caseiro R , Martins P , et al. High-Speed Tracking with Kernelized Correlation Filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3):583-596.
[7] Song G , Liu Y , Wang X . Revisiting the Sibling Head in Object Detector[J]. 2020.
[8] Li A , Yang X , Zhang C . Rethinking Classification and Localization for Cascade R-CNN[J]. 2019.
[9] Wu, Y., Chen, Y., Yuan, L., Liu, Z., Wang, L., Li, H., & Fu, Y. (2019). Rethinking Classification and Localization in R-CNN. ArXiv, abs/1904.06493.
[10] Liu, Y., Wang, Y., Wang, S., Liang, T., Zhao, Q., Tang, Z., & Ling, H. (2020). CBNet: A Novel Composite Backbone Network Architecture for Object Detection. ArXiv, abs/1909.03625.