作者：pldbm
来源：微信官方账号@3D视觉工作坊
论文：朱c，KKDHXC .基于关键帧的RGB-D视觉惯性几何与扩展卡尔曼滤波的摄像机外部标定[J].IEEE传感器杂志，2020年，第(99)页33601-1。
文摘：提出了一种基于RGB三维摄像头和惯性测量单元的视觉惯性里程表。为了融合视觉传感器和惯性传感器测量的数据信息，本文采用了EKF滤波，并提出了一种迭代方法来减小线性误差。本文提出的算法不仅可以估计摄像机的运动轨迹，还可以标定重力和摄像机外部参数(即摄像机与惯性测量单元之间的相对姿态)。视觉里程表部分采用关键帧策略，优于帧间对齐。此外，我们将基于特征的视觉里程表和基于ICP的视觉里程表相结合，以提高系统的精度和姿态估计的hhdbks。仿真结果和实际数据验证了该方法的有效性。
导言：
本文旨在利用惯性测量单元和RGBD传感器为室内机器人提供一种精确的hhdbks导航系统。使用深度传感器而不是简单的单目双目相机的优点是，由于使用了深度相机，我们可以跳过深度估计步骤，从而减少了计算量和误差。在图像匹配和对齐方面，主要有两种方法：特征点法和直接法。特征点法通过最小化特征点的重投影误差来估计姿态，通过最小化光度(深度)误差来直接估计姿态。基于特征点的hhdbks算法较好，但直接法的精度较高。因此，在本文提出的算法中，我们结合了两种算法来同时实现hhdbks和精度。
本文的贡献：
1)将基于RGB(特征点法)和深度(ICP)的视觉里程表和惯性测量单元组合在同一个EKF中，保持了hhdbks和精度。
2)提出了关键帧姿态作为状态向量一部分的EKF模型。
3)不仅标定了摄像机外部参数，还在线估计了重力矢量。
系统框图
算法概述：
1.结构介绍
首先，通过惯性测量单元数据估计机器人的运动。当新的帧图像被引入到系统中时，修改的ORB特征被检测并从RGB图像中提取。特征匹配后，首先更新EKF状态，并将其应用于ICP算法的初始化，ICP算法运行在当前帧和关键帧之间。如果结果收敛，EKF再次更新。
2.EKF部分
在本文提出的算法中，状态向量中包含了惯性测量单元状态、摄像机外部参数、重力、关键帧姿态等。状态向量如下：
误差矢量：
由于速度等参数是在关键帧坐标系中表示的，因此对更新的速度传播方程进行调整，以获得新的连续时间状态估计的传播方程：
对于时间同步，我们存储两个图像帧之间的惯性测量单元测量值。当新帧进入系统时，存储的惯性测量单元数据用于估计状态和扩展协方差矩阵。同时，采用四阶龙格-库塔算法对两帧之间的时间周期内的矢量和矩阵进行积分。
3.特征匹配的度量模型
4、ICP里程计量测模型
为提高效率，我们在EKF中采用ICP测量的松耦合。对于ICP来说，在本文算法中，采用点-面矩阵。关键帧和当前帧之间的相对位姿可表示为：
首先，上式和EKF估计的位姿均被用于ICP初始化。对于每一次迭代，相机坐标系中的每一个点都被投影到关键帧坐标系：
残差表示为：
上式线性化后得到：
实验结果：
在实景实验中，设置了4种场景进行实验验证：
1）不进行相机外参标定的VIO
2）不进行重力标定的VIO
3）包含相机外参和重力标定的VIO(本文算法)
4）不使用ICP算法的VIO
下图展示了四种场景的轨迹估计结果。四种场景的误差分别为2.92%，3.05%，0.57%，2.41%。
总结
此论文中，我们提出了一个实时的基于关键帧的RGB-D视觉惯性里程计，在此系统中，相机外参参数和重力参数均可被在线标定。主要的贡献在于在一个EKF中推导出了结合关键帧、标定以及特征点和ICP测量的方程。
本文仅做学术分享，如有侵权，请联系删文。
下载1
在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复：3D视觉优质源码，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
下载3
在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。