最近读了VIO中的几篇论文。 在这里总结一下的话，便于以后调查。 如果有问题的话，欢迎指出来。
一、背景
VIO(visualinertialodometry )视觉惯导测距仪，vins (visualinertialnavigationsystem )分支。 解决了用Visual IMU方法估计6DOF位姿，同时单镜头摄像机无法估计feature的实际尺度问题。 在无人车、无人机定位导航、AR等方面有重要应用。
纯照相机的SLAM存在以下问题。 这里只列举与IMU相比的缺点：
单镜头摄像机只能得到feature的相对尺度，不能得到绝对的尺度，因此不能用于导航。 如果物体移动太快，相机会产生运动模糊。 特别是滚动快门照相机(rolling shutter )。 本领域的大人物加州大学河滨分校mourikis(MSCKF的作者，导师是明尼苏达大学的大人物)专门为rolling shutter提出了VIO系统。 V-SLAM仅使用30Hz的“可视化模拟相机”(IROS.2015 )，而IMU的频率
手机使用的IMU、车载千元级IMU等民用级IMU会产生drift，随着时间的推移，累计误差会变大，手机的IMU在几秒钟内误差可能会变得非常大。 IMU在没有Camera的情况下可以充分利用环境信息的优点以上的信息表明，由于Camera和IMU的优点和缺点是互补的，进行融合可以进一步提高系统的稳定性和鲁棒性。
二、Camera+IMU的一些问题
由于Camera和IMU的频率不同，会带来很多问题。
1 .最佳情况。 Camera和IMU各自的频率一致，可以使时间戳一致。
2 .如可接受。 Camera和IMU各自的频率一致，但时间戳有一定的偏差。 目前许多论文提出在线标定可以解决这个问题。
3 .最坏的情况。 Camera和IMU各自的频率不一致，无法融合。
而且，两者融合所带来的是初始化变量的增加，VSLAM初始化的变量是照相机初始状态的旋转和平移，即r和t。 但是，VIO系统要初始化变量，需要初始化Camera和IMU之间的外部参数(r和t )、系统的初始速度和IMU的bias、重力方向。
三、IMU测量模型
IMU内部包括陀螺仪和加速度计，可以测量移动物体的加速度和角速度。
b是IMU的bias，是IMU误差源的一部分，满足随机游走模型(b的导数是满意的秋季分布)。 知道加速度和加速度的信息后，可以用运动学公式积分的旋转、姿势和速度的信息(p，v，q )。
但是，在以上积分过程中，q是从时刻t向世界坐标系的旋转。 这样随着线性化点的变化，所有状态都需要进行新的积分，运算量大大增加，2012年提出了预积分模型，目前的VIO系统在使用该理论的同时，《On-Manifold Preintegration for Real-Time Visual-Inertial Odometry》文章介绍了一种流行的预积分模型，详细介绍了预积分的数学理论
I和j是相机的两个相邻关键帧，在这两个关键帧处对IMU进行预积分并与相机信息融合。
基于关键框架思想的VIO，首先是ETH在2015年在IJRR上发表了OKVIS的报道，《Keyframe-based visual-inertial odometry using nonlinear optimization》，代码也是开源的。 https://github.com/ethz-asl/okvis
四、紧耦合和松耦合（Tightly-coupled vs. Loosely-coupled）
1.松耦合
松散耦合是指Camera和IMU自行玩耍，互不干预，获得各自的信息后融合。 虽然这个研究不多，但具体可以参考ETH这篇文章。 《Inertial Aided Dense Semi-Dense Methods for Robust Direct Visual Odometry》
2.紧耦合
现在使用最多的是联轴器
左图是纯视觉SLAM的图像，右图是加入了IM的照片
U之后的示意图，IMU和Camera之间的信息互相约束，在进行误差传递时，需要计算相机误差相对于IMU各个状态的雅克比矩阵。五、基于滤波和优化的VIO
1.滤波
在视觉SLAM中，现在大家几乎都在用基于优化的思想，很少有用滤波方法了。但是在VIO中，基于滤波和优化的思想还没有分出胜负。基于滤波的VIO最先提出的就是Mourikis在2007年提出的MSCKF（传说用在Google Tango上的方法），《A multi-state constraint Kalman filter for vision-aided inertial navigation》，这是在EKF-SLAM基础上进行改进的，同时这篇文章首次提出了滑动窗口的概念，只不过当时叫做FIFO。
左图是EKF-SALM的基本思想，只要相机来一帧图像，就把相机观测到的feature加入到状态向量中，这样带来问题就是随着系统时间的增加，计算复杂度变得越来越大。
中间的图像时基于关键帧的思想，不像EKF-SLAM一样使用相机的所有帧信息，而是根据一些规则挑选出相机关键帧，只考虑相机关键帧的信息，以降低复杂度。
右图是MSCKF的思想，不在使用相机帧所观测到的feature作为系统信息，而是提出了滑动窗口概念，系统维护一个固定数量帧信息的窗口，同时使用窗口帧共同观测到的feature作为运动约束来估计物体的位姿，相比前两种情况大大减少了系统的复杂度。
Mourikis的学生lgdtd在2012年对MSCKF进行了改进,提出了MSCKF2.0，《High-Precision, Consistent EKF-based Visual-Inertial Odometry》，主要对MSCKF的可观测性问题进行了改进。
在2018年宾夕法尼亚大学的Kumar（香港科技大学dqdhb的老师，不要问我dqdhb是谁，我是不会告诉你他的学生gxdmn在读博期间提出了VIns-mono，不要问我gxdmn是谁，华为200W年薪的那个人）提出了双目版本的MSCKF，《Robust Stereo Visual Inertial Odometry for Fast Autonomous Flight》，代码也开源了，https://github.com/KumarRobotics/msckf_vio
2.优化
基于滤波的VIO与现在VSLAM用的优化方法大同小异，都是优化一个cost fuction。
然后用ceres，g2o，因子图等方法进行优化。
代表作现在最火热的就是dqdhb老师团队在2017年开源的Vins-mono，https://github.com/HKUST-Aerial-Robotics/VINS-Mono为咱们国人感到骄傲！论文也发表在2018的IEEE Transactions on Robotics（TRO）上《VINS-Mono: A Robust and Versatile Monocular Visual-Inertial State Estimator》。
Vins-mono的总体框架
最后，这些论文真的值得一看。
特拉华大学的dhb老师在ICRA2019发表的VINS综述总结的真的太棒了，本文中很多也是出自这篇文章。
《Visual-Inertial Navigation: A Concise Review》
https://github.com/PaoPaoRobot/ICRA2019-paper-list ICRA2019的所有论文这里都有，感谢泡泡机器人做的工作。
Optimization
S. Leutenegger, S. Lynen, M. Bosse, R. Siegwart, and P. Furgale. “Keyframe-based visual-inertial odometry using nonlinear optimization”(IJRR, 2015)S. Shen, N. Michael, and V. Kumar. “Tightly-coupled monocular visual-inertial fusion for autonomous flight of rotorcraft MAVs”.(ICRA, 2015)T. Qin, P. Li, and S. Shen. “VINS-Mono: A Robust and Versatile Monocular Visual-Inertial State Estimator”. (TRO, 2018)Filter
N. Trawny and S. I. Roumeliotis. Indirect Kalman Filter for 3D Attitude Estimation.（介绍基础知识的一本好资料）A. I. Mourikis and S. I. Roumeliotis. “A multi-state constraint Kalman filter for vision-aided inertial navigation.(ICRA, 2007)M. Li and A. I. Mourikis. “Improving the Accuracy of EKF-based Visual-Inertial Odometry”.(ICRA 2012)M. Li and A. Mourikis. “High-Precision, Consistent EKF-based Visual-Inertial Odometry”(IJRR 2013)Ke Sun, Vijay Kuma. “Robust Stereo Visual Inertial Odometry for Fast Autonomous Flight”.(RAL, 2018)P. Geneva, K. Eckenhoff, and G. Huang. “A Linear-Complexity EKF for Visual-Inertial Navigation with Loop Closures”(ICRA, 2019)文章出现的图片来自于网上和论文，如有侵权联系我会及时修改。原创文章，写作不易，转载标明出处。