首先MV3D-Net融合了视觉图像和激光雷达点云信息； 由于仅使用点云的俯视图和正视图，因此可以在减少计算量的同时保留主要特征信息。 然后，生成3D候选区域，融合特征和候选区域，输出最终的目标检测框。
论文地址： multi-view3dobjectdetectionnetworkforautonomousdriving
开放源代码： https://github.com/bostondiditeam/mv3d
目录
一.框架理解
1.1网络的主体部分
1.2网络融合部分
二. MV3D的点云处理
2.1提取点云平面图
2 .提取两点云正视图
三. MV3D的图像处理
四.平面图计算候选区域
五.特征整合
六.特征融合
七.模式效应
八.型号代码
一、框架首先看总体网络结构。 (可以点击图片放大观看)
上图紫色圆圈中的m表示基于元素的平均值。
输入的数据。 有三种类型：点云的平面图、点云的正视图和二维RGB图像。 “点云投影”不是单纯地将三维压缩成二维，而是提取标高、密度、光强度等特征，将其分别作为像素值而得到的二维投影图像。
输出数据：类别标签、3D边界框和时间戳。
1.1网络的主体部分
思想流程：
1）提取特征
3358 www.Sina.com/http://www.Sina.com/http://www.Sina.com/http://www.Sina.com /
a. 提取点云俯视图特征
3358 www.Sina.com/http://www.Sina.com/1.2网络的融合部分
这部分的网络主要是通过网络融合综合后的数据
/p>
二、MV3D的点云处理
MV3D将点云和图片数据映射到三个维度进行融合，从而获得更准确的定位和检测的结果。这三个维度分别为点云的俯视图、点云的前视图以及图片。
2.1 提取点云俯视图
点云俯视图由高度、强度、密度组成；作者将点云数据投影到分辨率为0.1的二维网格中。
高度图的获取方式为：将每个网格中所有点高度的最大值记做高度特征。为了编码更多的高度特征，将点云被分为M块，每一个块都计算相应的高度图，从而获得了M个高度图。
强度图的获取方式为：每个单元格中有最大高度的点的映射值。
密度图的获取方式为：统计每个单元中点云的个数，并且按照公式：
其中N为单元格中的点的数目。强度和密度特征计算的是整个点云，而高度特征是计算M切片，所以，总的俯视图被编码为（M + 2）个通道的特征。
2.2 提取点云前视图
由于激光点云非常稀疏的时候，投影到2D图上也会非常稀疏。相反，作者将它投影到一个圆柱面生成一个稠密的前视图。 假设3D坐标为：
那么前视图坐标：
可以通过如下式子计算
三、MV3D的图像处理
采用经典的VGG-16来提取图像特征，这里就不过多说明了。
四、俯视图计算候选区域
物体投射到俯视图时，保持了物体的物理尺寸，从而具有较小的尺寸方差，这在前视图/图像平面的情况下不具备的。在俯视图中，物体占据不同的空间，从而避免遮挡问题。
在道路场景中，由于目标通常位于地面平面上，并在垂直位置的方差较小，可以为获得准确的3Dbounding box提供良好基础。
候选区域网络就是熟悉的RPN。参考
五、特征整合
把候选区域分别与提取的特征进行整合
流程：
a. 把俯视图候选区域投影到前视图和图像中b. 经过ROI pooling整合成同一维度六、特征融合
有了整合后的数据，需要对特征进行融合，最终得到类别标签、3D边界框。
作者介绍了三种不同的融合方式，分别为
a、Early Fusion 早期融合b、Late Fusion 后期融合c、Deep Fusion 深度融合。各自的结构如下图所示。
上图中的紫色圆圈中M是表示 ：基于元素的均值。C是表示：串接。
最终选择了Deep Fusion 深度融合。融合的特征用作：分类任务（人/车/...）、更精细化的3D Box回归（包含对物体朝向的估计）。
七、模型效果
和其他模型对比的数据：
检测效果：
八、模型代码
代码地址：https://github.com/bostondiditeam/MV3D
作者使用KITTI提供的原始数据，点击链接
上图是用于原型制作的数据集 。
我们使用了[同步+校正数据] + [校准]（校准矩阵）+ [轨迹]（）
所以输入数据结构是这样的：
运行 src/data.py 后，我们获得了 MV3D 网络所需的输入。它保存在kitti中。
上图是激光雷达俯视图（data.py后）
上图是将 3D 边界框投影回相机图像中。
输入具体数据格式可以参考'data.py' 'data.py' 网址
本文参考：https://zhuanlan.zhihu.com/p/86312623、https://zhuanlan.zhihu.com/p/353955895
https://cloud.tencent.com/developer/news/223860
论文地址：Multi-View 3D Object Detection Network for Autonomous Driving
代码地址：https://github.com/bostondiditeam/MV3D
本文只提供参考学习，谢谢。