F-Convnet论文导读的第一个博客是关于F-Convnet的论文导读
frustum convnet :滑动式frustumstoaggregatelocalpoint-wisefeaturesforamodal3dobjectdetection
论文链接请点击这里
github地址
Abstract算法主要通过点云进行3d对象检测，首先采用2d图像检测算法生成一系列2d检测框，由检测框生成一系列锥体，再用得到的锥体进行局部点分组。 将这些分组点与点级特征提取相结合作为锥体级特征，并将特征输入全连通层，实现端到端的连续位置回归。 还提出了F-ConvNet的组件变体(？ )提取多分辨率锥体特征的FCN变体，以及在缩小的3D空间中精细使用F-ConvNet以减少3D空间。
Introduction文献综述从略，基本介绍了相关的3d检测算法.感兴趣的朋友可以阅读。
针对[13]、[14]的局限性，本文提出了一种新的三维立体目标检测方法——三维立体目标检测算法(F-ConvNet )。 类似于[13]，我们假设RGB图像中存在2D区域提议，并且可以容易地从现成的对象探针获得这些提议，以在每个区域中识别对应于像素的3d点。 与[13]不同，我们的方法生成了一个frustums序列，该序列相对于每个区域的建议沿锥体切割轴对称滑动(可能重叠)。
由得到的锥体定义局部点云。 给出了frustums和point association的序列，我们的F-ConvNet从低、并行的PointNet样式层流开始，将点方向特性聚集到frustum水平的特征向量中； 然后，将初始单个圆锥台的这些特征向量排列为二维特征图，并使用全采样和上采样(fcn )对锥体进行下采样。 这样，以更高的圆锥台分辨率在圆锥台轴上完全融合特征。 除了最后的探测头之外，我们提出的F-ConvNet还支持端到端估计。
theproposedfrustumconvnet http://www.Sina.com/.首先介绍了如何对点云进行分组，fps(farthestpointsamplingfps )可以有效地覆盖点云，但目标因此，基于FPS的分组对与从点云中发现对象实例相关的任务没有什么帮助。 介绍了和voxel net (在3d空间中定义等轴体素有序网格，结合samevoxel中的落点)的分组方法，为解决其弊端.a.这些限制假设RGBimage和相应的3D点云，并且2D区域建议也由现成的对象检测器提供。 一个序列中的(可能重叠的)圆锥体可以通过滑动一对平行平面沿圆锥体轴以相同的步幅移动，平面对也垂直于圆锥体轴。 另外，假设照相机的光轴垂直于该2d区域，这表示照相机坐标系已经初始调节。 我们对每个2Dregion提案生成这样的锥体切断程序，用这样得到的锥体切断程序来对点进行分组。 即，位于同一锥体内的点被分组。 假设二维区域的方案足够精确，我们的锥体主要包含前置点，可以感知对象的边界。
引出了利用D检测并形成锥体的分组方法
F-CONVNET的关键是将早期的点方向特征作为锥体级特征向量融合到各锥体中，将其排列并投影为2D特征图。 这些特征使用FCN完全连接到网络。 应用Pointnet进行锥体内特征提取
2 .全卷积网络
如图2 b所示，我们的FCN包括conv层块和与各个块相对应的de-conv层。 在conv层中，卷积使用大小为3d的内核应用于frustum维。 除了第一块外，conv中每个块的最后一层也使用“stride-2”卷积对“frustum”维的2D feature map进行降采样(减半)。 卷积和下采样融合了截锥特征，在不同凸点上生成不同高度的虚拟截锥(沿截锥轴向)。b.
已知FCN中conv块的输出feature map在视锥维度中的分辨率被减小为2的幂，从而实现多分辨率视锥特征结合的变化。 以[公式]大小的为例。 在相同的二维区域推荐中，可以通过沿步骤2 s的锥形轴滑动来生成T/2视锥体的新序列。 将PointNet应用于每个生成的圆锥体，排列和组合生成的特征，形成“表达式”的新大小的特征贴图。 当frustum的高度增加到2u倍时，新序列以半粗分辨率复盖相同的3D空间，并且其feature map对应于FCN。 然后，沿特征维连接两个相同大小的特征贴图，并创建一个大小为[表达式]的新特征贴图。 最后一个conv层用于将feature map大小调整为“表达式”，并且可以恢复为FCN，而不更改其他FCN中的图层。 下图显示了上述操作。 此过程可用于FCN中每个缩减像素采样的功能图。 该方案称为F-ConvNet多分辨率视锥体特征结合的变体。 IV-B节消融研究验证其有效性。3.多分辨率的frustum特征融合变体
在FCN的上部，如图2所示，有由两个并行的conv层构成的检测。 它们分别被用作分类和回归的分支。 wholeF-ConvNet使用类似于二维对象检测的多任务方法进行培训