机器的心被释放了
机器心编辑部
在最近举行的CVPR 2020大会上，发表了所有最佳论文、最佳学生论文等奖项。 加拿大西蒙弗莱彻大学mydxbc(ZhiqinChen )等人的“BSP-Net”相关研究，以《BSP-Net: Generating Compact Meshes via Binary Space Partitioning》这一论文标题获得了最佳学生论文奖。 在最新一期机器之心CVPR 2020在线论文分享中，西蒙弗雷泽大学(SFU )博士的一年级学生mydxbc作为第一作者分享了这篇最佳学生论文。
在这项研究中，西蒙弗雷泽大学和谷歌研究院的3名研究人员提出了一种通过convex decomposition生成紧凑的结构化多边形网格的无监督方法。
论文地址： https://Arxiv.org/pdf/1911.06971.pdf
项目地址： https://github.com/czq 142857/bsp -网络原始文件
多边形网格在数字3D领域无处不在，但在深度学习革命中只扮演配角。 在学习形状生成模型的方向上，前面的方法依赖于隐函数，只有经过昂贵的iso-surfacing处理才能生成网格。 为了克服这些困难，该研究探讨了在binaryspacepartitioning(bsp，计算机图形中的经典空间数据结构)的启发下促进3D学习的方法。
BSP的核心是递归细分空间以获取convex set。 利用该属性，研究人员设计了通过BSP-Net、convex decomposition学习3D形状表现的网络。 重要的是，BSPNet没有受到监视，因为在培训过程中不需要convex shape decomposition。
该网络经过训练，使用一组来自构建在平面上的BSPtree的convex来重建形状。 由BSPNet推测的convex可以不进行iso-surfacing处理而简单地提取并形成多边形网格。 生成的网格很紧凑，也就是low-poly，最适合表示尖锐的几何形状。 另外，它们一定是水密的网格，可以简单地参数化。 根据这项研究，BSP-Net的重构质量可以与SOTA法媲美，primitive要少得多。
详细调查方法
这项研究试图找出可以训练和说明的几何图形的深度特征。 研究者们通过设计提供可微分的BSP-tree特征的网络架构来完成这个任务。 这个特征通过隐函数对几何图形进行编码，所以训练很容易。 另外，由于这些特征的输出是convex polytope的集合，所以可以进行说明。
研究人员提出了BSP-Net。 这个网络学习隐式字段。 输入n个点的坐标和形状特征向量，网络输出表示这些点是在形状内部还是外部的值。 如图2所示，该隐函数的结构由3个步骤组成。 1 )平面方程式的集合意味着空间的p个二股分割的集合。 参照图2 (上)； 2 )运算符T_{pc}将这些分割结果分组，创建包含c个convex shape primitive/part的集合； 3 )最后，组合这些部件集合，生成输出形状的隐式字段。
下面的图3显示了对应上述三个步骤的网络体系结构。
1 )超平面提取。 给出特征向量f，应用多层感知机
获取平面参数P_{px4}。 这里，p是平面的数量，也就是说
。
对于任意点
，乘积
是该点到每个平面的符号距离的向量。如果点 X 在内部，则第 i 个距离为负值，反之为正值。
2）超平面分组。为了将超平面分为若干组几何 primitive，研究者利用了二进制矩阵 T_{p×c}。通过一个最大池化操作，他们聚合了输入平面，以形成一组 c 个 convex primitive 组成的集合。
注意，在训练期间，梯度只能通过一个最大（max）的平面。因此，为了简化训练，研究者利用了一个用求和代替 max 的版本。
3）形状组装。该层通过最小池化对 convex 进行分组，以创建一个可能非凸的输出形状：
注意，此处用 C^+ 是有目的的。之所以避免使用 C^*，是因为在 TensorFlow 1 中的算子实现内存不够高效。
为了促进学习，研究者通过使用（加权）求和来将梯度分配给所有的 convex：
实验结果与评估
在一个 2D 形状合成数据集上，研究者分析了 BSP-Net 的行为。此外，他们还将 BSP-Net 与其他 SOTA 方法进行了比较，以评估该研究中的自编码器以及单视图重建效果。
2D 形状自编码
为了说明 BSP-Net 效果如何，研究者构建了一个 2D 合成数据集。他们在几个 64 × 64 的图像上分别放置了一个菱形、一个十字以及一个空心菱形，如图 4(a)所示。这三种形状是有顺序的，菱形总是在左边，空心菱形总是在右边，这是为了模仿 ShapeNet 等形状数据集的结构。
在第一阶段的训练之后，该研究的网络已经实现了良好的近似 S^+ 重建，但是，通过查看 S^∗，研究者发现他们推断的输出还存在一些缺点。在第二阶段进行了调整之后，该研究的网络实现了近乎完美的重构。最后，使用 overlap 损失显著提高了表示的紧凑性，减少了每部分的 convex 数量，如图 4(d)所示。
图 4：在 2D 合成数据集上的评估——自编码器是在合成的 2D 数据集上训练的。研究者展示了自编码结果，并用红色圈出了第一阶段中存在的错误，这些错误在第二阶段已改正。此外，研究者还展示了使用 overlap 损失的效果。注意，在可视化时，使用了不同的颜色来表示不同的 convex。
3D 形状自编码
对于 3D 形状的自编码，研究者将 BSP-Net 与其他一些 shape decomposition 网络进行了比较，包括 Volumetric Primitives（VP）、Super Quadrics（SQ）以及 Branched Auto Encoders（BAE）。
表 2 给出了每种类别的分割结果。
BSP-Net 在保证高分割准确度的同时，也能显著提高重构质量，如表 1 和图 7 所示。
表 1：各个模型的表面重构质量和 3D 形状自编码结果对比。
图 7：分割和重建 / 定性研究。
单视图重建（SVR）
在单视图重建任务上，研究者将 BSP-Net 与 AtlasNet、IMNET 和 OccNet 做了比较，表 3 和表 4 中给出了定量分析结果，在图 8 中给出了定性结果。
表 3：单视图重建，与 SOTA 方法的比较。
表 4：low-poly 分析——单视图重建中的数据集平均指标。
图 8：单视图 3D 重建，该模型与 AtlasNet [16]、IM-NET [5]及 OccNet [28]的比较结果。