源丨新智元
编辑丨极市平台
导读
谷歌ai发布了TensorFlow 3D，将3D深度学习能力引入TensorFlow，加入了3D稀疏卷积网络。 在Waymo Open数据集上的实验表明，该实现比预先设计的TensorFlow操作“快20倍”。
随着自动驾驶汽车和机器人的发展，激光雷达、深度传感相机、雷达等3D传感器已经成为获取道路数据的必要设备。
利用这些传感器的机器学习系统对于硬件在现实世界中进行导航等操作是特别重要的。
虽然最近在3D场景理解方面取得了重大进展，包括目标检测、透明目标检测等模型，但由于3D数据可用的工具和资源有限，该领域仍然面临挑战。
tensor flow 3D :为了将tensor flow与3D深度学习相结合，进一步提高3d场景的建模，简化研究者的工作，谷歌ai发布了TensorFlow3D(TF3d )。 旨在以高度模块化、高效的库将3d深度学习能力引入tensorflow。
TF 3D提供当前常用的操作、丢失函数、数据处理工具、模型和测量，使更多的研究团队能够开发、培训和部署领先的3D场景理解模型。
TF 3D包括用于尖端3D语义分割、3D目标检测和3D实例分割的培训和评估任务，还支持分布式培训。
TF 3D还支持其他潜在的APP应用，如三维物体形状预测、点云配准和点云密集。 另外，还提供统一的数据集规范和训练、评价标准的三维场景理解数据集的配置。
目前，TF 3D支持Waymo Open、ScanNet和Rio数据集。
但是，用户可以将其他常见数据集(如NuScenes和Kitti )转换为类似的格式，并在现有或定制的pipeline模型中自由使用。 利用TF 3D，可以进行从快速原型设计到实时推理系统的部署等多种3D深度学习的研究和应用。
左边是TF 3D的3D物体检测模型的Waymo Open Dataset在一帧画面上的输出示例。 右侧是ScanNet数据集上3D实例分割模型的输出示例。
本节介绍了TF 3D提供的高效、可配置的松散卷积主干，它是在各种3D场景理解任务中获得前沿结果的关键。
此外，还将逐一介绍TF 3D当前支持的三个管线任务： 3D语义分割、3D目标检测分割和3D实例分割。
三维稀疏卷积网络
传感器收集的3D数据通常包含一组感兴趣的物体，如汽车和行人，其周围大多是开放空间。 所以，3D数据本质上很稀疏。
在这种环境下，卷积的标准实现需要大量的计算和大量的内存。 因此，TF 3D采用了流形稀疏卷积和池操作，这些操作可以更有效地处理3D稀疏数据。
稀疏卷积模型是大多数室外自动运行(如Waymo和NuScenes )和室内基准测试(如ScanNet )使用的sota方法的关键。
谷歌还应用了各种CUDA技术来提高计算速度，包括散列、在共享内存中划分分区/缓存过滤器以及使用位操作。
在Waymo Open数据集上的实验表明，该实现比预先设计的TensorFlow操作快“20倍”左右。
图片来源： Waymo Open Dataset on GitHub
然后，TF 3D使用3D流形稀疏U-Net架构提取每个voxel的特征。 通过在网络中提取粗细特征，并将它们结合预测，证明了U-Net架构是有效的。
U-Net网络由三个模块组成：编码器、瓶颈和解码器，每个模块都由许多稀疏卷积块组成，可以进行池化或非池化操作。
一个3D稀疏体素U-Net架构。 请注意，水平箭头接收体素特性，并对其应用流形稀疏卷积。 下移的箭头执行流形的稀疏池化。 上移的箭头收集池化特征，与水平箭头特征concat，对concat特征进行流形的稀疏卷积。
上述稀疏卷积网络是TF 3D提供的3D场景理解pipeline模型的背景。
下面的人
描述的每个模型使用这个骨干网络提取稀疏体素特征，然后添加一个或多个额外的预测头来推断感兴趣的任务。
用户可以通过改变编码器/解码器层数和每层卷积的数量来配置U-Net网络，并通过修改卷积滤波器的尺寸，从而能够通过不同的网络配置来权衡的速度和精度。
三维语义分割
三维语义分割模型只有一个输出，用于预测每一个点的语义分数，将其映射回点，预测每一个点的语义标签。
从ScanNet数据集对室内场景进行3D语义分割。
三维实例分割
在三维实例分割中，除了要预测语义，更重要的是将同一对象的体素组合在一起。
在TF 3D中使用的3D实例分割算法是基于用深度度量学习方法进行的2D图像分割工作。这种模型预测能预测每个体素的实例嵌入向量以及每个体素的语义评分。
实例嵌入向量将体素映射到一个嵌入空间，其中对应于同一对象实例的体素相距很近，而对应于不同对象的体素相距很远。
在这种情况下，输入是一个点云而不是一个图像，并且他将使用一个三维稀疏网络而不是一个二维图像网络。在推理过程中利用贪心算法选取实例种子，并利用体素嵌入的距离函数将不同的体素聚合到对应的实例上去。
三维目标检测
目标检测模型可以预测每个体素的大小、中心和旋转矩阵以及对象的语义评分。
在推理时，推选机制将给出的多个候选框处理为少数几个精确的3D目标框。在训练时使用了预测与GT间的Huber Loss距离来计算损失。由于利用大小、中心和旋转矩阵估算框边角是可差分过程，损失可以自然地传递到预测过程的权重中。研究人员利用动态框分类损失来对预测的框进行正例和负例进行区分。
ScanNet数据集上的3D物体检测结果。
TF 3D只是市场上的3D深度学习扩展之一。2020年，Facebook推出了 PyTorch3D，专注于3D渲染和虚拟现实。另一个是英伟达的Kaolin，这是一个模块化的可分辨渲染的应用，如高分辨率模拟环境。
从这个概述来看，TF 3D应用程序似乎更专注于机器人感知和映射，而其他选项则更专注于3D模拟和渲染。为了实现3D渲染，Google推出了TensorFlow Graphics.
参考资料：
https://ai.googleblog.com/2021/02/3d-scene-understanding-with-tensorflow.html
https://github.com/google-research/google-research/tree/master/tf3d
本文仅做学术分享，如有侵权，请联系删文。
下载1
在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计源码汇总等。
下载3
在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的害羞的乌龟聚集区，近3000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~