Image @ vision china
文本|学术标题
随着AI和机器人技术的不断发展，人们的生活得到了“AI机器人”的帮助：从太空机器人到太空任务，再到家用扫地机器人解放我们的双手。可以说，机器人在人类生活中扮演的角色越来越多。
但是你知道吗？目前，用于室内任务的机器人，尤其是需要频繁与环境交互的机器人，视觉灵敏度有待进一步提高。——许多机器人面对相似的物体时分辨不出细微的差别。
最近，德克萨斯大学阿灵顿分校(UTA)的一个研究小组提出了一种叫做PCGAN的方法。相关研究论文发表在预先打印的网站arXiv上，标题为“一种用于基因评级密集多彩3D点云的递进式条件生成递进网络”。
据研究人员介绍，这是第一个无监督生成3D点云的条件生成对抗网络(GAN)。该网络可以生成多分辨率、细节精细的三维彩色点云，生成易于区分的物体图像，这将大大有助于提高机器人的视觉灵敏度。话不多说，先看图。
图|实景栏展示实景物体的3D点云图像，下一栏展示PCGAN产生的结果(来源：本文)
00-1010想象一下家里的扫地机器人是如何工作的。一般来说，这类需要与环境交互的机器人首先需要在建成的环境中完成导航任务，这就要求机器人能够感知环境并做出实时决策，以决定目前如何与其周围环境进行交互。
为了让机器人具备这种自主决策的能力，科学家需要利用机器学习和深度学习来训练TAs:通过使用大量收集的图像数据集作为训练数据，他们可以训练机器人对不同的物体或环境做出正确的反应。
为了实现这一点，一方面，有些人会使用手动方法来收集图像数据，例如使用昂贵的360度全景相机捕捉房屋环境，或者先拍摄部分照片，然后使用各种软件将单个图像拼接成房屋全景图像。但是，很明显，这种手动捕获方法效率太低，无法满足需要大量数据的训练要求。
另一方面，尽管保存了数百万个房间的照片和视频，但这些数据并不是像扫地机器人那样从有利的位置拍摄的。因此，试图用以人为中心的视角来训练机器人是不可取的。
因此，该研究团队转向一种称为生成对抗网络的深度学习方法，以创建足够逼真的图像来训练机器人提高其识别环境的能力。
作为一种生成模型，GAN的主要结构包括两个神经网络：生成器和鉴别器。生成器不断产生假图像，鉴别器判断这些图像是真是假。这样，两个神经网络相互竞争，最终形成非常强大的样本制造能力。一旦经过训练，这种网络将能够创造无数可能的室内或室外环境，在这些环境中放置各种物体，如桌子、椅子或车辆。这些物体之间的差异将非常小，但对于人和机器人来说，它们的图像仍然具有可识别的大小和特征。
00-1010整个研究团队由UTA计算机科学与工程系助理教授William Beksi和他的6名博士生组成。参与这项研究的博士生Mohammad Samiul Arshad说：“手动设计这些对象将消耗大量的资源和人力，如果进行适当的训练，生成的网络可以在几秒钟内完成相同的任务。”
本研究中的图像数据由三维点云表示，它是由三维扫描仪获得的物体图像的一种形式。它以点的形式记录物体，每个点包含三维坐标、强度信息(可以反映目标物体的材质、粗糙度、入射角方向等信息)以及可能的颜色信息(RGB)。
在这方面，Beksi解释说：“我们可以将它们移动到新的位置，甚至使用不同的灯光、颜色和纹理将它们渲染成可以在数据集中使用的训练图像。这种方法可能为训练机器人提供无限的数据。”
图| PCGaN、飞机、桌椅等合成的3D点云图像。(来源：本文)
在实验中，研究人员将ShapeNetCore作为数据集，它是各种对象类的CAD模型的集合。他们选择椅子、桌子、沙发、飞机和摩托车的图像进行实验，以满足物体形状的多样性。并且每个类别的数量确定为五个，以减少训练时间。此外，消除了所有没有材料和颜色信息的计算机辅助设计模型。
他解释说：“我们的模型首先学习低分辨率物体的基本结构，然后逐步建立高级细节。比如物体各部分之间的关系以及它们的颜色——椅子/桌子的腿是一样的颜色，但是椅子/屋顶的颜色是完全不同的。我们建立了一个层次结构来生成一个完整的合成场景，
这对于机器人技术将非常有用。”他们为每个类别生成了 5,000 个随机样本，并使用多种不同的方法进行了评估。他们使用该领域的各种常用指标评估了点云的几何形状和颜色。结果表明，PCGAN 能够为不同种类的对象类别合成高质量的点云。
One small step
尽管 PCGAN 的确优于一些传统的样本训练方法，但正如 Beksi 所说：“此次研究只是朝最终目标迈出的一小步，我们的最终目标是生成足够逼真的室内全景图，以提高机器人的感知能力。”
此外，Beksi 还正在研究另一个问题——Sim2real。Sim2real 着眼于如何通过捕捉场景的物理特性（摩擦，碰撞，重力）以及使用射线或光子追踪来量化细微差异，并使仿真图像更加逼真。
他说：“如果是由于增加分辨率而包含更多的点和细节，那么代价就是计算成本的增加。” 除计算需求外，Beksi 还需要大量存储来进行研究。研究团队每秒产生数百兆的数据，每个点云大约有 100 万个点，因此，这些训练数据集非常庞大，需要大量的存储空间。
接下来，Beksi 团队希望将软件部署在机器人上，并查看它与模拟真实的领域之间还存在何种差距。当然，尽管要拥有真正强大的、可以长时间自主运行的机器人还有很长一段路要走，但研究人员的工作必将有益于多个领域，比如医疗保健、制造业和农业等。