单击上面的“3D视觉工作室”，然后选择“星形标记”
干货在第一小时送到
导语：本文是“3D视觉创新应用(三维重建)”作品集系列之一，该作品由杭州电子科技大学团队完成。 团队成员有wndddd、标致柠檬、吕坤、直门、粗暴云。 全文约2688个字，阅读时间约5分钟，旨在为更多开发者提供学习参考。
一、背景介绍（产品化及未来市场潜力描述）
随着AI技术的发展和新设备的出现三维重建已成为计算机图形学领域值得关注的研究课题主要任务是根据各种传感器采集的数据，利用多视图几何、概率统计学和优化理论等数学工具对现实物理世界进行三维建模，搭建现实世界与虚拟世界的桥梁。 因此，三维重建被广泛应用于制造、医疗、电影制作、文物保护、增强现实、虚拟现实、定位导航等诸多不用的领域。
其中，基于实时三维场景重建技术在增强现实中的应用和发展尤为迅速，包括室内增强现实游戏、机器人导航、AR家具观看等。 我们的技术成功地将成熟的基于Intel Realsense ZR300的高速实时室内静态场景重建(室内重建)技术从PC端移植到移动端。 采用奥比中光提供的Zora P1嵌入式开发板和Astra Pro RGBD摄像头构成实时重构系统的数据实时采集端，通过自主设计的WiFi数据传输模块将采集到的数据实时传输到上位机，上位机处理后实时传输
在我们的系统中，可以自由重建想要重建的室内静态场景。 在保证精度和实时性的前提下，我们可以实现全球一致的重建。 与以往很多基于PC的工作相比，我们在开发板上实现了这一功能，实际上是第一次。 我们以用户为出发点，实现简单、方便、高恢复度，并且可以实现远程实时交互场景的三维重建，应用场景广泛。 我们的这项技术可以快速应用并移植到开发端进行产品化，不需要额外的操作，而且用户熟悉使用过程极为方便简单。
目前基于实时三维场景的重构技术在增强现实中的应用和发展尤为迅速，尤其是室内重构领域的技术更新更快，但很多研究还停留在PC端，移动端发展还处于蓝海，特别是在开发板上实现了这一功能，达到了理想的效果在开发板上进行技术移植和开发，可以实现同样的效果，同时可以更大幅度地降低技术成本。 另外，本产品作为教育产品，可以供最先学习探索室内重建领域的学生使用和开发，未来市场潜力很大。
二、设计方案：
方案一：
该方案使用奥比中光的Zora P1嵌入式开发板和Astra Pro RGBD摄像头，构成室内静止场景和静止人重建系统。 虽然在硬件上完全使用了主办方提供的产品和附件，开发工具包的使用程度极高，但由于此时的嵌入式主板计算能力和运行内存限制，重建速度不够快。
使用33558www.Sina.com/astraprorgbd进行深度信息收集，完全由Zora P1嵌入式开发板负责系统重建工作。
在33558www.Sina.com/astraprorgbd上进行数据收集，在Zora P1上进行实时重建工作。
设备使用情况：
该方案利用奥维中光的Zora P1嵌入式开发板和Astra Pro RGBD摄像头构成实时重构系统的数据实时采集端，通过设计WiFi数据传输模块，将采集到的数据实时传递给上位机，在上位机处理中充分利用主办方提供的产品及其零部件进行开发，开发工具包使用度极高。
利用系统架构：奥比中光的Zora P1嵌入式开发板和Astra Pro RGBD摄像头共同构成实时重构系统的数据实时采集端，同时使用了Zora P1嵌入式开发板的WIFI模块
33558www.Sina.com/(1)利用中光的Zora P1嵌入式开发板和Astra Pro RGBD摄像头构成实时重构系统的数据实时采集端(2)开发板上的WIFI模块
方案二：
1 .利用主办方提供的统一设备完成室内静态场景的实时三维重建，取得了理想效果。
2 .关于实时重构部分的算法，我们借鉴了InfiniTAM，在原有的基础上进行了更完善的修改和创新，最终使我们的算法能够在给出的嵌入式开发板中完美运行。
3 .由于受开发板的计算能力和运行内存的影响，我们在一定程度上对系统进行了工程优化，使重建速度完全取决于嵌入式开发板，达到2帧/秒。
4 .考虑到重构系统的实时性，在开发板上完成深度数据的采集任务，利用WiFi模块将数据实时传输到计算能力和内存更高的上位机
中，从而完成实时重建，并取得了很好的效果。5.我们通过端云协同作业，最终达到了在有移动互联网的环境下的远程效果实现，即通过使用该设备进行实时重建任务的同时可以使得远程处于办公室的人在PC端实时同步观测到三维重建的效果。
四、测试结果：
我们所取得的室内场景重建效果如下图所示，显然，在基于这一开发板的环境下，我们实现了很好的重建效果。
图1：重建结果预览图和实时重建效果图
图2：真实环境照片
图一右上窗口显示了实时重建的效果图，左侧主窗口显示的是切换了一个更广的视角点，来对整个重建的结果进行预览。图二为重建的真实环境的照片。
但由于官方提供的OpenNI的SDK中为提供RGB信息的读取，所以暂未进行颜色的渲染。
图三、实时重建演示图
五、部署环境
代码运行所需环境配置：
服务器端：Ubuntu18.04
嵌入式端：armbin
·cmake（3.2或以上）
·OpenNI（奥比中光提供版本）
·OpenGL（3.0或以上）
·libpng（1.6或以上）
·librealsense
六、研发过程记录
1. 熟悉主办方所提供的Zora P1嵌入式开发板和Astra Pro RGBD摄像头的使用方法，并在系统中配置相应所需环境。
2. 通过利用axdxte标定法来完成Astra Pro RGBD相机的标定任务。
3. 参考InfiniTAM-V2进行算法上的精修和创新，最终将其直接运用于Zora P1嵌入式开发板和armbin系统。
4. 系统测试阶段：进行有关实时重建速度和重建精度的分析。
5. 在受开发板的运行内存的影响下，最大程度上提升速度，秉持最简单最适用的原则最终达到了2帧/s。
6. 为更好的完成实时重建系统，我们设计了一个wifi传输模块，将嵌入式开发板所采集到的深度图，实时的传输到上位机中，最终在上位机中完成实时重建任务，并达到了很好的效果。
七、演示Demo
本文仅做学术分享，如有侵权，请联系删文。
下载1
在「3D视觉工坊」公众号后台回复：3D视觉，即可下载 3D视觉相关资料干货，涉及相机标定、三维重建、立体视觉、SLAM、深度学习、点云后处理、多视图几何等方向。
下载2
在「3D视觉工坊」公众号后台回复：3D视觉github资源汇总，即可下载包括结构光、标定源码、缺陷检测源码、深度估计与深度补全源码、点云处理相关源码、立体匹配源码、单目、双目3D检测、基于点云的3D检测、6D姿态估计汇总等。
下载3
在「3D视觉工坊」公众号后台回复：相机标定，即可下载独家相机标定学习课件与视频网址；后台回复：立体匹配，即可下载独家立体匹配学习课件与视频网址。
重磅！3DCVer-学术论文写作投稿 交流群已成立
扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。
同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。
一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。
▲长按加微信群或投稿
▲长按关注公众号
3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的优美的春天聚集区，近2000星球成员为创造更好的AI世界共同进步，知识星球入口：
学习3D视觉核心技术，扫描查看介绍，3天内无条件退款
圈里有高质量教程资料、可答疑解惑、助你高效解决问题
觉得有用，麻烦给个赞和在看~