一点云概述随着3D采集技术的迅速发展，3D传感器的成本逐渐下降，各种类型的3D扫描仪、LiDAR、RGB-D照相机，如Kinect、RealSense、Apple深度照相机等，有更多的普及APP应用这些传感器取得的立体数据能够提供丰富的几何信息(形状、大小、三维空间位置等)、特征信息)、颜色、不透明度、反射率、反射率等)。 与二维图像互补，立体数据可以更好地识别机器周围的环境，捕捉目标的细节信息，在自动驾驶、机器人技术、遥感测绘、医学治疗和设计行业等各个领域有很多应用。
点云是三维空间中点云的定义，点云已成为三维表示中最重要的数据格式之一，图1(a )和(b )是典型的点云数据集。 3D点云由同时具有几何学和特征信息的一系列点构成，几何学信息响应于笛卡尔坐标系上的点的位置(x、y、z )，特征信息能够描述各点的视觉表示，最一般用色彩值(RGB或YUV )表示，具有法线向量信息几何坐标通常用浮点数表示，但在大型、密集的点云压缩中通常用整数表示，以节省CPU计算时间并优化内存使用。 因此，几何坐标需要基于整数规则的网格量化。 整数表示法是压缩过程的额外限制，需要采用整数到整数的转换。 传输比特率均为500 MB/s左右，表明需要以有效压缩方法处理复杂且高带宽的数据。
(a )斯坦福兔(b ) queen数据集(c )细节放大) d )法向量
图1 点云数据示例
目前，点云处理的难点如下。 一是由于点云稀疏的特点，远处物体的分数比近处物体少得多。 二是由于点云的不规则性，难以有效搜索邻近点； 第三，由于纹理信息的缺失，不同的目标很难识别。 例如，会发生“三个人坐车”的错误现象。 第四，由于点云数据的无序性，使用深度学习等工具进行分析非常困难，不同顺序的输入矩阵可以得到完全不同的结果，即五点云数据的旋转不变性。 由于点云数据表示三维物体，所有整体数据的旋转不会改变数据的特征，但也给识别带来了困难。
两点云压缩方法标准点云压缩(点云压缩，包括无损和有损压缩)。 无损压缩通过消除统计冗馀，使数据更紧凑，并完全保留原始信息。 然而，有损压缩可以通过量化过程来去除不需要的视觉冗馀信息。 无论如何，都需要将数据相关联。 最高级别描述了冗馀减少的维度，三种不同的模式有一维扫描、二维映射和三维反相关。 二级指示几何和特征信息的压缩，包括三种方法，即细节划分级别、聚类方法和基于变换的技术。 前两个阶段交错，第三个阶段涉及处理几何信息的数据结构，这里可以考虑基于八叉树、二叉树、kd树等多种树的表现。
目前，ISO/IEC下属工作组MPEG正在进行点云压缩标准化。 关于PCC的讨论始于2013年，最初是关于沉浸式演示文稿的处理。 之后，更多的数据和证据表明了PCC的必要性，2015年开始了探索性实验。 的测试工具是pointcloudlibrary (http://point clouds.org )，它支持静态和动态点云对象，并允许压缩几何图形和特征信息。 前期通过建立家电产业中点云压缩技术需求，成立MPEG-3DG工作组，通过处理点云压缩标准的方法实现基于视频的点云压缩(video-basedpointcloudcompression，V-PCC )和几何
V-PCC的目的是向需要实时解码的APP应用(如虚拟/增强现实、沉浸式通信等)提供低复杂度的解码能力。 V-PCC利用现有和未来的视频压缩技术以及典型的视频生态系统(硬件加速、传输服务和基础架构)，实现了新的APP应用模式。 第124次MPEG会议的参考模型编码器在显示125:1的压缩率的同时，实现了良好的感知质量。 2018年10月，V-PCC标准进入委员会起草阶段。
G-PCC被认为可以为自主驾驶、3D地图和其他利用激光雷达生成的点云(或类似内容)的APP应用程序的部署提供高效的无损和有损压缩。 G-PCC封装包括几种几何驱动方法。 G-PCC标准于2019年3月提高到委员会起草阶段。
如图2所示，基于3视频的点云压缩(V-PCC ) V-PCC的总体框架与传统的三维视频类似，总体编码过程分为面片生成、几何/纹理图像生成、附加数据压缩、视频压缩四个步骤在视频压缩过程中，可以使用发布的视频编码标准H.265/HEVC、H.266/VVC进行压缩。
图2 V-PCC整体框架
V-PCC将输入点云分解为一系列子图像(也称为面片)。 首先，在局部平面近似的作用下，将法线向量与每个点相关联。 然后，通过在规定的搜索半径内，将具有与规定的阈值类似的方向的邻接点分组，来决定点的初始聚类。 在一定范围内反复更新具有类似法向量的邻点，得到光滑的聚类边界，最小化相关映射失真。 由于聚集在结果簇中的点具有类似的法线向量，因此可以将参照方向与对应于各个法线向量平均值的每个面片相关联。
点云切片完成后
将点云集正交投影到与参考法向量相对应的二维平面上。将投影平面按给定分辨率的规则采样，实现网格型的离散化，得到像素化的投影图像表示。深度和属性（颜色）信息都保留在生成的投影图像中。最后，通过在全局图像中嵌入正交投影的二维子图像生成几何和属性图像。这些补丁按大小降序填充到图像中。一旦填充了补丁，像素将被标记为“已占用”。利用二维子图像的边缘信息避免了子图像之间的交叉，同时最小化全局图像中子图像之间的空白。通过填充处理，可以获得更适合视频编码的具有更高时空一致性的平滑图像。图3 V-PCC编码结果
V-PCC背后的主要原理是利用现有的视频编解码器压缩动态点云的几何和纹理信息，基本上是通过将点云转换成一组不同的视频序列来实现的。具体地说，两个视频序列，一个捕获几何信息，另一个捕获点云数据的纹理信息，使用现有的视频编解码器（如MPEG-4?AVC、HEVC、AV1等）生成和压缩。同时，编码两个视频序列所需的附加元数据，还包括生成和压缩占用地图和辅助补丁信息。然后将视频生成的比特流和元数据复用在一起，以生成最终点云V-PCC比特流。需要注意的是，元数据信息只占据总体比特流的相对较小的量（5-20%），大部分信息由视频编解码器处理。
4 基于几何的点云压缩（G-PCC）如图4所示，首先是体素化过程，对输入的三维位置进行积分来得到位置表示，通过创建一个边界框来计算对象在所有xyz方向上的最大尺寸，然后将最大尺寸用作给定比特范围的最大值（即10位表示中的1023）。其次，是创建八叉树。八叉树非常适合于稀疏采样的点云，八叉树构建过程如图5所示。当完成了体素化，每个3D点（或位置）可以表示为八叉树中的叶节点。在这种情况下可以实现无损表示。对于有损压缩，叶节点可以是包含一个或多个点的大体素。图6是“斯坦福兔子”的体素化结果。八叉树形成后，每个含有一个或多个点的体素通过预测、变换和量化等常规压缩过程进行编码。最后，编码后的数据经过熵编码过程。
图4 G-PCC的几何信息编码过程
图5 G-PCC的八叉树生成过程
图6 原图与体素化结果对比
当几何体完成编码，就确定了编码所需的点数，需要根据编码的几何体选择适当数量的属性，因此，将几何体编码作为颜色编码过程的输入，如图7所示。如果几何体编码是无损的或接近无损的，则点的数目将保持与输入点云相同。因此，颜色重采样过程主要与颜色转换有关，例如，红色、绿色、蓝色（RGB）到YUV和YUV到RGB。如果几何体编码是有损的，则颜色重采样过程必须将一个或多个颜色值映射到一个颜色值。颜色重采样后，选定颜色值的处理顺序与几何体编码的顺序相同，几何体编码顺序由细节层次（LoD）生成重新计算。使用LoD，在每个层次上对点进行分组和排序，并且这个LoD生成过程将以相同的方式在解码器处重复进行，以确保颜色值与几何信息相匹配。如果要对颜色值进行编码，最好使用预测或变换来利用相邻颜色值之间的高相关性。
图7 G-PCC的颜色信息编码过程
5 发展趋势及应用前景当前点云应用广泛，包括3D扫描和建模、环境监测、农林业、生医影像、CAD、自动驾驶等，随着压缩技术进步，未来可进一步应用于实时便携设备，实现自主导航、VR/AR等方面的应用。基于GPU的计算设备使得高密度的3D点云数据的实时获取和可视化得以实现。与3D网格相比，3D点云的优势是可以提供更简单、高密度、更接近实际的表示，但点云数据在拓扑和连续信息的缺失是主要的困难。同时，点云数据量巨大，需要有效的压缩方法来确保数据的存储和传输，包括几何和特征信息的提取。ISO/MPEG正在推进3D-PCC标准化进程。
目前，点云压缩的两个方向都具有前景，其中V-PCC可以利用现有的视频编码标准技术，实现点云压缩技术的快速实现，在不久的将来可以在消费电子行业、沉浸式多媒体上得到推广应用。G-PCC是对于点云数据进行更精细化操作和压缩，其计算量更大，但压缩性能和3D还原程度更好，适合于自动驾驶、机器人操作、医疗辅助等领域的应用，同样具有广阔前景。
6 参考文献 [1] Gu S , Hou J , Zeng H , et al. 3D Point Cloud Attribute Compression Using Geometry-Guided Sparse Representation[J]. IEEE Transactions on Image Processing, 2019, 29(99):796-808.[2] Cao C , Preda M , Zaharia T . 3D Point Cloud Compression: A Survey[C]. The 24th International Conference on 3D Web Technology. 2019.[3] Schwarz S , Preda M , Baroncini V , et al. Emerging MPEG Standards for Point Cloud Compression[J]. IEEE Journal on Emerging and Selected Topics in Circuits and Systems, 2018:1-1.[4] Cui L , Xu H Y , Jang E S . Hybrid color attribute compression for point cloud data[C]. IEEE International Conference on Multimedia & Expo. IEEE, 2017.[5] Cui L , Mekuria R , Preda M , et al. Point-Cloud Compression: Moving Picture Experts Group’s New Standard in 2020[J]. Consumer Electronics Magazine, IEEE, 2019.[6] Xu Y , Wang S , Zhang X , et al. Rate-distortion optimized scan for point cloud color compression[C]. Visual Communications & Image Processing. IEEE, 2018.[7] Jang E S, Preda M, Mammou K, et al. Video-Based Point-Cloud-Compression Standard in MPEG: From Evidence Collection to Committee Draft [Standards in a Nutshell][J]. IEEE Signal Processing Magazine, 2019, 36(3):118-123.