2021年11月10日360度视频通常意味着同时记录全方位视图的碎片记录，可以使用包括全方位摄像机和多个摄像机的装置进行捕捉。 日前，美国专利商标局发布了与该主题相关的苹果专利申请“SPhere Project EDMOTIONESTIMation/Compensation And Modecision”。
本发明主要涉及360度编码，更具体地说，主要用于处理2D视频数据，支持视频的带宽压缩。
苹果解释说，360度的视频是360度，但视频数据本身通常用2D格式的图像数据表示。 图像数据由排列在2D内的预定空间位置(x，y位置)上的像素排列表示。 wndds将视野内不同深度的对象表示为图像数据，但图像数据的大小不仅与对象的物理大小对应，也与距照相机的距离对应，但表示对象的像素数据不根据深度改变像素位置。
3D空间的2D表现有可能导致不同位置的图像数据失真。 例如，3D空间中的直线在2D图像数据中可能不会显示为直线。 另外，如果不同的对象在360度的视野内移动，则大小和形状可能会扭曲。
这种失真可能会导致视频编码问题。 视频编码器通常通过利用图像数据中的空间和时间冗余来减少图像信号的带宽。 然而，操作3D图像的2D表示的视频编码器不一定检测这种冗余，因为帧之间可能出现的失真。
因此，苹果希望提供一种能够更好地识别2D显示中冗余度的视频编码系统。
在" sphereprojectedmotionestimation/compensationandmodedecision "这一发明中，苹果描述的技术基于编码后的输入图像和作为预测候补的参考图像从球面区域的投影进行预测，并进行二进制编码
在一个实施例中，可以生成输入图像和参考图像候选的球面投影。 然后，可以检索编码像素块的球面区域表示和参考图像的球面区域表示的匹配。 匹配时，可以确定像素块球面域表现和球面域表现中的参考图像的匹配部分之间的偏移。 球面区域偏移可以变换为输入图像的源区表示的运动矢量，wndds可以参考参考图像一致部分的源区表示对像素块进行预测编码。
图1是可以采用本发明实施例的系统100。 系统100可以包括通过网络130互连的至少两个终端110-120。 第一终端110可以包括360度拍摄的相机系统112。 第一终端110可以同时包括编码系统和发送系统(未示出)以发送360度的编码表示。 第二终端120可以显示360度的视频。
图1还示出了适于360度单向传输的组件。 在特定APP位置上，可以适当地提供视频数据的双向交换，其中，第二终端120可以包括自己的相机系统、视频编码器和发射机(未示出)，而wndds第一终端100可以与其接收器一起显示需要更换360度的情况。
在图1中，第二终端120是计算机显示器，但是实际应用不限于此。 本发明的实施例可应用于笔记本电脑、平板电脑、智能手机、服务器、媒体播放器、VR头显示器、AR头显示器、全息显示器和/或专用视频会议设备。 网络130表示包括在终端110-120之间传输编码视频数据的有线和/或无线通信网络的任何数目的网络。
图2是本发明的编码系统200的功能框图。 系统200可包括相机系统210、图像处理系统220、视频编码器230、视频解码器240、参考图像存储器250、预测器260和一对球面变换单元270、280。 照相机系统210可生成代表局部环境的图像数据，即所谓的“360度图像”。 图像处理系统220能够在需要时转换来自相机系统210的图像数据，以适应视频编码器230的要求。 视频编码器230通常通过利用图像数据中的空间和/或时间冗余来产生其输入图像数据的编码表示。 视频编码器230可输出传输和/或存储时所消耗的带宽小于输入数据的输入数据的编码表示。
视频解码器240可反转由视频编码器230所执行的编码操作以从经编码视频数据获得重新配置图像。 一般来说，应用于视频编码器230的编码处理是有损处理，重构图片与原始图片相比具有各种错误。 视频解码器240还可以对被指定为“参考图片”的所选编码图片的图片进行重构，并将解码后的参考图片存储在参考图片存储部250中。 在没有传输错误的情况下，解码后的参考图片将由未图示的解码器得到的解码后的参考图片进行复制。
预测器260可以在编码新输入图片时选择其预测参考。 对于正被编码的输入图片的每一部分，预测器260可以选择编码模式，以识别可以用作正被编码的像素块的预测参考搜索的参考图片的一部分。 编码模式可以是帧内编码模式，在这种情况下，可从编码中图片的先前编码(和解码)部分提取预测参考。 替代地，编码模式可以是帧间编码模式，在这种情况下，可以从先前编码和解码的另一个图片中提取预测参考。 在一个实施例中，预测器260可检索对输入图片和转换为球面投影表示的参考图片进行编码后的图片的预测参考。 球面变换部270、280能够将输入图像和参照图像变换为球面投影表现.
如果确定了适当的预测参考，则预先
测器260可以以视频编码器230接受的表示向视频编码器230提供预测数据。通常，存储在参考图片存储器中的参考图片将采用视频编码器接受的格式。视频编码器230输出的编码视频数据在传输和/或存储时消耗的带宽应小于输入数据。编码系统200可以将编码视频数据输出到输出设备290，例如可以通过通信网络130（图1）传输编码视频数据的发射机（未示出）或者存储设备（也未示出）。
图3是图2中的球形变换单元270、280的执行示例性变换。在本实施例中，摄像头系统110（图2）可以执行360度旋转。捕获操作310并输出尺寸为M×N像素的等矩形图片320。图4则是球形变换单元270、280的执行示例性变换。在本实施例中，摄像头系统110（图2）可以执行360度旋转。捕获操作410并输出具有尺寸M×N像素的图片420，其中图像内容根据立方体映射排列。
球面变换单元270可以根据从立方体映射中的每个子图像导出的变换，将立方体映射图片420内的位置（x，y）处的像素数据沿球面投影330变换为位置（.θ，.phi.）。图像捕获的每个子图像对应于球形投影430的表面的预定角度区域。所以，正面412的图像数据可以投影到球面投影表面的预定部分，wndds左、右、后、顶和底子图像的图像数据可以投影到球面投影表面的相应部分。
当应用变换时，立方体贴图图片420中的像素位置可以映射到球形投影430中的唯一位置。在所述区域中，球形投影430中的每个位置可以分配来自立方体映射图片420的相应位置的像素值。在其他位置，特别是朝向各个子图像的边缘，球形投影单元270可以将图像数据从立方体地图图片420中的多个源位置映射到球形投影430中的公共位置。在这种情况下，球形投影单元270可以从立方体地图图片420中的对应像素值的混合导出球形投影430中的位置的像素值。
相关专利：Apple Patent | Sphere projected motion estimation/compensation and mode decision
名为“Sphere projected motion estimation/compensation and mode decision”的苹果专利最初在2021年3月提交，并在日前由美国专利商标局公布。