首页 > 编程知识 正文

haas数控系统(语音协议h248)

时间:2023-05-04 19:18:53 阅读:70742 作者:2368

一、RTC业务简单介绍

实时通信(RTC )实时通信服务旨在在装置侧实时地传输音视频多媒体数据,允许用户实时地进行语音和视频会话。 通信业务一般由以下几个部分组成。

调用zxdmj :用于响应和协商呼叫。 在呼叫和呼叫之间,协商是否建立呼叫、数据通道的连接参数、数据格式、数据类型等信息,在呼叫和呼叫之间将音频编码、视频编码的相关信息对齐,进行音频和视频的核心。 数据传输:调用zxdmj根据协商的参数进行音视频数据采集-编码-传输-解码-展示。 数据传输控制:反馈传输线情况,确认传输线质量,同时确认音视频同步参数。 实时通信业务基本上可以分为两种形式:

点对点:通过双发设备的具体直连通道,在两个设备端之间直接处理zxdmj呼叫和数据传输。 在被称为呼叫者之前必须使用相同的音频视频编码参数、音频打包时间等信息。 采用对等传输线。

有两种方式: 3358 www.Sina.com/: http://www.Sina.com/和http://www.Sina.com /。

zxdmj中心化交换机只通过服务控制呼叫向zxdmj的转发,服务不参与音视频数据转发。 无需在服务器上投入大量资源,只要管理设备的状态、业务认证,音视频数据的传输就完全是从设备点到点进行的。 服务器只保证zxdmj通道的QoS。

与zxdmj进行数据中心交换:服务器应负责zxdmj的传输,同时负责所有音视频数据的传输。 服务器既要完成zxdmj的传输,又要完成音视频数据的传输,服务器所需的资源会随着多媒体的采样率、格式和分辨率而变化。

三种方式的对比如下

方式

好处

缺点

中心化交换

简单的音视频效果(无需设备端闭环、服务器总体规划)完全依赖于性能最差的设备的多对多场景,形成NxN的传输网络。 各设备方负责(N-1 )路的音频和视频处理,整体业务性能取决于性能最差的设备方的能力。 启动调用时,调用方必须在另一个通道上进行调用,并等待调用请求得到处理。 不能进行设备的状态管理,也没有统一的业务管理能力。 灵活性低,业务难以扩展只是zxdmj的中心化交换

当服务器集中管理设备状态并发起呼叫时,寻呼服务器功能简单,资源消耗少的音频/视频效果取决于性能最差的设备的多对多场景,从而形成NxN的传输网络各设备方负责(N-1 )路的音频和视频处理,整体业务性能取决于性能最差的设备方的能力。 灵活性低,业务难以扩展zxdmj和数据都中心化交换

在服务器集中管理设备状态进行呼叫的情况下,判断服务器能否进行呼叫的寻呼服务器可以根据设备侧的能力,对音视频解码实现最高的音质和画质。 服务端可以灵活方便地扩展业务链接,增加语音画质优化、多媒体信息实时转储等多种业务,每个设备只能处理一个传输、一个下载的多媒体数据,进行混合和屏幕融合对设备方面的能力要求非常低。 上述具有高复杂服务端资源消耗的简单比较表明,在阿里巴巴云-IOT领域,完全中心的交换方式是理想的RTC业务形式,原因如下:

http://www.Sina.com/http://www.Sina.com /

ong>场景下,设备端资源都比较有限,比较复杂的音频多路合成、视频转码、视频画质增强、视频多路融合等功能很难集成,或集成会导致设备端成本大幅增加。随着4G、5G的铺开,云规模的不断扩大,流量价格在急剧降低,中心化交换引入的流量成本已经可以做到逐渐下降,直至低于设备端增加成本(单设备增加成本x设备数量)。把复杂的算法、视频动态转码等功能上移给服务端,可以让设备端极度简化,降低设备端的开发难度,节省设备端开发时间成本,特别是IOT场景下终端都比较“瘦”。上述功能上移到云,可以通过大数据、AI等方式有效的提高算法、动态转码效率,整体提升RTC业务的效率和体验。

二、HaaS RTC介绍

HaaS RTC 是基于阿里IOT的HaaS平台搭建的实时音视频通信端云一体,软硬件一体解决方案。主要目的是提供一条完整的设备-云-设备的多媒体信息实时传递通道。主要特点是:

zxdmj+承载全覆盖:实时通信的zxdmj面和承载面均已经实现,是完整的实时通信业务包。端云一体全覆盖:端侧提供SDK方便集成,云上服务成熟可用。良好的设备侧功能扩展:基于类SIP私有zxdmj可以方便的扩展出IM消息、系统待机-唤醒等各种功能。灵活的服务侧业务链扩展:基于阿里云强大的云服务能力,可以在云上方便的集成各种音视频融合、画质优化增强、音视频实时转储、语音识别、图像识别等扩展功能。多种通信场景支持:1 VS 1,1 VS N, N vs N,音视频链路(单、双向)自由配置。丰富的设备形态支持:支持在手机、PC、Linux平台嵌入式设备、AliOS Things平台物联网设备上集成。形成智能门禁、儿童手表、楼宇对讲、智能安防IPC等多种产品-业务形态。在使用AliOS Things平台还可以实现设备侧资源极致“瘦”身优化。

 

其组成部分如下:

HaaS RTC 云服务:是通信过程中zxdmj面服务提供者,是提供用户管理、用户状态监控、通信zxdmj服务、业务管理等功能的服务服务端。视频云:是通信过程中承载面的服务提供者,音视频多媒体数据的汇聚、转发中心。具备音视频转码、融合、转发、转储等基本功能,同时也可以根据客户的需求在云上扩展业务链。设备端:是音视频通信的客户端,其主要作用是通信数据的上传包括音视频数据的前端采集、编码、上传;通信数据的接收、解码、展示。各类具备音视频多媒体pipe line(数据采集和显示),具备端云网络连接的IOT设备均可以作为HaaS RTC的设备端。

三、HaaS RTC设备端架构

客户集成HaaS RTC方案时主要的工作是设备端的SDK集成,一个典型的HaaS RTC设备端的架构如下:

底层操作系统:负责驱动硬件平台,提供操作系统层接口支持。驱动框架:提供音视频采集、编解码相关设备的驱动能、显示渲染驱动能力;HAL:统一的硬件抽象层,给RTC音视频业务框架提供统一的硬件驱动访问接口,屏蔽设备驱动细节。RTC音视频框架:负责RTC的zxdmj面协议、承载面协议的处理、音视频的实时传输接收、同时还可以扩展音频3A算法、监控RTC业务相关的系统资源情况。

开发者支持

如需更多技术支持,可加入钉钉开发者群,或者关注微信公众号。

更多技术与解决方案介绍,请访问HaaS官方网站https://haas.iot.aliyun.com。

 

 

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。