2016年,是中国无人机市场的元年,无人机能够一跃进入大众视野,并迅速在大众市场火热发展,是很多人始料未及的。从刚开始的空中摄录,到后来的实时摄录,方便的无人机图传功能无疑为无人机加足了筹码,赚足了眼球。博主就来分析一下无人机图传技术。
一.观念
从“图传”这个称呼可以看出,这并不是一个专业的定义,可能是从一些资深航模玩家嘴里发展出来的。 专业的航空航天器没有独立的视频图像传输设备。 图传的概念只存在于消费者无人机领域。
二.限制
1.成本:
不用怀疑能多快通信。 无线通信技术发展到今天,没有人怀疑从火星传来的1080P图像。
百公里以上的无人机的照片传输并不是不能实现,但100万元以上的价格也比较高。
目前,市面上1080P平面产品的售价基本在1700美元以内,成本也成为消费级无人机平面设计的第一个限制。
2.法律:
中国无线电管理的最高法律文书是《中华人民共和国无线电管理条例》,立法机关是国务院和中央军事委员会,由各级无线电管理机关进行监督管理。 如果用户想要单独申请图纸许可,图纸需要先获得《无线电发射设备型号核准证》,其依据是国家《无线电频率划分规定》关于无线发射设备技术指标的规定。 获得专业的无线电执照并不是不可操作的,只是在消费型无人机领域没有普及而已。
对于专业的航天飞机来说,虽然在进行频谱分割时已经留下了特殊的测量频段,但消费型无人机却一直以来都是ITU-r (国际通信联盟无线通信局)的ISM频段(工业级scial )
13.56Mhz、27.12Mhz、40.68MHz、433Mhz、915Mhz、2.4Ghz、5.8GHz都是1W以内无需执照发射的;
433MHz以下频带通常难以满足HD图像传输的带宽要求;
915Mhz频段的一半已经被GSM占用;
L波的带宽并不富裕;
s波段的2.4GHz也是1080P获得远距离的优先事项,但4K和更高分辨率的平面设计者很难在s波段的带宽中找到便宜
C波段的5.8G可以更宽,但在相同的发射功率和接收灵敏度下,5.8G与2.4G相比通信距离仅为41.4%,且其衰减对水气更敏感,实际通信距离小于30%,两者各有利弊。
图1 无线频谱
三.编码技术
1 .软/硬件结构:OpenMAX IL Venus
2 .编码标准:h.264(APQ8074 )/h.265 (apq 8053 ) )。
3 .编码率控制: CBR (恒定比特率)网络传输中的CBR通常为ABR (平均编码率)。 即,单位时间内的平均编码率是固定的,在编码输出中有缓冲器能够起到平滑的变动的作用。
图2 码率4 .编码率/帧率自适应:动态随机存取(rave )是由Qualcomm提供的算法库,具有变化的Wi-Fi频带
5.I帧间隔调整:以:30fps帧速率,30帧或60帧一个I帧。 可以以低编码率达到高画质。
6.I帧重传:帧丢失或损坏会占用图像很长时间。 当接收方反馈该情况时,发送方立即重新发送I帧,减少卡的7 .吨时间。
8.I帧便携SPS/PPS信息:缺乏SPS/PPS信息,接收侧无法正确解码,所以需要在流中携带这些信息,防止因断线而重新连接后的黑屏。
四.通用协议
1.RTP
1.1 .协商简单,易于纳入
1.2.jrtp开放源代码库:X许可证,几乎无限制。
1.3 .针对h.264/h.265编码器的特点优化:不同的封装策略。
1.4 .扩展器可以配置订购间隔:以平衡编码率变动,防止瞬时编码率过大。
1.5 .使用RTP扩展报头:来传递帧编号用于算法数据同步。
1.6 .使用内存池:来减少模块之间的内存复制,并减少延迟。
n:center">图3 RTP
2.RTSP
2.1.支持组播:Live555开源库
2.2.LGPLv2.1许可,可以在商业软件中引用。
2.3.相关类说明
图4 RTSP相关类 2.4.数据传递示意图:RTSP server接收到RTSP开始后,PreviewH264OnDemandMediaSubsession创建了H264PreviewSouce类和H264VideoStreamDiscreteFramer类之后H264PreviewSouce通过队列从Rtspsink中获取h264数据,经过处理后发送到手机端。
图5 RTSP 数据流
五.Relay
方案一:Drone Station + Relay AP
说明:
无线中继作为AP
无人机和手机作为两个终端连接到无线中继AP上
无线中继需要布置数据转发APP,用于转发视频流
手机端与无线中继建立socket连接
无人机与无线中继建立socket连接,视频+RC
优点:
组网简单,方案易于理解
缺点:
无人机无UI界面,连接中继的方式需要另行方案(参考:双方WPS按钮连接)
中继上的Video Data Forward APP需要很高的性能、可靠性
图6 框架图1
方案二:Drone AP + Relay Station & AP
说明:
无人机作为AP
无线中继Station + AP模式
中继作为Station与无人机AP连接获得独立IP
中继作为AP接受手机端连接,为手机端分配IP
无人机的SSID与无线中继的SSID不相同
采用NAT + 路由配置,转发数据包,建立无人机与手机端的数据通路
手机端与无人机建立Socket连接(视频),与无线中继建立Socket连接(RC)
优点:
无线中继实现相对方案一简单
方案通用,兼容性高
缺点:
增加了无线中继的网络配置(复杂度可接受)
无线中继连接无人机AP的方式需要设计
图7 框架图2
六.云服务
方案一:无人机端混合音视频实时数据,并发往云端
说明:
Camera编码H.264数据,并通过rtp/rtsp协议进行数据发送
手机端接收视频数据流(H.264),在本地解码播放
手机端采集本地音频,并将编码后的音频发送到Camera端,Camera端mux audio&video推送云端
Android、iOS、desktop通过rtmp标准协议进行媒体播放
图8 云技术1
方案二:手机端混合音视频实时数据,并发往云端
说明:
Camera编码H.264数据,并通过rtp/rtsp协议进行数据发送
手机端接收视频数据流(H.264)
手机端采集本地音频,与视频流进行mux,通过rtmp将音视频流推送到云端
Android、iOS、desktop通过rtmp标准协议进行媒体播放
图9云技术2