首页 > 编程知识 正文

音频数字化的过程(音频的原始数据和压缩数据结构讲解)

时间:2023-05-04 04:33:30 阅读:122790 作者:2894

另一方面,音频原始PCM数据PCM (脉冲编码调制)、脉冲编码调制。 人耳能听到的是模拟信号,PCM是将声音从模拟信号转换为数字信号的技术。 原理以一定的频率对模拟信号进行采样,采样后的信号类似于一系列在波形上连续的振幅不同的脉冲(诸如脉搏波之类的暂时起伏的电击),以一定的精度量化这些脉冲的振幅,并且这些量化后的数值被连续输出并输出

PCM数据常用量化指标

采样率(Sample rate ) :每秒采样几次,以Hz为单位。

比特深度表示以多少比特二进制比特来描述样本数据,且一般为16比特。 有关详细信息,请参阅* *量化*一节。

序)指示音频PCM数据存储的序是大序(大序)还是小序(小序),为了提高数据处理效率,小序是很常见的。

通道数当前PCM文件中包含的通道数为单声道mono、双通道stereo

样本数据中是否存在符号(Sign ) :需要注意的是,表示的是字面意义上的,带符号的样本数据不能无符号播放。

例如,请考虑FFmpeg中常见的PCM数据格式s16le。 它表示带符号的16位小端序PCM数据。

s表示有符号,16表示位深度,le表示小端存储。

大小端存储简介说明:

大端模式是一种存储模式,其中数据的字节数存储在内存的低地址,数据的低字节数存储在内存的高地址。 这种记忆模式类似于将数据作为字符串顺序处理。 地址从小到大增加,数据从上到下排列。 这和我们的阅读习惯一致。

小端序模式是指数据的字节存储在内存的高地址,数据的低字节存储在内存的行地址。 该存储器模式有效地将地址的高低和数据位的权重结合起来,高地址部分的权重高,低地址部分的权重低。

让我们以unsigned int value=0x12345678为例,分别观察两个端对端的存储情况。 value可以用无符号char buf [4]表示

为什么会有大小不一的终端模式呢? 这是因为在计算机系统中,我们以字节为单位,每个地址单元对应一个字节,一个字节对应8bit。 但是,在c语言中,除了8bit char以外,还有16bit的short型、32bit的long型,另外,在比8位大的位数的处理器、例如16位或32位的处理器中,寄存器宽度大于1字节

例如,如果16位短x,内存中的地址为0x0010,x的值为0x1122,则0x11为高字节,0x22为低字节。 在大终端模式下,0x11位于低地址(即0x0010 ),0x22位于高地址(即0x0011 )。 小端模式正好相反。

我们常用的X86结构是小端,而KEIL C51是大端。 很多ARM、DSP都是小端序。 一些ARM处理器可以随时在ARM Cortex系列中使用REV、REV16和REVSH命令在程序中切换大小

cpu大小方面的现状:目前英特尔的80x86系列芯片是唯一仍在使用小端序的芯片。 ARM芯片默认采用小端序,但可以切换到大端序。 所有芯片(如MIPS )都可以使用大端存储,也可以支持大端——来切换大小。 另外,大小端的处理也与编译器的实现有关。 在c语言中,默认值为小端序。 但是,一些单片机实现是基于Keil 51C等大端的。 Java与平台无关,默认为大端。 在互联网上传输数据一般是大端端。

PCM 音频数据的存储

如果是单声道音频文件,则采样数据按时间先后顺序存储。 虽然有时以LRLRLR方式存储,但另一个通道的数据为0。 (2通道时通常以LRLRLR方式保存,保存时也与机器的大小侧有关。 大终端模式如下图所示。

PCM数据处理实践

接下来,雷神博客代码,详情请参阅:PCM数据处理,向您展示对本机PCM数据的一些处理

以16位2通道小端模式pcm数据为例,处理左通道和右通道分离,降低某些通道的声音,提高播放速度。 这里用c语音简单处理。 Android拥有强大的opensl es库。 如果大家有兴趣的话请研究一下。

二、主要音频压缩数据格式常见格式有flac ape wav mp3 aac ogg wma,其中压缩率以aacoggmp3(wma ) apeflacwav同音质) mp3和wma以192kbps为界,192kbps以上MMA 最高音质: wav=flac=apeaacoggmp3wma其中wma (无损但罕见) wav罕见手机mp3wmag

t;aac wav>flac ogg>ape  性能(就是综合音质体积编码率):aac>ogg>flac ape>mp3>wav>wma 。由于目前使用最广泛的是aac。接下来主要针对这种做主要介绍。

2.1 AAC压缩格式介绍

AAC是高级音频编码(Advanced Audio Coding) 的缩写,出现于1997年,最初是基于MPEG-2的音频编码技术。由Fraunhofer IIS、Dolby Laboratories、AT&T、Sony等公司共同开发,目的是取代MP3格式。2000年,MPEG-4标准出台,AAC重新集成了其它 技术(PS,SBR),为区别于传统的MPEG-2 AAC,故含有SBR或PS特性的AAC又称为MPEG-4 AAC。

AAC是新一代的音频有损压缩技术,它通过一些附加的编码技术(比如PS,SBR等),衍生出了LC-AAC,HE-AAC,HE-AACv2三 种主要的编码,LC-AAC就是比较传统的AAC,相对而言,主要用于中高码率(>=80Kbps),HE-AAC(相当于AAC+SBR)主要用 于中低码(<=80Kbps),而新近推出的HE-AACv2(相当于AAC+SBR+PS)主要用于低码率(<=48Kbps),事实上大 部分编码器设成<=48Kbps自动启用PS技术,而>48Kbps就不加PS,就相当于普通的HE-AAC。

目前使用最多的是LC和HE(适合低码率)。流行的Nero AAC编码程序只支持LC,HE,HEv2这三种规格,编码后的AAC音频,规格显示都是LC。HE其实就是AAC(LC)+SBR技术,HEv2就是AAC(LC)+SBR+PS技术;
HE:“High Efficiency”(高效性)。HE-AAC v1(又称AACPlusV1,SBR),用容器的方法实现了AAC(LC)+SBR技术。SBR其实代表的是Spectral Band Replication(频段复制)。简要叙述一下,音乐的主要频谱集中在低频段,高频段幅度很小,但很重要,决定了音质。如果对整个频段编码,若是为了保护高频就会造成低频段编码过细以致文件巨大;若是保存了低频的主要成分而失去高频成分就会丧失音质。SBR把频谱切割开来,低频单独编码保存主要成分,高频单独放大编码保存音质,“统筹兼顾”了,在减少文件大小的情况下还保存了音质,完美的化解这一矛盾。

HEv2:用容器的方法包含了HE-AAC v1和PS技术。PS指“parametric stereo”(参数立体声)。原来的立体声文件文件大小是一个声道的两倍。但是两个声道的声音存在某种相似性,根据香农信息熵编码定理,相关性应该被去掉才能减小文件大小。所以PS技术存储了一个声道的全部信息,然后,花很少的字节用参数描述另一个声道和它不同的地方。

2.2 AAC文件数据格式:

AAC的音频文件格式有ADIF & ADTS:

ADIF:Audio Data Interchange Format 音频数据交换格式。这种格式的特征是可以确定的找到这个音频数据的开始,不需进行在音频数据流中间开始的解码,即它的解码必须在明确定义的开始处进行。故这种格式常用在磁盘文件中。
ADTS:Audio Data Transport Stream 音频数据传输流。这种格式的特征是它是一个有同步字的比特流,解码可以在这个流中任何位置开始。它的特征类似于mp3数据流格式。

简单说,ADTS可以在任意帧解码,也就是说它每一帧都有头信息。ADIF只有一个统一的头,所以必须得到所有的数据后解码。且这两种的header的格式也是不同的,目前一般编码后的和抽取出的都是ADTS格式的音频流。

ADTS格式结构

ADTS 头中相对有用的信息 采样率、声道数、帧长度。想想也是,我要是解码器的话,你给我一堆得AAC音频ES流我也解不出来。每一个带ADTS头信息的AAC流会清晰的告送解码器他需要的这些信息。

一般情况下ADTS的头信息都是7个字节,分为2部分:

adts_fixed_header();

adts_variable_header();

syncword :同步头 总是0xFFF, all bits must be 1,代表着一个ADTS帧的开始

ID:MPEG Version: 0 for MPEG-4, 1 for MPEG-2

Layer:always: ‘00’

profile:表示使用哪个级别的AAC,有些芯片只支持AAC LC 。在MPEG-2 AAC中定义了3种

sampling_frequency_index:表示使用的采样率下标,通过这个下标在 Sampling Frequencies[ ]数组中查找得知采样率的值。

0: 96000 Hz
1: 88200 Hz
2: 64000 Hz
3: 48000 Hz
4: 44100 Hz
5: 32000 Hz
6: 24000 Hz
7: 22050 Hz
8: 16000 Hz
9: 12000 Hz
10: 11025 Hz
11: 8000 Hz
12: 7350 Hz
13: Reserved
14: Reserved
15: frequency is written explictly
channel_configuration: 表示声道数

0: Defined in AOT Specifc Config
1: 1 channel: front-center
2: 2 channels: front-left, front-right
3: 3 channels: front-center, front-left, front-right
4: 4 channels: front-center, front-left, front-right, back-center
5: 5 channels: front-center, front-left, front-right, back-left, back-right
6: 6 channels: front-center, front-left, front-right, back-left, back-right, LFE-channel
7: 8 channels: front-center, front-left, front-right, side-left, side-right, back-left, back-right, LFE-channel
8-15: Reserved

frame_length : 一个ADTS帧的长度包括ADTS头和AAC原始流.

adts_buffer_fullness:0x7FF 说明是码率可变的码流

ADIF结构信息

ADIF头信息位于AAC文件的起始处,接下来就是连续的 raw data blocks。

2.3 ACC数据帧解析示例

详情请看雷神的博客:ACC数据解析

三、总结

这一章主要介绍了音频原始数据和压缩数据结构类型,至于如何把原生数据编码成压缩数据,或者压缩数据解码成原生数据,可以使用开源ffmpeg框架进行编解码,在这也可以给大家看一下大致流程。

版权声明:该文观点仅代表作者本人。处理文章:请发送邮件至 三1五14八八95#扣扣.com 举报,一经查实,本站将立刻删除。