testkuaibao|软件测试自学公众号
一、引言
小编新接触语音SDK项目，SDK无UI、底层调用多个C++算法库、提供的是AI服务。语音AI项目，识别效果是至关重要的一环，识别效果评测也是一项测试重点。为了制定一个专业、全面的效果评测的方案，小编学习了相关知识，对方案制定有了初步思路。希望对测试小伙伴有所帮助~~(●—●)
二、ASR流程、系统结构、评测指标及评测模型
1、语音识别(Automatic Speech Recognition，ASR)
语音识别，也被称自动语音识别，所要解决的问题是让机器能够“听懂”人类的语音，将语音中包含的文字信息“提取”出来，相当于给机器安装上“耳朵”，使其具备“能听”的功能。
语音识别是一门涉及面很广的交叉学科，它与声学、语音学、语言学、信息理论、模式识别理论以及神经生物学等学科都有非常密切的关系。语音识别的目标是将人类的语音内容转换为相应的文字。
2、语音识别基本流程、系统结构
语音识别原理的4个基本流程：“输入——编码——解码——输出”
语音识别系统本质上是一种模式识别系统，主要包括信号处理和特征提取、声学模型(AM)、语言模型(LM)和解码搜索四部分。
3、ASR评测模型
评测模型，各家评测模型殊途同归。下图参考为例：
首先要有测试的数据集，测试的数据集也是有一段音频和标注。标注的就是标注音频内容，说的是什么。注意：评测的数据集和训练的数据集是严格隔离的。
准备好数据集后，SDK读取数据集中的音频(批量评测)，每条音频都严格按照待识别效果评测模块的实际逻辑流程，得到每条音频的识别结果，最后得到这个数据集的指标衡量的统计结果。
4、语音识别(ASR)评测指标
语音识别(ASR)评测指标：WER(字错误率)和SER(句错误率)
(1). WER 字错误率
为了使识别出来的词序列和标准的词序列之间保持一致，需要进行替换、删除或者插入某些词，这些插入、替换或删除的词的总个数，除以标准的词序列中词的总个数的百分比，即为WER。
公式为：
Substitution——替换(错误识别)
Deletion——删除(漏识别)
Insertion——插入(多识别)
N——单词数目(标注中含有字数总和)
结果比较示例：
比如下图是某个小功能需求更换模型参数识别效果评测，其中一个测试集的WER统计。
(2). SER句错误率
SER表述为句子中如果有一个词识别错误，那么这个句子被认为识别错误。ASR句子识别错误的个数，除以音频中句子总数即为SER
其计算公式如下所示：
三、ASR评测影响因素
1、语⾳识别准确率影响因素
影响到准确率的因素逐渐增多，其中主要因素有以下几种：
(1). 说话人的口音、多语种混合识别(Code-switching,如中英混合等)等问题仍对识别性能影响较大。
(2). 语音方式：目前人机对话场景下，讲话相对会收着说，吐字相对清晰，识别精度会有保证。但是自然对话场景下，断断续续(停顿造成的断句错误)、吞音、咬字不清、语速快慢等问题对识别效果有影响。
(3). 语音场景(环境)：语音识别近讲、远讲场景，环境噪音、混响等问题对识别效果影响很大。
(4). 识别领域：针对特定场景，需要预先对语言模型进行优化，确保领域内的专有名词，语言习惯都能够正确识别。
上述四项中，前三项与声学模型相关，第四项与语言模型有关。
2、语⾳识别评测影响因素
(1). 声音来源(人声 录音声 广播声 耳机 麦克风 单/双通道/立体声)
(2). 语种分类(普通话 方言 英语 小语种 混合语言)
(3). 语音内容/领域(日常话语 非日常话语)【不同行业 不同场景】
(4). 音色(男音 女音)【不同年龄段的男/女音：儿童 少年 中年 老年】
(5). 环境(室内 室外 公共场所 安静 嘈杂 回音)
(6). 音量(分贝值大 小 时大时小)
(7). 语音方式(哼唱 断断续续 正常说话 咬字不清)
(8). 语速(快 中等 慢 时快时慢)
(9). 录入语音时长(0秒 1秒 1分钟内 >1分钟)
(10).对话方式(间隔 连续 单人 多人)
(11).特殊发音(比如普通话中sh与s ping与pin l与n f与h)
四、ASR评测方案制定
评测方案具体设计流程
(1). 了解业务逻辑、实现流程，和针对具体评测项目的主流方法；
(2). 设计专项评测方案；
(3). 组内根据方案设计文档进行讨论、补充；与相关项目组成员组会沟通，确保所有内容的认知达成一致，且对评测方案认可通过；
(4). 完成专项评测方案，并撰写评测报告；
(5). 根据需求变更或者版本变更定期更新维护专项评测。
1、ASR评测方案设计——确定测试场景(简单举例)
考虑评测的各种影响因素，需要先确定某些维度(下例)，制定一个测试场景评测：
确定：语种分类(普通话)、声音来源(人声录音)、对话方式(单人)、语音内容(日常话语)、音色(青年女音)、语音方式(正常说话)、语速(中等)、录入语音时长(2分钟)
距离 声源和麦克风之间的距离
角度 声源和麦克风之间的角度
中等语速 每分钟字数大约150左右
2、ASR评测方案设计——确定测试标准(简单举例)
3、ASR评测方案设计——制备输⼊语料、选取数据集
目前现状：标注数据集，数量有限，扩充、更新慢；
数据集要反映用户的实际情况，做识别效果评测，需要更多、贴近用户的数据集；
评测集拓展：新的语料来源：自己录制；调研用户top N的数据内容类型；收集⾼频的badcase；
4、ASR评测方案执行——过程设计
小编所在项目的ASR评测需要基于语音SDK进行，具体执行方案还在修订，遇到的问题和解决方案，小编在实践总结后再总结分享~~
注：参考
https://my.oschina.net/u/4594489/blog/4441264
https://www.zhihu.com/question/53001402/answer/148537722
MTSC2019
来源:搜狗测试，如有侵权请联系删除
觉得文章不错就点个在看呗，转发就更好了
评测方案设计之用户场景设计
软件测试实用工具之手机的心电监护仪PrefDog
作为测试人员，如何理解线程同步异步
这五个新自动化测试框架，你可以了解一下
软件测试技能之查看log日志