音色：

Size: px

Start display at page:

Download "音色："

玖篱茹
7 years ago
Views:

1 英语自动打分研究 Automatic Scoring for English Utterances (CSLT-TRP ) 胡博 (Bo Hu) 2014/11/20 CSLT, RIIT, Tsinghua Univ. Pachira Ltd.

2 1. 背景简介英语口语评价的通用打分技术通用打分模型训练英语口语评价的对比打分技术节奏打分音调打分音色打分基于 MFCC+GMM 的音色打分方法基于共振峰的音色打分方法总结 A.1 代码库 : A.2 通用打分方法 A.3 对比打分方法 A3.1 音调, 节奏和共振峰音色打分方法... 13

3 1. 背景简介随着计算机技术的发展, 计算机辅助教学已成为现代教育技术在教育领域运用的一个重要方面越来越多的学习软件已经在帮助人们学习外语计算机丰富的图形图像声音处理功能有力的促进了人们的语言学习效果但是目前很多计算机辅助语言学习软件都主要关注语言的文字应用能力和语音理解能力的训练, 却很少关注语音的口头表达能力训练口语学习主要表现在发音的学习上而语音技术的不断成熟则为辅助学习者发音提供可能, 广阔的语言学习市场正吸引着众多的开发商投入到语音技术 / 语音识别技术研制语言教学产品中来本研究关注对英语发音学习过程中的口语发音评分技术当前主流的口语打分系统分为通用打分系统和对比打分系统两种通用打分系统不提供标准发音, 直接测试发音人的发音标准程度, 因而依赖一个背景标准发音模型 ; 对比打分系统提供标准发音, 发音人一标准发音进行模仿, 系统评价发音人发音与标准发音的相似程度通用打分系统一般包括声音信号的预处理和特征提取基于标准发音库的统计模型建模基于统计模型的发音对齐与概率计算, 最后将所得概率归一成 0-1 之间的标准打分传统通用打分系统一般基于 HMM-GMM 模型, 分数归一可以使用 sigmoid 函数对比打分系统一般包括模板收集, 语音信号预处理与特征提

4 取, 基于模板的信号对齐等三个模块对齐方法一般采用动态规划算法, 如 DTW 近来通常采用基于 HMM-MAP 的统计模型方法对模板建立简单的 HMM 模型, 再通过计算测试语音在该模型上的概率值得到对比分数本质上, 通用打分和对比打分并没有明显分界, 对齐打分可以看做是通用打分在训练语料极度稀缺条件下的近似然而在实际应用中, 因为对齐打分可供对比的模板有限, 难以生成复杂的概率模型, 因而一般采用近似的模板直接匹配 (DTW) 或模型自适应 (HMM-MAP) 方法本文对口语评测中的通用打分和对比打分技术进行细致的研究首先我们研究基于深度神经网络的通用打分技术通过用大规模标准发音的预料库训练的深度神经网络, 我们得到每一语音帧的后验概率向量, 近而形成整句发音的后验概率谱通过计算正确发音音素串在该后验概率谱上的概率值分布特征, 得到精确的通用打分同时, 我们研究适用于跟读的对比打分技术传统对比打分使用 MFCC 等标准语音特征进行匹配度计算由于 MFCC 特征包含信道噪音口音情绪等多种因素, 得到的打分不仅受噪音的影响显著, 且很难对发音的语调韵律音色等进行精细刻画本文研究将发音的音调节奏音色进行区分性打分的技术, 同时研究噪音鲁棒性特征的提取方法, 对比不同特征的贡献

5 2. 英语口语评价的通用打分技术通用打分依拉于一个标准发音模型传统发音模型多基于 HMM-GMM 框架, 属于产生式模型, 容易受噪音影响通用打分的目的在于计算某一发音对标准发音的距离, 使其距离正确发音尽可能近, 而距离错误发音尽可能远, 因而本质上是对不同发音进行区分, 因此更适合用区分性模型进行建模本研究中, 我们采用 DNN 模型进行声学建模, 该模型的输入为一个语音帧, 输出为该语音帧对不同发音 ( 包括噪音 ) 的相似程度 ( 后验概率 ) 在打分过程中, 语音信号与标准发音的音素通过 Viterbi 算法对齐, 即可计算出该语音与 DNN 模型的匹配程度实际处理中, 单纯 DNN 的得分是所有语音帧的平均分值, 难以衡量每个单词的具体匹配程度同时, 对语音帧进行简单平均会丢失大量匹配信息, 因此我们对 DNN 对各帧的打分计算各种不同的统计量, 特别是计算每个音素的平均分值和这些分值的分布数据, 形成多维特征, 并将这些特征进行区分性建模, 得到最后的打分本文选择 MLP 作为区分性建模方法 2.1 DNN 模型训练我们选择 wsj 数据库进行标准英文发音建模该数据库含有约 100 小时的英文朗读语料, 男女各约 10 人声音采样由麦克风

6 完成, 采样率为 16k 赫兹, 采样精度为 16 bit. 基于 kaldi 工具, 我们首先建立一个基于 MFCC 的 GMM 模型, 进而训练一个输入为 40 维 FBank 特征, 输出为 4000 个音素状态的 DNN 模型模型训练采用 SGD 算法, 价差熵作为训练目标函数 2.2 通用打分模型训练打分模型目的在于对实际场景中的输入语音进行打分, 因此需要训练一个区分性模型来对 DNN 的输出进行分值计算如前所述, 我们计算 DNN 的分值统计量, 形成高维特征向量我们采用区间分布概率作为主要的特征具体而言, 我们将语音帧和音素对齐, 并依据对齐结果得到每个语音帧的 DNN 分值将每个语音帧的 DNN 分值归入均分的 8 个概率值区间, 计算每个区间分布的语音帧比例, 得到 8 维特征这些特征作为输入, 将该句的认为评定打分作为输出, 即得到 MLP 的一个训练样本本文中, 我们采用 5 个档次的分值标注 (1-5), 每一分值收集约 1500 句训练语音进行人工标注, 依上所述构造训练样本, 训练得到 MLP 模型作为打分模型上述方法可以很容易扩展到单词打分, 即对单词内的语音帧分布

7 进行统计, 依次对整句打分进行调整得到单词打分 3. 英语口语评价的对比打分技术对比打分计算待测试句子与标准发音句子的相似程度, 并归一化为打分值由于句子相似度的概念相对模糊, 我们将打分分为三个方面 : 节奏打分, 音调打分与音色打分我们首先采集了一个训练集和测试集先选定一个文本集, 对其中每个文本, 每个说话人朗读至少 2 遍, 将同一个人的同一句子为相似, 不同人的相同句子标为不相似 3.1 节奏打分节奏描述发音过程中的发音长度变化, 即每个音素发音长短的相关性我们采用线性模型来描述两句话之间的节奏关系首先对待测语音和标准语音利用通用打分技术进行音素对齐, 得到每个音素的时间长度设句子中共含有 N 个音素 ( 注意待测语音和标准语音的音素个数相等 ), 将每句话的音素长度作为一个随机变量, 计算待测语音音素长度与标准语音音素长度的线性相关性

设标准语音音素长度变量 x, 待测语音音素长度变量为 y, 并假设两者符合线性关系 : y = a x + b 因为句子中有 N 个音素, 我们可以通过 N 个 (x,y) 的采样点来估计上面线性模型中的 a,b 同时, 我们可以计算 y 与 x 的相关系数 c, 对应于上面线性模型的残差显然,a,b,c 这三个变量与 x,y 的相似度直接相关, 可以用来计算语音的节奏得分图 (1)

8 设标准语音音素长度变量 x, 待测语音音素长度变量为 y, 并假设两者符合线性关系 : y = a x + b 因为句子中有 N 个音素, 我们可以通过 N 个 (x,y) 的采样点来估计上面线性模型中的 a,b 同时, 我们可以计算 y 与 x 的相关系数 c, 对应于上面线性模型的残差显然,a,b,c 这三个变量与 x,y 的相似度直接相关, 可以用来计算语音的节奏得分图 (1) 给出了基于相关系数 c 的分布图选取测试语音与标准语音为同一人进行相关系数计算, 给出的相关系数分布如左图所示 ; 选取测试语音与标准语音为不同人进行相关系数计算, 给出的相关系数分布如右图所示可以看到, 相同说话人得到相关系数统计上明显高于不同说话人, 证明相关系数在区分说话人方面具有显著性当考虑 a,b,c 三个特征向量的时候, 我们采用 MLP 作为归一化模型, 将三个特征向量归一化为 0-1 之间的打分相同人相同文本语音不同人相同文本语音

9 图 (1). 基于节奏的同一说话人与不同说话人的相关系数分布 3.2 音调打分音调描述发音的基频随时间变化的规律我们采用同节奏打分相似的方法, 提取不同音素的基频, 并计算测试语音与标准语音的线性相关性模型, 提取特征参数 a,b,c 进行 MLP 建模考虑到发音的变化以及辅音的基频不清晰情况, 我们在线性模型建模中不计入辅音根据通用打分技术生产的音素对齐结果, 将每一个元音音素平均分为 3 段, 分别计算这 3 段语音的基频平均值, 从而得到整句话的基频向量图 (2) 给出相同说话人与不同说话人基于基频的相关系数分布我们看到基频的相关系数对不同说话人具有明显的区分性同样, 当考虑 a,b,c 三个特征向量时, 我们采用 MLP 模型来对打分进行归一相同人相同文本不同人相同文本的语音图 (2). 基于基频的同一说话人与不同说话人的相关系数分布

10 3.3 音色打分音色是描述说话人发音特质的变量音色具有模糊性, 广义的音色包括节奏和音调, 狭义的音色与声音中共振峰的分布相关性更强特别是, 我们认为音色更关注静态相似性, 这点与节奏和音调更强调变量的变化相关性有所差别因此, 我们选择静态模型来对音色进行打分我们的音色打分分为两种方法 : 第一种方法借鉴说话人识别方法, 用 GMM 模型进行打分这一方法忽略语序 (GMM 模型不考虑语音帧的前后顺序 ), 因此不需要音素对齐由于模型采用 MFCC 基础特征, 受信道和噪声影响较大第二种方法显式提取基频和共振峰位置和强度信息, 将其在两个发音序列上的差异作为特征向量进行 MLP 建模, 从而预测音色差异由于基频和共振峰等和说话人相关的信息被显式提取出来, 这一方法较基于 MFCC 的 GMM 模型具有更强的抗噪声能力另一方面, 由于将基频和共振峰的差异作为特征, 因而该方法和发音内容及顺序相关, 需要进行音素对齐基于 MFCC+GMM 的音色打分方法我们首先基于一个较大规模的语料库 (wsj) 训练得到一个通用混

11 合高斯模型 UBM 对标准语音, 通过 MAP 方法对 UBM 进行训练, 得到标准说话人模型 GMM 对待测语音, 将其分别在 UBM 和 GMM 上计算概率, 最后计算两者的比值, 比值越大说明越接近通过一个 sigmoid 函数, 可以将该比值归一化为音色打分基于共振峰的音色打分方法将语音通过频谱分析计算每一帧语音的基频和共振峰, 得到 10 维共振峰值根据通用打分技术得到的音素对齐结果, 将共振峰值以音素为单位进行时间平均, 得到整句话的音素共振峰分布将对比打分的两句话对应的元音音素求共振峰向量的距离, 进而平均得到整句话的共振峰距离注意, 因辅音音素的共振峰不明显, 故在计算距离时不予考虑根据距离大小可以判定两句话的音色相似度, 距离越小音色越相近根据相关性分析, 频谱的前 4 个峰值的频谱距离相关性最大, 所以实验中选择前 4 维峰值作为计算距离的向量图 (3) 给出相同人和不同人的语音共振峰距离分布可以看到, 相同人的共振峰距离要小于不同人的共振峰距离, 分布具有明显区分性

相同人相同文本语音不同人相同文本的语音图 (3). 基于共振峰距离的同一说话人与不同说话人的相关系数分布 4. 总结本文详述了基于 DNN 和区分性建模的英文口语打分技术, 特别是提出基于 DNN 帧分值统计特性的打分技术和基于 MLP 的特征融合技术实验表明该方法可以有效提高打分性能, 并可提供多角度的打分值附件 A: A.

12 相同人相同文本语音不同人相同文本的语音图 (3). 基于共振峰距离的同一说话人与不同说话人的相关系数分布 4. 总结本文详述了基于 DNN 和区分性建模的英文口语打分技术, 特别是提出基于 DNN 帧分值统计特性的打分技术和基于 MLP 的特征融合技术实验表明该方法可以有效提高打分性能, 并可提供多角度的打分值附件 A: A.1 代码库 : git clone git@ :speech/pingce.git A.2 通用打分方法 a) 安装 :cd pingce/linux;./install.sh b) 生成可持行文件 : cd linux_rhythm; cp../pachira_score/lib/libpachira_score.so.; make

13 c) 打分 :./score_stream <scp file>, 结果显示到单词长度及打分, 以及整句话打分 scp file 文件格式为 : sample.wav Today I want to tell you three stories from my life sample.fea 其中第一个之前为音频, 两个之间为音频对应的文本, 第二个之后为对齐特征文件 ( 注意 : 第一个之前不能有空格, 第二个之后不能有空格 ), 为了计算音调, 音色, 节奏使用 A.3 对比打分方法 A3.1 音调, 节奏和共振峰音色打分方法 a) cd pingce/compare_demo;./install.sh b) cd demo;./run.sh demo.sh 中接收两个对比音频文件及其相应的音素对齐文件打分显示为 pitch_score 为音调打分 rhythm_phone_score 为以音素为单位的节奏打分 rhythm_word_score 为以单词为单位的节奏打分

14 harmonic_score 为基于共振峰的音色打分 A.3.2 GMM-MAP 的音色打分方法 a) cd pingce/compare_demo/gmm; make, b)./gmm-score model/final.dubm../1.wav../2.wav

!"# $%& %!"# $%& %!"#$%& %! ( )%% ) $)! ++),, -)+.* )( ) +, +.)+..**! )$,*)+$))$!"!#

!# $%& %!# $%& %!#$%& %! ( )***%% ) $)! +**+),,* -)+.* )( ) +, +*.*)+..**! )$,*)+$))$!!# !"#$%& % ( % )& (% ( % (( )( !"# $%& %!"# $%& %!"#$%& %! ( )***%% ) $)! +**+),,* -)+.* )( ) +, +*.*)+..**! )$,*)+$))$!"!# !"#$%& %!! "! # " $ # % & & ( ) *!+ !"#$%& % ( (*( (*+ "#$% $%%"# (*, (*% + +*(