韧性硬化材料裂纹扩展分形运动学

Size: px

Start display at page:

Download "韧性硬化材料裂纹扩展分形运动学"

遇权奚
5 years ago
Views:

1 NCMMSC2015 中国天津 2015 年 10 月跨信道说话人识别语音库的设计与研究李琳, 万丽虹, 黄玲, 洪青阳 ( 厦门大学信息科学与技术学院, 厦门,361005) 文摘 : 建立一个适合于特定说话人识别系统的汉语语音数据库, 对推动说话人识别技术的研究和应用具有重要意义本文针对说话人识别中信道差异问题, 设计并建立了跨信道说话人识别语音库 XMU-MultiChannel 本文首先分析比较了国内外现有的说话人识别语音库, 设计了跨信道说话人识别语音库的语料内容采集系统录音方案以及标注和存储方式, 进一步基于这个数据库实现了 PLDA 参数更新的跨域迁移策略, 以解决小样本信道 PLDA 建模的困难, 并在语音样本有限的前提下提高了说话人识别系统的识别性能关键词 : 语音数据库 ; 说话人识别 ; 跨信道 ; 跨域迁移中图分类号 :TN 随着说话人识别技术的突飞猛进, 目前在限定条件 ( 特定环境 / 信道 / 人数 ) 下的识别已经可以获得比较满意的结果但是现有的说话人识别系统仍存在许多困难, 例如 :1) 信道不匹配问题 ; 2) 背景噪声问题 ;3) 短时语音识别问题 ;4) 说话人情感健康状况的变化对语音产生的影响等等这些问题对说话人识别系统的性能干扰都非常显著本文针对跨信道研究的需要, 设计和建立跨信道说话人识别语音库跨信道问题是由于语音的传输过程中信道或者采集设备会对说话人的语音产生不同程度的畸变, 在很多实际应用领域是无法避免的, 如国防侦听水声通信司法鉴定的过程中, 采集语音信息所使用的设备往往是不可控的 ; 对于通话信道而言, 模电转换压缩编码传输错误丢包弃包等都会使语音产生变化, 如当前国内的电话网络中包括 GSM CDMA TD-SCDMA 等通信协议, 也有 PSTN IP 电话等固定电话传输信道, 还包括当下越来越多的类似 Skype Google Voice 产品之类的互联网语音应用不同的终端, 不同的接入方式以及噪声等对声音尤其是说话人的正确识别产生影响 [1] 要研究跨信道问题就需要大量语音数据, 所以对跨信道说话人识别语音库建设的要求非常迫切 1 说话人识别语音库的现状国际上非常重视语音库的建设, 均投入大量人力财力建设相应的语音库美国的 LDC(Linguistic Data Consotium), 欧洲的 ELRA(Euopean Language Resouces Association) 以及美国的 OGI(Oegon Gaduate Institute) [2,3] 均是长期致力于语言相关资源的大规模开发和共享的主要组织和机构 LDC 于 1992 年建立, 它开发的 TIMIT 语音库包含有 630 名美式英语说话人 ( 男性 438 人 / 女性 192 人 ), 每人 10 句话, 是最早应用于说话人识别研究的语音库之一 TIMIT 同时包含有一系列经过二次处理的派生语音库, 例如 FFMTIMIT( 较远距离麦克风录制 ) NTIMIT( 通过长途电话网传输后录制 ) CTIMIT( 通过移动通信网传输后录制 ) HTIMIT( 直接通过固定电话录制 ) 等 LDC 开发的 Switchboad I-II 语音库分别包含了 543 人和 657 人的电话对话, 可用于说话人识别辨认和确认研究此外,LDC 还发布了第一个大容量高质量的语音库 YOHO 语音库, 专门用于政府门禁安全控制应用 LDC 中还收录了 KING 语音数据库,King 语音数据库是于 1987 年由国际电话和电报公司 --ITT 依据美国政府的研究合同收集整理 [2] 1992 年, 对 KING 语音数据库的原始数据重新加工得到后来的 KING-92 语音数据库语音数据库 KING 由 51 名男性说话者通过两种不同的信道采集而成 : 一个信道是各种各样的电话, 另一个是高质量的麦克风这 51 名说话者被进一步分成两组, 并被安排在不同的位置录制每个说话者通过每种信道采集 10 段语音, 每段大约持续 30 秒到 60 秒的时间 ELRA 开发的 SIVA 电话语音库是专门针对意大利语说话人识别的, 它通过公用电话交换网录制了 671 人 ( 男性 335 人 / 女性 336 人 ) 的超过 2000 次的电话语音 [2,5] Polyva 是由 ELRA 发布的一个说话人确认的法语电话语音数据库, 说话人主要是瑞士人和法国人 [2] 录音内容包括一些朗读和自然语音, 大概有 160 个小时的语音其中 31 个说话者进行了 2~9 次通话,41 个说话者进行了 10 次以上的通话 Polycost 语音数据库是 ELRA 在开展欧洲 cost250 项目中创建的,

用于说话人确认 [2,6], 该语音库包含了 134 名欧洲人 ( 男性 74 人 / 女性 59 人 ) 的英语电话录音 OGI 开发的 CSLU Speake Recognition 语音库是面向大容量文本相关 / 文本无关的说话人鉴别和确认应用 [2,4] 在两年内采集了 500 名说话人, 每人至少 12 次通话, 分别在安静或嘈杂的环境中使用不同的电话进行通话, 如无绳电话移动电话

2 用于说话人确认 [2,6], 该语音库包含了 134 名欧洲人 ( 男性 74 人 / 女性 59 人 ) 的英语电话录音 OGI 开发的 CSLU Speake Recognition 语音库是面向大容量文本相关 / 文本无关的说话人鉴别和确认应用 [2,4] 在两年内采集了 500 名说话人, 每人至少 12 次通话, 分别在安静或嘈杂的环境中使用不同的电话进行通话, 如无绳电话移动电话付费电话等此外, 西班牙的 Politenica 大学建立了麦克风和电话双信道的西班牙语音库 AHUMADA [3,7] 值得一提的是, 该语音库特别考虑了导致说话人语音变化的自身因素 ( 如年龄, 说话方式, 口音等 ) 及外在因素 ( 麦克风, 传输信道, 回声等 ), 进行数据采集和语音文本的设计近年来, 国内建成的语音语料库也很多例如中国科技大学中国科学院声学研究所中国社会科学院语言研究所联合开发的汉语语音识别资料库 ; 中国社会科学院语言所开发的现代汉语自然口语语料库自然对话语料库现代汉语方言自然口语语料库 ; 中国科学院自动化所开发的旅游咨询口语对话语料库和旅馆预定口语对话语料库 ; 香港大学和香港理工大学联合开发的香港广州话语音资料库 ; 在汉语说话人识别领域应用较为广泛的 863 中文语音数据库 [8] 等等跨信道问题, 一直是说话人识别领域一个非常重要的课题之一 NIST 近年数据和 LDC 的许多专用数据库也都包括了不同场景不同信道下的语音样本浙江大学计算机学院录制的面向移动环境的 SRMC [9] 语音数据库和北京理工大学的 IT-Mobilespeech 和 IT-MobileTalk [10] 语音数据库增加了手机和 pad 的接入方式录音但目前绝大部分语音库还停留在麦克风和固定电话两种录入方式鉴于此, 我们设计和建立了多路跨信道说话人识别语音库 XMU-MultiChannel 短文和确定主题问答式对话四大部分个人信息包括姓名性别年龄籍贯学院年级学号爱好共 8 项 ; 数字串为录音人根据系统随机产生的 3 个数字串, 每串用汉语读六遍, 即 18 项, 一个数字串由 10 位数组成 ; 短文部分共有 20 篇, 每篇 200 字左右, 每个录音人根据系统随机选的一篇短文, 用汉语读一遍 ; 确定主题问答式对话部分共有 10 个确定主题的话题, 系统随机给出 1 个话题, 要求一个录音工作人员根据话题对录音人提出多个问题, 而录音人对每个问题都加以简要说明, 采用一问一答的形式, 时间至少为 1 分钟 2.2 采集系统录音设备包括两台装有 Skype 软件和 PoweGamo 录音软件的电脑, 其中一台电脑装有 Steinbeg Cubase 5 录音软件一个直式会议麦克风一个头戴式耳麦一个入耳式耳麦一支录音笔一部普通电话机二部手机 ( 一部为 GSM 网三星手机, 一部为 CDMA 网中兴手机 ) 一个 Modem 调制解调器 ( 带有电话录音软件 ) 该采集系统的采样率为 44.1KHZ, 精度为 16bits, 每个说话人采集的语音时长为 3~4 分钟录音过程中, 系统同时采集 8 种接入方式下的语音, 第一路为会议话筒, 第二路为入耳式耳麦, 第三路为头戴式耳麦, 第四路为 CDMA 网手机打入 GSM 网手机, 第五路由网络即时语音沟通工具软件 Skype 拨打一个 CDMA 网手机号码, 第六路由 Skype 拨打固定电话, 第七路由录音笔录入, 第八路由语音聊天软件 YY 语音录入, 整个录音过程的接入和输出方式如图 1 所示 : 2 跨信道说话人识别语音库的建设 2.1 跨信道说话人识别语料设计语音库的构建首先要从语料文本的设计入手, 设计语料文本是一项高技巧的工作, 包括语音库的完备性和自然性语音库的完备性要求 [11] 是指, 语音库要符合语言的概率模型, 在保证文本真实性和口话自然度的前提下, 用尽可能少的语句来覆盖所有的汉语发音现象除了语音库的完备性, 我们还要考虑语料的自然性对话方式的语音是人类进行语言表述最自然的方式, 它将包括篇章语音之外的一些语言和语音现象, 如 : 情绪心理变化对语音音调产生的影响, 多发性的儿化音, 口语化的语助词等因此, 我们按照汉语的口语习惯设计了跨信道说话人识别语料文本, 包括 : 个人信息数字串图 1 录音接入图在进行语音信号处理之前, 首先需要进行语音库的录制和建立本文设计了一个语音录制系统, 其整体的运行界面如下所示 : 图 2 初始化界面

图 3 语音录制第一部分界面和非正常停顿造成的长时静音等对于错误严重的录音文件, 必要时可以请求说话人重新补录 2.4 语音文件的命名和存储规则录音数据是单声道的, 其采样频率为 44.

wav, 共有 8 个信道, 用 01 表示直式耳麦, 02 表示入耳式耳麦, 03 表示耳挂式耳麦, 04 表示移动手机打移动手机, 05 表示 Skype 打天翼手机, 06 表示天翼手机打固定电话, 07 表示录音笔, 08 表示 Skype 打 Skype 例如,huangl_female_01_2012_152012.

3 录音过程跨信道说话人识别语音库的说话人共有 100 名, 为厦门大学在校本科生和研究生, 来自全国各个省市, 年龄介于 19~ 25 岁之间, 男女比例为 6:4 所有录音均在同一间安静的办公室 ( 6m*5m ) 内进行的录音要求为 : 在自然放松的条件下, 用正常语速和语调的普通话说出指定的语料录音前, 先让录音人填写录音人登记表, 录音人登记表包括录音时间姓名保存文件名年龄

3 图 3 语音录制第一部分界面和非正常停顿造成的长时静音等对于错误严重的录音文件, 必要时可以请求说话人重新补录 2.4 语音文件的命名和存储规则录音数据是单声道的, 其采样频率为 44.1KHz, 量化精度为 16bits, 保存格式为 PCM 方式的 wav 文件每个说话人录的四个部分 ( 自我介绍, 数字部分, 短文部分, 对话部分 ) 的语音直接保存在一个 wav 文件中, 每个部分间由静音隔开为了便于语音库的管理和数据共享, 语音库的目录结构设计如图 6 所示语音文件的命名规则是说话人姓名 _ 性别 _ 信道编号 _ 年 _ 时间.wav, 共有 8 个信道, 用 01 表示直式耳麦, 02 表示入耳式耳麦, 03 表示耳挂式耳麦, 04 表示移动手机打移动手机, 05 表示 Skype 打天翼手机, 06 表示天翼手机打固定电话, 07 表示录音笔, 08 表示 Skype 打 Skype 例如,huangl_female_01_2012_ wav 表示女性 huangl 在 2012 年 15 点 20 分 12 秒录的直式耳麦信道的语音文件图 4 语音录制第二部分界面图 5 语音录制第三部分界面 2.3 录音过程跨信道说话人识别语音库的说话人共有 100 名, 为厦门大学在校本科生和研究生, 来自全国各个省市, 年龄介于 19~ 25 岁之间, 男女比例为 6:4 所有录音均在同一间安静的办公室 ( 6m*5m ) 内进行的录音要求为 : 在自然放松的条件下, 用正常语速和语调的普通话说出指定的语料录音前, 先让录音人填写录音人登记表, 录音人登记表包括录音时间姓名保存文件名年龄专业籍贯有无感冒 / 咽喉不适几项然后再请说话人熟悉语料文本和录音系统在各方面准备好后, 进入录音系统开始录音, 而旁边有专门的录音工作人员进行指导, 并在录音的第四部分和录音人进行对话每次录音后, 录音工作人员对语音文件进行人工检验, 以排除录音过程中可能出现的错误例如, 查看语音文件的完整性并剔除语音中的信号过载音段信号干扰不规则噪声 ( 例如咳嗽, 机器噪声等 ) 图 6 语音库的目录结构 2.5 语音后处理和标注如何使跨信道说话人识别语音库发挥最大的作用, 让所有的使用者能方便地共享数据, 这是建立语音库的最终目的, 也是我们必须考虑的问题后处理的目的是将录制的原始语音库变成最终可以用来共享的语音库后处理包括以下几个过程 : 1) 录音文件从录音设备向计算机传输 2) 语音数据的内容校对 3) 将不同格式的语音文件用 CoolEdit 软件统一转换成 wav 文件 4) 把同一说话人的 8 个不同信道语音文件用 CoolEdit 软件实现起止时间的同步 5) 语音标注对语音进行标注是建立语音库的后期处理加工的一个重要内容, 也是提高语音数据库质量和可用性的关键环节 [11] 语音标注利用某种可书写文本符号来说明或描述语音波形中的语言现象, 它体现了研究者对语音数据库信息的认知程度每个说话人

4 都有一个.txt 格式的标注文件, 标注的信息包括以下几个方面 :8 个语音文件名各自代表的信道类型的标注 ; 每个语音文件 4 个部分语音的起止位置的标定 ; 语音段和非语音段的划分 ; 各种突发噪声的标识 3 基于 PLDA 的跨域迁移实验目前, 采用 i-vecto 作为新的特征参数, 使用 PLDA 建模可实现较高识别效果的跨信道说话人识别但是, 当开发集的语音样本过少时, 就会严重影响 PLDA 模型的识别效果假设已知有两个数据库 A 和, 其中 A 具有丰富的数据样本, 可用于训练 PLDA 模型, 而则只有少量语音样本不足以独立训练获取对应的 PLDA 模型参数若需要对数据库进行测试, 直接采用数据库 A 训练的 PLDA 模型参数, 就存在数据不匹配问题为了解决这个问题, 本文设计了一种实验方法, 将原始数据库 A 的 PLDA 模型更新到目标数据库中假设原始数据库 A 的 PLDA 模型参数为 A, A, 目标数据库的 PLDA 模型参数为,, 矩阵 A 和描述数据库 A 和数据库所表征的说话人相关子空间, A 为 i, j 的方差矩阵, 如公式 (1) 和 (2) 所示, 采取线性加权更新的方法实现目标数据库中 PLDA 模型的参数迁移 : ( 1) A ) (1) A ( 1 (2) 为迁移后说话人相关的子空间, 为迁移后 i, j 的方差, 为迁移调节参数 4 实验结果与分析本文使用厦门天聪智能软件有限公司 [12] 提供的实网数据做为原始数据库 A, 自建的跨信道说话人识别语音库作为目标数据库其中数据库 A 包含条语音, 包含固定电话信道和麦克风信道使用数据库 A 的 2200 条电话信道的语音 ( 不分性别 ) 训练 512 维的 UM, 使用数据库 A 的条电话信道的语音 ( 不分性别 ) 训练一个 400 维的 T 矩阵, 使用数据库 A 的 6598 条电话信道和麦克风信道的语音训练原始数据库 A 的 PLDA 模型 A和 A; 使用数据语音库中的 630 条语音训练目标数据库的 PLDA 模型和使用数据库的 60 条语音数据, 数据库的 10 条语音做 taget, 共做了 600 次测试, 其中,540 次 nontaget,60 次 taget 再根据式(1) 和式 (2), 计算得到和使用这三个 PLDA 模型, 其 DET(Detection Eo Tadeoff)) 曲线比较如图 7 所示, 其最小 DCF 数值如表 1 所示 : 图 7 DET 曲线对比图其中绿线为使用数据库的 PLDA 模型和得到的 DET 曲线, 其 EER 值为 10%; 蓝线为使用数据库 A 训练的 PLDA 模型 A 和 A 得到的 DET 曲线, 其 EER 值为 30%; 红线为使用迁移得到的 PLDA 模型和得到的 DET 曲线, 其 EER 值为 7% 表 1 mindcf 数值对比表使用 A和 A 使用和使用和通过比较图 7 中三条曲线的 EER 值和表 1 中的 mindcf 值, 可以发现, 使用迁移后的 PLDA 模型和可以获得更好的识别效果, 使用和获得的识别效果不是很理想, 是由于目标数据库数据有限, 训练得到的 PLDA 的模型不能很好的表征说话人的语音特征 ; 而使用 A 和 A效果最差, 是由于训练 PLDA 的数据库和的数据库数据不匹配而和是通过迁移得到的, 融合了 A A 和各自的优点, 具有更好的识别效果 5 总结本文首先介绍了跨信道说话人识别语音库 XMU-MultiChannel 的建设, 这个语音库含有 100 个说话人, 每个说话人包含 8 个信道的语音, 含有丰富的信道信息为验证语音库 XMU-MultiChannel 的有效性, 本文实现了基于 PLDA 跨域迁移的说话人识别实验, 使用大样本数据库训练的 PLDA 模型参数与小样本数据库 XMU-MultiChannel 训练的 PLDA 模型参数, 融合得到新的 PLDA 模型参数, 以提高基于跨信道小样本数据库的说话人识别性能

5 参考文献 [1] 王蕴红. 863 申请项目报告 [R] [2] Joseph P. Campbell. J. and Douglas A. Reynolds. Copoa fo the evalution of speake ecognition systems[c]. Acoustics, Speech and Signal Pocessing, 1999, 2: [3] Hakan Melin. Databases Fo Speake Recognition[C]. Activities In Cost250 Woking Goup 2, [4] Cole R. Noel M, Noel V. The CSLU speake ecognition copus[c], Acoustics, Speech and Signal Pocessing, 1998, [5] Falcone M, Gallo. The SIVA speech database fo speake veification: desciption and evaluation[c], Acoustics, Speech and Signal Pocessing, 1996, [6] J. Hennebet, H. Melin, D. Petovska, etal. POLYCOST: A telephone-speech database fo speake ecognition[j]. Speech Communication 2000, 31: Maeo-Aguia, AHUMADA: A lage speech copus in Spanish fo speake chaacteization and identification[j], Speech Communication, 2000, 31: [8] 周昊郎, 王岚, 吴玺宏, 迟惠生. 一个面向说话人识别的汉语语音数据库. xihong.pdf,2002. [9] 杨莹春, 颜时锋, 吴朝晖, 桑立锋. 面向移动互联环境的说话人识别语音库 SRMC[C]. 第七届全国人机语音通讯学术会议, 2003, [10] 尹安容, 黄石磊, 李代松, 陈嘉, 谢湘. 基于电信网络说话人识别语音库的设计和实现 [C]. 第八届全国人机语音通讯学术会议,2005, [11] 王侠, 吴及, 肖熙, 王作英. 关于语音库建设若干问题的讨论 [C]. 第六届全国人语音通讯学术会议, [12] [7] Javie Otega-Gacia, Joaquin Gonzalez-Rodiguez, Victoia The Design and Reseach of Coss-channel Speake Recognition Database Lin Li, Lihong Wan, Ling Huang, Qingyang Hong School of Infomation Science and Technology, Xiamen Univesity, Xiamen , China qyhong@xmu.edu.cn Abstact: The establishment of a Chinese speech database has a geat significance in pomoting the eseach and application of speake ecognition technology. This pape designs a coss-channel speech database XMU-MultiChannel fo the eseach of channel mismatch in speake ecognition. Afte compaison of existing domestic and intenational speake ecognition speech database, this pape has a discussion on ecoding pogam, acquisition system, ecoding content, labeling and stoage. ased on ou designed XMU-MultiChannel database, a coss-domain tansfe stategy expeiment of PLDA was implemented. As a esult, the difficulties fo small samples to tain the PLDA model could be esolved. Key wods: speech database; speake ecognition; coss-channel; coss-domain tansfe

上海科技大学上海科技大学上海科技大学上海科技大学上海科技大学上海科技大学上海科技大学 20142

上海科技大学上海科技大学上海科技大学上海科技大学上海科技大学上海科技大学上海科技大学 20142 单位名称学号上海科技大学 201428001407001 上海科技大学 201428001407017 上海科技大学 201428001436058 上海科技大学 201428001436059 上海科技大学 201428001436061 上海科技大学 201428001436065 上海科技大学 201428001436066 上海科技大学 201428001436069 上海科技大学 201428001436070