第1章

Transcription

1 复 杂 环 境 下 说 话 人 确 认 鲁 棒 性 研 究 ( 申 请 清 华 大 学 工 学 博 士 学 位 论 文 ) 培 养 单 位 : 计 算 机 科 学 与 技 术 系 学 科 : 计 算 机 科 学 与 技 术 研 究 生 : 王 军 指 导 教 师 : 郑 方 研 究 员 二 一 五 年 四 月

2 复 杂 环 境 下 说 话 人 确 认 鲁 棒 性 研 究 王 军

3 Research on Robustness of Speaker Verification under Complicated Environments Dissertation Submitted to Tsinghua University in partial fulfillment of the requirement for the degree of Doctor of Philosophy in Computer Science and Technology by Wang Jun Dissertation Supervisor : Professor Thomas Fang Zheng April, 2015

4 关 于 学 位 论 文 使 用 授 权 的 说 明 本 人 完 全 了 解 清 华 大 学 有 关 保 留 使 用 学 位 论 文 的 规 定, 即 : 清 华 大 学 拥 有 在 著 作 权 法 规 定 范 围 内 学 位 论 文 的 使 用 权, 其 中 包 括 :(1) 已 获 学 位 的 研 究 生 必 须 按 学 校 规 定 提 交 学 位 论 文, 学 校 可 以 采 用 影 印 缩 印 或 其 他 复 制 手 段 保 存 研 究 生 上 交 的 学 位 论 文 ;(2) 为 教 学 和 科 研 目 的, 学 校 可 以 将 公 开 的 学 位 论 文 作 为 资 料 在 图 书 馆 资 料 室 等 场 所 供 校 内 师 生 阅 读, 或 在 校 园 网 上 供 校 内 师 生 浏 览 部 分 内 容 ;(3) 根 据 中 华 人 民 共 和 国 学 位 条 例 暂 行 实 施 办 法, 向 国 家 图 书 馆 报 送 可 以 公 开 的 学 位 论 文 本 人 保 证 遵 守 上 述 规 定 ( 保 密 的 论 文 在 解 密 后 遵 守 此 规 定 ) 作 者 签 名 : 导 师 签 名 : 日 期 : 日 期 :

5 摘 要 摘 要 本 文 对 说 话 人 确 认 系 统 的 鲁 棒 性 进 行 了 深 入 研 究, 论 文 主 要 工 作 包 括 : 1. 针 对 跨 信 道 问 题, 提 出 了 基 于 频 带 加 权 的 特 征 提 取 算 法, 研 究 了 其 在 不 同 数 据 集 及 基 于 i-vector 的 说 话 人 确 认 系 统 的 推 广 性 本 文 依 据 F-ratio 准 则 估 计 梅 尔 频 带 在 跨 信 道 说 话 人 确 认 任 务 中 的 频 带 区 分 度, 依 此 进 行 频 带 加 权, 得 到 修 正 的 MFCC 提 取 算 法 ; 分 析 了 F-ratio 的 区 分 性 监 督 学 习 与 i-vector 全 变 量 空 间 映 射 矩 阵 的 非 监 督 学 习 之 间 的 差 异, 采 用 LDA 区 分 性 模 型 将 F-ratio 在 特 征 域 的 说 话 人 信 息 突 显 出 来 ; 研 究 基 于 i-vector 的 说 话 人 确 认 框 架 下 F-ratio 方 法 在 不 同 数 据 集 合 下 的 可 扩 展 性 在 2008 年 NIST 核 心 评 测 集 上 的 实 验 表 明, 相 对 于 传 统 MFCC 特 征, 基 于 频 带 加 权 的 修 正 的 MFCC 特 征 在 NIST 核 心 评 测 的 8 种 测 试 条 件 下 均 有 不 同 程 度 的 提 高, 在 核 心 评 测 全 集 上 的 EER 相 对 下 降 达 12.2% 2. 提 出 了 基 于 DNN 区 分 性 训 练 的 说 话 人 确 认 方 法 本 文 首 先 研 究 了 DNN 区 分 性 训 练 数 据 集 的 筛 选 准 则 ; 提 出 采 用 i-vector 的 余 弦 度 量 和 对 应 维 度 的 幅 值 差 值 距 离 作 为 DNN 区 分 性 训 练 的 输 入, 在 说 话 人 i-vector 空 间 中 构 建 基 于 DNN 的 区 分 性 训 练 ; 最 后, 考 虑 到 区 分 式 模 型 与 产 生 式 模 型 的 互 补 性, 提 出 将 PLDA 模 型 与 基 于 DNN 区 分 性 训 练 方 法 进 行 融 合 在 2008 年 NIST 核 心 评 测 集 上 的 实 验 表 明, 相 对 于 i-vector+plda 的 基 线 系 统, 基 于 DNN 区 分 性 训 练 的 方 法 在 NIST 核 心 评 测 8 种 测 试 条 件 下 均 有 不 同 程 度 的 提 高, 在 核 心 评 测 全 集 上 的 EER 相 对 下 降 达 11.8% 3. 提 出 了 基 于 顺 序 自 适 应 的 模 型 动 态 更 新 算 法 针 对 测 试 环 境 发 生 变 化 时 说 话 人 确 认 系 统 性 能 会 大 幅 下 降 的 问 题, 提 出 了 基 于 MAP 的 GMM-UBM 顺 序 自 适 应 算 法 通 过 控 制 MAP 中 先 验 度 的 大 小, 学 习 新 环 境 下 测 试 语 音 中 包 含 的 信 道 信 息 和 说 话 人 信 息, 实 现 模 型 的 动 态 更 新 ; 进 一 步, 在 MLLR 特 征 空 间 映 射 的 基 础 上 提 出 了 基 于 fmaplr 的 特 征 空 间 连 续 自 适 应, 并 与 基 于 MAP 的 GMM- UBM 顺 序 自 适 应 相 结 合, 提 出 了 基 于 MAP-fMAPLR 的 顺 序 自 适 应 算 法 本 文 选 择 了 两 种 不 同 的 初 始 UBM, 在 CSLT-Chronos 数 据 库 上 开 展 测 试 环 境 变 化 的 模 拟 实 验 实 验 表 明, 基 于 MAP-fMAPLR 的 上 述 两 种 顺 序 自 适 应 算 法 的 EER 分 别 相 对 下 降 25.0% 与 39.0% 关 键 词 : 说 话 人 确 认 ; 鲁 棒 性 ; 频 带 加 权 ; 区 分 性 训 练 ; 顺 序 自 适 应 V

6 Abstract Abstract The focus of this dissertation is the robustness issue in speaker verification under complex environments. The major contributions are: 1. Proposed a channel-robustness feature based on the F-ratio criterion, and studied its generalization capability in the i-vector framework. The new feature reweights Fbank channels according to their discriminative information measured by the F-ratio criterion. The discrepancy between the supervised learning for F-ratio parameters and the unsupervised learning of the i-vector models was analyzed, and an LDA transform was proposed to recover the discriminative potential of the F-ratio approach. The method was comparatively studied in different recognition frameworks (GMM-UBM and the i-vector) and with different databases. The experimental results on the NIST SRE08 core test showed that the new feature outperformed the baseline MFCC feature by 12.2%. 2. Proposed a discriminative training approach based on deep neural networks (DNN) to improve i-vector-based speaker recognition. This approach casts the speaker verification task to a binary classification problem where a pair of i-vector pairs is classified into either spoken by the same speaker or by different speakers. A DNN model was employed to conduct the classification, and the dimension-wised distances are used as the discriminative features. Experimental results on the NIST SRE08 core test showed that the DNN-based method, when combined with PLDA scores, outperformed the baseline PLDA-based approach by 11.8%. 3. Proposed a sequential GMM-UBM adaptation approach based on MAP and feature MAP linear regression (fmaplr). This method is proposed to address the serious performance degradation with time-various acoustic channels. With this method, the UBM and speaker models are continuously adjusted to learn the changed speaker/channel information. In addition, a new feature-space sequential adaptation approach based on feature MAP linear regression was proposed to update features sequentially. The experiments conducted on the CSLT-Chronos database demonstrated that the proposed approach leads to a significant EER reduction with 25.0% and 39.0% respectively two mismatched conditions. Keywords: Speaker verification, Robustness, Fbank weighting, Discriminative training, Sequential adaptation VI

7 目 录 目 录 第 1 章 引 言 研 究 背 景 及 意 义 说 话 人 确 认 技 术 概 述 声 学 特 征 提 取 说 话 人 建 模 及 打 分 说 话 人 确 认 系 统 性 能 评 价 说 话 人 确 认 中 面 临 的 复 杂 环 境 问 题 说 话 人 确 认 鲁 棒 性 研 究 现 状 研 究 现 状 概 述 研 究 现 状 分 析 研 究 难 点 研 究 工 作 概 述 研 究 思 路 工 作 内 容 论 文 的 组 织 结 构 第 2 章 基 于 频 带 加 权 的 信 道 鲁 棒 特 征 提 取 本 章 引 论 研 究 问 题 问 题 分 析 研 究 思 路 背 景 回 顾 频 带 加 权 MFCC 特 征 F-ratio 准 则 i-vector 与 LDA 复 杂 信 道 下 基 于 频 带 加 权 的 特 征 提 取 复 杂 信 道 下 的 频 带 整 体 区 分 度 基 于 F-ratio 的 频 带 加 权 参 数 提 取 有 效 性 分 析 频 带 加 权 在 i-vector 系 统 中 流 程 VII

8 目 录 2.4 实 验 评 测 与 结 果 分 析 相 关 数 据 库 的 选 择 实 验 参 数 配 置 同 数 据 库 F-ratio 的 加 权 测 试 跨 数 据 库 F-ratio 的 加 权 测 试 不 同 数 据 库 提 取 的 F-ratio 参 数 比 较 小 结 第 3 章 复 杂 信 道 下 说 话 人 空 间 的 区 分 性 训 练 本 章 引 论 科 学 问 题 研 究 现 状 分 析 问 题 分 析 研 究 思 路 研 究 现 状 分 析 DNN 回 顾 说 话 人 确 认 中 的 DNN 区 分 性 训 练 数 据 集 的 设 计 基 于 i-vector 的 区 分 性 特 征 提 取 余 弦 度 量 幅 度 差 值 距 离 区 分 性 训 练 输 入 的 设 计 构 建 DNN 区 分 性 训 练 PLDA-DNN 的 融 合 PLDA 概 述 DNN 与 PLDA 的 融 合 实 验 评 测 与 结 果 分 析 相 关 数 据 库 的 选 择 实 验 配 置 与 基 线 系 统 利 用 CV 集 挑 选 DNN 输 入 维 度 不 同 隐 藏 层 数 对 DNN 区 分 性 训 练 的 影 响 基 于 DNN 区 分 性 训 练 测 试 VIII

9 目 录 DNN 与 PLDA 融 合 实 验 DNN 与 SVM 的 对 比 实 验 小 结 第 4 章 基 于 顺 序 自 适 应 的 模 型 动 态 更 新 本 章 引 论 研 究 问 题 问 题 分 析 解 决 思 路 基 于 MAP 的 通 用 背 景 模 型 的 顺 序 自 适 应 MAP 估 计 UBM 的 动 态 更 新 说 话 人 高 斯 混 合 模 型 的 自 适 应 更 新 基 于 fmaplr 的 顺 序 自 适 应 方 法 基 于 MAP-fMAPLR 顺 序 自 适 应 实 验 评 测 和 结 果 分 析 数 据 库 和 实 验 配 置 UBM 顺 序 更 新 实 验 结 果 顺 序 更 新 后 UBM 的 质 量 GMM-UBM 顺 序 更 新 实 验 结 果 fmaplr 的 顺 序 更 新 实 验 结 果 小 结 第 5 章 总 结 和 展 望 论 文 工 作 总 结 下 一 步 研 究 展 望 参 考 文 献 致 谢 声 明 个 人 简 历 在 学 期 间 发 表 的 学 术 论 文 与 研 究 成 果 IX

10 第 1 章 引 言 第 1 章 引 言 说 话 人 确 认 (Speaker Verification) 是 指 根 据 一 段 说 话 人 的 语 音, 系 统 自 动 判 [1, 断 该 语 音 是 否 与 其 所 申 明 的 说 话 人 相 符 合 的 技 术 2], 确 认 的 结 果 是 接 受 或 者 [3] 拒 绝 的 二 元 集 合 一 般 情 况 下, 说 话 人 确 认 属 于 开 集 的 (Open-Set) 范 畴, 即 任 何 一 个 说 话 人 都 可 能 登 录 该 系 统, 待 确 认 的 语 音 可 能 属 于 集 内 ( 已 预 留 模 型 的 说 话 人 ), 也 可 能 属 于 集 外 ( 未 知 说 话 人 ) 此 外, 根 据 语 音 文 本 的 固 定 与 否, 定 义 为 文 本 无 关 [3] (Text-independent) 和 文 本 相 关 (Text-dependent) [4] 考 虑 到 常 见 的 说 话 人 建 模 方 法 都 是 针 对 说 话 人 的 声 学 空 间 分 布 进 行 建 模, 文 本 相 关 的 语 音 将 极 大 提 高 建 模 的 准 确 度 [5], 系 统 性 能 也 会 更 好 基 于 此, 近 期 有 大 量 的 研 究 机 构 对 [4, 6, 文 本 相 关 的 说 话 人 确 认 开 展 了 深 入 研 究 7] 但 是 从 实 际 应 用 出 发, 说 话 人 语 言 的 交 流 更 倾 向 于 使 用 随 意 自 然 的 语 音, 文 本 无 关 的 说 话 人 确 认 应 用 更 加 广 泛 因 此, 本 文 的 研 究 对 象 是 开 集 文 本 无 关 的 说 话 人 确 认 说 话 人 确 认 技 术 在 走 向 实 际 应 用 的 过 程 中, 存 在 诸 多 困 难 和 挑 战 由 于 语 音 信 号 的 频 谱 非 常 容 易 受 到 复 杂 的 环 境 因 素 干 扰 [8] [9,, 如 信 道 差 异 10] [11] 测 试 环 境 差 异 [2, 等, 这 些 都 会 严 重 影 响 说 话 人 确 认 系 统 的 鲁 棒 性 12], 制 约 说 话 人 确 认 系 统 的 发 展 语 音 数 据 采 集 设 备 种 类 繁 多 导 致 的 设 备 信 道 差 异 ( 如 录 音 笔 头 戴 式 麦 克 风 桌 面 式 麦 克 风 手 机 固 定 电 话 等 ), 语 音 采 集 地 点 变 更 导 致 的 环 境 及 背 景 噪 音 差 异, 语 音 信 号 传 输 载 体 方 式 多 样 导 致 的 传 输 信 道 差 异 ( 如 互 联 网 全 球 移 动 通 信 系 统 GSM 扩 频 通 信 等 ) 这 些 信 道 差 异 及 环 境 变 化 都 会 造 成 语 音 信 号 的 频 谱 畸 变, 进 而 严 重 影 响 语 音 声 学 特 征 和 说 话 人 模 型 对 说 话 人 特 性 的 表 征 能 力, 造 成 测 试 语 音 声 学 特 征 与 说 话 人 模 型 在 声 学 空 间 分 布 上 的 失 配 这 种 失 配 在 很 大 程 度 上 降 低 了 说 话 人 确 认 系 统 性 能 本 文 研 究 复 杂 环 境 下 说 话 人 确 认 鲁 棒 性 论 文 从 实 际 应 用 角 度 出 发 选 择 了 复 杂 环 境 的 两 种 常 见 情 况 开 展 研 究 : 一 是 针 对 当 前 测 试 环 境, 考 虑 测 试 语 音 信 道 可 能 是 已 知 或 未 知 多 个 信 道, 测 试 语 音 信 道 与 建 模 语 音 信 道 亦 可 能 不 匹 配 ; 二 是 考 虑 说 话 人 确 认 系 统 在 长 期 应 用 中 测 试 环 境 发 生 的 变 化, 如 用 户 更 换 手 机 移 动 基 站 设 备 更 换 语 音 采 集 地 环 境 变 更 等 导 致, 这 种 环 境 发 生 变 化 后 会 保 持 一 段 相 对 长 期 稳 [13] [14] 定 的 方 式 本 文 将 分 别 从 说 话 人 确 认 的 特 征 域 和 模 型 域 入 手, 分 别 研 究 信 道 鲁 棒 的 特 征 提 取 更 具 有 区 分 能 力 的 说 话 人 建 模 方 法, 以 及 静 态 模 型 的 动 态 更 新 算 法, 目 标 是 提 高 复 杂 环 境 下 说 话 人 确 认 系 统 的 鲁 棒 性 1

11 第 1 章 引 言 本 章 的 组 织 结 构 如 下 :1.1 节 介 绍 了 复 杂 环 境 下 说 话 人 确 认 鲁 棒 性 研 究 的 背 景 及 意 义 ;1.2 节 简 要 回 顾 了 说 话 人 确 认 技 术, 介 绍 说 话 人 确 认 的 主 流 框 架 ;1.3 节 指 出 复 杂 环 境 下 说 话 人 确 认 面 临 的 困 难 和 挑 战 ;1.4 节 对 复 杂 环 境 下 说 话 人 确 认 鲁 棒 性 研 究 的 现 状 进 行 综 述 和 分 析 ;1.5 节 为 本 文 工 作 的 研 究 思 路 和 研 究 内 容 ; 最 后 是 论 文 的 组 织 结 构 1.1 研 究 背 景 及 意 义 现 代 科 学 在 信 号 处 理 机 器 学 习 并 行 计 算 等 领 域 取 得 了 令 人 瞩 目 的 巨 大 进 展 建 立 在 此 基 础 上 上 的 生 物 识 别 技 术 的 性 能 也 随 之 获 得 了 极 大 提 高, 已 广 泛 应 用 于 身 份 验 证 金 融 认 证 公 共 与 国 防 安 全 领 域 常 见 的 生 物 识 别 特 征 有 指 纹 人 脸 [15, 语 音 ( 声 纹 16] ) 虹 膜 等 在 这 些 生 物 特 征 中, 语 音 是 人 - 人 或 人 - 机 交 流 中 非 常 自 然 便 捷 的 手 段 之 一, 其 采 集 设 备 常 见 ( 手 机 电 话 麦 克 风 等 ), 并 且 借 助 于 通 讯 和 网 络 等 一 些 常 见 设 备, 轻 松 地 实 现 语 音 特 征 的 远 程 获 取 [17] 采 用 声 纹 特 征 对 说 话 人 的 身 份 进 行 验 证 具 有 广 泛 的 应 用 前 景, 尤 其 在 远 程 应 用 场 景 下, 如 互 联 网 金 融 领 域, 基 于 声 纹 特 征 的 说 话 人 确 认 有 其 独 特 的 优 势 [18] 从 市 场 需 求 出 发, 说 话 人 确 认 已 广 泛 应 用 于 公 安 银 行 互 联 网 应 用 等 多 个 领 域 在 公 共 与 国 防 安 全 领 域, 说 话 人 确 认 应 用 在 对 热 点 地 区 的 互 联 网 及 电 话 语 音 的 监 听 监 控, 并 做 为 国 家 973 项 目 子 课 题 之 一 开 展 重 点 研 究 信 息 产 业 部 公 布 自 动 声 纹 识 别 技 术 规 范, 促 进 和 规 范 说 话 人 确 认 技 术 在 公 共 安 全 信 息 产 业 等 领 域 的 应 用 在 金 融 认 证 领 域, 中 国 建 设 银 行 已 经 率 先 推 出 了 手 机 声 纹 认 证 服 务, 在 用 户 开 户 时 预 留 客 户 语 音, 以 声 纹 确 认 作 为 目 前 单 一 的 数 字 密 码 认 证 方 式 的 补 充 ; 其 它 商 业 银 行 及 社 保 机 构 均 在 积 极 筹 备 跟 踪 说 话 人 确 认 技 术 在 商 业 领 域, 微 软 (Microsoft) 开 发 了 包 括 有 说 话 人 确 认 服 务 功 能 的 远 程 会 议 系 统, 识 别 当 前 的 发 言 者 并 自 动 录 入 后 台 数 据 库, 提 高 了 后 台 服 务 的 智 能 化 谷 歌 (Google) 将 说 话 人 确 认 技 术 与 谷 歌 翻 译 应 用 相 结 合, 在 翻 译 的 同 时 系 统 可 准 确 识 别 对 话 者 身 份, 及 时 进 行 说 话 人 的 切 换, 提 升 了 用 户 体 验 国 内 语 音 行 业 的 公 司 也 都 对 语 音 识 别 说 话 人 确 认 等 技 术 开 展 了 深 入 研 究 科 大 讯 飞 推 出 了 智 能 语 音 平 台, 包 括 语 音 识 别 语 音 合 成 说 话 人 识 别 等 技 术, 为 移 动 互 联 应 用 提 供 语 音 技 术 服 务 得 意 音 通 公 司 (D-ear) 专 注 于 声 纹 识 别 领 域, 推 出 了 手 机 声 纹 锁 手 机 银 行 声 纹 控 件 等 产 品 随 着 说 话 人 确 认 系 统 性 能 的 逐 步 提 升, 说 话 人 确 认 技 术 作 为 身 份 安 全 认 证 的 需 求 更 加 广 阔 从 科 学 研 究 的 角 度, 说 话 人 确 认 技 术 虽 然 已 经 持 续 了 近 40 年, 但 仍 面 临 极 大 的 困 难 与 挑 战 背 景 噪 音 信 道 差 异 语 言 差 异 短 语 音 时 变 语 音 情 绪 影 响 等 方 2

12 第 1 章 引 言 面 都 是 说 话 人 确 认 领 域 的 研 究 热 点 信 道 差 异 及 环 境 变 化 更 是 说 话 人 确 认 技 术 在 实 际 应 用 场 景 中 不 可 避 免 的 挑 战 目 前 国 际 国 内 上 很 多 知 名 大 学 和 研 究 机 构 都 深 入 开 展 了 说 话 人 确 认 鲁 棒 性 的 研 究 工 作 美 国 国 家 标 准 与 技 术 研 究 院 (NIST, National Institute of Standards and Technology) 定 期 举 办 说 话 人 确 认 评 测 (SRE, Speaker Recognition Evaluation) [19, 20], 跟 进 总 结 说 话 人 确 认 领 域 的 最 新 研 究 进 展, 并 根 据 实 际 应 用 需 求 不 断 增 加 评 测 环 境 的 复 杂 度, 如 考 虑 跨 信 道 跨 语 言 短 语 音 等 测 试 条 件 历 年 来,NIST 评 测 中 取 得 优 异 的 成 绩 的 有, 法 国 LIA 实 验 室 的 开 源 ALISA 说 话 人 识 别 系 统 [21], 德 克 萨 斯 大 学 的 CRSS 系 统 斯 坦 福 大 学 和 SRI 公 司 合 作 的 SRI 系 统 [22],2012 年 更 有 跨 越 4 个 大 洲 的 9 家 国 际 知 名 大 学 和 研 究 机 构 联 合 推 出 的 噪 音 鲁 棒 说 话 人 识 别 系 统 I4U [23] 与 此 同 时, 语 音 领 域 顶 级 研 究 期 刊 ( IEEE Transactions; Speech Communication, etc.) 和 学 术 交 流 会 议 (ICASSP, Interspeech, ISCSLP, etc.) 每 年 都 有 大 量 说 话 人 确 认 技 术 相 关 研 究 成 果 发 表 因 此, 研 究 复 杂 环 境 下 说 话 人 确 认 关 键 技 术 具 有 重 要 的 理 论 价 值 和 实 际 意 义 1.2 说 话 人 确 认 技 术 概 述 [3, 5, 24] 说 话 人 确 认 系 统 一 般 可 分 为 特 征 域 模 型 域 和 分 数 域 三 个 模 块 如 图 1.1 所 示, 其 中 特 征 域 处 理 主 要 将 语 音 信 号 转 化 为 更 具 有 代 表 性 的 声 学 特 征, 即 特 征 抽 取 过 程 模 型 域 将 语 音 声 学 特 征 表 示 成 满 足 特 定 概 率 分 布 的 说 话 人 模 型 分 数 域 是 将 测 试 语 音 与 说 话 人 模 型 进 行 测 试 打 分, 即 说 话 人 确 认 的 判 别 过 程 特 征 域 模 型 域 分 数 域 建 模 模 型 库 阈 值 确 认 登 录 语 音 特 征 提 取 拒 绝 识 别 测 试 语 音 特 征 提 取 图 1.1 说 话 人 确 认 系 统 框 图 3

13 第 1 章 引 言 声 学 特 征 提 取 语 音 信 号 通 常 以 波 形 的 形 式 存 储 在 计 算 机 中 语 音 波 形 作 为 时 域 信 号, 一 般 占 用 较 大 存 储 空 间 语 音 中 包 含 了 丰 富 的 语 音 信 息 文 本 信 息 说 话 人 信 息 和 信 道 信 息 说 话 人 确 认 首 先 要 从 语 音 信 号 中 提 取 反 映 说 话 人 个 性 信 息 的 特 征, 利 用 个 性 信 息 的 区 分 度 实 现 身 份 的 判 定 和 区 分 这 些 特 征 可 以 分 为 低 层 特 征 (Low-level feature) 和 高 层 特 征 (High-level feature) [25-27] 低 层 特 征 更 多 的 反 映 说 话 人 的 生 理 特 性, 如 声 道 鼻 腔 口 形 等 发 声 器 官 的 特 性 [28, 29] 高 层 特 征 更 多 反 映 说 话 人 的 说 话 方 式 习 惯 用 语 韵 律 特 征 等 低 层 特 征 具 有 显 而 易 见 的 物 理 意 义, 也 更 容 易 度 量 目 前 大 多 数 说 话 人 确 认 系 统 采 [27, 用 选 择 低 层 特 征 作 为 说 话 人 确 认 的 声 学 特 征 一 些 研 究 表 明 30], 采 用 高 层 特 征 作 为 低 层 特 征 的 补 充, 可 以 进 一 步 提 升 说 话 人 确 认 系 统 性 能 考 虑 到 语 音 信 号 的 频 谱 相 对 稳 定, 较 多 的 声 学 特 征 为 倒 谱 特 征 常 见 的 倒 谱 特 征 参 数 有 线 性 预 测 倒 谱 系 数 [31] ( LPCC, Linear Predictive Cepstrum [32-34] Coefficients ) 梅 尔 倒 谱 系 数 ( MFCC, Mel-Frequency Cepstrum [35] Coefficients) 感 知 线 性 预 测 (PLP, Perceptual Linear Predictive) 等 MFCC 特 征 目 前 广 泛 应 用 于 说 话 人 确 认 领 域, 其 模 拟 了 人 耳 的 听 觉 感 知 特 性, 对 信 道 差 异 更 加 鲁 棒 时 域 信 号 预 加 重 分 帧 汉 明 窗 MFCC 倒 谱 特 征 特 征 弯 折 CMVN VAD Delta 图 1.2 MFCC 特 征 提 取 [34, 36, 梅 尔 倒 谱 特 征 提 取 的 流 程 如 图 1.2 所 示 37] 语 音 信 号 首 先 进 行 预 加 重 处 理, 提 升 高 频 分 量 ; 考 虑 语 音 的 短 时 平 稳 特 性, 对 信 号 进 行 分 帧 处 理, 一 般 采 用 20 毫 秒 帧 宽,10 毫 秒 帧 移 ; 为 避 免 采 用 方 窗 引 入 的 Jibbos 现 象, 可 对 语 音 信 号 加 汉 明 窗, 对 语 音 帧 进 行 平 滑 处 理 ; 提 取 MFCC 特 征, 同 时 计 算 相 邻 语 音 帧 之 间 的 动 态 参 数, 为 特 征 加 入 一 阶 和 二 阶 差 分 (Delta, Delta-delta); 在 实 际 应 用 中 通 常 加 入 有 效 语 音 检 测 (VAD, Voice activity detection), 保 留 语 音 中 高 信 噪 比 (SNR) 的 部 分, 在 很 多 系 统 中 VAD 是 影 响 系 统 性 能 的 重 要 因 素 之 一 ; 最 后 进 行 倒 谱 均 值 方 差 归 一 [1] (CMVN, Cepstral mean and variance 4

14 第 1 章 引 言 [38] normalization) 处 理, 以 消 除 信 道 中 的 平 稳 卷 积 噪 音 的 影 响 ; 特 征 弯 折 是 一 个 流 行 的 特 征 归 一 化 技 术, 对 特 征 分 布 进 行 高 斯 化 处 理, 能 有 效 提 高 说 话 人 确 认 系 统 性 能 说 话 人 建 模 及 打 分 经 过 特 征 提 取 获 得 的 语 音 声 学 特 征, 需 要 进 一 步 构 建 模 型 以 表 征 特 定 的 说 话 人 说 话 人 建 模 方 法 从 早 期 的 基 于 矢 量 量 化 [39] (VQ, vector quantization) 的 模 板 匹 配 方 法 发 展 到 目 前 的 概 率 模 型 方 法 常 用 的 概 率 模 型 方 法 有 高 斯 混 合 模 型 - 通 用 背 景 模 型 [25] (GMM-UBM, Gaussian mixture model Universal background model) 和 基 于 因 子 分 析 的 联 合 因 子 分 析 [40] (JFA, Joint factor analysis) 方 法, 以 及 在 JFA 基 础 上 发 展 的 i-vector 框 架 [41] GMM-UBM 框 架 和 i-vector 框 架 在 说 话 人 确 认 系 统 的 声 学 特 征 提 取 流 程 一 致, 主 要 区 别 在 于 模 型 域 和 分 数 域 的 方 法 有 研 究 表 明,GMM-UBM 框 架 和 i-vector 框 架 在 不 同 的 应 用 场 景 下 各 具 优 势, 如 语 音 长 段 信 道 差 异 等 不 同 应 用 场 景 高 斯 混 合 模 型 - 通 用 背 景 模 型 在 GMM-UBM 框 架 下, 说 话 人 确 认 系 统 的 处 理 流 程 如 图 1.3 所 示 主 要 分 为 说 话 人 建 模 阶 段 ( 登 录 ) 和 测 试 打 分 阶 段 在 说 话 人 建 模 阶 段 需 要 估 计 概 率 模 型 来 表 示 说 话 人 声 学 的 ( 或 者 语 音 的 ) 空 间 分 布 通 常 情 况 下, 登 录 的 说 话 人 语 音 长 度 有 限, 不 能 覆 盖 整 个 声 学 空 间 因 此 引 入 了 UBM 作 为 通 用 背 景 模 型 代 表 一 个 说 话 人 无 关 的 声 学 空 间, UBM 是 一 个 说 话 人 无 关 的 高 斯 混 合 模 型 实 际 系 统 中,UBM 采 用 大 量 说 话 人 ( 一 般 采 用 数 千 人 ) 约 几 十 小 时 的 语 音, 由 最 大 期 望 (EM,Expectationmaximization algorithm) 算 法 训 练 得 到 UBM 的 训 练 过 程 较 为 复 杂, 费 [42, 43] 时 较 多, 训 练 过 程 可 以 采 用 快 速 算 法 [44], 对 训 练 语 音 特 征 进 行 采 样, 减 小 训 练 所 需 数 据 ; 或 者 利 用 较 小 开 发 集 训 练 一 个 对 角 的 UBM, 在 利 用 较 大 的 语 音 数 据 集 在 该 对 角 的 UBM 上 进 行 更 新, 从 而 得 到 满 秩 的 UBM 特 定 的 说 话 人 模 型 GMM 由 该 说 话 人 的 声 学 特 征 在 UBM 上 采 用 最 大 后 验 准 则 [45] (MAP, maximum a posterior) 估 计 得 到 说 话 人 语 音 能 够 覆 盖 的 声 学 空 间 利 用 说 话 人 的 声 学 特 征 适 应 得 到 特 征 的 空 间 分 布, 说 话 人 语 音 不 能 覆 盖 的 声 学 空 间 采 用 UBM 参 数 近 似 在 GMM-UBM 系 统 下 的 判 决 打 分 阶 段, 每 一 段 测 试 语 音 需 要 在 说 话 人 模 型 和 通 用 背 景 模 型 上 分 别 计 算 对 数 似 然 分, 两 者 的 差 值 分 数 用 于 最 终 的 说 话 5

15 第 1 章 引 言 人 确 认 建 模 阶 段 开 发 集 特 征 提 取 EM 估 计 UBM 建 模 语 音 特 征 提 取 MAP 估 计 GMM 识 别 阶 段 UBM 测 试 语 音 特 征 提 取 对 数 似 然 分 判 决 GMM 图 1.3 GMM-UBM 系 统 框 图 JFA 与 i-vector [40, 46, 近 年 来 在 说 话 人 确 认 领 域, 联 合 因 子 分 析 47] (JFA) 方 法 取 得 了 很 大 成 功 该 方 法 假 设 代 表 说 话 人 特 性 的 变 量 和 代 表 会 话 间 差 异 的 变 量 分 别 以 两 个 相 互 独 立 的 随 机 变 量 ( 说 话 人 因 子 和 会 话 因 子 ) 为 先 验 而 生 成 这 两 个 随 机 变 量 通 常 是 定 义 在 低 维 空 间 内, 并 满 足 标 准 正 态 分 布 6 N 0, I 给 定 一 段 语 音 信 号, 通 过 对 说 话 人 因 子 求 其 后 验 概 率 [48], 可 以 得 到 该 段 语 音 信 号 的 说 话 人 表 示 最 新 的 研 究 显 示, 一 段 语 音 中 包 含 的 说 话 人 因 子 和 会 话 因 子 i 很 难 通 过 JFA 的 方 法 完 全 分 离, 由 JFA 方 法 得 到 会 话 因 子 仍 然 包 含 有 一 定 说 话 人 的 信 息 一 个 更 好 的 方 法 是 采 用 单 一 的 全 变 量 因 子 同 时 表 示 说 话 人 变 量 和 会 话 变 量, 使 得 在 计 算 后 验 的 过 程 中 保 留 更 多 的 说 话 人 信 息 在 这 个 方 法 中, 定 义 了 全 变 量 子 空 间 一 段 语 音 信 号 用 i-vector 来 表 示, 对 应 于 全 变 量 因 子 后 验 分 布 的 均 值 向 量 同 样 i-vector 在 全 变 量 子 空 间 中 变 动, 也 满 足 标 准 正

16 态 分 布 N 0, I 第 1 章 引 言 这 就 是 现 在 广 泛 应 用 的 全 变 量 模 型 或 者 i-vector 模 型, 系 统 框 图 如 图 1.4 所 示 通 过 i-vector 方 法, 将 GMM-UBM 中 用 以 表 示 说 话 人 的 高 维 度 GMM 超 向 量, 映 射 至 低 维 度 的 全 变 量 子 空 间 开 发 集 UBM WCCN 建 模 语 音 测 试 语 音 T i-vector LDA 判 决 分 数 PLDA 图 1.4 i-vector 系 统 框 图 [41, 49] 在 i-vector 框 架 下, 说 话 人 模 型 通 过 本 征 音 适 应 (Eigenvoice adaptation) 得 到 首 先 定 义 了 一 个 低 维 度 ( 相 对 于 高 阶 的 GMM) 全 变 量 子 空 间 (T,Total variability space), 假 设 说 话 人 因 子 在 该 全 变 量 子 空 间 上 变 动, 利 用 大 规 模 的 开 发 集 训 练 T 通 过 估 计 语 音 信 号 在 T 上 的 后 验 分 布 的 均 值 向 量 得 到 代 表 说 话 人 特 性 的 i-vector 不 同 于 GMM-UBM 系 统 使 用 声 学 特 征 向 量 代 表 测 试 语 音 段, 用 高 斯 混 合 模 型 表 示 说 话 人 模 型 ; 在 i-vector 框 架 下, 说 话 人 建 模 语 音 段 和 测 试 语 音 段 都 用 i-vector 表 示 系 统 采 用 i-vector 间 的 余 弦 度 量 (cosine distance) 进 行 说 话 人 确 认 判 决 [50, 此 外, 低 维 度 的 i-vector 的 仍 然 可 以 通 过 线 性 判 别 分 析 51] (LDA, Linear discriminant analysis) 或 者 概 率 线 性 判 别 分 析 [52-54] (PLDA, Probabilistic LDA) 进 行 降 维 处 理, 进 一 步 去 除 冗 余 信 息, 从 而 提 高 说 话 人 子 空 间 的 区 分 性 在 LDA 降 维 后, 也 可 以 直 接 使 用 i-vector 的 余 弦 度 量 作 为 分 数 判 决 在 PLDA 模 型 下, 通 过 计 算 同 一 说 话 人 或 者 不 同 说 话 人 假 设 下 的 对 数 似 然 分 做 为 判 决 依 据 说 话 人 确 认 系 统 性 能 评 价 说 话 人 确 认 系 统 的 性 能 一 般 采 用 系 统 等 错 误 率 (EER, Equal Error Rate) 评 价 实 际 应 用 中, 说 话 人 确 认 系 统 需 要 预 先 设 定 的 分 数 阈 值, 在 每 次 说 话 人 测 试 时, 将 测 试 打 分 的 结 果 与 设 定 的 分 数 阈 值 进 行 比 较, 高 于 分 数 阈 值 则 判 7

17 第 1 章 引 言 定 测 试 语 音 与 所 申 明 的 说 话 人 模 型 来 自 同 一 名 说 话 人, 结 果 为 接 收 ; 否 则 判 定 为 测 试 语 音 与 所 申 明 的 说 话 人 模 型 不 是 同 一 名 说 话 人, 结 果 为 拒 绝 设 定 系 统 分 数 阈 值 后, 系 统 错 误 可 分 为 错 误 接 收 和 错 误 拒 绝 当 一 段 语 音 成 功 闯 入 了 非 本 人 的 说 话 人 模 型 时 为 系 统 的 错 误 接 收, 此 时 系 统 错 误 率 定 义 为 错 误 接 收 率 (FAR, False Acceptance Rate) 当 一 段 语 音 申 明 本 人 的 说 话 人 模 型 而 被 系 统 拒 绝 时 为 错 误 拒 绝, 此 时 系 统 错 误 率 定 义 为 错 误 拒 绝 率 (FRR, False Rejection Rate) 通 过 设 定 不 同 的 阈 值, 可 以 得 到 FAR 和 FRR 两 条 曲 线 当 FAR 和 FRR 曲 线 相 交 的 点, 即 FAR 等 于 FRR 时, 这 时 我 们 定 义 该 处 为 系 统 等 错 误 率 EER 1.3 说 话 人 确 认 中 面 临 的 复 杂 环 境 问 题 语 音 信 号 的 采 集 传 输 无 时 无 刻 都 面 临 着 信 道 及 环 境 的 影 响 语 音 信 号 的 获 取 地 点 可 能 处 于 不 同 环 境 下, 如 办 公 室 咖 啡 厅 车 站 等 背 景 噪 声 不 同 语 音 信 号 的 采 集 可 能 通 过 桌 面 麦 克 风 或 者 手 机 话 筒 电 话 话 筒 等 不 同 的 采 集 设 备, 不 同 品 牌 不 同 型 号 的 采 集 设 备 对 语 音 信 号 产 生 的 影 响 不 一 致, 麦 克 风 的 频 域 特 性 也 会 叠 加 到 语 音 信 号 的 频 谱 上 语 音 信 号 也 可 以 通 过 不 同 的 传 输 途 径 发 送 至 说 话 人 确 认 系 统, 如 电 话 信 道 网 络 语 音 扩 频 传 输 等, 导 致 传 输 信 道 的 差 异 因 此, 实 际 应 用 中 获 取 的 语 音 信 号 既 包 含 了 说 话 人 特 性, 又 包 含 信 道 频 谱 特 性 环 境 干 扰 等 任 何 在 频 谱 上 的 改 变 都 导 致 了 说 话 人 特 征 的 区 分 性 下 降, 影 响 说 话 人 确 认 系 统 性 能 此 外, 考 虑 实 际 应 用 中, 说 话 人 确 认 的 测 试 环 境 可 能 发 生 改 变, 如 测 试 地 点 变 更 语 音 采 集 和 传 输 设 备 更 新 换 代 等, 此 时 在 初 始 信 道 下 训 练 得 到 说 话 人 模 型 将 与 新 的 测 试 环 境 不 匹 配, 进 而 降 低 了 说 话 人 确 认 系 统 的 鲁 棒 性 如 何 处 理 上 述 两 种 差 异 引 起 的 模 型 与 测 试 语 音 之 间 不 匹 配, 是 复 杂 环 境 下 说 话 人 确 认 鲁 棒 性 研 究 的 出 发 点 针 对 信 道 差 异,Furui 教 授 和 Reynolds 教 授 等 几 位 说 话 人 确 认 领 域 的 权 威 多 次 发 表 论 文, 提 出 信 道 差 异 是 导 致 说 话 人 确 认 系 统 性 能 下 降 的 主 要 因 素 之 一 信 道 鲁 棒 的 说 话 人 确 认 一 直 以 来 是 研 究 的 热 点 NIST 说 话 人 确 认 评 测 从 实 际 出 发, 设 计 多 种 跨 信 道 语 音 环 境 的 评 测 组 合, 如 采 访 录 音 和 电 话 对 话 语 音 采 用 头 戴 式 麦 克 风 或 者 桌 面 麦 克 风 等 交 叉 测 试 环 境 根 据 2008 年 NIST 公 布 的 评 测 结 果, 同 信 道 下 说 话 人 确 认 的 等 错 误 率 (EER, equal error rate) 大 约 可 以 达 到 3% 以 下, 而 跨 信 道 的 说 话 人 确 认 系 统 EER 大 约 在 18%, 系 统 性 能 相 差 巨 大, 可 见 跨 信 道 问 题 是 影 响 说 话 [11, 13, 55] 人 确 认 系 统 性 能 的 主 要 因 素 之 一 针 对 测 试 环 境 变 化, 许 多 研 究 认 为 测 试 环 境 与 训 练 环 境 的 不 匹 配 将 极 大 降 低 说 话 人 确 认 系 统 性 能, 对 应 相 同 环 境 下 的 测 试 与 训 练 将 取 得 较 好 的 系 统 性 能 8

18 第 1 章 引 言 综 上, 信 道 差 异 和 测 试 环 境 变 化 是 说 话 人 确 认 研 究 中 存 在 的 极 大 挑 战, 制 约 了 说 话 人 确 认 在 实 际 应 用 中 的 发 展, 这 是 科 研 机 构 普 遍 认 同 的 观 点 ; 近 年 来, 许 多 知 名 院 校 研 究 院 所 及 商 业 研 究 机 构 投 入 了 大 量 精 力 研 究 复 杂 环 境 下 说 话 人 确 认 系 统 鲁 棒 性 问 题, 提 出 了 多 种 鲁 棒 算 法 下 节 将 对 复 杂 环 境 下 说 话 人 确 认 的 鲁 棒 性 研 究 现 状 进 行 综 述 和 分 析 1.4 说 话 人 确 认 鲁 棒 性 研 究 现 状 研 究 现 状 概 述 目 前, 解 决 复 杂 环 境 下 说 话 人 确 认 鲁 棒 性 问 题 的 思 路 大 致 从 两 个 方 面 出 发 : 针 对 信 道 差 异, 分 别 在 特 征 域 针 对 信 道 差 异 进 行 特 征 选 择 和 映 射, 研 究 信 道 鲁 棒 的 声 学 特 征 ; 在 模 型 域, 研 究 信 道 鲁 棒 更 具 有 说 话 人 区 分 性 的 模 型 而 针 对 测 试 环 境 改 变, 目 前 大 部 分 说 话 人 确 认 系 统 仍 采 用 静 态 模 型 的 方 法, 当 测 试 环 境 发 生 变 化 后, 采 用 重 新 训 练 模 型 的 方 法 避 免 环 境 差 异 带 来 的 影 响 因 此, 本 节 研 究 现 状 的 概 述 和 分 析 主 要 从 信 道 鲁 棒 的 说 话 人 确 认 方 法 展 开 特 征 域 :Furui 在 1981 年 提 出 采 用 倒 谱 均 值 方 差 归 一 [32] (CMVN) 可 以 消 除 平 [56, 稳 信 道 影 响 RASTA 滤 波 57] (Relative spectral) 认 为 语 音 信 号 反 应 了 声 道 的 运 动, 而 非 语 音 的 因 素 是 在 声 道 运 动 范 围 之 外, 因 此 采 用 了 低 端 截 至 频 率 很 低 的 带 通 滤 波 器, 抑 制 频 谱 中 的 常 量 和 缓 变 部 分 特 征 弯 折 [38] (Feature Warping) 是 在 信 道 鲁 棒 的 说 话 人 确 认 中 取 得 了 较 好 的 效 果, 研 究 人 员 认 为 信 道 差 异 会 破 坏 语 音 特 征 的 短 时 分 布, 通 过 将 一 段 时 间 窗 的 特 征 序 列 通 过 累 积 分 布 函 数 变 化 为 符 合 标 准 正 态 分 布 的 特 征 序 列 [58], 从 而 提 高 特 征 对 不 同 信 道 和 噪 音 的 鲁 棒 性 Reynold 在 2003 [2] 年 提 出 一 种 新 的 特 征 映 射 技 术 将 不 同 信 道 下 的 特 征 映 射 至 一 个 信 道 无 关 的 特 征 空 间 上 通 过 分 析 经 过 MAP 适 应 算 法 后 的 信 道 相 关 模 型 与 MAP 之 前 的 信 道 无 关 模 型 的 偏 移 量, 学 习 特 征 映 射 参 数 [59] 模 型 域 : 在 GMM-UBM 框 架 下 针 对 跨 信 道 问 题 的 研 究 有 模 型 合 成 方 法, 假 设 模 型 是 由 A 信 道 语 音 训 练 建 模 得 到, 而 测 试 语 音 来 自 B 信 道 模 型 合 成 目 标 是 把 A 信 道 的 模 型 转 化 为 B 信 道 的 模 型, 从 而 可 以 对 B 信 道 的 语 音 进 行 测 试 常 用 的 做 法 可 利 用 不 同 信 道 UBM 之 间 的 偏 移 量 作 为 转 换 的 依 据, 认 为 GMM 各 混 合 是 独 立 的, 如 基 于 Cohort 的 说 话 人 模 型 合 成 算 法 [60] 冗 余 分 量 投 影 NAP [61, 62] (Nuisance attribute projection) 是 由 MIT 林 肯 实 验 室 的 Campbell 等 人 提 出, 最 初 在 GMM-SVM(Gaussian mixture model Support vector machine) 系 统 取 得 了 较 好 的 效 果,NAP 目 的 是 寻 找 一 个 不 同 信 道 下 差 异 最 小 的 投 9

19 第 1 章 引 言 影 方 向 该 方 法 认 为 GMM 超 向 量 空 间 中 包 含 信 道 特 性 信 道 子 空 间, 通 过 投 影 将 信 道 子 空 间 的 投 影 从 超 向 量 中 消 除, 从 而 得 到 去 除 信 道 干 扰 的 说 话 人 超 向 量 Kenny 等 人 提 出 的 联 合 因 子 分 析 [12], 将 说 话 人 差 异 和 信 道 差 异 分 别 用 说 话 人 子 空 间 和 信 道 子 空 间 描 述, 从 而 将 信 道 因 子 与 说 话 人 因 子 进 行 区 分 Dehak 等 人 在 此 基 础 上 提 出 的 i-vector 框 架 [41], 认 为 信 道 因 子 中 仍 然 包 含 有 说 话 人 因 子, 定 义 了 全 变 量 子 空 间, 同 时 包 含 说 话 人 特 性 和 信 道 特 性, 这 样 的 优 点 是 保 留 了 更 多 的 说 话 人 特 性 信 息, 缺 点 是 降 低 了 说 话 人 之 间 的 区 分 性 ; 所 以 在 i-vector 框 架 的 后 期 处 理 中, 一 般 会 加 入 诸 如 WCCN [63] (With-in class covariance normalization) LDA [41] PLDA [64] 等 区 分 性 训 练 方 法 PLDA 已 经 被 证 明 能 够 极 大 提 高 i-vector 代 表 说 话 人 的 能 力, 其 在 低 维 子 空 间 上 对 说 话 人 因 子 和 信 道 因 子 进 行 分 别 描 述, 从 而 极 大 提 高 了 说 话 人 确 认 性 能 一 方 面,PLDA 作 为 LDA 的 概 率 版 本 继 承 了 LDA 的 区 分 性 能 力 ; 另 一 方 面,PLDA 是 一 个 产 生 式 模 型, 对 说 话 人 变 量 定 义 了 先 验 分 布, 从 而 在 语 音 数 据 有 限 的 条 件 下 可 以 对 说 话 人 建 模, 这 在 说 话 人 确 认 中 具 有 极 大 的 优 势 PLDA 是 目 前 跨 信 道 说 话 人 确 认 领 域 性 能 表 现 最 优 异 的 方 法 之 一 [65, 分 数 域 : 分 数 域 的 研 究 主 要 是 在 对 说 话 人 确 认 的 打 分 结 果 进 行 归 一 化 处 理 66] 如 ZNorm 统 计 不 同 信 道 下 说 话 人 在 同 一 模 型 上 的 打 分, 进 行 均 值 和 方 差 的 归 一 化 ;TNorm 则 考 虑 测 试 语 音 在 样 例 模 型 集 合 上 进 行 闯 入 测 试 打 分, 依 此 进 行 均 值 和 [67] 方 差 的 归 一 化 有 研 究 将 不 同 生 物 特 征 识 别 的 分 数 结 果 采 用 Norm 来 融 合 获 取 更 好 的 性 能 研 究 现 状 分 析 近 年 来,GMM-UBM 和 i-vector 成 为 说 话 人 确 认 领 域 两 个 主 流 的 研 究 框 架, 它 们 在 说 话 人 建 模 表 示 和 打 分 判 决 上 的 不 同 特 点, 使 得 建 立 各 自 方 法 基 础 上 的 信 道 鲁 棒 算 法 也 存 在 差 异 本 节 将 针 对 这 两 个 框 架 下 的 信 道 鲁 棒 算 法 分 别 进 行 分 析, 并 简 单 介 绍 其 它 方 法, 诸 如 基 于 神 经 网 络 或 者 支 持 向 量 机 的 说 话 人 确 认 信 道 鲁 棒 算 法 基 于 GMM-UBM 的 信 道 鲁 棒 算 法 GMM-UBM 框 架 广 泛 应 用 于 说 话 人 确 认 领 域, 这 个 方 法 依 赖 于 一 个 充 分 训 练 的 通 用 背 景 模 型 (UBM), 通 用 背 景 模 型 用 于 代 表 一 个 说 话 人 无 关 的 高 斯 混 合 模 型, 而 每 一 个 登 录 的 说 话 人 则 用 一 个 说 话 人 相 关 的 高 斯 混 合 模 型 (GMM) 来 表 示, 说 话 人 模 型 一 般 是 通 过 该 说 话 人 的 训 练 语 音 在 通 用 背 景 模 型 上 通 过 最 大 后 验 估 计 [68] (MAP, maximum a posterior) 得 到 根 据 UBM 10

20 第 1 章 引 言 训 练 语 音 的 说 话 人 性 别, 可 以 选 择 建 立 性 别 相 关 的 UBM 或 性 别 无 关 的 UBM ( 注 : 本 文 研 究 中, 测 试 集 合 选 择 为 NIST 评 测 中 的 女 性 说 话 人, 因 此 UBM 也 选 定 为 女 性 语 音 数 据 训 练 得 到 的 女 性 UBM) 在 说 话 人 确 认 应 用 中, 登 录 说 话 人 的 语 音 一 般 长 度 有 限, 训 练 语 音 不 能 覆 盖 整 个 音 素 空 间 在 训 练 语 音 能 够 覆 盖 的 音 素 空 间 采 用 说 话 人 训 练 语 音 建 模, 在 训 练 语 音 不 能 覆 盖 的 音 素 空 间 采 用 UBM 模 型 近 似 表 示 GMM-UBM 的 一 个 基 本 前 提 假 设 是 UBM 能 够 代 表 语 音 数 据 中 所 包 含 的 声 学 的 和 语 音 的 变 化, 这 样 一 个 说 话 人 的 GMM 模 型 到 UBM 模 型 的 偏 移 量 反 映 的 恰 恰 是 该 说 话 人 的 特 性 基 于 此 假 设, 在 UBM 的 训 练 过 程 中 需 要 大 量 的 训 练 数 据 另 一 方 面, 训 练 数 据 的 声 学 信 道 需 要 和 测 试 环 境 的 信 道 需 要 保 持 一 致 然 而 实 际 应 用 中, 通 常 很 难 ( 或 者 根 本 不 可 能 ) 收 集 到 足 够 的 信 道 匹 配 的 数 据 训 练 一 个 完 全 一 致 的 UBM 更 进 一 步, 许 多 实 际 应 用 中 的 信 道 是 可 能 发 生 改 变 的, 将 导 致 采 用 预 先 训 练 UBM 的 说 话 人 确 认 系 统 性 能 下 降 在 GMM-UBM 框 架 下, 针 对 信 道 不 匹 配 和 会 话 变 化 已 经 开 展 了 很 多 研 究 [2, 工 作 如 特 征 变 换 69] [59, 70] [65,, 模 型 补 偿 和 分 数 归 一 化 71] 基 于 i-vector 的 信 道 鲁 棒 算 法 [72] Kenny 在 文 献 提 出 了 一 个 复 杂 的 统 计 模 型 方 法, 作 者 假 设 说 话 人 变 化 和 信 道 变 化 是 相 互 独 立 的, 并 且 限 定 其 变 化 是 在 低 维 度 子 空 间 上, 从 而 利 用 [73] 因 子 分 析 的 方 法 推 导 出 信 道 因 子 文 献 按 照 这 个 思 路, 认 为 信 道 因 子 是 低 [74] 维 度 子 空 间 上 变 化, 而 说 话 人 空 间 是 满 秩 的 文 献 的 作 者 对 子 空 间 的 方 法 [75] 提 出 了 一 个 简 单 的 解 释 和 实 现 在 文 献 中, 研 究 了 不 同 的 特 征 和 模 型 补 偿 方 法, 其 结 论 是 基 于 低 阶 的 信 道 子 空 间 ( 本 征 信 道 ) 对 于 处 理 信 道 不 匹 配 的 问 题 非 常 有 效 i-vector 模 型 中 同 时 包 含 说 话 人 变 动 和 会 话 变 动 的 一 个 很 大 的 优 势 是 保 留 了 更 多 的 说 话 人 信 息 ; 同 时, 缺 点 也 是 很 明 显 的, 这 种 混 合 的 表 示 方 法 带 来 了 说 话 人 区 分 性 的 下 降 因 此,i-vector 方 法 中 一 个 很 重 要 的 方 面 是 引 入 一 些 区 分 性 的 方 法 去 抑 制 会 话 变 动, 加 强 说 话 人 变 动 举 个 例 子, 类 间 协 方 差 归 一 化 WCCN 方 法 通 过 对 线 性 核 函 数 的 优 化 获 得 一 个 线 性 变 换, 冗 余 信 息 投 影 NAP 选 择 了 在 不 同 信 道 的 信 号 之 间 最 小 差 异 的 投 影 方 向 这 些 方 法 最 初 都 是 在 GMM-SVM 说 话 人 识 别 系 统 中 提 出 的, 如 今 已 经 被 验 证 在 i-vector 方 法 中 非 常 有 效, 通 常 作 为 i-vector 方 法 的 后 续 处 理 方 法 以 提 高 i- vector 的 说 话 人 区 分 性 11

21 第 1 章 引 言 另 一 个 显 著 提 高 i-vector 的 说 话 人 区 分 性 能 的 方 法 是 概 率 线 性 区 分 性 分 析 (PLDA) 一 方 面,PLDA 是 线 性 区 分 性 分 析 (LDA) 的 概 率 版 本, 包 含 了 LDA 方 法 的 区 分 性 属 性 另 一 方 面,PLDA 是 一 个 产 生 式 模 型, 其 在 类 变 量 中 隐 含 了 一 个 高 斯 的 先 验, 因 此 可 以 采 用 较 少 的 数 据 对 类 进 行 建 模 而 这 在 说 话 人 识 别 中 是 具 有 很 大 优 势 的, 因 为 通 常 在 说 话 人 建 模 和 测 试 过 程 中 只 能 获 取 较 少 的 语 音 数 据 近 年 来,i-vector 方 法 和 PLDA 建 模 的 结 合 取 得 了 复 杂 信 道 下 说 话 人 确 认 的 最 优 性 能 其 它 信 道 鲁 棒 算 法 除 了 GMM-UBM 和 i-vector, 信 道 不 匹 配 的 问 题 也 在 其 他 一 些 说 话 人 确 认 [76] 方 法 中 深 入 研 究 举 例 而 言, 文 献 提 出 在 基 于 神 经 网 络 的 说 话 人 确 认 系 统 [73] 中 消 除 一 些 网 络 中 的 隐 藏 节 点 从 而 降 低 信 道 不 匹 配 带 来 的 影 响 文 献 提 出 在 基 于 GMM-SVM 的 说 话 人 确 认 系 统 中 采 用 特 征 映 射 方 法 降 低 信 道 不 匹 配 带 来 的 影 响 上 述 的 研 究 在 信 道 鲁 棒 的 说 话 人 确 认 上 取 得 了 很 大 成 功, 但 这 些 方 法 仍 有 一 定 局 限 性 首 先 说 话 人 确 认 是 一 个 区 分 性 任 务, 上 述 方 法 并 没 有 针 对 说 话 人 区 分 性 目 标 进 行 优 化 其 次, 这 些 方 法 都 需 要 一 些 先 验 数 据 去 学 习 特 定 的 补 偿 结 构 ( 如 变 换 矩 阵 或 者 本 征 子 空 间 ) 如 果 遇 到 工 作 信 道 是 全 新 的, 或 者 信 道 是 随 时 间 推 移 发 生 变 化 的, 通 常 很 难 去 收 集 足 够 的 训 练 数 据, 从 而 导 致 很 多 现 有 方 法 的 失 效 研 究 难 点 信 道 种 类 繁 多, 特 性 未 知 信 道 鲁 棒 特 征 研 究 难 点 信 道 鲁 棒 模 型 复 杂 环 境 下 说 话 人 确 认 系 统 测 试 环 境 发 生 改 变 模 型 动 态 更 新 图 1.5 研 究 难 点 从 研 究 现 状 的 分 析 可 以 看 出, 复 杂 环 境 下 说 话 人 确 认 鲁 棒 性 问 题 研 究 主 要 面 12

22 第 1 章 引 言 临 信 道 差 异 和 环 境 变 化 的 影 响 研 究 难 点 主 要 有 以 下 两 个 方 面 一 方 面, 信 道 种 类 繁 多, 信 道 特 性 未 知, 且 信 道 特 性 与 说 话 人 特 性 绑 定 在 一 起, 很 难 获 取 充 分 的 数 据 学 习 信 道 特 性, 甚 至 可 能 面 对 来 自 全 新 的 信 道 语 音 测 试 另 一 方 面, 测 试 语 音 的 环 境 随 时 间 会 发 生 改 变, 而 变 化 后 的 环 境 缺 乏 亦 训 练 数 据, 对 环 境 差 异 的 补 偿 非 常 困 难 研 究 难 点 见 图 1.5 所 示 1.5 研 究 工 作 概 述 研 究 思 路 本 文 的 研 究 目 标 是 提 高 复 杂 环 境 下 说 话 人 确 认 系 统 的 鲁 棒 性 针 对 研 究 难 点, 本 文 研 究 思 路 如 下 : 先 从 特 征 域 入 手, 在 经 典 的 GMM-UBM 系 统 框 架 下, 分 别 从 特 征 域 和 模 型 域 研 究 信 道 鲁 棒 的 声 学 特 征 提 取 和 更 具 区 分 性 的 说 话 人 模 型 训 练 方 法 考 虑 测 试 环 境 随 时 间 发 生 改 变 的 问 题, 引 入 模 型 动 态 更 新 机 制 整 体 研 究 思 路 如 图 1.6 所 示 本 文 对 于 复 杂 环 境 下 说 话 人 确 认 鲁 棒 性 问 题 的 研 究 被 分 解 为 三 个 子 问 题, 如 何 构 建 信 道 鲁 棒 更 具 有 区 分 度 的 声 学 特 征, 并 在 现 有 的 说 话 人 确 认 系 统 进 行 验 证 ; 如 何 构 建 更 具 有 区 分 性 的 说 话 人 模 型 训 练 方 法, 提 升 说 话 人 区 分 度, 降 低 信 道 差 异 的 影 响 ; 如 何 从 测 试 语 音 信 号 中 学 习 信 道 信 息, 从 而 基 于 此 开 展 说 话 人 模 型 的 动 态 自 适 应 更 新 具 体 研 究 思 路 如 下 : 探 索 更 具 区 分 性 的 特 征 MFCC 做 为 说 话 人 确 认 领 域 主 流 的 倒 谱 特 征, 采 用 了 梅 尔 频 域 弯 折, 其 最 初 是 针 对 语 音 识 别 目 标 进 行 优 化, 并 没 有 考 虑 说 话 人 的 区 分 性 目 标 已 有 一 些 研 究 针 对 频 带 能 量 展 开, 探 索 了 不 同 频 带 说 话 人 区 分 性 信 息 [77] Lu 证 明 了 MFCC 对 不 同 频 段 说 话 人 的 区 分 能 力 是 不 同 的 我 们 假 设, 信 道 信 息 在 语 音 中 不 同 频 带 上 的 分 布 也 可 能 是 不 均 匀 的 尤 其 在 复 杂 信 道 下, 信 道 对 语 音 信 号 的 干 扰 对 语 音 频 谱 产 生 了 畸 变 某 些 频 带 包 含 的 说 话 人 信 息 更 丰 富, 相 对 所 受 信 道 的 干 扰 较 小 ; 某 些 频 带 反 之 基 于 频 带 (Fbank) 加 权 的 特 征 提 取, 目 的 是 突 出 说 话 人 的 区 分 性 信 息, 因 而 利 于 提 高 说 话 人 确 认 系 统 的 性 能 当 前 对 F-ratio 方 法 的 研 究 大 多 在 GMM-UBM 模 型 框 架 中 进 行, 本 文 将 在 当 前 主 流 的 i-vector 模 型 框 架 中 研 究 F-ratio 方 法 在 跨 信 道 环 境 下 的 区 分 度 提 取, 并 研 究 不 同 数 据 库 提 取 的 F-ratio 参 数 是 否 具 有 一 致 的 趋 势, 进 而 验 证 F-ratio 的 推 广 能 力 13

23 第 1 章 引 言 复 杂 环 境 下 语 音 信 号 特 征 域 信 道 鲁 棒 的 特 征 提 取 特 征 流 更 具 区 分 性 的 模 型 训 练 方 法 模 型 域 静 态 模 cc 型 在 线 自 适 应 模 型 在 线 自 适 应 更 新 动 态 模 型 复 杂 环 境 下 说 话 人 确 认 系 统 图 1.6 论 文 研 究 思 路 示 意 图 设 计 区 分 性 训 练 模 型 目 前 广 泛 采 用 的 PLDA 模 型 在 信 道 鲁 棒 的 说 话 人 确 认 领 域 取 得 了 很 大 的 成 功, 但 是 PLDA 模 型 仍 有 一 些 限 制 比 如,PLDA 模 型 假 定 了 类 变 量 的 先 验 分 布 和 i- vector 的 条 件 概 率 分 布 均 满 足 高 斯 分 布 这 在 实 际 情 况 下, 不 一 定 都 是 必 须 的 另 外, 说 话 人 确 认 的 任 务 是 一 个 明 确 的 分 类 任 务, 区 分 真 正 的 说 话 人 和 闯 入 者, 采 用 一 个 区 分 性 模 型 将 是 一 个 更 合 理 的 选 择 我 们 因 此 提 出 采 用 区 分 性 模 型, 不 需 要 高 斯 先 验 的 假 设 常 用 的 区 分 性 模 型 有 支 持 向 量 机 (SVM, Support vector machine) 和 深 度 神 经 网 络 (DNN,Deep neural network) 本 文 分 析 了 基 于 SVM 和 基 于 DNN 的 区 分 性 训 练 的 特 点, 考 虑 复 杂 环 境 下 说 话 人 空 间 分 布 边 界 的 复 杂 性 选 择 基 于 DNN 区 分 性 训 练 同 时 考 虑 到 DNN 训 练 的 特 点, 设 计 了 更 具 区 分 性 的 特 征 作 为 DNN 的 输 入 14

24 第 1 章 引 言 模 型 动 态 更 新 算 法 当 前 说 话 人 确 认 采 用 了 静 态 模 型, 即 说 话 人 建 模 后 将 该 模 型 静 态 存 储 于 系 统 内 用 于 今 后 的 测 试 一 旦 测 试 环 境 发 生 改 变, 需 要 重 新 训 练 模 型 模 型 缺 乏 动 态 更 新 的 机 制 本 文 考 虑 在 训 练 GMM 的 MAP 参 数 估 计 过 程 中,GMM 到 UBM 的 偏 移 量 既 反 映 了 说 话 人 的 信 息 也 反 映 了 信 道 的 信 息 通 过 控 制 MAP 学 习 的 速 度, 通 过 对 新 测 试 信 道 下 较 多 人 数 的 训 练 数 据 顺 序 学 习, 累 计 每 段 登 录 语 言 中 学 习 到 的 信 道 信 息, 从 而 使 学 习 到 的 信 息 代 表 了 说 话 人 无 关 的 测 试 信 道 信 息 这 就 是 基 于 顺 序 模 型 自 适 应 说 话 人 识 别 的 基 本 思 路 此 外 本 文 将 研 究 基 于 最 大 似 然 线 性 回 归 [78] ( MLLR, Maximum likehood linear regression) 映 射 采 用 模 型 顺 序 自 适 应 的 方 法, 通 过 控 制 MLLR 映 射 关 系 的 学 习 速 度 学 习 大 量 跨 信 道 下 语 音 中 的 信 道 信 息, 从 而 将 原 信 道 下 的 声 学 特 征 映 射 至 另 一 信 道 工 作 内 容 本 论 文 分 别 从 特 征 域 和 模 型 域 出 发, 研 究 内 容 包 括 :1) 在 MFCC 基 础 上, 考 虑 复 杂 信 道 下 说 话 人 区 分 度 的 F-ratio 频 带 加 权 特 征 及 其 在 i-vector 系 统 下 的 性 能 ; 2) 在 i-vector 基 础 上, 提 出 利 用 基 于 DNN 区 分 性 训 练 提 高 i-vector 的 说 话 人 区 分 能 力 ;3) 考 虑 测 试 环 境 随 时 间 可 能 的 改 变, 建 立 模 型 动 态 更 新 机 制 工 作 内 容 如 图 1.7 所 示, 包 括 以 下 三 个 方 面 : 基 于 频 带 加 权 的 信 道 鲁 棒 特 征 提 取 Fbank 频 带 区 分 度 反 映 了 频 带 对 于 说 话 人 确 认 的 区 分 度, 研 究 表 明 不 同 频 带 对 于 信 道 的 鲁 棒 性 是 不 一 致 的 考 虑 跨 信 道 下 频 带 对 于 说 话 人 的 区 分 度, 在 特 征 提 取 过 程 中 对 不 同 频 带 滤 波 器 的 输 出 加 权 区 分 度 高 的 频 带, 滤 波 器 的 输 出 权 重 较 大 本 文 在 Lu 和 Dang 工 作 的 基 础 上, 验 证 F-ratio 频 带 加 权 系 数 的 扩 展 性 首 先, 我 们 验 证 F-ratio 在 i-vector 模 型 上 的 有 效 性 i-vector 方 法 是 传 统 GMM-UBM 方 法 的 扩 展, 通 过 将 说 话 人 模 型 映 射 为 低 维 空 间 的 一 个 代 表 向 量, 克 服 了 GMM-UBM 系 统 中 高 斯 分 量 互 相 独 立 的 局 限 性, 提 高 了 系 统 性 能 i-vector 方 法 可 以 与 线 性 区 分 性 分 析 或 者 概 率 线 性 判 决 分 析 相 结 合, 进 一 步 提 高 说 话 人 确 认 系 统 的 准 确 性 由 于 i-vector 系 统 对 GMM 中 高 斯 分 量 的 均 值 向 量 进 行 了 低 维 空 间 映 射, 结 合 LDA/PLDA 之 后, 又 进 一 步 增 加 了 区 分 性 信 息, 这 带 来 如 下 问 题 : 基 于 频 带 加 权 的 特 征 提 取 在 i-vector 系 统 中 是 否 依 15

25 第 1 章 引 言 然 具 有 在 GMM-UBM 系 统 中 相 似 的 贡 献? 本 文 将 通 过 实 验 对 此 进 行 研 究 第 二, 本 文 将 在 i-vector 框 架 下 研 究 F-ratio 在 大 规 模 跨 信 道 数 据 库 上 的 性 能 我 们 将 在 Fisher 语 料 库 上 进 行 系 统 训 练, 并 在 NIST 2008 说 话 人 识 别 评 测 数 据 库 上 开 展 实 验 最 后, 我 们 将 研 究 在 不 同 信 道 的 小 数 据 集 下 训 练 的 F-ratio 参 数 在 NIST 说 话 人 确 认 评 测 任 务 中 的 有 效 性, 从 而 进 一 步 验 证 F-ratio 方 法 的 可 扩 展 性 复 杂 环 境 下 说 话 人 确 认 鲁 棒 性 研 究 特 征 域 模 型 域 静 态 模 型 动 态 模 型 跨 信 道 数 据 集 下 Fbank 参 数 提 取 信 道 鲁 棒 的 区 分 性 特 征 设 计 UBM 信 道 自 适 应 Fbank 加 权 特 征 的 ivector 系 统 验 证 特 征 流 基 于 DNN 区 分 性 模 型 框 架 GMM 信 道 自 适 应 Fbank 加 权 特 征 与 LDA 方 法 的 融 合 区 分 性 模 型 与 产 生 式 模 型 的 融 合 fmaplr 自 适 应 研 究 内 容 在 线 更 新 基 于 频 带 加 权 的 信 道 鲁 棒 特 征 提 取 复 杂 信 道 下 说 话 人 空 间 的 区 分 性 训 练 基 于 模 型 顺 序 自 适 应 技 术 的 说 话 人 确 认 系 统 本 文 贡 献 图 1.7 论 文 工 作 内 容 示 意 图 复 杂 信 道 下 说 话 人 空 间 的 区 分 性 训 练 说 话 人 识 别 的 任 务 是 一 个 明 确 的 分 类 任 务, 区 分 真 正 的 说 话 人 和 闯 入 者, 采 用 一 个 区 分 性 模 型 将 是 一 个 更 合 理 的 选 择 在 本 文 中, 我 们 为 i-vector 空 间 下 的 说 话 人 确 认 提 出 了 一 个 基 于 DNN 的 区 分 性 训 练 方 法, 并 与 基 于 SVM 区 分 性 训 练 的 方 法 进 行 比 较 其 基 本 思 想 是 利 用 DNN 学 习 高 阶 特 征 的 能 力 与 其 在 复 杂 环 境 中 学 习 决 策 边 界 的 能 力 提 高 i-vector 空 间 说 话 人 的 区 分 能 力 更 具 体 地 讲, 我 们 首 先 从 i-vetcor 向 量 对 中 得 到 一 些 初 始 特 征, 我 们 通 过 实 验 验 证 了 这 些 特 征 包 含 了 更 多 的 说 话 人 区 分 信 息, 之 后 训 练 一 个 可 以 分 辨 16

26 第 1 章 引 言 说 话 人 的 DNN 模 型 基 于 模 型 顺 序 自 适 应 技 术 的 说 话 人 确 认 语 音 信 号 中 既 包 含 有 反 映 说 话 人 特 性 的 信 息, 也 包 含 有 信 道 信 息 研 究 的 目 标 是 尽 量 突 出 说 话 人 特 性, 抑 制 信 道 差 异 信 道 补 偿 的 理 想 情 况 是 将 测 试 语 音 训 练 语 音 补 偿 至 同 一 信 道, 信 道 对 语 音 频 谱 的 影 响 一 致, 这 样 语 音 特 征 中 声 学 分 布 反 映 的 差 异 将 更 多 地 表 示 为 说 话 人 的 差 异 但 现 实 情 况 很 难 做 到 这 一 点 基 于 GMM- UBM 的 说 话 人 确 认 在 很 大 程 度 上 依 赖 于 训 练 充 分 的 UBM 模 型 在 实 践 中, 并 不 是 很 容 易 获 得 完 全 匹 配 的 UBM 模 型 我 们 提 出 了 一 种 新 的 连 续 的 MAP 自 适 应 方 法 来 解 决 这 个 问 题 : 通 过 新 登 录 的 说 话 人 语 音 中 包 含 的 信 道 信 息, 顺 序 地 学 习 与 更 新 UBM, 同 样 的 补 偿 方 法 应 用 到 说 话 人 模 型 的 适 应 上, 并 最 终 将 UBM GMM 均 收 敛 到 与 测 试 语 音 一 致 的 信 道 此 外, 在 特 征 域 采 用 最 大 似 然 线 性 回 归 (fmllr, Feature space maximum likelihood linear regression) 的 映 射, 对 特 征 进 行 补 偿, 考 虑 到 特 征 域 学 习 信 道 特 性 的 映 射 关 系, 提 出 基 于 fmaplr 的 特 征 空 间 连 续 自 适 应 的 方 法 ; 并 将 其 与 之 前 提 出 的 MAP 方 法 进 行 了 比 较 我 们 发 现 这 两 个 方 法 是 相 互 补 充 的, 并 且 结 合 起 来 可 以 获 得 更 好 的 效 果 1.6 论 文 的 组 织 结 构 本 文 内 容 共 六 部 分, 具 体 内 容 如 下 : 第 1 章 是 引 言 部 分 首 先 介 绍 了 说 话 人 确 认 技 术 及 应 用 背 景, 引 出 说 话 人 确 认 在 复 杂 环 境 下 性 能 大 幅 下 降 的 问 题, 接 着 对 说 话 人 确 认 中 的 信 道 鲁 棒 性 研 究 热 点 及 国 内 外 研 究 现 状 进 行 综 述, 详 细 分 析 复 杂 环 境 下 说 话 人 确 认 研 究 的 问 题 及 难 点, 本 章 最 后 为 全 文 的 研 究 思 路 和 工 作 内 容 第 2 章 从 频 带 区 分 度 谈 起, 提 出 了 复 杂 信 道 下 频 带 区 分 度 的 概 念 着 重 从 基 于 F-ratio 的 准 则 入 手, 详 细 介 绍 了 滤 波 器 频 带 权 重 的 计 算, 对 MFCC 特 征 提 取 时 的 滤 波 器 输 出 进 行 加 权 本 章 探 讨 了 基 于 F-ratio 的 频 带 加 权 在 i-vector 系 统 下 的 表 现, 并 讨 论 基 于 F-ratio 的 频 带 加 权 与 LDA 方 法 的 关 系 ; 最 后 在 2008 年 NIST 标 准 说 话 人 确 认 评 测 库 上 开 展 了 验 证 实 验, 并 在 小 型 跨 语 种 跨 信 道 的 数 据 库 上 验 证 了 F-ratio 频 带 加 权 的 可 推 广 性 第 3 章 构 建 了 复 杂 环 境 下 说 话 人 确 认 的 区 分 性 训 练 方 法 简 要 介 绍 了 DNN 训 练 的 背 景, 从 产 生 式 模 型 与 区 分 性 模 型 各 自 的 优 劣 出 发, 分 析 利 用 区 分 性 模 型 的 可 17

27 第 1 章 引 言 行 性 首 先 考 虑 区 分 性 训 练 的 数 据 集 设 计 准 则 ; 通 过 对 测 试 和 建 模 的 i-vector 向 量 间 的 幅 度 和 夹 角 信 息 空 间 分 布 的 分 析, 提 出 i-vector 幅 值 中 也 包 含 有 说 话 人 信 息, 设 计 了 更 具 有 说 话 人 区 分 性 的 特 征 作 为 区 分 性 训 练 的 输 入 ; 之 后 针 对 DNN 训 练 的 特 点, 研 究 不 同 结 构 DNN 对 区 分 性 训 练 的 影 响 考 虑 产 生 式 模 型 PLDA 与 区 分 性 模 型 的 互 补 性, 研 究 两 种 模 型 的 融 合 方 法 最 后 详 细 介 绍 了 该 系 统 在 2008 年 NIST 核 心 评 测 数 据 库 上 的 实 验, 并 进 行 分 析, 同 时 比 较 了 基 于 DNN 的 区 分 性 训 练 与 基 于 SVM 的 区 分 性 训 练 的 结 果 差 异 第 4 章 是 基 于 顺 序 模 型 自 适 应 的 说 话 人 确 认 首 先 回 顾 了 GMM-UBM 框 架 下 的 最 大 后 验 估 计 方 法 ; 接 着 阐 述 了 本 文 所 构 建 基 于 MAP 学 习 语 音 信 道 特 性 并 进 行 自 适 应 的 方 法 ; 然 后 详 细 介 绍 了 基 于 fmaplr 的 自 适 应 方 法, 并 与 基 于 MAP 的 顺 序 自 适 应 相 结 合 ; 最 后 详 细 介 绍 了 实 验 的 数 据 库 配 置 和 实 验 结 果, 并 对 结 果 进 行 分 析 第 5 章 是 论 文 工 作 总 结 及 展 望 部 分 18

28 第 2 章 基 于 频 带 加 权 的 信 道 鲁 棒 特 征 提 取 第 2 章 基 于 频 带 加 权 的 信 道 鲁 棒 特 征 提 取 2.1 本 章 引 论 研 究 问 题 说 话 人 确 认 系 统 特 征 域 的 处 理 主 要 目 的 是 将 语 音 信 号 转 化 为 更 具 代 表 性 的 声 学 特 征, 如 目 前 广 泛 采 用 的 梅 尔 倒 谱 特 征 (MFCC) 在 说 话 人 确 认 领 域 已 取 得 了 巨 大 的 成 功 MFCC 的 一 个 缺 陷 在 于 其 既 包 含 反 映 说 话 人 特 性 的 信 息 说 话 内 容 的 信 息, 同 时 又 包 含 反 映 信 道 特 性 的 信 息 针 对 不 同 识 别 任 务 的 特 征 提 取 流 程, 需 要 相 应 的 滤 除 干 扰 因 素 分 量, 提 升 反 映 识 别 对 象 特 性 的 分 量 例 如 在 语 音 识 别 中, 需 要 加 强 反 映 说 话 内 容 的 信 息, 抑 制 说 话 人 或 者 信 道 等 因 素 而 在 说 话 人 确 认 中, 则 期 望 对 反 映 说 话 人 特 性 信 息 的 分 量 采 用 较 大 的 权 重, 而 对 反 映 信 道 等 其 它 信 息 的 分 量 采 用 较 小 的 权 重 本 章 研 究 复 杂 环 境 下 的 基 于 频 带 加 权 的 特 征 提 取, 并 在 i-vector 框 架 下 研 究 其 在 不 同 数 据 集 合 下 的 推 广 性 问 题 分 析 目 前 很 多 研 究 工 作 基 于 MFCC 特 征 展 开, 针 对 说 话 人 确 认 目 标 对 MFCC 特 征 进 行 进 一 步 优 化 [79-81] 这 其 中 一 个 重 要 的 研 究 方 向 是 从 说 话 人 发 声 机 理 出 发, 深 [77, 入 探 究 说 话 人 发 声 的 声 道 口 腔 鼻 腔 等 发 声 器 官 可 能 影 响 的 频 谱 区 间 82], Lu 和 Dang 等 人 对 此 进 行 了 开 创 性 研 究, 提 出 了 基 于 F-ratio 频 带 加 权 的 方 法, 认 为 说 话 人 主 要 发 音 器 官 影 响 低 频 区 域 (100Hz~400Hz) 和 高 频 区 域 (4kHz ~5kHz) 的 频 谱, 他 将 整 个 说 话 人 频 段 平 均 划 分 成 60 个 带 宽 一 致 的 子 带, 研 究 不 同 子 带 所 具 有 的 说 话 人 区 分 性 Lu 在 实 验 中 采 用 了 中 文 语 音 的 说 话 人 数 据 库 ( 该 数 据 库 包 含 35 名 说 话 人 ), 并 采 用 GMM-UBM 框 架 下 对 F-ratio 频 带 加 权 开 展 研 究 验 证 清 华 大 学 在 此 基 础 上 研 究 了 说 话 人 特 性 [83, 随 时 间 发 生 变 化 的 问 题 84], 引 入 说 话 人 整 体 区 分 度 的 概 念, 认 为 不 同 频 带 下 说 话 人 区 分 度 与 时 变 信 息 区 分 度 都 不 一 致, 利 用 两 者 的 比 值 挑 选 说 话 人 区 分 度 较 大 和 时 变 信 息 区 分 度 较 小 的 频 带, 依 次 对 频 带 进 行 加 权, 从 而 获 得 时 变 鲁 棒 的 说 话 人 特 征 我 们 注 意 到, 目 前 针 对 基 于 F-ratio 参 数 提 取 的 频 带 加 权 性 能 研 究 都 是 在 相 同 信 道 环 境 下 开 展, 如 Lu 在 研 究 中 使 用 的 语 音 数 据 录 制 环 境 相 同 [82], 对 于 复 杂 信 道 19

29 第 2 章 基 于 频 带 加 权 的 信 道 鲁 棒 特 征 提 取 环 境 下 基 于 F-ratio 的 说 话 人 频 带 区 分 度 参 数 的 提 取 没 有 开 展 研 究 ; 其 次, 上 述 两 组 研 究 中 采 用 的 数 据 集 合 较 小, 相 对 而 言 2008 年 的 NIST 说 话 人 评 测 中 仅 核 心 测 试 女 性 说 话 人 为 1994 人, 并 且 包 含 了 多 种 复 杂 环 境, 如 电 话 对 话 语 音 采 访 录 音 跨 语 言 测 试 等 多 种 数 据 测 试 集 合, 需 要 研 究 基 于 频 带 加 权 的 方 法 在 复 杂 环 境 下 是 否 仍 具 有 可 扩 展 性 再 次, 基 于 Fratio 参 数 提 取 的 频 带 区 分 加 权 方 法 在 传 统 GMM- UBM 框 架 下 对 高 斯 混 合 的 高 维 度 超 向 量 开 展, 其 内 在 的 前 提 假 设 是 各 高 斯 混 合 相 互 独 立 而 在 目 前 最 流 行 的 i-vector 框 架 下, 高 维 度 的 高 斯 混 合 的 超 向 量 经 过 i- vector 中 全 变 量 空 间 的 映 射, 得 到 混 合 后 的 低 维 度 的 i-vector 向 量, 基 于 F- ratio 的 频 带 加 权 方 法 是 否 在 低 维 度 i-vector 向 量 上 也 具 有 同 样 的 效 果? 本 章 将 针 对 上 述 三 个 问 题 开 展 研 究 研 究 思 路 在 本 章 中 我 们 研 究 信 道 鲁 棒 的 声 学 特 征 提 取, 在 Lu 和 Dang 工 作 的 基 础 上, 验 证 F-ratio 频 带 加 权 参 数 在 复 杂 信 道 环 境 下 的 鲁 棒 性 及 扩 展 性 首 先, 我 们 研 究 了 复 杂 环 境 下 基 于 F-ratio 的 说 话 人 频 带 区 分 度 参 数 的 提 取 其 次, 将 F-ratio 频 带 加 权 应 用 至 i-vector 说 话 人 确 认 系 统, 分 析 其 有 效 性, 考 虑 i- vector 系 统 结 合 LDA 之 后, 进 一 步 增 加 了 区 分 性 最 后, 本 章 将 在 i-vector 框 架 下 研 究 F-ratio 在 大 规 模 跨 信 道 数 据 库 上 的 性 能 我 们 采 用 Fisher 英 语 语 料 库 作 为 开 发 集, 并 在 2008 年 NIST 说 话 人 确 认 评 测 数 据 库 上 开 展 实 验 同 时, 我 们 将 研 究 跨 语 种 小 数 据 集 下 训 练 的 F-ratio 参 数 在 NIST2008 说 话 人 确 认 任 务 中 的 有 效 性, 进 一 步 验 证 F-ratio 方 法 的 可 扩 展 性 考 虑 跨 信 道 下 的 F-ratio 参 数 提 取 说 话 人 确 认 系 统 的 优 化 目 标 为 同 一 说 话 人 在 不 同 信 道 下 区 分 度 最 小, 即 定 义 为 信 道 区 分 度 最 小 ; 同 时, 不 同 说 话 人 在 同 一 信 道 下 区 分 度 最 大, 定 义 为 说 话 人 区 分 度 最 大 我 们 定 义 频 带 的 整 体 区 分 度 为 说 话 人 区 分 度 与 信 道 区 分 度 相 除 我 们 要 分 别 提 取 各 个 频 带 的 信 道 区 分 度 和 说 话 人 区 分 度 可 以 采 用 数 据 驱 动 的 办 法, 采 用 带 有 说 话 人 身 份 和 信 道 标 记 的 开 发 集, 其 中 每 个 说 话 人 均 在 不 同 信 道 下 录 制 语 音 针 对 不 同 的 计 算 目 标 分 别 依 据 说 话 人 身 份 标 记 和 信 道 标 记 对 开 发 集 进 行 划 分 例 如 文 献 [85] CSLT-Chronos 是 一 个 满 足 上 述 要 求 的 小 型 数 据 库 将 该 数 据 集 分 别 根 据 说 话 人 和 信 道 进 行 分 类, 可 以 分 计 算 信 道 区 分 度 和 说 话 人 区 分 度, 从 而 得 到 整 体 区 分 度 我 们 在 Fisher 英 语 数 据 库 上 进 行 了 同 样 的 工 作, 并 进 行 了 对 比 复 杂 环 境 下 基 于 F-ratio 的 频 带 加 权 方 法 研 究 思 路 如 图 2.1 所 示 20

30 第 2 章 基 于 频 带 加 权 的 信 道 鲁 棒 特 征 提 取 开 发 集 按 说 话 人 划 分 按 信 道 划 分 计 算 信 道 区 分 度 计 算 说 话 人 区 分 度 计 算 整 体 区 分 度 在 i-vector 框 架 下 验 证 2.1 基 于 F-ratio 的 频 带 加 权 方 法 研 究 思 路 2.2 背 景 回 顾 频 带 加 权 MFCC 特 征 倒 谱 特 征 至 今 仍 然 是 说 话 人 确 认 领 域 中 常 见 的 声 学 特 征, 其 中 MFCC 特 [86, 征 更 是 由 于 其 鲁 棒 性 成 为 应 用 最 广 泛 的 倒 谱 特 征 87] MFCC 最 初 应 用 于 语 音 识 别 中 的 声 学 特 征, 其 从 听 觉 感 知 机 理 出 发, 模 拟 了 人 耳 的 听 觉 特 性, 考 虑 不 同 频 段 产 生 的 听 觉 效 应, 人 耳 在 低 频 段 具 有 较 高 的 分 辨 率, 而 高 频 段 分 辨 率 较 低 因 此 采 用 线 性 关 系 表 示 低 频 段 的 分 辨 率, 采 用 对 数 关 系 表 示 高 频 段 的 分 辨 率, 从 而 将 线 性 频 谱 映 射 至 梅 尔 谱 域 因 此, 从 这 个 角 度 来 说, MFCC 是 一 种 基 于 人 耳 听 觉 感 知 机 理 的 频 率 弯 折, 只 是 这 种 频 率 弯 折 最 初 针 对 语 音 识 别 优 化 目 标 而 开 展 在 低 频 段 部 分 ( 低 于 1kHz 频 段 ) 采 用 较 高 的 分 辨 率, 保 留 更 多 的 语 言 信 息 ; 而 在 高 频 段 ( 高 于 1kHz) 则 采 用 了 较 低 的 分 辨 率, 一 般 认 为 高 频 段 会 包 含 较 多 的 说 话 人 相 关 的 信 息 然 而, 在 说 话 人 确 认 任 务 中, 声 学 特 征 更 应 该 保 留 更 多 的 说 话 人 信 息, 而 抑 制 语 言 信 息 因 此, 也 有 研 究 认 为 诸 如 LFCC [88],PLP [35, 89] 等 特 征 更 适 合 于 说 话 人 确 认 为 了 在 复 杂 信 道 下 提 取 更 为 鲁 棒 的 声 学 特 征, 我 们 采 用 频 带 加 权 的 方 法, 对 包 含 更 多 说 话 人 区 分 性 的 频 段 赋 予 较 大 的 权 重, 而 对 于 受 到 信 道 干 扰 较 多 21

31 第 2 章 基 于 频 带 加 权 的 信 道 鲁 棒 特 征 提 取 的 频 段 给 予 较 小 的 权 重 频 带 加 权 的 MFCC 提 取 流 程 见 图 2.2 所 示 时 域 语 音 信 号 首 先 转 换 为 频 域 信 号, 常 用 的 时 频 变 换 方 法 是 快 速 傅 里 叶 变 换 (FFT, Fast Fourier Transform) 然 后 对 频 域 进 行 梅 尔 弯 折, 频 域 信 号 经 过 一 组 定 义 在 Mel 域 上 等 间 隔 分 布 的 三 角 滤 波 器, 滤 波 器 输 出 即 是 一 组 梅 尔 频 带 能 量 (Fbank) 对 Fbank 能 量 值 取 对 数 后, 经 过 离 散 余 弦 变 换 (DCT), 一 般 选 择 DCT 前 若 干 维 度 特 征 作 为 MFCC 特 征 时 域 信 号 DFT 线 性 谱 域 Mel 滤 波 器 组 Mel 谱 域 倒 谱 特 征 DCT 对 数 谱 域 Log 频 带 加 权 图 2.2 频 带 加 权 MFCC 提 取 流 程 假 设 语 音 信 号 在 8kHz 的 采 样 频 率 下, 一 般 选 择 的 频 谱 范 围 在 100Hz 至 4kHz 之 间, 这 样 做 的 目 的 是 消 除 高 频 噪 音 和 稳 态 噪 音 ( 如 电 流 导 致 的 信 道 干 扰 等 ) 假 设 梅 尔 滤 波 器 的 个 数 为 M 个, 第 m 个 滤 波 器 输 出 为 Sm, 对 应 该 滤 波 器 频 段 的 权 重 为 Wm, 则 加 权 后 的 滤 波 器 输 出 S m 为 : Sw m W m S m (2-1) w 然 后 对 频 带 加 权 后 的 加 权 后 的, 对 应 DCT 变 换 为 公 式 (2-2) M 1 n m12 c n Sw m cos m0 M (2-2) M 1 n m12 S mw mcos m0 M 其 中, 0n M, cn 为 第 n 维 MFCC 特 征 F-ratio 准 则 在 图 2.2 所 示 的 MFCC 提 取 过 程 中, 假 设 了 梅 尔 频 域 中 每 个 Fbank 的 频 段 在 说 话 人 确 认 任 务 上 的 区 分 能 力 是 等 同 的, 因 此 设 定 各 个 Fbank 的 权 重 大 小 一 致, 然 而 这 一 假 设 被 Lu 和 Dang 的 工 作 所 否 定 [77] 他 们 的 实 验 证 明 不 同 频 段 的 说 话 人 区 分 度 是 不 一 致 的, 认 为 通 过 调 整 Fbank 各 频 带 的 权 重 大 小, 22

32 第 2 章 基 于 频 带 加 权 的 信 道 鲁 棒 特 征 提 取 对 高 区 分 度 的 Fbank 频 段 加 大 其 权 重, 对 低 区 分 度 的 Fbank 频 段 降 低 其 权 重, 从 而 提 高 MFCC 特 征 在 说 话 人 确 认 系 统 中 的 效 果 可 以 采 用 数 据 驱 动 的 方 法, 按 照 说 话 人 确 认 任 务 分 类, 统 计 每 个 Fbank 在 分 类 上 的 权 重 大 小, 这 就 是 所 说 的 基 于 F-ratio 参 数 提 取 的 频 带 加 权 方 法 F-ratio 通 常 用 以 判 断 某 一 数 据 集 的 可 区 分 性, 定 义 如 下 : 我 们 假 设 数 据 集 分 为 均 值 为 我 们 定 义 数 据 点 i 类, 其 中 第 x i, j 为 第 i 类 的 第 i 类 数 据 的 均 值 为 i, 整 个 数 据 集 合 的 j 个 数 据 按 照 区 分 性 的 优 化 目 标, 要 求 类 间 距 离 越 大 同 时 类 内 距 离 越 小, 此 时 数 据 集 的 区 分 性 能 为 最 优 F-ratio 的 定 义 为 : F k S S B W (2-3) 式 (2-3) 中, S B 为 该 数 据 集 上 的 类 间 距 离, 离, 分 别 定 义 为 (2-4) 和 (2-5) B i 2 S i S W 为 该 数 据 集 上 的 类 内 距 (2-4) SW xi, j i i j 2 (2-5) 在 说 话 人 确 认 中, 若 采 用 F-ratio 参 数 做 为 判 断 Fbank 子 带 对 说 话 人 确 认 任 务 的 分 类 能 力, 首 先 选 定 一 个 包 含 I 个 说 话 人 语 音 数 据 库 作 为 提 取 F- ratio 参 数 的 开 发 集 语 音 信 号 先 经 过 分 帧 处 理, 然 后 每 一 帧 信 号 由 离 散 傅 里 叶 变 换 后, 经 过 梅 尔 三 角 滤 波, 得 到 的 Fbank 特 征 向 量 为 K 维, 即 Fbank 特 征 共 有 K 个 子 带, 对 每 个 子 带 (2-6) 计 算 该 子 带 的 F-ratio, 即 : k 以 上 述 I 个 说 话 人 作 为 分 类 标 准, 依 据 公 式 F k S (2-6) S k B k W 话 人, 其 中 k k S B 和 S W 的 计 算 方 法 如 式 (2-4) 和 (2-5) 注 意 式 中 的 i 代 表 说 j 代 表 语 音 帧, k 则 代 表 Fbank 子 带 各 个 Fbank 子 带 的 k 该 子 带 对 说 话 人 识 别 任 务 的 区 分 性 和 贡 献 度 F 即 表 征 了 依 此, 将 F k 与 相 应 的 子 带 能 量 相 乘 得 到 加 权 的 Fbank, 再 通 过 DCT 变 换 即 得 到 基 于 F-ratio 的 MFCC 特 征 23

33 第 2 章 基 于 频 带 加 权 的 信 道 鲁 棒 特 征 提 取 i-vector 与 LDA 目 前 在 说 话 人 确 认 领 域 中 广 泛 使 用 并 具 有 良 好 效 果 的 框 架 有 两 种 : 一 种 是 基 于 高 斯 混 合 模 型 - 通 用 背 景 模 型 (GMM-UBM), 另 一 种 是 基 于 因 子 分 析 JFA 和 i-vector 框 架 在 复 杂 信 道 环 境 下,i-vector 已 经 表 现 出 更 好 的 说 话 人 确 认 性 能 相 对 于 GMM-UBM 下 建 模 语 音 采 用 了 高 斯 混 合 的 超 向 量 表 示, 而 测 试 语 音 的 特 征 直 接 在 该 超 向 量 上 计 算 对 数 似 然 分 进 行 判 决 ; 在 i-vector 中 [49], 每 一 段 语 音 ( 包 括 测 试 语 音 和 训 练 语 音 ) 均 采 用 了 一 个 单 独 的 向 量 (i-vector) 表 示 在 GMM-UBM 中 采 用 高 维 度 超 向 量 空 间 描 述 说 话 人 的 分 布, 在 JFA 中 认 为 说 话 人 变 化 和 会 话 变 化 ( 信 道 等 非 说 话 人 因 素 ) 在 各 自 低 维 度 的 说 话 人 子 空 间 和 信 道 子 空 间 变 化 ; 而 在 i-vetor 框 架 中 认 为 说 话 人 变 化 和 会 话 变 化 在 同 一 个 低 维 度 的 空 间 中 变 化, 这 个 子 空 间 被 称 为 全 变 量 空 间, 每 一 段 语 音 都 可 以 被 一 个 在 此 空 间 的 i-vector 表 示 从 数 学 上 看, 假 设 UBM 模 型 包 含 有 C 个 高 斯 混 合 定 义 语 音 特 征 数 据 为 X, 其 维 度 为 F 一 段 语 音 属 于 第 为 M 方 差 为 c Σ c 的 高 斯 分 布 : c 个 高 斯 混 合 的 子 集 为 c c X, 则 X 满 足 均 值 c X Mc v (2-7) 其 中 v ~ N 0, Σc 在 i-vector 中, 定 义 了 一 个 低 维 度 向 量 w 表 示 语 音 段, w 即 全 变 量 因 子 i- vector w 在 低 维 度 子 空 间 变 化 M w R, 并 假 定 w 满 足 标 准 正 态 分 布 从 而 定 义 了 一 个 从 低 维 度 子 空 间 到 高 维 度 高 斯 超 向 量 的 一 个 映 射 矩 阵 T c R FM, 我 们 得 到 如 下 方 程 : N 0, I M m T w c c c (2-8) 其 中 m c 属 于 m c R 高 斯 混 合 相 关 的 映 射 矩 阵, 段 X 就 可 以 用 一 个 由 (2-8) 推 出 的 后 验 概 率 设 了 w 的 先 验 概 率 分 布 : p w F, 是 UBM 模 型 的 第 c 个 分 向 量 的 均 值, T c 是 与 第 c 个 T c 由 EM 算 法 训 练 得 到 一 旦 获 得 T c, 说 话 语 音 p w X 服 从 高 斯 分 布, 那 么 其 后 验 概 率 表 示 更 具 体 地 说, 假 p w X 也 服 从 高 斯 pw X ~ w, Ξ (2-9) 利 用 X 的 一 阶 统 计 量 和 二 阶 统 计 量 计 算 (2-9) 中 的 均 值 w 和 协 方 差 矩 阵 Ξ 24

34 第 2 章 基 于 频 带 加 权 的 信 道 鲁 棒 特 征 提 取 在 说 话 人 确 认 中, 均 值 w 即 系 统 提 取 的 语 音 段 的 i-vector, 被 用 于 进 行 说 话 人 确 认 判 决 同 时 需 要 注 意 的 是,i-vector 中 既 包 含 说 话 人 信 息, 也 包 含 非 说 话 人 信 息 为 了 提 高 说 话 人 确 认 性 能, 在 i-vector 系 统 中 通 常 采 用 WCCN NAP 和 LDA 等 方 法 降 低 信 道 干 扰 i-vector 模 型 训 练 和 计 算 中 并 未 考 虑 同 一 说 话 人 内 部 的 变 化 性, 因 此 得 到 的 i-vector 向 量 既 表 征 了 说 话 人 信 息, 也 表 征 了 语 音 内 容 信 道 情 绪 等 说 话 人 内 部 变 化 信 息 为 进 一 步 区 分 说 话 人 之 间 与 说 话 人 内 部 的 变 动 性, 研 究 者 提 出 采 用 LDA 方 法, 通 过 一 个 线 性 映 射 矩 阵, 在 对 i-vector 降 维 的 同 时 突 出 说 话 人 间 的 差 异 性 设 第 如 下 目 标 数 : i 个 人 的 第 j 个 i-vector 为 B J G W w i, j, LDA 方 法 最 大 化 S (2-10) S 其 中 : SB μ i μ 2 i (2-11) S W w i w j i, j μi i, j Gwi, j 2 (2-12) (2-13) 上 述 模 型 中 低 维 空 间 的 维 度 K G R M 为 i-vector 的 LDA 映 射 矩 阵,K 为 LDA 所 映 射 到 的 μ i 为 第 i 个 说 话 人 的 i-vector 在 映 射 空 间 上 的 均 值, μ 为 所 有 说 话 人 的 i-vector 在 映 射 空 间 上 的 均 值 通 过 优 化 G,LDA 可 以 将 i-vector 向 量 映 射 到 低 维 空 间, 同 时 保 证 在 映 射 空 间 里 不 同 说 话 人 之 间 的 区 分 性 在 公 式 (2-10) 所 定 义 的 准 则 上 最 大 化 经 过 LDA 降 维 后, 说 话 人 确 认 可 以 在 低 维 映 射 空 间 上 实 现 2.3 复 杂 信 道 下 基 于 频 带 加 权 的 特 征 提 取 复 杂 信 道 下 的 频 带 整 体 区 分 度 [83] 文 献 考 虑 时 变 说 话 人 问 题, 引 入 说 话 人 整 体 区 分 度 的 概 念, 利 用 不 同 频 带 下 说 话 人 区 分 度 与 时 变 信 息 区 分 度 的 比 值 作 为 说 话 人 整 体 区 分 度, 从 而 获 得 时 变 鲁 棒 的 说 话 人 特 征 25

35 第 2 章 基 于 频 带 加 权 的 信 道 鲁 棒 特 征 提 取 我 们 借 鉴 此 研 究 思 路, 用 于 复 杂 信 道 下 的 整 体 区 分 度 在 我 们 的 研 究 中, 根 据 分 类 任 务 进 行 MFCC 特 征 子 带 权 重 的 选 择 复 杂 信 道 下 说 话 人 确 认 有 这 样 两 种 分 类 目 标 : 即 同 一 个 说 话 人 在 不 同 信 道 下 的 分 类 和 同 信 道 下 不 同 说 话 人 的 分 类 第 一 类 是 根 据 复 杂 信 道 下, 期 望 说 话 人 随 信 道 差 异 的 变 化 最 小, 即 同 一 说 话 人 在 不 同 信 道 下 的 区 分 度 最 小 第 二 类, 则 是 常 见 的 说 话 人 分 类, 期 望 同 信 道 下 不 同 说 话 人 间 区 分 性 最 大 我 们 定 义 第 一 类 F-ratio 值 为 第 二 类 的 F-ratio 值 为 F spk 根 据 上 述 讨 论, 我 们 选 择 整 体 频 带 区 分 度 为 F, 则 : F channel, 而 F F F spk channel (2-14) 最 终 的 频 带 整 体 区 分 度 是 F spk 越 大 而 基 于 F-ratio 的 频 带 加 权 参 数 提 取 的 F channel 越 小 根 据 上 节 复 杂 信 道 下 频 带 整 体 区 分 度 的 定 义, 我 们 需 要 计 算 每 个 频 带 上 F spk 和 F channel 值, 从 而 得 到 该 频 带 上 的 整 体 区 分 度 F 假 设 语 音 数 据 集 数 据 都 包 括 C 个 信 道 值, F channel ( ik ) 表 示 第 X x i (, ) 中 包 含 有 F spk c k 表 示 第 k 个 子 带 在 第 得 到 整 个 数 据 集 上 的 说 话 人 区 分 度 和 (2-16): I 个 说 话 人 训 练 数 据, 每 个 说 话 人 的 k 个 子 带 在 第 c 个 信 道 上 的 说 话 人 F-ratio i 个 说 话 人 上 的 信 道 区 分 度 我 们 可 以 分 别 F spk ( k ) 和 信 道 区 分 度 F channel ( k ), 如 式 (2-15) F C F spk ( k ) spk ( c, k ) s1 1 C (2-15) F channel ( k ) channel ( i, k ) i1 1 I I F (2-16) 因 此, 根 据 式 (2-14) 得 到 对 应 的 第 k 个 子 带 的 整 体 区 分 度 为 : F F spk ( k ) ( k ) (2-17) Fchannel ( k ) 我 们 F ( k ) 做 为 Fbank 的 第 k 个 子 带 的 权 重 26

36 第 2 章 基 于 频 带 加 权 的 信 道 鲁 棒 特 征 提 取 有 效 性 分 析 由 前 面 介 绍 可 知,GMM-UBM 框 架 下 说 话 人 模 型 中 的 高 斯 混 合 分 量 高 斯 分 量 的 各 个 特 征 维 之 间 均 是 相 互 独 立 的, 一 般 在 GMM-UBM 中 采 用 了 对 角 化 协 方 差 矩 阵 而 i-vector 系 统 中 各 混 合 分 量 连 接 而 成 的 高 维 度 高 斯 超 向 量 经 过 一 个 全 变 量 子 空 间 的 线 性 变 换 后, 高 斯 混 合 分 量 及 各 个 高 斯 分 量 的 维 度 之 间 通 过 线 性 变 换 矩 阵 说 话 人 区 分 度 优 化 的 结 果 将 被 T c 混 合 起 来 那 么 最 初 由 基 于 F-ratio 加 权 得 到 的 频 带 上 T c 的 映 射 权 值 破 坏, 此 时, 基 于 F-ratio 频 带 加 权 的 方 法 是 否 还 能 起 到 GMM-UBM 下 的 优 化 效 果 变 得 未 知 特 别 是,i-vector 的 变 换 矩 阵 T c 的 训 练 是 一 个 非 监 督 训 练, 没 有 考 虑 任 何 说 话 人 的 区 分 性 信 息, 并 且 在 全 变 量 子 空 间 中 混 合 了 说 话 人 因 子 和 会 话 因 子, 这 些 都 将 使 得 原 来 以 说 话 人 区 分 性 最 大 化 为 目 标 的 F-ratio 频 带 加 权 的 优 势 很 可 能 不 复 存 在 另 一 方 面,i-vector 系 统 一 般 采 用 诸 如 WCCN LDA 等 方 法 在 低 维 度 的 全 变 量 子 空 间 对 说 话 人 的 i-vector 进 行 后 处 理, 突 出 说 话 人 分 量, 降 低 信 道 影 响 LDA 方 法 对 i-vector 进 行 了 说 话 人 类 间 的 区 分 性 优 化, 这 一 思 路 与 F-ratio 相 类 似 而 且 F-ratio 与 LDA 都 是 基 于 Fisher 准 则 进 行 优 化 的, 唯 一 不 同 在 于 F-ratio 方 法 利 用 Fisher 准 则 来 确 定 Fbank 子 带 的 说 话 人 区 分 性, 从 而 利 用 F-ratio 参 数 加 权 ; 而 LDA 是 以 Fisher 准 则 优 化 通 用 的 映 射 矩 阵 G, 用 于 降 维 处 理, 将 说 话 人 特 性 集 中 至 区 分 度 较 高 的 若 干 个 维 度 那 么 这 两 种 以 Fisher 准 则 为 优 化 目 标 的 方 法 是 否 具 有 累 加 的 贡 献, 特 别 是 在 i-vector 系 统 中, 经 过 T c 矩 阵 破 坏 ( 如 果 确 实 如 此 ) 的 F-ratio 在 频 谱 上 的 说 话 人 区 分 性 的 优 化 能 力 是 否 有 可 能 通 过 LDA 这 样 的 区 分 性 训 练 方 法 得 以 恢 复? 最 后, 我 们 要 考 虑 的 问 题 是, 基 于 某 一 数 据 库 得 到 的 F-ratio 加 权 参 数 能 否 用 在 基 于 另 一 数 据 库 训 练 的 i-vector 系 统 中? 即 F-ratio 对 i-vector 系 统 是 否 具 有 可 扩 展 性? 因 为 F-ratio 参 数 量 小, 训 练 快 速 可 靠, 如 果 F-ratio 参 数 有 较 好 的 可 扩 展 性, 我 们 可 以 通 过 设 计 一 些 特 定 的 数 据 集, 通 过 F-ratio 方 法 得 到 那 些 对 说 话 人 分 类 具 有 关 键 意 义 的 频 带, 最 后 将 得 到 的 F-ratio 参 数 扩 展 到 其 它 说 话 人 确 认 系 统 中 在 后 面 的 实 验 中, 我 们 将 考 察 一 个 为 研 究 说 话 人 时 变 特 性 所 设 计 的 数 据 库, 这 一 数 据 库 和 标 准 测 试 数 据 相 比, 具 有 跨 语 言 规 模 小, 但 设 计 目 的 集 中 的 特 点 我 们 发 现 在 这 一 小 型 跨 语 言 数 据 库 上 得 到 的 F- ratio 值 对 基 于 其 它 数 据 库 训 练 的 说 话 人 确 认 系 统 依 然 有 效 频 带 加 权 在 i-vector 系 统 中 流 程 基 于 F-ratio 频 带 加 权 的 i-vector 系 统 流 程 如 图 2.3 所 示, 其 中 F-ratio 的 参 数 27

37 第 2 章 基 于 频 带 加 权 的 信 道 鲁 棒 特 征 提 取 { F k } 由 前 面 所 述 的 开 发 集 得 到, 这 一 参 数 用 于 在 MFCC 特 征 提 取 中 对 Fbank 进 行 加 权, 将 加 权 后 的 MFCC 送 入 i-vector 提 取 模 块, 得 到 语 音 段 的 i-vector i-vector 向 量 可 以 直 接 进 行 说 话 人 确 认, 也 可 以 通 过 LDA 或 PLDA 后 用 各 自 的 打 分 方 法 进 行 说 话 人 确 认 开 发 集 频 带 加 权 Fisher 数 据 库 MFCC 特 征 i-vector 系 统 LDA PLDA SRE08 测 试 集 MFCC 特 征 说 话 人 确 认 系 统 判 决 图 2.3 基 于 F-ratio 频 带 加 权 的 i-vector 系 统 流 程 如 图 2.4 实 验 评 测 与 结 果 分 析 相 关 数 据 库 的 选 择 我 们 在 2008 年 NIST 说 话 人 确 认 评 测 数 据 库 的 核 心 评 测 [90] (short2-short3) 数 据 上 开 展 实 验 实 验 中 仅 选 用 了 女 性 说 话 人 语 音 数 据, 对 NIST 核 心 评 测 中 8 种 测 试 环 境 均 进 行 了 研 究, 测 试 环 境 子 集 如 表 2.1 所 示 测 试 人 数 包 括 1997 名 女 性 说 话 人,NIST 核 心 评 测 共 定 义 了 次 测 试, 其 中 真 实 说 话 人 和 闯 入 说 话 人 的 测 试 比 例 约 为 1:4 测 试 集 中 的 说 话 人 训 练 语 音 (short2) 和 测 试 语 音 (short3) 均 为 5 分 钟 左 右 的 电 话 对 话 语 音 或 者 3 分 钟 左 右 的 麦 克 风 录 制 的 采 访 语 音 大 部 分 测 试 集 数 据 为 英 语 语 音, 也 包 括 了 中 文 等 多 种 其 它 语 种 的 语 音 开 发 集 采 用 Fisher 英 语 训 练 文 本 (Fisher English Training Text Data) 数 据 库, 选 择 了 其 中 7196 名 女 性 说 话 人 Fisher 库 中 语 音 均 为 电 话 对 话 语 音, 语 种 为 英 语, 有 效 时 长 为 5 至 10 分 钟 Fisher 库 被 用 来 训 练 i-vector 中 的 全 面 量 空 间 的 映 射 矩 阵 T c, 以 及 LDA 或 者 PLDA 的 转 换 矩 阵 G 28

38 第 2 章 基 于 频 带 加 权 的 信 道 鲁 棒 特 征 提 取 表 年 NIST 核 心 评 测 8 种 测 试 环 境 描 述 测 试 条 件 c1 c2 c3 c4 c5 c6 c7 c8 测 试 环 境 描 述 训 练 和 测 试 语 音 均 为 采 访 录 音 训 练 和 测 试 语 音 来 自 从 同 一 麦 克 风 录 制 的 采 访 录 音 训 练 和 测 试 语 音 来 自 从 不 同 麦 克 风 录 制 的 采 访 录 音 训 练 语 音 为 采 访 录 音, 测 试 语 音 为 电 话 录 音 训 练 语 音 为 电 话 录 音, 测 试 语 音 为 非 采 访 情 况 下 麦 克 风 录 音 训 练 和 测 试 语 音 均 为 电 话 录 音 训 练 和 测 试 语 音 均 为 电 话 录 音, 且 为 英 语 发 音 训 练 和 测 试 语 音 均 为 电 话 录 音, 且 为 英 语 为 母 语 的 说 话 人 发 音 我 们 分 别 采 用 两 个 数 据 集 来 训 练 F-ratio 的 加 权 参 数 我 们 采 用 Fisher 数 据 库 中 的 3000 人 训 练 学 语 音 语 言 中 心 的 CSLT-Chronos 训 练 F k F k : 在 同 数 据 库 实 验 中, ; 在 跨 数 据 库 实 验 中, 我 们 采 用 清 华 大 F k, 该 数 据 库 是 一 个 小 型 的 分 批 次 录 制 的 中 文 语 音 数 据 库, 其 中 含 有 60 名 说 话 人 ( 其 中 男 性 说 话 人 和 女 性 说 话 人 各 30 名 ), 每 个 说 话 人 录 制 语 音 100 句, 时 长 大 约 10 秒 该 中 文 时 变 数 据 库 分 十 二 次 重 复 录 制 于 2010 年 1 月 到 2013 年 12 月 之 间 实 验 参 数 配 置 我 们 对 MFCC 特 征 进 行 频 带 加 权, 特 征 维 度 为 19 维 倒 谱 系 数 加 1 维 帧 能 量, 并 考 虑 了 一 阶 差 分 和 二 阶 差 分, 共 计 60 维 度 MFCC 考 虑 到 语 音 信 号 为 8kHz 采 样 的 电 话 或 者 麦 克 风 录 制 语 音, 选 择 频 率 范 围 为 100Hz 至 4000Hz 我 们 在 相 应 的 梅 尔 频 域 选 择 设 置 了 30 个 梅 尔 三 角 滤 波 器, 即 30 个 Fbank 频 带 我 们 的 UBM 高 斯 混 合 数 选 择 为 2048 个, 因 此 高 斯 超 向 量 维 度 为 维 i-vector 将 高 维 度 的 高 斯 超 向 量 映 射 至 低 维 度 的 全 变 量 子 空 间, 对 应 设 置 i-vector 的 维 度 为 400 维,LDA 降 维 后 的 维 度 为 150 维 本 文 中 采 用 了 Povey 的 开 源 语 音 识 别 工 具 包 [91], 其 中 包 含 主 流 的 i-vector LDA 等 说 话 人 确 认 方 法 29