Signal Processing Chinese Translation

Transcription

1

2

3 [ 编 者 的 话 ] [from the EDITOR] Dan Schonfeld Area Editor, Special 主 编 Issues 邓 立 [email protected] [email protected] publications/periodicals/spm The Evolution of Signal Processing 拥 抱 信 号 处 理 的 新 黄 金 时 代 Signal processing is in the 信 号 处 理 对 信 息 社 会 起 到 了 至 midst of a major transition 关 重 要 的 作 用 信 号 处 理 随 from a focus on classical signals in electrical engineering 处 可 见 : 在 手 机 电 视 汽 车 GPS 调 制 解 调 器 扫 描 仪, 以 及 applications to a much wider 各 种 各 样 的 通 讯 系 统 和 电 子 设 备 中 都 usage devoted to the analysis of signals 可 看 到 信 号 处 理 的 踪 迹 现 代 手 机 的 in a broad spectrum of science and engineering disciplines. Signal processing 确 是 最 有 代 表 性 的 例 子 语 音 音 频 图 像 视 频 和 图 形 都 在 这 些 小 小 的 professionals are thus no longer limited 奇 迹 中 进 行 处 理 和 增 强 这 都 有 to the traditional use of signal processing 赖 于 数 十 年 来 人 们 对 媒 体 信 号 处 理 的 methodologies in speech, image, video, 研 究, 而 这 些 研 究 都 曾 在 我 们 的 IEEE acoustics, radar, and sonar. Instead, the 信 号 处 理 杂 志 (SPM) 上 出 现 tools of signal processing are currently 近 年 来 技 术 的 进 步 已 经 预 示 着 信 being employed to embark on new frontiers in science and technology by analy- 号 处 理 崭 新 的 黄 金 时 代 的 来 临 有 多 个 令 人 兴 奋 的 方 向, 如 生 物 信 息 学 sis of signals in diverse fields of 人 类 语 言 技 术 网 络 与 安 全, 正 在 摆 astronomy, energy, finances, genomics, 脱 传 统 上 对 原 始 信 息 内 容 进 行 信 号 处 Digital Object Identifier /MSP 数 字 对 象 标 识 符 /MSP geosciences, privacy, security, social networks, and much more. 理 的 领 域 新 时 代 的 挑 战 则 超 越 了 处 理 低 层 次 波 形 类 信 号 的 传 统 角 色, The adoption of signal processing 成 为 理 解 和 挖 掘 高 层 次 以 人 为 中 心 techniques in emerging fields of science 的 语 义 信 号 与 信 息 的 新 角 色 在 信 号 and technology will require a profound 处 理 的 某 些 领 域 已 发 生 了 这 样 的 根 本 change in signal processing education 性 转 变 有 望 在 未 来 数 年 的 研 究 中, and practice across multidisciplinary 这 样 的 转 变 在 信 号 处 理 的 更 多 研 究 领 fields. Future signal processing practitioners must therefore gain a much 域 中 更 加 普 遍 除 了 传 统 的 信 号 处 理 领 域, 如 编 broader educational background in a 码 分 析 增 强 合 成 以 及 对 普 通 wide spectrum of sciences and engineering. The signal processing engi- 的 媒 体 和 通 讯 信 号 识 别 外,SPM 还 告 诉 我 们 的 读 者 有 关 信 号 处 理 的 新 趋 势 neers of tomorrow will be expected to 新 技 术 的 发 展 有 赖 于 非 传 统 的 信 号 have rudimentary skills in various fields 处 理 课 题, 其 中 包 括 对 高 层 次 信 息 源 in biology, chemistry, physics, economics, and computer science. 和 内 容 的 理 解 挖 掘, 以 及 检 索, 这 些 往 往 都 嵌 入 在 低 层 次 信 号 之 中 为 The need to master broad and diverse 了 让 新 的 技 术 趋 势 形 成 更 深 刻 的 社 会 disciplines is a major reversal of the 影 响, 在 学 术 界 与 工 业 研 究 机 构 间, trend in engineering education over the 信 号 处 理 与 其 他 相 关 学 科 间, 我 们 需 past few decades, whereby engineering 要 比 以 往 任 何 时 候 都 强 的 互 动 SPM fields became increasingly specialized 尤 其 是 要 促 进 这 些 互 动 and sacrificed some of the basic educational background in sciences and engi- 在 前 任 主 编, 张 希 福 教 授 的 领 导 下, 凭 借 其 编 辑 小 组 的 勤 奋 工 作, 以 neering. To some extent, future edu cational 及 我 们 学 会 主 管 出 版 的 副 主 席, 刘 国 trends are likely to return to their roots 瑞 教 授 所 做 的 基 础 工 作,SPM 状 况 颇 by assimilating some of the practices 佳, 这 有 在 全 球 200 多 个 电 气 工 程 出 used in engineering many decades ago 版 物 中 名 列 前 茅 为 证 在 新 主 编 的 过 when students were exposed to a large 渡 期, 我 得 到 了 张 教 授 和 刘 教 授 非 常 number of courses in the fields of science 宝 贵 的 指 导 和 支 持, 对 此 我 衷 心 感 and technology. 谢 同 时 我 也 很 幸 运, Antonio The changes required in future Ortega 教 授 Dan Schonfeld 教 授 engineering education will not be easy Ghassan AlRegib 教 授, 以 及 吴 旻 教 and will require some compromise in 授 分 别 同 意 担 负 起 专 题 文 章 专 刊, the level of depth gained by students in 专 栏 / 论 坛 和 电 子 通 讯 的 领 域 编 辑 的 责 their core curriculum. Nonetheless, 任 他 们 将 与 我 和 编 辑 部 密 切 合 作 the expansion of engineering curricula 我 们 将 不 负 你 们, 也 就 是 我 们 的 读 者 的 期 望 (continued on page 6) 与 其 他 出 版 物 有 所 不 同, 我 们 的 IEEE SIGNAL PROCESSING MAGAZINE Li Deng, Editor-in-Chief Microsoft Research AREA EDITORS Feature Articles Antonio Ortega, University of Southern California Columns and Forums Ghassan AlRegib, Georgia Institute of Technology Special Issues Dan Schonfeld, University of Illinois at Chicago e-newsletter Z. Jane Wang, University of British Columbia EDITORIAL BOARD Alex Acero Microsoft Research John G. Apostolopoulos Hewlett-Packard Laboratories Les Atlas University of Washington Jeff Bilmes University of Washington Holger Boche Fraunhofer HHI, Germany Liang-Gee Chen National Taiwan University Ed Delp Purdue University Adriana Dumitras Apple Inc. Brendan Frey University of Toronto Sadaoki Furui Tokyo Institute of Technology, Japan Alex Gershman Darmstadt University of Technology, Germany Mazin Gilbert AT&T Research Jenq-Neng Hwang University of Washington Alex Kot Nanyang Technological University, Singapore Vikram Krishnamurthy University of British Columbia, Canada Chin-Hui Lee Georgia Institute of Technology Digital Object Identifier /MSP Jian Li University of Florida-Gainesville Tom Luo University of Minnesota Soo-Chang Pei National Taiwan University Fernando Pereira ISTIT, Portugal Roberto Pieraccini Speech Cycle Inc. Majid Rabbani Eastman Kodak Company Phillip A. Regalia Catholic University of America Nicholas Sidiropoulos Tech University of Crete, Greece Yoram Singer Google Research Henry Tirri Nokia Research Center Anthony Vetro MERL Xiaodong Wang Columbia University Patrick J. Wolfe Harvard University ASSOCIATE EDITORS COLUMNS AND FORUM Andrea Cavallaro Queen Mary, University of London Berna Erol Ricoh California Research Center Rodrigo Capobianco Guido University of Sao Paulo, Brazil Deepa Kundur Texas A&M Andres Kwasinski Rochester Institute of Technology Rick Lyons Besser Associates Aleksandra Mojsilovic IBM T.J. Watson Research Center Douglas O Shaughnessy INRS, Canada C. Britton Rorabaugh DRS C3 Systems Co. Greg Slabaugh Medicsight PLC, U.K. Alessandro Vinciarelli IDIAP EPFL Stephen T.C. Wong Methodist Hospital-Cornell Dong Yu Microsoft Research ASSOCIATE EDITORS E-NEWSLETTER Marcelo Bruno ITA, Brazil Gwenael Doerr Technicolor, France Shantanu Rane MERL Yan Lindsay Sun University of Rhode Island IEEE PERIODICALS MAGAZINES DEPARTMENT Geraldine Krolin-Taylor Senior Managing Editor Jessica Barragué Associate Editor Susan Schneiderman Business Development Manager Fax: Felicia Spagnoli Advertising Production Mgr. Janet Dudar Senior Art Director Gail A. Schnitzer Assistant Art Director Theresa L. Smith Production Coordinator Dawn M. Melley Editorial Director Peter M. Tuohy Production Director Fran Zappulla Staff Director, Publishing Operations IEEE prohibits discrimination, harassment, and bullying. For more information, visit aboutus/whatis/policies/p9-26.html. IEEE SIGNAL PROCESSING SOCIETY Mos Kaveh President K.J. Ray Liu President-Elect Michael D. Zoltowski Vice President, Awards and Membership V. John Mathews Vice President, Conferences Min Wu Vice President, Finance Ali H. Sayed Vice President, Publications Ahmed Tewfik Vice President, Technical Directions Mercy Kowalczyk Executive Director and Associate Editor Linda C. Cherry Manager, Publications IEEE SIGNAL PROCESSING MAGAZINE [2] SEPTEMBER 2010 IEEE 信 号 处 理 杂 志 [1]

4 [编者的话] 杂志不聚焦于新的研究成果 我们的 志专注于对重要理论 算法 工具 以及与信号处理相关的应用进行全面 解读的指南性文章 IEEE 信号处理学 会的每位会员每两个月就会收到一期 SPM 每期包括三个主要类别的文章 专刊文章 专题文章 和专栏/论坛文 章 最近发行的信号处理内部电子通 讯是SPM 每月推出的电子出版物 服 务于学会的所有会员 应对信号处理的新黄金时代的重 大挑战并不容易 在将 SPM 打造为一 个反映我们整个社团长期或短期的兴 趣的杂志的过程中 我们寻求您的积 极参与 如果您对于改善 SPM 中任何 一个部分有任何想法 请联络 我 我很欢迎您成为 SPM 的作者 专 栏作家 客座编辑 和/或审阅人 并 在信号与信息处理的崭新的 令人兴 奋的时代中分享这个社团的乐观精 神 Photo: NASA Innovation doesn t just happen. Read first-person accounts of IEEE members who were there. IEEE Global History Network 09-HIST-0382b-GHN-7x4.75-Final.indd 1 [2] 4/5/10 12:12:54 PM IEEE 信号处理杂志

5 [ 专 题 报 告 ] Ron Schneiderman DSP 对 新 医 学 影 像 设 计 的 影 响 数 字 信 号 处 理 (DSP) 对 于 医 学 影 像 现 状 的 推 进 产 生 重 大 影 响 DSP 的 优 点 众 所 周 知 : 可 以 实 时 操 作 高 可 靠 性 非 常 节 能 而 且 相 对 便 宜 但 是, 医 学 影 像 市 场 还 迫 切 需 要 更 多 的 技 术 创 新 更 多 关 注 的 是 更 高 的 图 像 质 量 和 设 计 更 小 型 的 系 统 在 未 来 数 年, 我 们 预 期 医 学 影 像 应 用 将 实 现 从 局 限 于 基 本 的 诊 断 功 能 传 统 影 像 准 到 一 个 小 型 化, 高 精 度 便 携 式 医 疗 成 像 设 备 组 成 的 新 的 生 态 系 统 的 重 大 转 变 半 导 体 市 场 研 究 公 司 Databeans 的 研 究 总 监 和 总 裁,Susie Inouye 说 便 携 式 系 统 的 迅 速 发 展 促 生 了 手 持 式 设 备, 某 些 情 况 下, 医 疗 和 家 庭 监 控 设 备 更 耐 磨 在 所 有 这 些 系 统 中,DSP 无 处 不 在 因 此, 医 疗 设 备 制 造 商 和 芯 片 厂 商 都 在 努 力 扩 大 医 疗 诊 断 应 用, 并 针 对 不 断 增 长 的 市 场 引 进 新 产 品 通 用 电 气 公 司 (GE) 今 年 早 些 时 候 发 布 了 其 vscan 扫 描 仪, 大 概 有 一 个 手 机 大 小, 售 价 不 超 过 10,000 美 元 西 门 子 已 经 升 级 了 三 年 前 首 次 推 出 的 Acuson P10 手 持 式 扫 描 仪 东 芝 公 司 最 近 也 通 过 一 个 全 新 的 笔 记 本 电 脑 系 统 进 入 便 携 式 超 声 波 市 场 日 立 公 司 也 提 供 了 一 个 笔 记 本 电 脑 大 小 的 系 统 名 为 Viamo, 主 要 设 计 针 对 那 些 需 要 高 端 超 声 检 查 但 却 动 弹 不 得 的 病 人 使 用 GE 传 感 与 检 测 科 技 推 出 了 一 款 轻 量 级 (13 磅 ) 的 便 携 式 数 字 成 像 工 具 DXR250V, 其 特 点 就 是 在 这 些 先 前 仅 限 于 计 算 机 X 线 摄 影 和 X 线 光 片 的 应 用 中 缩 短 扫 描 时 间, 最 大 程 度 地 降 低 辐 射 照 射 新 的 GE 的 设 备 可 以 连 接 到 一 台 笔 记 本 电 脑 产 生 用 于 即 时 检 查 图 像 一 间 很 小 的 公 司,Signostics 的 数 字 对 象 标 识 符 /MSP 一 款 手 机 大 小, 半 磅 重 的 Signos 手 持 式 超 声 波 系 统, 近 期 获 得 美 国 食 品 和 药 物 管 理 局 (FDA) 认 证 Signostics 克 服 了 开 发 手 掌 大 小 超 声 产 品 的 设 计 上 的 艰 难 挑 战,Analog Devices 的 医 疗 技 术 分 部 主 任,Patrick O Doherty 说, 该 部 门 正 在 与 Signostics 紧 密 合 作, 为 数 据 转 换 信 号 调 理 和 要 实 现 其 设 计 的 传 感 器 提 供 关 键 的 信 号 处 理 技 术 Signos 涵 盖 多 个 医 学 应 用, 包 括 腹 部 评 估, 如 膀 胱, 腹 主 动 脉 瘤 筛 选 和 创 伤 评 估, 还 有 肌 肉 骨 骼 和 基 本 产 科 SonoSite 公 司 作 为 床 边 检 验 市 场 的 另 一 位 参 与 者, 提 供 了 一 个 随 身 携 带 的 超 声 波 系 统, 主 要 是 在 医 生 的 办 数 字 信 号 处 理 对 于 医 学 影 像 现 状 的 推 进 产 生 重 大 影 响 公 室 中 使 用 Philips Medical 近 10 年 前 推 出 一 款 手 持 式 超 声 设 备 名 为 OptiGo, 该 设 备 退 出 了 市 场, 据 说 因 为 当 时 人 们 都 质 疑 医 疗 成 像 设 备 的 图 像 质 量 如 此 之 差 不 同 的 系 统 应 用 目 前 有 数 个 医 学 影 像 技 术 并 存 磁 共 振 成 像 (MRI) 提 供 了 非 常 清 晰 的 人 体 图 像, 用 于 疾 病 和 伤 害 诊 断 的 范 围 非 常 广 泛 全 世 界 每 年 进 行 超 过 6000 万 美 元 的 MRI 诊 断 程 序 MRI 是 一 种 非 侵 入 性 技 术, 不 使 用 磁 共 振 电 离 辐 射 生 成 人 体 的 图 像 由 于 它 能 够 定 制 检 查, 以 满 足 诸 如 视 场 角 的 特 定 参 数, 对 于 很 多 不 同 的 医 疗 状 况, 这 是 可 选 的 诊 断 方 法, 包 括 癌 肿 瘤, 韧 带 撕 裂, 和 阿 尔 茨 海 默 氏 病 电 脑 断 层 扫 描 (CT) 是 另 一 形 式 的 扫 描, 产 生 人 体 内 部 器 官 的 三 维 图 像 随 着 技 术 的 提 高,CT 的 使 用 越 来 越 频 繁, 为 内 部 器 官 骨 骼 软 组 织 和 血 管 的 分 析 和 诊 断 提 供 更 清 晰, 更 详 细 的 图 片 CT 扫 描 成 像 的 进 步 从 根 本 上 改 变 了 诊 断 成 像 的 实 际 操 作 方 法 和 经 济 学 意 义,Databeans 的 Susie Inouye 说 ( 现 在, 在 美 国 每 年 有 超 过 62 万 名 病 人 进 行 过 CT 扫 描 检 查, 而 在 1980 年 则 是 3 万 人 ) 系 统 集 成 的 进 步 有 助 于 显 着 提 升 照 片 的 数 量 ( 或 片 数 ), 可 采 用 CT 机, 提 高 图 像 的 细 节 和 质 量 数 字 化 X 射 线 是 诊 断 技 术 从 传 统 的 X 射 线 系 统 迈 出 的 重 要 一 步, 其 中 每 个 组 件 的 信 号 衰 减 消 耗 了 原 始 X 射 线 信 号 的 60% 通 过 增 加 一 个 用 于 数 字 X 射 线 成 像 的 数 字 探 测 器, 可 以 捕 获 80% 以 上 的 原 始 图 像 信 息 数 字 化 的 X 射 线 辐 射 的 使 用 也 减 少 了 病 人 的 辐 射 剂 量, 通 过 去 掉 摄 影 处 理 过 程, 减 少 了 诊 断 时 间 高 性 能 的 数 字 信 号 处 理 器 可 以 控 制 其 功 能 和 信 号 调 节, 以 获 取 和 改 善 数 字 X 射 线 图 像 的 清 晰 度 数 字 X 射 线 的 另 一 个 重 要 优 势 是 它 能 够 存 储 和 传 输 的 数 字 图 像 诊 断 超 声 成 像 系 统 生 成 并 传 递 声 波, 并 捕 获 反 射 波, 然 后 将 其 转 换 为 可 视 化 图 象 对 于 接 收 到 的 声 波 所 进 行 的 信 号 处 理 过 程 包 括 插 值 抽 取 数 据 滤 波 和 重 建 可 编 程 DSP 和 片 上 系 统 芯 片 (SoC) 设 计 用 来 实 现 实 时 的 复 杂 数 学 算 法, 以 便 有 效 地 满 足 这 些 系 统 的 处 理 需 求 另 一 种 医 学 影 像 系 统 是 正 电 子 发 射 断 层 扫 描 (PET) 如 同 MRI 一 样, 也 是 一 种 无 创 诊 断 技 术 通 过 从 身 体 ( 由 病 人 食 用 的 放 射 性 化 学 元 素 所 产 生 ) 辐 射 排 放 产 生 特 定 的 器 官 或 组 织 生 理 图 像 PET 系 统 通 常 使 用 DSP 处 理 不 同 的 输 入 放 大 器 增 益, 并 通 过 实 际 系 统 控 制 光 电 倍 增 管 高 压 电 源 探 测 环 结 IEEE 信 号 处 理 杂 志 [3]

6 [ 专 题 报 告 ] 合 件 的 运 动 控 制 和 病 人 出 / 入 DSP 也 可 以 用 于 PET 扫 描 仪 控 制 和 信 号 处 理 单 元 洛 杉 矶 的 Westside Medical Associates 和 比 佛 利 山 庄 的 Westside Medical Imaging(WMI) 最 近 报 告 说, 早 期 的 PET 扫 描 可 以 在 早 期, 可 治 疗 阶 段 确 诊 老 年 痴 呆 症 在 纽 约 大 学 (NYU)Langone 医 学 中 心 的 研 究 调 查 证 实 了 我 们 长 期 持 有 的 信 念 就 是 我 们 可 以 使 用 先 进 的 成 像 技 术 在 阿 尔 茨 海 默 病 人 尚 未 出 现 症 状 的 早 期 进 行 识 别, 加 州 大 学 洛 杉 矶 分 校 Geffen 医 学 院 的 医 学 教 授,WMI 的 主 任,Norman Lepor 博 士 说 纽 约 大 学 的 研 究 团 队 一 直 使 用 名 为 匹 兹 堡 复 合 物 B 的 荧 光 成 像 剂 能 够 使 乙 型 淀 粉 样 蛋 白 斑 块 发 光, 这 是 发 现 阿 兹 海 默 氏 症 的 一 个 特 征 根 据 研 究 人 员 的 研 究, 并 不 是 大 脑 中 存 在 乙 型 淀 粉 样 蛋 白 斑 的 所 有 病 人 均 发 展 为 阿 兹 海 默 氏 症 西 门 子 已 经 开 发 出 一 种 新 的 成 像 系 统, 名 为 Somatom Definition Flash 扫 描 仪, 使 用 相 对 较 低 剂 量 的 辐 射, 并 只 针 对 一 个 身 体 的 特 定 区 域 进 行 扫 描 ( 参 见 辐 射 照 射 可 能 要 求 设 备 的 设 计 作 出 变 更 ) DSP 厂 商 利 润 的 增 长 几 个 主 要 的 芯 片 公 司 正 在 努 力 推 动 改 善 医 疗 成 像 系 统 的 准 确 度 和 效 率 的 现 状 TI 长 期 以 来 一 直 是 提 供 数 字 信 号 处 理 器 和 医 疗 成 像 应 用 相 关 设 备 的 领 军 者, 并 于 2007 年 成 立 了 医 学 影 像 DSP 部 门 次 年, 又 推 出 1500 万 美 元 的 医 学 院 校 基 金, 希 望 在 未 来 的 三 至 五 年 内 对 医 学 技 术 产 生 的 重 大 影 响 TI 的 DSP 医 疗 影 像 业 务 发 展 及 市 场 部 经 理 Ken Nesteroff 说, 超 音 波 是 DSP 应 用 医 学 影 像 系 统 中 较 好 的 例 证 之 一 ( 参 见 图 1) 当 然, 也 有 很 多 的 模 拟 解 决 方 案, 我 们 会 针 对 这 些 开 发 特 定 的 部 件,Nesteroff 特 别 提 到 在 DSP 方 面, 我 们 把 更 多 处 理 放 在 后 端 处 理 部 分 您 通 常 看 到 的 是 B 超, 彩 超, 多 普 勒 功 能 中 的 千 兆 级 DSP, 有 时 是 射 频 信 号 解 调 后 端 功 能 主 要 是 将 扫 描 转 换 为 用 于 显 示 数 据 在 便 携 式 系 统 中, 该 行 业 完 全 脱 离 PC 机 后 端, 而 转 向 更 多 的 片 上 系 统 方 法 TI 目 前 正 在 改 进 其 嵌 入 式 处 理 器 软 件 工 具 包, 该 工 具 包 于 2009 年 3 辐 射 照 射 可 能 要 求 设 备 的 设 计 作 出 变 更 最 近 数 月 以 来, 对 于 病 人 而 言, 辐 射 风 险 已 成 为 一 个 大 问 题, 同 时 也 成 了 各 医 疗 成 像 系 统 制 造 商 放 射 科 医 师 和 医 生 的 热 门 话 题 联 邦 监 管 机 构 认 为 必 要 的 CT 扫 描 可 发 现 众 多 的 健 康 问 题, 但 他 们 同 时 也 发 现 越 来 越 多 的 证 据 表 明 暴 露 于 辐 射 的 人 可 能 会 增 加 其 在 未 来 罹 患 癌 症 的 风 险 正 因 如 此, 美 国 FDA 的 医 疗 器 械 中 心 (CDRH) 已 经 启 动 了 一 个 倡 议, 这 可 能 迫 使 成 像 设 备 制 造 商 重 新 设 计 他 们 的 产 品, 在 辐 射 剂 量 超 过 建 议 的 水 平 时, 就 可 以 提 醒 医 护 人 员 当 FDA 在 4 月 初 举 行 的 首 个 系 列 会 议 中 讨 论 了 如 何 保 护 病 人 免 受 不 必 要 的 辐 射 照 射 FDA 表 示, 其 目 标 是 支 持 医 学 成 像 所 带 来 的 好 处, 同 时 尽 量 降 低 风 险 CDRH 的 主 任,Jeffrey Shuren 博 士 说 : 美 国 人 受 到 来 自 医 疗 成 像 的 辐 射 照 射, 在 过 去 20 年 大 幅 度 增 加 事 实 上, 最 近 的 研 究 表 明, 过 去 30 年 来, 普 通 美 国 人 的 总 辐 射 照 射 量 增 长 了 近 一 倍, 主 要 来 自 于 CT 扫 描 和 其 他 下 一 代 成 像 测 试 例 如, 腹 部 CT 扫 描 的 辐 射 剂 量 大 约 是 胸 部 X 光 检 查 的 400 倍 相 比 之 下, 牙 科 X 光 检 查 需 要 大 约 胸 部 X 光 检 查 的 辐 射 剂 量 的 一 半 FDA 声 称, 计 划 向 CT 和 X 光 透 视 设 备 制 造 商 发 出 针 对 性 的 需 求, 从 而 在 他 们 的 机 器 设 备 设 计 中 纳 入 直 观 重 要 的 防 护 措 施, 以 便 开 发 更 安 全 的 技 术, 并 提 供 适 当 的 培 训, 支 持 从 业 人 员 的 安 全 使 用 该 机 构 于 3 月 下 旬 举 行 首 个 系 列 公 开 听 证 会 以 听 取 需 要 设 立 什 么 样 的 要 求 为 了 赋 予 病 人 权 利, 并 提 高 认 识,FDA 正 在 与 其 他 组 织 合 作 开 发 和 传 播 患 者 医 学 影 像 历 史 记 录 卡 该 工 具 可 以 从 FDA 的 网 站 上 获 取, 让 病 人 追 踪 他 们 自 己 的 医 学 影 像 历 史, 并 与 他 们 的 医 生 分 享, 特 别 是 当 这 些 影 像 可 能 没 有 包 含 在 他 们 的 医 疗 记 录 内 时 医 学 影 像 与 技 术 联 盟 (MITA), 一 个 代 表 了 医 学 影 像 和 放 射 治 疗 系 统 制 造 商 的 协 会, 声 称 他 们 支 持 措 施 减 少 不 必 要 的 辐 射 照 射, 并 最 大 程 度 减 少 医 疗 过 失 的 倡 议 美 国 放 射 技 师 协 会 声 称 支 持 MITA 在 所 有 CT 新 产 品 中 纳 入 辐 射 剂 量 检 查 功 能 方 面 所 做 的 努 力, 儿 科 成 像 辐 射 安 全 联 盟 也 一 样, 该 联 盟 领 导 温 柔 影 像 运 动, 以 减 少 接 受 医 学 影 像 检 查 的 儿 童 所 承 受 的 辐 射 剂 量 月 推 出, 用 来 协 助 医 疗 诊 断 超 声 厂 商 开 发 更 精 确 和 更 经 济 的 系 统, 而 且 速 度 很 快 Nesteroff 说, 新 工 具 包 的 关 键 之 处 是 在 图 像 处 理 方 面 的 进 展 TI 也 看 到 了 其 最 新 的 基 于 多 核 DSP 的 SoC 架 构 在 医 学 影 像 中 的 机 会, 该 DSP 合 并 有 定 点 和 浮 点 运 算 能 力 专 为 通 信 基 础 设 施 设 备 所 设 计, 新 的 DSP 的 运 行 速 度 高 达 1.2 GHz, 其 引 擎 可 提 供 高 达 每 秒 2560 亿 次 乘 法 累 加 运 算 (256 GMACS) 和 每 秒 1280 亿 次 浮 点 运 算 (128 GFLOPS) Analog Devices 作 为 医 学 影 像 行 业 的 一 个 长 期 合 作 者, 最 近 推 出 了 一 款 新 的 电 流 / 数 字 转 换 器 芯 片, 使 得 高 层 数 CT 系 统 能 够 捕 获 实 时 的 移 动 图 像, 如 跳 动 的 心 脏, 而 且 具 有 高 精 确 度 和 细 节 信 息 该 芯 片 将 光 电 二 极 管 阵 列 信 号 转 化 为 数 字 信 号, 根 据 Analog Devices 的 资 料 显 示, 与 较 旧 的 型 号 相 比, 可 以 将 CT 检 测 系 统 的 电 耗 降 低 50%, 主 要 是 通 过 更 高 度 集 成 的 设 计 来 实 现 需 要 铭 记 的 是 人 设 的 成 像 系 统 都 将 作 医 疗 诊 断 用, 要 保 持 图 像 质 量, 不 能 损 失 信 息, 医 生 才 能 进 行 辨 别,Analog Devices 医 疗 保 健 技 术 部 门 的 战 略 营 销 经 理 Tony Zarola 如 是 [4] IEEE 信 号 处 理 杂 志

7 [ 专 题 报 告 ] 说 更 高 的 图 像 分 辨 率 会 转 换 成 更 多 的 像 素,Zarola 说, 这 就 意 味 着 在 更 多 的 数 据 和 更 高 后 端 图 像 处 理 要 求 一 个 显 而 易 见 的 目 标 就 是 在 扫 描 期 间, 获 得 更 多 图 像 信 息 的 同 时 更 少 地 照 射 ( 减 少 扫 描 时 间 ) 有 害 的 X 射 线 就 系 统 中 的 电 子 器 件 而 言, 更 多 扫 描 线 就 意 味 着 需 要 更 多 通 道, 更 高 的 图 像 分 辨 率 就 转 化 为 更 多 的 像 素, 而 更 高 的 信 噪 比 的 无 线 设 备 提 供 给 更 低 的 噪 声, 因 而 可 获 得 更 好 的 对 比 度 要 传 输 更 多 来 自 接 收 器 的 数 据, 增 加 的 通 道 数 就 需 要 增 加 整 个 系 统 的 带 宽,Zarola 补 充 道 这 可 能 会 导 致 我 们 要 面 对 在 现 有 带 宽 有 限 的 基 础 设 施 传 输 数 据 的 挑 战 DSP 的 优 势 意 义 重 大, 他 强 调, 范 围 从 降 低 带 宽 到 智 能 压 缩 算 法 的 使 用 ( 可 以 使 用 有 损 压 缩, 但 随 后 对 图 像 的 完 整 性 所 造 成 的 影 响 将 需 要 特 征 化 ) 为 了 获 得 更 好 的 图 像 质 量, 可 使 用 各 种 后 处 理 图 像 增 强 算 法 能 够 提 高 对 比 度 或 减 少 系 统 噪 声 的 影 响,Zaroloa 如 是 说 同 样, 面 临 的 挑 战 将 是 保 持 图 像 的 完 整 性 一 个 巨 大 的 市 场 医 学 成 像 已 经 是 一 个 巨 大 的 市 场, 并 持 续 不 断 地 增 长, 在 很 大 程 度 上 得 益 于 由 于 技 术 的 进 步, 以 及 日 益 普 及 的 便 携 式 成 像 产 品 据 Reportlinker 所 作 的 市 场 研 究 表 明, 医 学 成 像 设 备 的 全 球 市 场 预 计 到 2015 年 将 达 到 约 370 亿 美 元 MRI 预 计 在 年 期 间 增 长 速 度 最 快 的 成 像 方 式, 其 年 复 合 增 长 率 (CAGR) 为 9.8% 另 一 家 市 场 研 究 集 团,Global Industry Analysts 声 称, 美 国 日 本 和 欧 洲 占 有 CT 扫 描 仪 全 球 市 场 用 户 基 数 的 85% 以 上 据 Global Industry Analysts 的 说 法, 全 球 CT 扫 描 仪 市 场 主 要 有 四 家 公 司 :GE 医 疗 西 门 子 医 疗 东 芝 医 疗 系 统, 以 及 飞 利 浦 医 疗 保 健 其 他 主 要 参 与 者 包 括 日 立 医 疗 公 司 和 日 本 岛 津 医 疗 系 统 技 术 的 快 速 升 级 也 对 CT 扫 描 仪 产 生 了 影 响 在 CT 领 域 的 主 要 趋 势 是 朝 着 组 合 扫 描 仪 的 方 向 转 变, 主 要 是 组 合 了 PET 和 CT 成 像 能 力 的 复 合 扫 描 仪 Global Industry Analysts 声 称, 自 50 年 代 初 引 进 后, 超 声 波 赢 得 医 疗 影 像 市 场 越 来 越 多 的 份 额 超 声 设 备 小 型 化, 并 持 续 不 断 地 将 电 子 系 统 纳 入 超 声 技 术 是 主 流 趋 势, 该 成 像 技 术 的 成 功 多 归 功 与 此 超 声 设 备 的 整 体 市 场 在 美 国 已 接 近 饱 和 ; 然 而, 心 脏 科 还 是 继 续 体 现 了 超 声 终 端 产 品 的 快 速 增 长, 预 计 2010 年 在 美 国 境 内 的 收 益 将 达 到 6.84 亿 美 元 这 个 市 场 基 本 上 是 使 用 新 的 技 术 上 更 先 进 系 统 话 的 新 产 品 更 换 和 升 级 老 化 设 备 的 需 求 所 驱 动 美 国 和 欧 洲 加 在 一 起, 约 占 全 球 60% 的 医 学 超 声 设 备 市 场 份 额, 尽 管 根 据 市 场 调 研 公 司 的 说 法, 亚 太 市 场 正 在 迅 速 崛 起 根 据 Global Industry Analysts 的 说 法, 医 疗 超 声 市 场 的 主 要 参 与 者 有 Aloka 公 司 B-K Medical Esaote SPA GE 医 疗 集 团 日 立 医 疗 系 统 美 国 公 司 Medison 有 限 公 司 飞 利 浦 医 疗 西 门 子 医 疗 SonoSite 公 司 TomTec 成 像 系 统 公 司 GmbH 和 东 芝 医 疗 系 统 有 限 公 数 字 化 的 X 射 线 辐 射 的 使 用 也 减 少 了 病 人 的 辐 射 剂 量, 通 过 去 掉 摄 影 处 理 过 程, 减 少 了 诊 断 时 间 司 据 报 道, 飞 利 浦 西 门 子 通 用 电 气 和 东 芝 占 全 球 市 场 份 额 的 80% MRI 市 场 预 计 在 2010 年 将 达 到 的 5.5 亿 美 元, 推 出 的 高 场 系 统 和 诸 如 功 能 性 神 经 成 像 磁 共 振 血 管 造 影 术 无 创 结 肠 镜 检 查 以 及 乳 腺 MR 等 新 技 术 推 动 了 这 个 市 场 MRI 设 备 的 关 键 卖 点 似 乎 是 较 高 图 像 质 量 和 成 本 效 益 根 据 Global Industry Analysts 的 说 法,GE 医 疗, 西 门 子 医 疗 系 统, 飞 利 浦 医 疗 系 统 称 霸 全 球 MRI 设 备 市 场, 其 他 知 名 公 司 包 括 Esaote 公 司 日 立 东 芝 医 疗 系 统 公 司 Fonar 公 司 IMRIS 与 Medtronic 研 究 了 医 学 影 像 市 场 的 另 一 个 研 究 机 构,Frost & Sullivan 最 近 发 布 了 一 份 报 告, 提 到 在 欧 洲 刮 起 了 一 阵 有 关 医 学 成 像 的 研 究 与 发 展 (R&D) 的 风 潮, 特 别 是 心 脏 科 的 应 用 F&S 预 期 制 造 商 在 超 声 心 动 图 方 面 还 有 巨 大 的 市 场 机 会, 藉 此 可 以 为 私 人 执 业 医 生 提 供 便 携 式 基 于 PC 的 超 声 系 统 巨 大 的 DSP 需 求 数 字 信 号 处 理 进 入 医 疗 系 统 市 场 的 切 入 点 在 那 里? Databeans 预 测, 销 往 全 球 医 疗 成 像 应 用 的 DSP 的 收 益 将 增 长 近 一 倍, 从 2008 年 3140 万 美 元 增 长 到 2014 年 的 6060 万 美 元 ( 参 见 表 1), 主 要 是 这 些 系 统 的 市 场 有 所 增 长, 而 且 在 数 个 方 面 的 技 术 也 都 有 所 进 步 其 中 一 个 技 术 进 步 就 是 将 X 光 片 转 化 成 了 数 字 文 件 DSP 有 助 于 将 捕 获 点 的 X 射 线 信 号 转 换 成 数 字 图 像, 而 无 需 对 图 像 完 整 性 进 行 取 舍 正 如 TI 在 一 份 有 关 医 学 成 像 未 来 的 报 告 中 所 指 出 的 那 样, 能 够 提 供 实 时 数 字 图 像 的 能 力 使 得 数 字 X 射 线 机 可 应 用 于 外 科 手 术, 能 够 让 医 生 在 手 术 中 看 到 精 确 的 图 像 就 在 几 年 前,MRI 也 进 行 了 改 进, 能 够 在 短 的 时 间 内 提 供 更 高 质 量 的 图 像 此 外, 扩 散 MRI 允 许 研 究 人 员 创 建 脑 图 谱, 以 便 通 过 跟 踪 技 术 研 究 完 全 不 同 的 大 脑 区 域 之 间 的 关 系 功 能 性 MRI 现 在 可 以 迅 速 扫 描 大 脑 以 便 测 量 因 神 经 活 动 而 引 起 的 信 号 变 化 DSP 也 在 远 程 医 疗 方 面 发 挥 着 至 关 重 要 的 作 用, 特 别 是 视 频 会 议 和 远 程 呈 现 系 统 中, 可 支 持 多 种 格 式 根 据 TI 的 报 告 中 的 陈 述,DSP 的 使 用 是 贯 穿 这 些 实 例 的 一 个 共 同 的 主 题 更 重 要 的 是, 这 项 技 术 对 全 球 的 医 疗 水 平 产 生 了 意 义 深 远 的 影 响 [SP] IEEE 信 号 处 理 杂 志 [5]

8 [ 专 题 报 告 ] Ultrasound System Where DSP Fits Transducer T/R Switches HV MUX LNA Signal Chain Power Passive LPF Temp Sense Amplifier Stage Amplifier + Filter VCA PGA Low Pass Filter Time Gain Control CW (Analog Beamformer) REF ADC DAC DAC Analog Front End ADC Core and I/O Power Clocking Back End Spectral Doppler Processing Front End Transmit Beamformer Receive Beamformer Middle B Mode Processing Beamformer Control Unit Preprocessing Color/Power Doppler Processing Scan Conversion Post Processing Plug ~ ac Line ac/dc Supply with Green Mode Controller System Power Main Power Supply Legend Processor Interface Supply Voltage Supervisor Power ADC/DAC Amplifier Logic Power LPW RS232 USB Common Interfaces Other IDE/ATA Ultrasound OS/UI MMC/ SDIO Display Backlight Touchscreen Audio Amp Audio Output Product Availability and Design Disclaimer - The system block diagram depicted above and the devices recommended are designed in this manner as a reference. Source: Texas Instruments. DSP RF Demodulation B-Mode Color Flow Spectral Doppler SOC (DSP + MPU) Scan Conversion Speckle Reduction System Control O/S Display Storage [ 图 1] 该 系 统 框 图 是 TI 针 对 DSP 和 其 他 设 备 所 建 议 的 参 考 设 计, 可 以 用 在 超 声 医 学 成 像 系 统 的 设 计 中 ( 图 得 到 了 使 用 许 可 ) [6] IEEE 信 号 处 理 杂 志

9 [ Miles N. Wernick Yongyi Yang Jovan G. Brankov Grigori Yourganov Stephen C. Strother ] 医 学 成 像 中 的 机 器 学 习 [ 来 自 医 学 成 像 的 结 论 ] 一 个 多 世 纪 以 来, 在 许 多 领 域, 创 造 ( 和 再 创 造 ) 了 多 个 自 动 决 策 和 建 模 的 统 计 方 法 在 这 方 面, 重 要 的 问 题 包 括 模 式 分 类 回 归 控 制 系 统 辨 识 和 预 测 近 年 来, 这 些 思 想 被 确 认 为 机 器 学 习 这 个 统 一 概 念 下 的 不 同 实 例 这 是 有 关 1) 在 现 有 数 据 内 部 量 化 关 系 的 算 法 的 发 展, 以 及 2) 利 用 这 些 已 识 别 的 模 式, 并 基 于 新 数 据 作 出 预 测 光 学 字 符 识 别, 即 根 据 前 面 的 实 例 自 动 识 别 印 刷 字 符, 就 是 一 个 机 器 学 习 的 经 典 工 程 实 例 但 本 文 将 讨 论 使 用 机 器 学 习 的 非 常 不 同 的 方 式, 您 可 能 不 是 那 么 熟 悉, 我 们 将 通 过 实 例 来 演 示 这 些 概 念 在 医 学 成 像 中 所 扮 演 的 角 色 在 现 代 计 算 的 背 景 下, 机 器 学 习 已 引 起 了 空 前 浓 厚 的 兴 趣, 例 如 商 业 智 能 检 测 垃 圾 邮 件, 以 及 欺 诈 和 信 用 评 分 相 对 于 其 他 领 域, 在 医 疗 成 像 领 域 采 用 现 代 机 器 学 习 技 术 则 进 展 较 慢 然 而, 由 于 计 算 机 的 能 力 越 来 越 强 大, 因 此 对 采 用 先 进 的 算 法 颇 有 兴 趣, 可 方 便 我 们 使 用 医 学 影 像, 并 增 强 我 们 从 中 获 取 的 信 息 尽 管 机 器 学 习 这 个 术 语 相 对 较 新, 机 器 学 习 的 理 念 已 应 用 到 医 学 成 像 数 十 年, 或 许 最 引 人 注 目 的 是 在 计 算 机 辅 助 诊 断 (CAD) 和 脑 功 能 活 动 定 位 领 域 我 们 并 不 会 在 这 篇 简 短 的 文 章 中 回 顾 这 个 领 域 的 丰 富 文 献 我 们 的 目 标 反 而 是 1 数 字 对 象 标 识 符 /MSP BRAND X PICTURES ) 介 绍 目 前 机 器 学 习 领 域 的 一 些 主 要 的 先 进 技 术 以 飨 读 者,2) 解 释 说 明 如 何 在 医 学 成 像 中 以 不 同 的 方 式 使 用 这 些 技 术, 其 中 使 用 了 如 下 来 自 我 们 的 研 究 的 例 子 : CAD * 基 于 内 容 的 图 像 检 索 (CBIR) 图 像 质 量 自 动 评 估 * 脑 成 像 机 器 学 习 简 介 在 这 篇 简 短 的 指 导 性 文 章 中, 利 用 我 们 过 去 在 这 一 领 域 的 工 作 实 例, 尝 试 介 绍 一 些 广 泛 适 用 的 基 本 技 术, 并 说 明 这 些 技 术 被 如 何 用 于 各 种 医 学 成 像 背 景 如 需 更 进 一 步 的 信 息, 有 兴 趣 的 读 者 可 以 参 考 那 些 有 关 机 器 学 习 的 众 所 周 知 的 介 绍, 如 参 考 文 献 [1] 和 [2] 中 所 作 的 精 彩 论 述 有 监 督 学 习 在 机 器 学 习 中, 人 们 往 往 旨 在 根 据 输 入 变 量 x 预 测 输 出 变 量 y 要 达 到 这 个 目 的, 则 假 定 输 入 和 输 出 间 基 本 服 从 一 个 函 数 关 系, y = f() x, 称 之 为 预 测 模 型, 如 图 1 所 示 在 有 监 督 学 习 中, 借 助 于 由 x 和 y 均 已 知 的 例 子 组 成 的 训 练 数 据 发 现 预 测 模 型 我 们 把 所 有 可 用 的 例 子 对 记 为 ( xy i i), i = 1,..., Nf, 我 们 假 设 x 由 个 变 量 n ( 称 为 特 征 ) 组 成, 那 么 x R n! 一 般 而 言, 该 预 测 模 型 的 输 出 可 以 是 一 个 向 量 ( 例 如 在 多 类 分 类 器 中 ), 但 为 了 简 单 起 见, 我 们 将 把 注 意 力 集 中 到 标 量 输 出 的 情 况 * IEEE 信 号 处 理 杂 志 [7]

10 x f ( ) y Input Predictive Model Output [ 图 1] 在 有 监 督 学 习 中, 预 测 模 型 表 示 输 入 变 量 x 与 输 出 变 量 y 之 间 的 假 设 关 系 从 历 史 上 来 看, 某 种 程 度 上 来 说, 有 时 人 为 地 将 其 分 成 两 个 学 习 问 题 : 分 类 和 回 归 分 类 是 指 在 特 别 小 而 离 散 的 选 择 集 合 中 做 出 决 策 ( 如 识 别 肿 瘤 是 恶 性 或 良 性 ), 而 回 归 则 是 对 可 能 的 连 续 值 输 出 变 量 进 行 估 计 ( 如 疾 病 严 重 程 度 的 诊 断 评 估 Y) 如 果 一 个 分 类 问 题 中 的 选 择 由 离 散 的 数 值 表 示 ( 例 如, y =+ 1 代 表 恶 性, y =- 1 则 代 表 良 性 ), 那 么 就 很 容 易 地 看 到, 图 1 中 的 模 型 则 等 同 地 表 示 了 分 类 和 回 归 支 持 向 量 机 分 类 : 最 大 间 距 法 让 我 们 来 看 看 图 2 中 所 描 述 的 简 单 模 式 分 类 问 题, 其 目 的 是 使 用 决 策 边 界 T 将 向 量 x = ( x, x ) T 1 2 分 成 两 类, 我 们 T 使 用 线 性 模 型 fx () = wx+ b, 因 此 在 这 个 两 维 的 例 子 中,T 是 一 条 直 线 传 统 上 来 说, 模 型 的 参 数 ( 此 例 中 为 w 和 b) 通 过 诸 如 最 小 二 乘 或 最 大 似 然 等 经 典 准 则 确 定 图 2 解 释 说 明 为 什 么 这 种 做 法 很 容 易 失 败 ( 在 这 种 情 况 下, 就 是 Fisher 判 别 ), 特 别 是 不 符 合 该 方 法 的 分 布 假 设 时 在 图 2(a) 中, 数 据 点 D 对 Fisher 判 别 边 界 有 不 利 的 影 响, 而 导 致 B 点 误 判, 即 使 是 D 点 位 于 类 别 1 很 远 的 地 方, 不 应 受 到 如 此 程 度 的 影 响 x 2 x 2 S Fisher Linear Discriminant Support Vector Machine T S 1 C A C w E A B (a) B (b) Class 1 Class 2 Margin Class 1 Class 2 [ 图 2] Fisher 线 性 判 别 法 (LD) 和 支 持 向 量 机 在 这 个 例 子 中, (a) 因 为 训 练 实 例 D 对 决 策 边 界 的 不 良 影 响,Fisher LD 未 能 将 其 分 成 两 类 (b)svm 则 只 使 用 点 A B 和 C, 即 所 谓 的 支 持 向 量, 来 定 义 决 策 边 界, 完 全 不 受 D 点 的 影 响 S 2 T D x 1 D x 1 而 Vapnik 提 出 支 持 向 量 机 (SVM)[2] 则 解 决 了 这 一 缺 点, 通 过 只 考 虑 那 些 位 于 他 们 很 接 近 不 属 于 的 类 别 的 训 练 样 本 来 确 定 判 定 边 界 这 一 思 想 在 如 图 2 所 示 的 情 况 下 最 容 易 理 解, 如 图 2 所 示, 这 两 个 类 别 通 过 一 个 线 性 决 策 边 界 严 格 可 分, 正 如 Wernick 在 文 献 [3] 中 所 探 讨 的 一 样 在 这 种 情 况 下, 可 将 两 个 类 别 的 间 距 最 大 化 的 分 离 线 通 常 通 过 如 下 的 方 法 寻 找 : 1) 画 出 数 据 点 的 类 别 凸 包 ( 就 像 环 绕 着 每 个 数 据 点 的 群 组 撑 开 一 个 橡 皮 筋 ; 称 其 为 区 域 S1 和 S2) 2) 寻 找 点 C 和 E, 让 区 域 S1 和 S2 与 他 们 之 间 的 距 离 最 小 3) 画 出 连 接 点 C 和 E 的 线 段 的 垂 直 平 分 线, 则 就 得 到 了 决 策 边 界 第 2 步 是 通 过 使 用 采 用 标 准 方 法 [3] 求 解 一 个 二 次 规 划 ( 约 束 优 化 ) 问 题 来 完 成 的 在 线 性 分 类 器 中, 向 量 w 被 称 为 判 别 向 量 在 SVM 的 术 语 中, 图 2 中 的 点 A B 和 C 被 称 之 为 支 持 向 量, 这 时 一 个 类 比 于 力 学 而 衍 生 出 来 的 术 语 如 果 图 2 中 的 点 A B 和 C 是 物 理 支 持, 则 足 够 为 他 们 之 间 的 夹 心 板 提 供 足 够 的 力 学 稳 定 性 很 显 然, 支 持 向 量 是 来 自 训 练 数 据, 可 以 明 确 定 义 该 模 型 的 那 些 最 适 合 的 实 例 确 切 地 说, 对 于 特 定 的 测 试 例 子, 可 以 根 据 支 持 向 量 写 出 模 型, 如 下 所 示 : i I i i i (1) s f T ( x ) α yx x b 其 中 仅 将 是 支 持 向 量 的 训 练 实 例 进 行 求 和, 并 使 用 优 化 过 程 中 的 拉 格 朗 日 乘 子 确 定 系 数 支 持 向 量 机 方 法 的 好 处 在 于 分 类 学 自 动 专 注 于 难 以 归 类 的 实 例 点 A,B 和 C; 式 (1) 中 的 计 算 结 果 随 着 支 持 向 量 的 数 量 而 改 变, 并 不 是 因 为 空 间 维 数 的 增 加 而 变 化 ( 在 某 些 问 题 中, 空 间 维 度 非 常 大 ) 此 外, 可 以 证 明 支 持 向 量 机 能 够 在 训 练 误 差 和 模 型 复 杂 性 间 取 得 平 衡, 从 而 避 免 过 拟 合, 其 中 一 个 缺 陷 就 是 根 据 训 练 实 例 将 模 型 微 调 得 非 常 好, 但 对 于 新 数 据 却 无 能 为 力 这 种 方 法 被 称 为 结 构 风 险 最 小 化 所 描 述 的 公 式 远 远 没 有 顾 及 到 通 过 线 性 边 界 不 能 将 两 个 类 别 完 全 分 开 的 可 能 性 但 是 这 种 情 况 通 过 将 松 弛 变 量 引 入 二 次 优 化 问 题 就 很 容 易 地 得 到 解 决, 从 而 使 错 分 的 训 练 数 据 的 数 目 降 到 最 低 此 外, 支 持 向 量 机 可 以 很 容 易 地 实 现 回 归, 而 不 是 通 过 所 谓 的 不 敏 感 成 本 函 数 进 行 分 类 [2] 非 线 性 模 型 : 核 方 法 机 器 学 习 的 一 个 重 要 突 破 就 是 已 获 承 认 的 所 谓 的 核 方 法 [2], 它 提 供 了 一 个 简 单 和 广 泛 适 用 的 手 段, 通 过 内 积, 从 任 意 的 线 性 模 型 获 取 一 个 非 线 性 模 型 即 便 是 经 典 的 方 法, 如 Fisher 判 别 或 主 成 分 分 析, 都 可 以 通 过 核 方 法 很 容 易 地 转 化 为 灵 活 的 非 线 性 方 法 为 了 理 解 核 方 法, 考 虑 应 用 以 下 的 假 设 的 一 系 列 的 步 骤 将 线 性 SVM 转 化 成 为 一 个 非 线 性 技 术 假 设 我 们 先 对 每 一 个 来 自 训 练 集 的 输 入 向 量 x i 进 行 非 线 性 变 换 U, 并 训 练 一 个 线 性 分 类 器 用 于 区 分 变 换 后 的 向 量 U ( x i ) 的 类 别 如 果 转 换 的 空 间 维 度 较 原 来 的 空 间 高, 可 分 性 将 会 增 强, 转 换 维 度 的 确 不 是 有 限 的 [8] IEEE 信 号 处 理 杂 志

11 乍 看 之 下, 将 每 个 输 入 向 量 转 换 到 一 个 高 维 空 间 似 乎 是 不 切 实 际 的 然 而, 核 方 法 让 我 们 认 识 到 无 需 真 正 地 进 行 变 换 就 可 用 得 到 期 望 的 结 果 使 用 变 换 并 应 用 于 式 (1) 中 的 SVM 模 型, 就 可 以 得 到 变 换 后,(1) 就 变 为 : N f( x) wk( x, x) (2) i 1 i 请 注 意, ( 2 ) 式 中 的 变 换 U 仅 以 内 积 T Kxx ( i, ) _U( xi) U ( x) 的 形 式 出 现, 那 么 式 (2) 就 可 以 写 为 : N f( x) wk i ( x, xi) (3) i 1 因 此, 可 以 看 到 我 们 实 际 上 没 有 必 要 去 计 算 U ( 甚 至 不 用 明 确 定 义 ) 相 反, 只 需 简 单 地 定 义 核 函 数 K (,) $$ 而 已, 结 果 表 明, 任 何 半 正 定 函 数 就 足 够 了 机 器 学 习 中 常 用 的 核 函 数 包 括 径 向 基 函 数 ( 高 斯 ) 和 多 项 式 直 觉 上 来 说, 核 的 作 用 就 是 衡 量 测 试 向 量 x 和 每 个 支 持 向 量 x i 间 的 相 似 性 ; 这 些 相 似 性 将 用 于 获 得 输 出 结 果 属 于 这 些 类 别 之 一 的 向 量 可 能 是 与 属 于 这 一 类 的 支 持 向 量 最 相 似, 因 此 这 些 相 似 度 就 传 达 了 所 需 要 的 信 息 要 记 住 的 关 键 点 是 这 些 相 似 性 比 较 只 是 相 对 于 支 持 向 量, 对 于 靠 近 判 定 边 界 的 实 例 就 问 题 多 多 稍 后 我 们 将 看 到 在 乳 腺 X 光 摄 影 背 景 下 这 些 支 持 向 量 的 视 觉 实 例 关 联 向 量 机 : 贝 叶 斯 学 习 和 稀 疏 约 束 支 持 向 量 机 的 一 个 重 要 的 改 进 就 是 Tipping 提 出 的 所 谓 的 关 联 向 量 机 (RVM)[5] 我 们 发 现 RVM 在 数 个 医 学 成 像 应 用 中 的 性 能 异 乎 寻 常 地 良 好, 通 常 比 其 他 可 选 择 方 法, 包 括 SVM, 计 算 成 本 低 很 多 RVM 强 调 稀 疏 性 ( 即 降 低 模 型 的 复 杂 度 ), 因 此 与 压 缩 感 知 的 思 想 密 切 相 关 [6] 就 像 SVM 一 样,RVM 使 用 了 被 称 为 关 联 向 量 的 训 称 数 据 子 集, 但 关 联 向 量 通 常 要 比 支 持 向 量 少 得 多 正 如 SVM 一 样, 关 联 向 量 机 也 以 核 模 型 开 始 N f( x) wk i ( x, xi) (4) i 1 然 而,SVM 是 以 最 大 分 类 间 隔 准 则 为 基 础, 而 关 联 向 量 机 则 使 用 了 贝 叶 斯 方 法 RVM 假 设 核 加 权 w i 服 从 高 斯 先 验 分 布, 具 有 零 均 值 和 方 差 a i RVM 则 进 一 步 假 设 aa i 服 从 超 Gamma 先 验 分 布 选 择 这 些 模 型 的 直 接 后 果 就 是 核 加 权 w i 总 的 先 验 分 布 为 一 个 多 元 t 分 布 由 于 该 分 配 是 关 于 w i 空 间 的 轴 线 紧 密 集 的, 那 么 先 验 分 布 的 大 部 分 的 值 都 几 乎 为 零 因 此, 最 终 求 和 只 涉 及 到 少 数 几 个 非 零 项 w i, 相 关 的 训 练 实 例 被 称 为 相 关 向 量 使 用 这 个 机 制, 通 常 可 以 避 免 过 拟 合, 而 且 RVM 的 计 算 时 间 则 相 对 较 短 令 人 惊 讶 的, 尽 管 具 有 这 样 的 优 势,RVM 在 医 学 成 像 中 的 使 用 还 相 对 较 少, 特 别 是 与 广 为 人 知 的 SVM 方 法 相 比 较 i 虽 然 RVM 和 SVM 都 完 全 以 训 练 数 据 的 子 集 为 基 础 给 出 决 策 (RVM 中 使 用 相 关 向 量,SVM 中 使 用 支 持 向 量 ), 这 些 子 集 通 常 是 完 全 不 同 的 支 持 向 量 都 是 位 于 决 策 边 界 的 实 例, 而 相 关 向 量 则 通 常 传 播 到 整 个 分 布 稍 后 我 们 将 在 有 关 乳 腺 X 光 摄 影 的 上 下 文 中 看 到 这 种 差 异 不 幸 的 是,RVM 不 像 SVM 那 样 有 一 个 简 单 的 几 何 解 释, 因 此 在 本 文 中 将 不 会 给 出 一 个 图 形 方 面 的 实 例 ; 我 们 请 读 者 参 考 文 献 [5], 其 中 包 含 数 个 非 常 精 彩 的 插 图 统 计 重 采 样 的 鲁 棒 性 和 评 价 统 计 数 据 重 采 样 [7] 指 的 是 用 来 评 价 机 器 学 习 模 型 的 性 能 和 改 善 鲁 棒 性, 并 估 计 统 计 显 着 性 水 平 的 系 列 技 术 尽 管 重 采 样 没 有 预 测 模 型 那 么 受 关 注, 但 也 同 样 重 要 机 器 学 习 与 经 典 决 策 和 估 计 理 论 的 主 要 不 同 之 处 在 于 它 着 重 于 在 只 有 来 自 数 据 本 身 的 数 据 基 础 分 布 的 知 识 的 状 况 在 这 种 环 境 下, 统 计 显 著 性 检 验 就 不 能 使 用 传 统 的 方 式 处 理, 因 为 零 分 布 是 未 知 的 幸 运 的 是, 零 分 布 的 经 验 估 计 可 以 很 容 易 地 通 过 置 换 重 采 样 获 取 为 了 理 解 置 换 重 采 样, 我 们 考 虑 如 下 状 况, 这 里 有 两 套 数 据,w 1 和 w 2, 我 们 希 望 测 试 某 些 假 设, 例 如 他 们 的 均 值 是 否 一 致 由 于 我 们 不 知 道 事 实 上 w 1 和 w 2 是 否 服 从 相 同 的 分 布 ( 乃 至 分 布 形 式 ), 我 们 就 无 法 直 接 评 估 显 著 性 但 是 我 们 可 以 通 过 重 排 数 据 上 的 标 签, 创 建 一 个 经 验 零 分 布, 例 如 故 意 创 建 两 个 数 据 集, 其 中 的 数 据 来 自 w 1 和 w 2 的 混 合 组 请 注 意, 往 往 重 要 的 只 是 标 签, 而 不 是 数 据 本 身 被 重 排 ( 例 如, 在 时 间 序 列 问 题 中 ) 通 过 以 各 个 可 能 的 方 式 ( 或 至 少 以 某 些 相 当 大 量 的 随 机 方 式 ) 置 换 数 据, 我 们 就 可 以 获 取 实 例 数 据, 其 中 我 们 知 道 这 两 个 群 体 服 从 相 同 的 分 布, 从 而 刻 画 了 零 假 设 重 采 样 可 发 挥 核 心 作 用 的 另 一 个 地 方 是 在 解 决 以 下 模 型 验 证 问 题 中 : 如 果 我 们 用 所 有 可 用 的 数 据 训 练 我 们 的 模 型, 那 么 就 没 有 留 下 测 试 模 型 或 优 化 参 数 所 需 的 数 据 在 这 里 使 用 置 换 重 采 样 方 法 有 交 叉 验 证 和 bootstrap 方 法, 都 需 要 独 立 同 分 布 (IID) 的 重 采 样 对 象 在 k - 折 交 叉 验 证 中, 数 据 集 被 随 机 地 分 为 k 个 组 ; 其 中 的 (k -1) 个 组 用 于 训 练 模 型, 保 留 下 来 的 那 一 组 则 用 于 测 试 此 过 程 需 要 进 行 k 次 ( 每 个 被 拿 出 来 的 组 都 要 执 行 一 次 ), 然 后 把 结 果 组 合 起 来, 通 常 是 求 平 均 在 基 本 bootstrap 法 中, 数 据 而 是 是 用 包 含 N 个 数 据 实 例 的 集 合 进 行 训 练, 这 些 数 据 实 例 通 过 在 整 个 数 据 集 中 随 机 置 换 N 次 的 重 采 样 获 得 偶 然 有 一 些 没 有 被 选 入 训 练 集 实 例, 则 都 将 留 给 测 试 用 就 像 在 交 叉 验 证 中 一 样, 该 过 程 将 重 复 进 行, 结 果 则 通 过 求 平 均 进 行 结 合 对 于 基 本 bootstrap 法 而 言, 众 所 周 知 是 以 向 下 偏 误 为 代 价, 可 以 降 低 估 计 方 差 的 预 测 准 确 度 ( 即 基 本 bootstrap 法 给 出 了 悲 观 的 性 能 估 计 ) bootstrap 法 采 用 了 偏 差 修 正 项 对 此 进 行 了 改 进, 在 更 先 进 的 bootstrap 中 [8], 尝 试 解 释 说 明 因 过 拟 合 产 生 的 偏 差 在 使 用 置 换 获 得 经 验 零 分 布 的 问 题 中, 替 代 假 设 的 经 验 零 分 布 通 过 可 以 通 过 bootstrap 获 得 统 计 重 采 样 不 仅 被 广 泛 地 用 于 测 试 预 测 模 型, 还 可 以 改 善 其 性 能 有 关 的 例 子 包 括 bootstrap aggregation ( 即 bagging) 技 术, 以 及 非 参 数, 预 测, 活 化, 影 响 力, 复 现 性, 影 像 学 中 的 重 采 样 框 架 (NPAIRS)[9], 本 文 将 在 稍 后 作 出 解 释 IEEE 信 号 处 理 杂 志 [9]

12 乳 腺 X 线 影 像 诊 断 中 的 计 算 机 辅 助 检 测 CAD(computer aided detection, 计 算 机 辅 助 检 测 ) 在 过 去 数 十 年 都 是 非 常 活 跃 的 研 究 领 域, 所 以 我 们 不 打 算 在 此 对 有 关 文 献 进 行 全 面 考 察 感 兴 趣 的 读 者 可 以 参 考 有 关 计 算 机 辅 助 检 测 乳 腺 X 线 影 像 的 总 结 与 回 顾, 比 如 文 献 [10] 和 [11] 或 许 CAD 最 大 的 成 功 就 在 于 乳 腺 成 像 研 究 表 明, 如 果 有 两 个 放 射 科 医 师 判 读 同 一 个 乳 房 X 光 检 查 结 果, 可 明 显 提 高 癌 症 筛 查 的 敏 感 度, 但 这 将 以 增 加 工 作 量 和 成 本 为 代 价 CAD 软 件 可 以 用 作 一 个 替 代 的 第 二 读 者, 以 更 低 的 成 本 提 高 放 射 科 医 师 的 诊 断 准 确 性 为 目 的 计 算 机 辅 助 检 测 的 CAD, 即 CADe, 计 算 机 会 提 醒 放 射 科 医 师 潜 在 的 病 灶 : 计 算 机 辅 助 诊 断, 即 CADx, 可 预 测 病 灶 是 恶 性 的 可 能 性 有 多 大 CAD 体 系 通 常 包 括 下 列 主 要 步 骤 :1) 应 用 自 动 图 像 分 析, 提 取 定 量 特 征 向 量 以 便 表 征 相 关 图 片 的 内 容, 以 及 2) 应 用 模 式 分 类 器, 以 确 定 所 提 取 特 征 向 量 可 能 属 于 那 个 类 别 自 动 提 取 图 像 特 征 包 括 图 像 对 比 度, 与 几 何 形 状 形 态 学 和 纹 理 特 征 此 外, 还 有 针 对 该 病 人 提 供 的 其 他 形 式 的 可 用 信 息 机 器 学 习 的 应 用 范 围 从 线 性 判 别 (LD) 分 析 模 糊 逻 辑 技 术 神 经 网 络 和 委 员 会 的 机 器, 直 到 本 文 在 前 面 所 说 明 的 最 近 的 基 于 核 的 方 法 ( 如 SVM 和 RVM) 接 下 来, 我 们 将 描 述 两 个 机 器 学 习 用 于 数 字 化 乳 腺 X 光 筛 查 的 例 子, 这 两 个 例 子 均 来 自 我 们 自 己 的 研 究 工 作 : 微 钙 化 点 簇 的 检 测 (CADe) 和 分 类 (CADx) CADe: 微 钙 化 检 测 Microcalcifications (MCs) 指 乳 腺 组 织 内 微 小 的 钙 沉 积, 在 乳 腺 x 光 片 上 显 示 为 小 亮 点 ( 参 见 图 3) 微 钙 化 点 簇 是 乳 腺 癌 的 重 要 指 标, 在 30-50% 的 病 例 中 出 现 单 个 的 MCs 有 时 很 难 发 现, 因 为 其 形 状, 方 向, 亮 度 和 大 小 ( 通 常 为 mm) 的 变 化, 而 且 还 因 为 周 围 的 乳 腺 组 织 存 在 混 杂 纹 理 微 钙 化 检 测 一 向 是 深 入 调 查 的 目 标 ( 例 如 文 献 [12]) 已 经 证 明 现 代 机 器 学 习 方 法 对 此 非 常 有 效, 就 如 我 们 接 下 来 要 解 释 的 那 样 SVM 检 测 器 在 文 献 [13] 中, 我 们 训 练 了 一 个 SVM, 依 据 围 绕 该 点 的 较 小 感 兴 趣 区 域 (ROI) 为 基 础, 用 于 确 定 乳 腺 X 光 影 像 的 每 个 位 置 是 否 存 在 MC( MC 存 在 类 ) 或 不 存 在 ( MC 不 存 在 类 ) SVM 通 过 放 射 专 家 所 识 别 出 来 的 MC 存 在 的 ROI 进 行 训 练 ( 参 见 图 4) MC 通 常 只 占 据 了 一 个 乳 腺 X 光 片 的 一 小 部 分, 因 此 MC 不 存 在 的 ROI 要 比 MC 存 在 的 ROI 多 要 充 分 利 用 这 一 优 势, 我 们 开 发 了 连 续 增 强 学 习 (SEL) 中 的 流 程, 提 高 了 SVM 分 类 器 的 预 测 能 力 在 SEL 中, 通 过 从 整 个 可 用 训 练 图 像 中 选 择 最 具 代 表 性 的 MC 不 存 在 实 例, 重 迭 调 整 SVM 训 练, 同 时 保 持 训 练 实 例 的 总 数 较 小 以 受 测 乳 腺 X 光 影 像 集 合 为 基 础, 通 过 衡 量 自 由 响 应 的 受 试 者 操 作 特 性 (FROC) 曲 线, 我 们 可 用 说 明 了 SEL- 在 现 代 计 算 的 背 景 下, 机 器 学 习 已 引 起 了 空 前 浓 厚 的 兴 趣, 例 如 商 业 智 能 检 测 垃 圾 邮 件, 以 及 欺 诈 和 信 用 评 分 SVM 方 法 在 有 文 献 可 考 的 数 个 先 进 的 方 法 中, 性 能 最 佳, 检 测 概 率 与 每 幅 图 像 假 阳 性 的 平 均 数 量 绘 制 了 图 5 图 3 给 出 了 一 个 实 例 图 像 的 部 分, 以 及 相 应 的 SVM 输 出 RVM 检 测 器 在 乳 腺 X 光 筛 查 中, 计 算 时 间 可 以 说 是 一 个 非 常 严 峻 的 问 题, 其 中 的 图 像 可 以 包 含 非 常 多 的 必 须 评 估 的 3000h 5000 像 素 点 尽 管 SVM 获 得 了 非 常 卓 越 的 检 测 性 能, 但 是 非 常 耗 时, 因 为 支 持 向 量 的 数 量 可 能 十 分 巨 大 为 了 解 决 这 个 问 题, 在 文 献 [14] 中, 我 们 开 发 了 一 种 基 于 RVM( 如 前 所 述 ) 的 方 法, 该 方 法 能 够 产 生 一 个 非 常 稀 疏 决 策 函 数, 从 而 显 著 节 省 计 算 时 间, 而 同 时 也 可 以 得 到 类 似 SVM 的 检 测 性 能 为 了 进 一 步 加 快 算 法, 我 们 探 索 一 个 两 阶 段 的 分 类 方 法, 我 们 使 用 一 个 计 算 量 较 小 的 线 性 RVM 作 为 第 一 阶 段, 用 于 快 速 消 除 非 MC 的 像 素, 然 后 再 使 用 一 个 非 线 性 的 RVM 分 类 器 检 测 中 剩 余 的 MC 我 们 的 研 究 结 果 表 明,RVM 方 法 实 现 与 SVM 几 乎 相 同 的 检 测 精 度 的 同 时, 计 算 量 降 低 了 35 倍 SVM 与 RVM 如 前 所 述,SVM 和 RVM 都 是 基 于 核 的 方 法, 两 者 都 仅 以 训 练 数 据 的 子 集 为 基 础 作 出 决 策 ü SVM 中 的 支 持 向 量 和 RVM 中 的 关 联 向 量, 都 用 来 刻 画 各 个 类 别 但 是,SVM 和 RVM 倾 向 于 选 择 非 常 不 同 的 向 量 来 表 示 类 别 SVM 选 择 非 常 靠 近 决 策 边 界 的 向 量 作 为 支 持 向 量, 而 RVM 则 倾 向 选 择 两 个 类 别 最 典 型 的 向 量 作 为 关 联 向 量 图 4 中 给 出 了 支 持 向 量 和 关 联 向 量 的 实 例 请 注 意, MC 存 在 和 MC 不 存 在 的 支 持 向 量 非 常 难 于 区 分, 因 为 它 们 都 位 于 决 策 边 界 的 附 近, 而 MC 存 在 和 MC 不 存 在 的 关 联 向 量 则 分 别 是 病 变 区 域 和 背 景 区 域 的 明 确 实 例 CADx: 微 钙 化 点 簇 的 诊 断 大 量 的 研 究 已 表 明 计 算 机 化 的 CADx 旨 在 很 难 将 良 性 MC 和 恶 性 MC 区 分 时 对 放 射 科 医 师 提 供 帮 助 在 文 献 [15] 中, 证 明 了 一 个 CADx 系 统 能 够 比 放 射 科 医 师 更 准 确 地 分 类 点 簇 化 的 MC 该 方 法 使 用 了 前 馈 神 经 网 络 (FFNN), 使 用 从 点 簇 化 MC 图 像 自 动 提 取 的 测 度 进 行 训 练 在 机 器 学 习 最 新 进 展 的 推 动 下, 我 们 在 文 献 [16] 进 行 查 找, 以 便 确 定 最 先 进 的 机 器 学 习 方 法 [SVM 核 Fisher 判 别 (KFD) RVM 委 员 会 机 器 ( 包 括 总 体 均 值 和 Adaboost, 这 是 一 个 众 所 周 知 的 boosting 方 法 )], 较 之 前 的 方 法, 如 FFNN, 能 够 进 一 步 改 善 将 MC 点 簇 分 为 恶 性 或 良 性 肿 瘤 的 分 类 性 能 我 们 使 用 了 文 献 [15] 中 定 义 的 以 单 个 MC 的 形 状 和 大 小 为 依 据 的 特 征, 以 及 作 为 一 个 点 簇 的 总 体 分 布, 已 知 这 些 都 都 与 放 射 科 医 师 常 用 的 特 征 定 性 相 关 评 价 研 究 表 明, 核 方 法 (SVM KFD 和 RVM) 性 能 上 彼 此 类 似 ( 就 受 试 者 操 作 特 性 (ROC) 曲 线 下 面 的 区 域 而 言 ), 但 在 统 计 意 义 上, 其 性 能 都 比 FFNN 和 AdaBoost 显 着 改 善 基 于 内 容 的 图 像 检 索 (CBIR)CADx [10] IEEE 信 号 处 理 杂 志

13 虽 然 看 起 来 很 途 光 明, 但 CADx 在 应 用 于 临 床 实 践 时 遇 到 阻 力, 部 分 原 因 是 放 射 科 医 生 在 进 行 培 训 都 是 解 释 视 觉 数 据, 很 少 处 理 定 量 的 X 线 信 息, 如 乳 腺 恶 性 肿 瘤 的 可 能 性 等 因 此, 当 提 出 一 个 数 值, 而 没 有 其 它 的 支 持 证 据, 即 便 是 放 射 科 医 生 也 很 难 完 美 地 将 这 个 数 字 纳 入 到 诊 断 结 论 中 就 其 本 身 而 论, 传 统 CADx 分 类 器 经 常 被 质 疑 为 是 一 个 黑 盒 子 方 法 为 了 避 免 这 一 缺 陷, 我 们 一 直 主 张 采 用 另 一 种 方 法, 也 就 是 基 于 内 容 的 图 像 检 索 (CBIR)[17][18], 使 用 一 个 图 像 搜 索 引 擎 通 过 展 示 来 自 过 去 案 例 中 的 相 关 信 息, 在 有 困 难 的 案 例 中 为 放 射 科 医 生 的 诊 断 听 过 信 息 检 索 到 示 例 病 变 能 够 使 放 射 科 医 生 明 确 地 比 较 已 知 病 案 和 未 知 案 例 这 种 方 法 的 主 要 优 点 在 于 能 够 提 供 针 对 病 案 的 证 据, 以 支 持 放 射 科 医 师 作 出 基 于 病 案 的 推 断, 而 不 是 作 为 一 个 附 加 的 决 策 者 对 于 一 个 检 索 系 统 而 言, 要 成 为 一 个 有 用 的 诊 断 助 手, 检 索 到 的 图 像 必 须 与 放 射 科 医 师 感 知 到 的 查 询 图 像 真 正 相 关, 否 则 他 们 可 能 只 是 简 单 地 将 其 忽 略 在 2000[17] 年, 我 们 提 出 了 一 个 有 监 督 学 习 方 法, 用 于 对 放 射 科 医 师 的 图 像 相 似 性 概 念 进 行 建 模, 以 便 用 于 CBIR 我 们 的 基 本 原 理 是 对 通 用 的 图 像 检 索 使 用 设 计 的 数 学 上 的 距 离 测 度, 可 能 不 能 充 分 刻 画 图 像 图 像 临 床 概 念 上 的 相 关 性, 这 些 都 是 专 家 观 察 者 所 作 的 复 杂 评 估 在 我 们 的 方 法 中, 通 过 应 用 于 图 像 特 征 的 非 线 性 回 归 模 型 对 两 幅 病 变 图 像 的 感 知 相 似 度 进 行 建 模 该 模 型 通 过 对 实 例 使 用 有 监 督 学 习 而 确 定, 这 些 实 例 收 集 自 人 类 观 察 者 的 研 究, 或 者 来 自 在 线 用 户 反 馈 ( 在 该 系 统 使 用 期 间 所 获 得 的 ) 具 体 来 说, 我 们 首 先 通 过 包 含 其 关 键 相 关 特 征 的 向 量 u 刻 画 病 变 接 下 来, 通 过 预 测 模 型 fuv (,) 产 生 一 个 相 似 度 系 数 (SC), 比 对 特 征 向 量 u 和 数 据 库 条 目 的 相 应 特 征 向 量 v 具 有 最 高 SC 值 的 图 像 将 被 从 数 据 库 中 检 索 出 来, 并 呈 现 给 用 户 在 我 们 的 研 究 中, 采 用 了 非 线 性 回 归 SVM 和 一 般 回 归 神 经 网 络 (GRNN) 进 行 建 模 fuv (,) 事 实 已 证 明 我 们 的 学 习 测 度 远 远 要 比 其 他 可 用 的 度 量 有 效 [17][18] 为 了 解 释 说 明 感 知 相 似 度, 图 6 是 一 个 使 用 多 维 尺 度 (MDS) 的 算 法 创 建 的 平 面 图, 显 示 了 30 个 微 钙 化 簇 MDS 是 一 个 系 列 技 术, 其 目 的 将 高 维 数 据 映 射 到 低 维 表 示 并 保 持 保 持 相 对 距 离 ( 即 如 果 两 个 点 在 高 维 空 间 中 彼 此 接 近, 则 MDS 试 图 在 低 维 空 间 中 也 将 它 们 放 置 在 彼 此 接 近 的 地 方 ) 在 图 6 中, 散 点 图 中 的 每 个 微 钙 化 簇 是 由 一 个 标 记 ( 方 形 或 圆 形 ) 表 示 MDS 在 尝 试 放 置 这 些 点 时, 使 得 视 觉 上 类 似 的 微 钙 化 簇 ( 如 同 人 类 观 察 者 判 断 的 一 样,) 在 散 点 图 也 放 置 得 接 近 彼 此 对 应 于 这 些 数 据 点 的 微 钙 化 簇 的 实 例 表 示 为 加 号 (+) 的 集 合 这 些 实 例 的 视 觉 检 查 表 明, 平 面 图 的 纵 轴 与 微 钙 化 点 的 密 度 密 切 相 关, 而 横 轴 则 反 映 了 点 簇 的 形 状 必 须 要 注 意 的 是 在 这 个 空 间 里 的 恶 性 和 良 性 病 变 之 间, 有 一 个 合 理 的, 但 并 非 十 全 十 美 分 离 平 面 最 近, 我 们 建 议 采 用 CBIR 推 动 传 统 CADx 分 类 器 的 性 能 [18] 具 体 来 说, 使 用 与 放 射 科 医 生 评 估 的 图 像 相 类 似 的 数 据 库 图 像 来 改 善 SVM 分 类 器, 从 而 提 高 在 当 前 病 案 中 的 准 确 度 我 们 目 前 正 在 调 研 CBIR 对 放 射 科 医 师 的 诊 断 行 为 的 影 响 诊 断 行 为 预 测 的 自 动 图 像 质 量 评 估 Mammogram SVM Output Detected Region Lesion Positions (a) (b) (c) [ 图 3] (a) 包 含 微 钙 化 点 的 乳 腺 X 光 影 响 的 实 例 (b) SVM 检 测 器 的 输 出 y (c) 使 用 y 后 检 测 到 的 微 钙 化 点 簇 位 置 诊 断 成 像 可 以 被 看 作 是 由 成 像 设 备 图 像 处 理 器 ( 例 如 图 像 重 建 算 法 和 显 示 ) 和 人 类 观 察 者 ( 如 放 射 科 医 生 ) 组 成 的 管 道 需 要 评 估 图 像 采 集 和 处 理 阶 段 的 设 计 选 择 对 最 终 解 释 阶 段 的 影 响 的 原 则 性 方 法 Support Vectors MC Present MC Absent (a) Relevance Vectors MC Present MC Absent (b) [ 图 4] (a) SVM 的 支 持 向 量 的 比 较 (b) 用 来 检 测 微 钙 化 点 簇 的 RVM 的 关 联 向 量 SVM 自 动 选 择 位 于 决 策 边 界 的 实 例 作 为 支 持 向 量 ( 因 此 MC 不 存 在 和 MC 存 在 的 支 持 向 量 看 起 来 很 类 似 ), 而 RVM 则 趋 于 选 择 的 两 个 类 别 中 更 典 型 的 向 量 作 为 关 联 向 量 ( 因 此 两 组 关 联 向 量 看 起 来 非 常 不 同 ) IEEE 信 号 处 理 杂 志 [11]

14 一 般 传 统 上 评 估 成 像 设 备 和 图 像 重 建 软 件 仅 仅 使 用 基 本 的 保 真 度 指 标, 如 信 噪 比 (SNR) 均 方 误 差, 以 及 偏 置 和 方 差 然 而 这 些 指 标 都 是 用 来 比 较 受 统 计 意 义 下 不 同 类 型 的 模 糊, 噪 声 和 伪 影 影 响 的 图 像 [19] 在 X 光 成 像 方 面,Lusted 在 二 十 世 纪 70 年 代 就 认 识 到 这 一 点 [20], 他 指 出, 从 物 理 学 的 观 点 来 看, 图 像 可 以 忠 实 地 再 现 组 织 的 形 状 和 纹 理, 然 而 并 未 包 含 有 用 的 诊 断 信 息 在 Science 上 很 有 影 响 力 的 一 篇 文 章 中 [20],Lusted 推 测, 要 衡 量 一 个 诊 断 用 成 像 实 验 的 价 值, 那 么 在 使 用 成 像 实 验 时, 我 们 必 须 评 估 观 察 者 的 行 为 换 句 话 说, 如 果 要 将 图 像 用 于 病 变 检 测, 那 么 图 像 质 量 的 好 坏 应 由 具 有 检 测 病 变 能 力 的 观 察 者 来 进 行 判 断 这 种 方 法 被 成 为 基 于 任 务 的 图 像 质 量 评 价 称 Lusted 进 一 步 地 讲, 来 自 古 典 检 测 理 论 的 ROC 曲 线 是 一 种 描 述 诊 断 行 为, 进 而 图 像 质 量 的 理 想 的 手 段 此 方 法 使 得 ROC 分 析 在 医 学 成 像 领 域 得 到 了 广 泛 的 应 用 和 实 现, 例 如 在 Metz 等 人 所 发 布 的 Rockit 中 [21] 图 7 给 出 了 人 类 观 察 者 的 行 为 如 何 受 所 呈 现 的 图 像 类 型 影 响 的 例 子 在 这 种 情 况 下, 呈 现 给 人 类 观 察 者 的 是 一 幅 通 过 单 光 子 发 射 计 算 机 断 层 成 像 技 术 (SPECT) 获 得 的 心 肌 灌 注 影 像 ( 心 壁 ) 以 使 用 相 同 的 数 据 集 合 通 过 不 同 的 方 式 重 建 的 图 像 为 基 础, 要 求 该 观 察 者 判 断 是 否 有 指 示 灌 注 不 足 的 暗 区 图 7 给 出 了 12 种 不 同 的 重 建 结 果, 通 过 使 用 一 步 或 五 步 迭 代 的 有 序 子 集 期 望 最 大 化 算 法 (OS-EM), 以 及 具 有 可 变 半 高 宽 (FWHM) 的 高 斯 滤 波 器 获 得 病 灶 位 于 箭 头 所 指 的 位 置, 沿 着 图 7 的 顶 部 和 底 部 的 数 值 是 观 察 者 所 说 的 信 心 度 ( 分 为 1-6 个 等 级,6 表 示 信 心 度 最 高 ) 请 注 意, 随 着 图 片 被 处 理 得 越 来 越 光 滑, 观 察 者 的 对 于 存 在 病 灶 的 信 心 度 先 上 升, 后 下 降 对 于 最 佳 平 滑 级 别 的 选 择 就 是 目 标 的 一 个 实 例, 其 中 定 量 图 像 质 量 度 量 是 必 要 的 TP Fraction SVM Classifier SVM-SEL 0.5 Wavelet DoG 0.4 IDTF Neural Network Average Number of FP Clusters [ 图 5] 用 于 检 测 乳 腺 X 光 影 像 中 的 MC 的 不 同 方 法 的 检 测 性 能 通 过 一 个 连 续 学 习 SVM 获 得 了 最 佳 性 能, 以 每 幅 图 像 执 行 一 次 FP 聚 类 的 代 价 即 可 实 现 约 94% 的 检 出 率 (TP 分 数 ), 而 经 典 技 术 (DoG) 大 约 只 有 68% 的 检 出 率 尽 管 重 采 样 没 有 预 测 模 型 那 么 受 关 注, 但 也 同 样 重 要 人 类 观 察 者 的 机 器 学 习 模 型 在 诊 断 成 像 中, 衡 量 图 像 质 量 的 黄 金 标 准 就 是 对 使 用 给 定 图 像 集 合 时, 测 量 观 察 者 ( 如 放 射 科 医 生 ) 的 诊 断 水 平 进 行 统 计 研 究 不 幸 的 是, 这 些 研 究 费 用 和 复 杂 性 让 它 们 无 法 日 常 使 用 因 此, 数 字 观 察 者 ü 模 仿 人 类 观 察 者 行 为 的 算 法 目 前 已 被 广 泛 地 用 作 人 类 观 察 者 的 代 替 物 一 个 被 称 为 Hotelling observer(cho)[22] 的 特 殊 数 字 观 察 者, 现 已 被 广 泛 使 用, 特 别 是 在 核 医 学 成 像 方 面 CHO 是 一 个 Fisher LD, 应 用 于 对 图 像 进 行 带 通 滤 波 ( 通 道 ) 而 得 到 的 输 入 特 征 这 些 通 道 的 灵 感 来 自 人 类 视 觉 系 统 中 有 关 感 受 野 的 概 念 由 于 它 对 于 图 像 质 量 评 价 的 原 则 性 方 法,CHO 理 所 当 然 地 在 该 领 域 占 有 非 常 重 要 的 一 席 之 地, 并 享 有 巨 大 声 望 然 而,CHO 并 不 能 完 美 地 捕 捉 人 类 观 察 者 的 表 现, 因 此, 我 们 提 出 了 一 个 新 的 方 法, 其 中 基 于 任 务 的 图 像 质 量 评 估 问 题 被 当 做 有 监 督 学 习 或 系 统 识 别 问 题 [23] 也 就 是 说, 其 目 的 就 是 确 定 x 中 的 图 像 特 征 与 观 察 者 评 分 y 之 间 的 未 知 的 人 类 观 察 者 映 射 fx (), 其 中 观 察 者 评 分 反 映 了 人 类 观 察 者 认 为 图 像 中 存 在 异 常 的 信 心 可 以 从 来 自 人 类 观 察 者 的 实 例 数 据 学 习 到 该 关 系, 在 没 有 人 类 观 察 者 数 据 可 用 的 场 合, 该 模 型 则 可 用 于 在 新 的 情 境 下 做 出 预 测 在 我 们 的 工 作 中, 到 目 前 为 止, 一 直 保 留 CHO 中 使 用 的 通 道, 均 包 含 在 向 量 x 中, 但 我 们 把 这 些 通 道 作 为 SVM fx () 的 输 入, 我 们 将 其 训 练 用 来 在 训 练 实 例 ( xy), i 1,..., N = 的 基 础 上 预 测 观 察 者 评 分 由 此 产 生 的 算 法 被 称 为 通 道 化 SVM (CSVM). i i f 结 果 分 析 在 文 献 [23] 中, 我 们 比 较 了 CSVM 和 CHO 在 心 肌 SPECT 成 像 中 对 图 像 质 量 的 评 价 在 这 个 实 验 中, 在 一 个 涉 及 到 其 他 60 个 图 像 的 培 训 课 程 后, 两 个 医 用 物 理 学 家 评 价 了 100 幅 嘈 杂 图 像 中 的 缺 陷 可 见 度, 并 就 确 定 一 个 6 个 点 大 小 的 病 灶 的 信 心 进 行 评 分 人 类 观 察 者 在 平 滑 滤 波 器 有 6 个 不 同 的 选 择,OS-EM 重 构 算 法 的 迭 代 次 数 也 有 两 个 不 同 选 择 的 情 况 完 成 此 任 务 ( 见 图 7) 为 了 证 明 这 一 方 法 的 泛 化 能 力, 我 们 用 分 布 广 泛 的 图 像 训 练 了 CHO 和 CSVM, 然 后 都 在 一 个 不 同 的, 但 同 样 也 很 广 泛 的 图 像 范 围 内 进 行 测 试 具 体 来 说, 我 们 使 用 滤 波 器 FWHW 的 每 个 值 和 OS-EM 五 次 迭 代 下 的 图 像 训 练 了 两 个 观 察 者, 然 后 使 用 滤 波 器 FWHW 的 每 个 值 和 OS-EM 一 次 迭 代 下 的 图 像 对 观 察 者 进 行 测 试 仅 使 用 基 于 训 练 图 像 的 五 折 交 叉 验 证 对 CHO 和 CSVM 的 参 数 进 行 了 充 分 优 化, 以 便 将 测 量 泛 化 误 差 降 到 最 小 因 此, 对 于 两 个 观 察 者 而 言, 测 试 图 像 没 有 以 任 何 方 式 用 于 模 型 参 数 的 选 择 图 8 中 对 位 于 ROC 曲 线 下 面 (AUC) 的 数 字 观 察 者 区 域 的 数 字 观 察 者 的 预 测 进 行 了 比 较, 以 便 反 映 人 类 观 察 者 的 真 实 能 力 在 这 种 情 况 下,CHO 表 现 相 对 较 差 的, 无 法 匹 配 人 类 观 察 者 AUC 曲 线 的 形 状 或 幅 度, 而 CSVM 能 够 在 这 两 种 情 况 下 生 成 相 当 准 确 的 AUC 预 测 每 个 错 误 条 都 代 表 对 测 试 数 据 进 行 5 折 交 叉 验 证 时 所 计 算 的 标 准 偏 差 这 个 实 验 证 明 了 利 用 机 器 学 习, 而 不 是 固 定 模 型 生 成 预 测 有 着 潜 在 的 好 处 由 于 该 方 法 的 普 遍 性, 机 器 学 习 可 以 用 [12] IEEE 信 号 处 理 杂 志

15 来 对 人 类 观 察 者 在 许 多 临 床 工 作 中 的 行 为 作 出 预 测, 而 不 只 是 病 变 检 测, 而 CHO 是 专 门 设 计 用 于 病 变 检 测, 因 此 不 适 合 进 行 推 广 脑 功 能 定 位 脑 成 像 涉 及 到 对 大 脑 空 间 表 征 ( 图 ) 的 创 建, 有 助 于 了 解 处 于 正 常 和 疾 病 过 程 中 各 脑 区 的 作 用 脑 成 像 是 其 中 一 个 非 常 不 同 的 应 用 领 域, 因 此, 我 们 只 针 对 以 下 两 个 主 要 方 面 进 行 了 讨 论 :1) 在 许 多 情 况 下, 脑 成 像 对 预 测 输 出 y 的 关 注 要 远 远 低 于 从 脑 图 中 获 得 的 模 型 fx () 本 身 ; 以 及 2) 由 于 脑 成 像 中 可 用 的 数 据 实 例 数 量 相 对 较 少, 非 线 性 模 型 并 不 总 是 优 于 简 单 的 线 性 方 法 脑 成 像 领 域 至 少 已 经 快 速 增 长 了 25 年 在 本 文 有 限 的 篇 幅 内 是 不 可 能 给 出 本 领 域 的 均 衡 调 查 及 其 使 用 的 机 器 学 习, 所 以 我 们 只 给 出 一 个 简 要 概 述 在 20 世 纪 80 年 代, 主 导 脑 成 像 的 技 术 是 正 电 子 发 射 断 层 扫 描 (PET) 和 SPECT 脑 功 能 图 分 析 中 的 第 一 个 机 器 学 习 方 法 就 是 将 人 工 神 经 网 络 (ANN) 应 用 于 糖 代 谢 的 PET 图 像 [24] 然 而, 随 着 在 1990 年 发 现 血 氧 水 平 依 赖 (BOLD) 的 信 号, 可 以 间 接 测 量 区 域 神 经 活 动, 功 能 磁 共 振 成 像 (fmri) 和 相 关 技 术 的 应 用 有 了 爆 炸 性 增 长 [25] 当 时 脑 成 像 中 的 实 验 和 分 析 范 式 仍 是 以 单 变 量 一 般 线 性 模 型 (GLM) 与 推 论 统 计 检 验 [26] 为 基 础, 在 某 些 情 况 下 则 是 以 他 们 的 预 测, 机 器 学 习 当 量, 高 斯 简 单 贝 叶 斯 [27] 为 基 础 使 用 相 关 的 多 元 分 类 方 法 的 论 文 近 期 有 所 增 多, 这 被 该 领 域 的 某 些 人 称 为 读 心 术 最 近 的 综 述, 包 括 历 史 的 观 点, 参 见 文 献 [28], 往 往 都 忽 略 简 单 的 多 元 方 法, 如 主 成 分 分 析 和 LD, 应 用 于 疾 病 群 的 PET 扫 描 [29], 其 中 反 映 了 针 对 大 脑 网 络 的 测 量 协 方 差 结 构, 超 过 20 年 的 工 作 成 果 在 最 近 的 fmri 脑 成 像 文 献 中, 这 一 网 络 主 题 最 近 势 头 强 劲, 主 要 聚 焦 于 测 绘 所 谓 的 默 认 模 式 脑 网 络, 使 用 的 手 段 包 括 逐 对 体 素 相 关 性 [30], 或 种 子 像 素 / 行 为 的 偏 最 小 二 乘 法 (PLS)[31], 独 立 成 分 分 析 (ICA)[32][33], 以 及 最 近 的 非 线 性 动 力 学 [34] 和 图 论 与 白 的 问 题, 再 加 上 脑 白 质 网 络 的 结 构 化 扫 描 [35] 我 们 自 己 的 大 部 分 工 作 集 中 在 如 何 评 价 和 优 化 性 能 的 问 题 上, 以 及 如 何 从 广 泛 的 可 用 机 器 学 习 工 具 挑 选 最 佳 的 信 号 探 测 器 我 们 尤 其 致 力 于 研 究 较 小 的 样 本 规 模 的 影 响, 其 中 将 渐 近 分 析 理 论 应 用 于 多 元 机 器 学 习 模 式, 如 果 影 响 存 在, 则 无 法 提 供 太 多, 如 果 有 的 话, 则 用 于 引 导 脑 图 分 析 是 一 个 非 常 不 适 定 的 问 题, 其 中 通 常 有 数 万 或 数 十 万 计 的 体 素, 但 只 有 数 十 或 数 百 次 大 脑 扫 描 因 此, 小 样 本 的 限 制 对 于 脑 成 像 中 的 医 学 用 途 而 言, 可 能 是 最 重 要 的 判 别 脑 图 为 了 说 明 机 器 学 习 在 脑 成 像 中 的 应 用, 让 我 们 设 想 这 样 的 研 究, 在 其 中 我 们 希 望 产 生 一 个 图 像 用 来 显 示 新 药 对 脑 功 能 的 区 域 性 影 响 ( 本 文 的 两 位 的 作 者,Wernick 和 Strother, 就 是 针 对 制 药 业 进 行 这 样 的 商 业 分 析 ) 要 做 到 这 一 点, 可 以 对 N 位 受 试 者 组 成 的 小 组 进 行 两 次 扫 描, 一 次 是 在 服 用 新 的 药 物 后, 一 次 是 在 投 用 安 慰 剂 后 然 后 分 析 2N 幅 图 对 于 一 个 检 索 系 统 而 言, 要 成 为 一 个 有 用 的 诊 断 助 手, 检 索 到 的 图 像 必 须 与 放 射 科 医 师 感 知 到 的 查 询 图 像 真 正 相 关, 否 则 他 们 可 能 只 是 简 单 地 将 其 忽 略 像, 以 获 得 描 述 药 效 的 图 像 我 们 希 望 这 一 发 现 不 仅 能 描 述 这 个 特 定 的 受 试 者 小 组, 也 能 推 广 到 更 广 泛 的 人 群 针 对 这 个 问 题, 许 多 机 器 学 习 方 法 潜 在 的 基 本 思 想 就 是 在 高 维 空 间 中 将 每 个 图 像 当 作 一 个 向 量, 每 个 分 量 都 代 表 扫 描 中 的 一 个 体 素 的 值 在 这 个 例 子 中, 我 们 的 数 据 可 以 被 看 作 是 由 两 类 图 像 组 成 : 药 物 和 安 慰 剂 为 了 将 维 数 降 低 到 可 管 理 的 水 平, 并 降 低 噪 声, 常 见 的 方 法 是 通 过 奇 异 值 分 解 (SVD) 变 换 数 据 接 下 来, 一 个 训 练 过 的 分 类 器 根 据 降 维 数 据 将 药 物 图 像 和 安 慰 剂 图 像 区 分 开 来 在 传 统 的 模 式 分 类 应 用 中, 训 练 分 类 器 的 目 的 是 要 对 新 数 据 作 出 决 策 事 实 上, 神 经 影 像 学 中 这 样 的 例 子 越 来 越 多, 例 如 在 测 谎, 或 个 别 病 人 的 疾 病 诊 断 中 然 而, 在 许 多 研 究 中, 其 目 的 仅 仅 是 为 了 了 解 大 脑 在 不 同 的 条 件 下 本 质 上 有 什 么 不 同, 也 就 是 说, 药 物 和 安 慰 剂 条 件 在 这 种 情 况 下, 所 需 的 信 息 就 编 码 在 预 测 模 型 fx () 自 身 中 当 采 用 线 性 模 型 时, 期 望 的 脑 图 被 编 码 在 判 别 向 量 中, 而 判 别 向 量 ( 从 SVD 空 间 反 投 影 到 图 像 空 间 ) 是 用 来 描 述 物 和 安 慰 剂 条 件 下 体 素 的 突 显 度 图 9 给 出 了 这 样 一 个 图 像 的 例 子 ( 我 们 称 其 为 空 间 激 活 模 式 ), 在 经 过 阈 值 处 理 后, 叠 加 在 一 个 用 于 将 多 个 受 试 者 的 大 脑 移 动 到 大 致 相 同 空 间 的 模 板 结 构 化 图 像 上 此 图 像 中 每 个 染 色 的 体 素 表 示 体 素 对 药 物 与 安 慰 剂 区 别 的 程 度, 因 此 该 图 像 描 绘 了 影 响 的 空 间 分 布 Larger, More Elongated Denser Sparser Smaller, More Round Benign Malignant [ 图 6] 可 视 化 各 个 乳 腺 X 线 影 像 上 出 现 的 异 常 间 关 系 的 统 计 工 具, 其 中 距 离 反 映 了 异 常 间 相 对 的 相 似 之 处, 则 由 人 类 专 家 进 行 判 断 通 过 多 维 尺 度 分 析, 一 个 力 求 在 可 以 随 时 可 视 化 的 较 低 维 图 上 表 示 高 维 数 据, 同 时 又 能 保 持 数 据 点 间 相 对 距 离 ( 相 似 度 ) 的 统 计 工 具, 将 MC 点 簇 描 绘 在 这 个 两 维 图 上 每 个 红 色 加 号 (+) 组 描 绘 了 与 散 点 图 中 给 定 的 点 相 关 的 真 实 MC 点 簇 这 表 明 所 绘 图 的 纵 轴 与 各 点 簇 的 密 度 相 关, 而 横 轴 则 是 与 其 形 状 相 关 IEEE 信 号 处 理 杂 志 [13]

16 FWHM = 1 pixel FWHM = 2 pixels FWHM = 3 pixels FWHM = 4 pixels FWHM = 5 pixels FWHM = 6 pixels 5 Iterations 1 Iteration [ 图 7] 一 个 人 类 观 察 者 有 关 出 现 异 常 的 判 断 ( 在 心 肌 灌 注 缺 损 的 情 况 下 ), 是 依 据 用 于 创 建 图 像 的 重 构 算 法 参 数 给 出 的 ( 此 处 的 参 数 为 迭 代 次 数, 后 重 构 光 滑 核 的 宽 度 (FWHM)) 以 上 所 有 图 像 的 缺 损 位 置 都 用 箭 头 作 出 指 示, 但 任 何 人 士 要 求 来 判 断 是 否 有 不 同 意 见, 在 他 们 从 三 个 值 的 缺 陷, 即 缺 陷 可 能 是 不 存 在, 到 六 个 价 值, 意 思 是 缺 陷 确 实 存 在 我 们 的 算 法 预 测 这 种 行 为 的 能 力 使 得 我 们 能 够 为 一 个 具 体 的 诊 断 任 务 优 化 给 定 的 算 法 请 注 意, 在 这 个 基 础 介 绍 中, 我 们 一 直 都 没 有 描 述 在 使 用 机 器 学 习 算 法 之 前 需 要 应 用 的 一 系 列 重 要 的 预 处 理 步 骤 文 献 [36] 中 进 行 了 详 细 的 讨 论 模 型 样 本 大 小 和 信 噪 比 对 数 据 分 析 技 术 的 评 价 已 清 楚 地 表 明, 最 佳 工 具 的 选 择 关 键 取 决 于 手 头 数 据 的 信 号 和 噪 声 结 构, 样 本 大 小 [37][38] 例 如, 图 10( 来 自 文 献 [38]) 就 说 明 了 直 到 有 足 够 的 数 据 实 例 支 持 对 非 线 性 模 型 中 固 有 的 较 多 参 数 的 估 计 之 前 ( 在 这 种 情 况 下 是 ANN), 简 单 的 线 性 模 型 优 于 一 个 灵 活 的 非 线 性 模 型 然 而, 在 目 前 这 些 脑 成 像 的 文 献 中, 讨 论 或 比 较 不 同 的 分 析 技 术 时, 这 些 问 题 常 常 被 忽 略 我 们 已 经 讨 论 了 使 用 文 献 [39] 中 的 仿 真 方 法, 基 于 图 11 中 所 给 出 的 简 单 仿 真 模 型 选 择 最 优 的 分 析 过 程, 假 设 实 验 设 计 类 似 于 前 面 所 述 的 药 物 ü 安 慰 剂 研 究 我 们 修 改 了 仿 真 实 验 中 的 多 个 参 数, 包 括 每 一 个 环 境 中 的 实 例 数 码 ( 从 20 到 100), 以 及 仿 真 模 型 中 激 活 斑 点 的 振 幅 ( 基 准 线 的 3 % 或 5% 以 上 ) 我 们 添 加 了 空 间 上 有 色, 时 间 上 为 白 色, 标 准 差 为 平 均 基 准 值 5% 的 高 斯 噪 声 我 们 创 建 了 斑 点 的 三 个 空 间 分 布 网 络, 并 改 变 它 们 之 间 的 相 关 系 数 t (rho)(t= 或 0.9)) 以 及 他 们 的 幅 度 方 差 和 噪 声 方 差 的 比 率 V 该 比 率 可 以 认 为 与 音 频 的 动 态 范 围 相 类 似, 因 为 在 本 应 用 中, 斑 点 方 差 也 是 信 号 的 来 源 之 一, 这 与 该 领 域 最 近 聚 焦 于 脑 成 像 中 的 网 络 监 测 特 别 相 关 在 文 献 [39] 中, 我 们 发 现 SVD 本 身 或 再 加 一 个 LD 更 适 合 于 子 空 间, 在 其 上 对 于 网 络 互 动 的 估 计 敏 感 度 要 高 于 逐 对 相 关 系 数 [40] 我 们 使 用 相 同 的 仿 真 模 型 重 复 并 延 伸 Lukic 等 人 先 前 的 工 作 ( 结 果 如 图 12 所 示 果 ) 仿 真 包 括 3% 的 高 斯 振 幅, 有 30 个 基 准 线 和 30 激 活 扫 描 所 测 试 的 模 型 包 括 :1) 使 用 局 部 (GLM-S) 和 空 间 (GLM-P) 方 差 估 计 的 单 体 素 测 试, 分 类 计 数 包 括 2 ) 两 类 F i s h e r L D, 3 ) 归 一 化 LD(NLD), 以 及 4) 二 次 判 别 函 数 (QD) 所 有 的 多 元 技 术 都 是 在 SVD 空 间 上 进 行 估 计, 并 利 用 贝 叶 斯 证 据 优 化 确 定 维 数 [41], 就 如 在 软 件 包 MELODIC 所 估 计 的 那 样 [42] 对 于 LD 和 QD 而 言,SVD 基 本 分 量 的 长 度 与 其 特 征 值 相 等, 对 于 NLD 来 说, 则 将 其 归 一 化 到 单 位 长 度 使 用 ROC 曲 线 下 方 的 区 域, 其 误 报 率 在 [0.0,0.1] 之 间, 信 号 检 测 通 过 横 跨 高 斯 斑 点 峰 值 处 的 16 个 体 素 进 行 测 量 即 便 使 用 局 部 方 差 估 计 (GLM-S) 的 t 检 验 是 正 确 的 模 型 ( 即 V 01. = ), 将 t 检 验 和 合 并 方 差 估 计 或 自 适 应 多 元 协 方 差 检 测 器 一 起 使 用 可 获 得 更 好 的 检 测 性 能 此 外,GLM-S 的 性 能 明 显 下 降, 因 为 随 着 V 的 增 加 等 方 差 假 设 不 再 成 立 通 过 空 间 合 并 (GLM-P) 的 方 差 估 计 则 显 着 改 善 了 信 号 检 测, 并 大 大 地 清 除 了 违 规 模 型 的 来 源 通 过 LD 的 结 果 给 出 了 GLM-S 违 规 模 型 的 多 元 等 价 式, 随 着 V 的 增 加 违 反 了 类 内 协 方 差 相 等 ( 例 如, 基 线 和 激 活 扫 描 使 用 同 一 个 网 络 结 构 ) 的 假 设 ; 只 有 激 活 扫 描 有 一 个 非 对 角 线 的 类 内 协 方 差 结 构, 会 随 着 V 的 增 加 而 增 加 但 是, 除 了 在 rho 和 V 很 大, 严 重 违 反 相 等 协 方 差 假 设 时,LD 仍 优 于 GLM-S, 如 图 12(c) 所 示 在 NLD 方 法 中, 归 一 化 输 入 特 征 方 差 ( 即 单 位 化 SVD 偏 差 向 量 ) 的 标 准 机 器 学 习 方 法 可 以 显 著 改 善 信 号 检 测 性 能, 通 常 都 优 于 GLM-P, 且 随 着 V 的 增 加, 大 大 地 消 除 了 LD 性 能 的 下 降 最 后, 在 假 设 有 不 同 类 内 协 方 差 的 情 况 下, 使 用 正 确 的 多 元 模 型,QD 可 以 进 一 步 改 善 性 能, 直 至 接 近 于 完 美 ( 部 分 ROC 曲 线 接 近 于 0.1) 这 里 用 到 了 QD, 可 作 为 针 对 非 等 类 分 布 的 问 题,SVM 的 替 代 解 决 方 案, 如 图 2 所 示 在 脑 成 像 中,LD 类 方 法 和 SVM 的 相 对 性 能 仍 未 达 到 共 识, 某 些 文 章 声 称 SVM 很 优 越 [43], 其 他 的 则 基 本 都 相 差 无 几 [44], 但 它 们 对 于 不 同 输 入 SNR 结 构 的 相 应 有 所 不 同, 如 图 2 中 的 分 析 此 外, 我 们 最 近 的 仿 真 结 果 表 明, 信 号 检 测 性 能 是 基 集 合 大 小 的 强 函 数, 性 能 可 能 会 进 一 步 改 善, 甚 至 比 图 11 中 所 示 的 基 于 如 下 所 述 的 重 复 性 度 量 的 最 优 SVD 子 空 间 的 重 采 样 估 计 更 好 [14] IEEE 信 号 处 理 杂 志

17 我 们 最 后 的 仿 真 结 果 比 对 了 利 用 贝 叶 斯 核 方 法 与 广 义 似 然 比 检 测 对 功 能 神 经 成 像 中 的 局 部 激 活 进 行 估 计 的 结 果 在 文 献 [45] 中, 我 们 比 较 了 使 用 空 间 高 斯 核 叠 加 的 信 号 检 测 ( 其 参 数 通 过 基 于 可 逆 跳 马 尔 可 夫 链 蒙 特 卡 罗 (RJMCMC) 算 法 的 最 大 后 验 (MAP) 技 术 从 数 据 中 估 计 而 得 ) 和 RVM 方 法 RVM 和 RJMCMC 是 比 文 献 [39] 中 所 尝 试 的 其 它 所 有 方 法 都 更 优 的 信 号 探 测 器, 在 ROC 曲 线 一 下 的 部 分 区 域, 可 以 达 到 0.80 和 0.82 这 些 性 能 值 不 能 直 接 与 图 11 相 比 较, 因 为 其 仿 真 参 数 完 全 不 同 然 而, 即 使 是 在 我 们 简 单 的 体 模 中,RJMCMC 需 要 数 十 小 时 进 行 计 算, 而 RVM 仅 需 计 算 数 分 钟 而 已 脑 成 像 中 的 SVM RVM 和 其 他 核 技 术 ( 例 如 核 PCA[28] 核 典 型 相 关 分 析 [46]) 仍 有 待 创 立 数 据 驱 动 的 性 能 指 标 在 脑 成 像 中, 作 为 一 般 机 器 学 习 的 应 用, 优 化 和 评 估 预 测 模 型, 并 选 择 其 最 显 著 的 特 征 是 非 常 重 要 的 这 些 任 务 必 须 遵 循 一 个 定 量 的 性 能 指 标 预 测 精 度 经 常 扮 演 这 一 角 色, 例 如 指 导 贪 婪 搜 索 过 程 来 选 择 最 突 出 的 体 素 集 [26] 在 文 献 [4] 和 [27] 中 对 这 类 纯 粹 的 预 测 驱 动 分 析 方 法 中 的 一 些 需 要 权 衡 的 问 题 进 行 了 讨 论 尽 管 预 测 精 度 可 以 单 独 作 为 一 般 机 器 学 习 问 题 的 有 效 度 量, 神 经 影 像 学 也 要 求 空 间 模 式 ( 通 过 预 测 模 型 编 码 ) 可 以 在 不 同 的 受 试 者 群 体 或 同 一 受 试 者 的 不 同 扫 描 间 可 重 复 和 预 测 精 度 一 起, 重 复 性 一 项 重 要 的 度 量, 这 是 一 个 非 常 有 效 的 数 据 驱 动 的 ROC 分 析 的 替 代 品 Strother 等 提 出 了 一 种 被 称 为 NPAIRS 的 新 颖 的 折 半 重 采 样 的 框 架 [9], 同 时 可 以 评 估 其 预 测 精 度 和 重 复 性 可 达 到 的 预 测 精 度 和 模 型 重 复 性 间 的 权 衡 涉 及 到 估 计 论 论 中 经 典 的 偏 差 折 中 法 在 此 应 用 中, 预 测 精 度 的 获 取 一 般 都 以 降 低 重 复 性 为 代 价, 反 之 亦 然 通 过 绘 制 预 测 精 度 与 重 复 性 曲 线, 作 为 某 些 参 数 的 函 数 ( 如 SVD 基 向 量 的 个 数 ), 我 们 可 以 评 估 整 个 范 围 内 的 折 中 效 果, 与 ROC 曲 线, 信 息 检 索 领 域 的 查 准 率 ü 查 全 率 曲 线 曲 线 场, 或 来 自 统 计 的 偏 差 - 方 差 曲 线 极 为 相 似 我 们 将 NPAIRS 分 析 所 生 成 的 曲 线 称 为 ( pr,) 曲 线 为 了 使 用 NPAIRS 计 算 (,) pr 曲 线, 将 该 数 据 集 的 独 立 观 测 量 ( 如 跨 越 受 试 者 ) 进 行 等 分 为 : 训 练 和 测 试 集 合 在 其 中 一 个 半 分 集 合 内 应 用 空 间 模 式 获 取 预 测 精 度 ( 即 训 练 ) 以 便 在 另 外 一 个 半 分 集 合 ( 即 测 试 ) 中 估 计 扫 描 类 标 号 然 后 将 两 个 半 分 集 的 角 色 互 换, 也 就 是 说 每 个 集 合 都 有 一 次 用 作 训 练 集 合 ( 为 了 生 成 空 间 激 活 模 式 ), 有 一 次 用 作 测 试 集 合 从 这 些 结 果 来 看, 计 算 的 两 种 预 测 精 度 的 估 计 值 估 算 () p 并 平 均, 以 便 获 得 整 体 的 预 测 精 度 接 下 来, 计 算 两 个 独 立 空 间 激 活 模 式 的 重 复 度, 用 作 两 种 模 式 中 空 间 所 有 的 定 位 体 素 对 的 关 联 度 (r ) 此 关 联 度 r 直 接 关 系 到 每 个 半 分 模 式 的 提 取 对 中 的 可 用 SNR 如 果 其 中 一 个 来 自 一 个 空 间 模 式 的 体 素 值 所 形 成 的 散 点 图, 另 一 个 则 相 应 地 来 自 另 一 个 空 间 模 式, 其 中 一 个 就 会 得 到 这 样 的 分 布, 相 关 性 很 较 强, 或 者 说 信 号, 轴 的 相 关 特 征 值 为 (1+r ), 非 相 关 性 较 小, 或 者 是 噪 声, 轴 的 特 征 值 为 (1-r ) 因 此, 可 以 定 义 一 个 全 局 数 据 信 噪 比 度 量 gsnr 为 : gsnr = (( 1+ r) -( 1-r))/( 1- r) = 2r/( 1 -r). Area Under ROC Curve (AUC) AUC Predicted by CSVM AUC Predicted by CHO 0.75 Actual Human-Observer Performance FWHM of Smoothing Filter (Pixels) [ 图 8] 通 过 机 器 学 习 方 法 (CSVM) 预 测 人 类 观 察 者 的 性 能 (AUC) 与 传 统 的 数 字 观 察 者 (CHO) 相 比 较 CHO 并 不 没 有 认 识 到 在 较 低 和 较 高 水 平 平 滑 会 降 低 诊 断 性 能 的 程 度, 沿 着 图 7 的 顶 部 和 底 部 的 数 值 就 可 以 看 到 分 数 图 7 看 到 影 响 在 NPAIRS 中, 多 次 执 行 半 分 重 采 样, 然 后 对 结 果 平 均 或 取 中 位 数, 并 记 录 其 分 布 特 征 这 种 重 采 样 的 方 法 对 于 通 过 bootstrap 方 法 获 得 平 稳 鲁 棒 度 量 非 常 有 好 处 最 后, 使 用 得 到 大 家 一 致 共 识 的 技 术 将 多 个 半 分 空 间 模 式 组 合 成 单 一 的 以 Z-score( 标 准 正 态 分 布 ) 量 表 描 述 的 模 式, 对 于 可 产 生 基 于 体 素 的 参 数 估 计 值 的 所 有 预 测 模 型 提 供 稳 健 的 Z-score 机 制 在 文 献 [29] 中,NPAIRS 被 应 用 于 PET, 同 样 也 被 应 用 于 fmri [47] [49] 尽 管 NPAIRS 可 应 用 于 任 何 分 析 模 型, 但 我 们 还 是 特 别 聚 焦 于 LD 方 法, 以 及 新 近 出 现 的 QD 法, 这 两 者 都 是 建 立 于 SVD 的 基 之 上 这 使 我 们 能 够 1) 在 SVD 的 基 础 上, 通 过 选 择 的 软 阈 值 ( 如 脊 形 ) 或 硬 阈 值 或 其 他 基 集 合 对 模 型 正 则 化 [50],2) 维 持 协 方 差 分 解 链 路, 已 证 明 在 PET 中 对 于 阐 明 网 络 结 构 非 常 有 用, 以 及 3) 生 成 全 脑 激 活 图, 可 提 高 发 现 脑 功 能 和 疾 病 的 新 特 征 的 可 能 性 图 13 给 出 了 一 个 实 例, 说 明 如 何 将 NPAIRS 用 于 研 究 图 像 分 析 过 程 中 关 键 参 数 的 影 响, 从 而 实 现 对 这 些 参 数 的 最 佳 选 择 在 这 个 例 子 中, 分 析 了 fmri 图 像 分 析 过 程 中 的 两 个 参 数 :SVD 基 向 量 的 个 数 ( 定 义 模 型 复 杂 度 ) 和 用 于 趋 势 剔 除 的 半 余 弦 的 数 目 [36] 我 们 不 会 在 这 里 详 述 SVD 和 趋 势 剔 除 工 具 的 技 术 细 节 ; 我 们 给 出 这 个 例 子 仅 仅 是 要 说 明 一 般 情 况 下, 如 何 使 用 使 用 NPAIRS 选 择 最 佳 的 模 型 参 数 ) 在 一 幅 (,) pr 图 中, 通 过 到 达 空 间 的 右 上 角, 在 那 里 预 测 准 确 度 ( 如 图 13 中 所 描 述 的 后 验 概 率 ) 达 到 1.0, 重 复 性 也 达 到 1.0, 即 可 获 得 理 想 的 性 能 因 此, 确 定 参 数 的 最 佳 的 方 法 就 是 确 定 这 样 一 个 点, 在 该 点 (,) pr 曲 线 与 点 (1,1) 间 的 欧 氏 距 离 ( M ) 最 小 在 这 个 例 子 中, 我 们 可 以 看 到, 随 着 SVD 分 量 的 增 加, 性 能 [ 到 (1,1) 的 距 离 ] 有 改 善, 然 后 再 恶 化 余 弦 去 趋 势 参 数 的 影 响 较 弱, 但 指 出 一 个 半 周 期 相 对 两 个 周 期 而 言 是 更 好 的 选 择 在 这 个 图 中, 五 至 十 个 SVD 分 量 之 间 的 钩 状 部 分 代 表 了 fmri 中 普 遍 的 重 复 性 伪 影 在 有 关 脑 成 像 的 挑 战 性 问 题 中,NPAIRS 分 析 框 架 为 理 解 和 优 化 模 型 性 能 提 供 了 非 常 有 用 的 方 法, 或 许 也 可 以 用 于 5 IEEE 信 号 处 理 杂 志 [15]

18 其 他 应 用, 其 中 不 仅 对 精 确 预 测 感 兴 趣, 还 对 生 成 驱 动 这 些 预 测 的 有 关 因 素 的 可 靠 信 息 颇 有 兴 趣 [ 图 9] 大 脑 中 的 空 间 激 活 模 式, 显 示 了 抗 焦 虑 / 抗 抑 郁 药 物 丁 螺 环 酮 (Buspar) 的 影 响, 通 过 在 12 位 受 试 者 的 FDG-PET 影 像 上 应 用 Fisher LD 和 NPAIRS 半 分 重 采 样 而 获 得 ( 数 据 由 Abiant, Inc. 提 供 ; 由 Predictek, Inc. 分 析 ). 结 果 表 明 纹 状 体 活 化 ( 上 部 橙 色 区 域 ) 可 能 是 因 为 该 药 物 作 为 多 巴 胺 D2 受 体 拮 抗 剂 的 行 为 之 一 Mean % Misclassification Multisubject PET Linear Classifier Nonlinear Classifier Number of Examples in Training Set [ 图 10] 这 些 交 叉 的 学 习 曲 线 ( 分 类 器 的 性 能 与 训 练 集 的 大 小 ) 表 明, 当 训 练 样 本 数 量 比 较 少 时, 也 可 以 通 过 一 个 简 单 的 多 元 线 性 分 类 器 ( 这 里 为 Fisher 判 定 ) 构 成 非 线 性 分 类 器 ( 本 例 中 为 神 经 网 络 ) 这 并 不 是 不 可 预 见, 因 为 小 数 据 集 一 般 不 支 持 复 杂 的 模 型, 但 这 一 结 果 强 调 了 研 究 人 员 要 抵 制 在 各 种 情 况 下 使 用 高 复 杂 性 模 型 的 诱 惑 的 重 要 性 Baseline [ 图 11] 用 于 测 试 信 号 检 测 性 能 的 仿 真 体 模 Activation 致 谢 作 者 们 希 望 对 本 文 中 所 总 结 的 研 究 工 作 作 出 贡 献 的 众 多 合 作 者 表 达 真 诚 的 谢 意, 其 中 有 Nikolas P. Galatsanos,Lars Kai Hansen,Issam El-Naqa, Ana S. Lukic,Robert M. Nishikawa,Stephen LaConte,David Rottenberg,Liyang Wei 和 Jane Zhang 本 文 中 所 回 顾 的 研 究 工 作 由 NIH/NCI (CA89668) NIH/NIBIB(R01EB009905) NIH/NIBIB (HL091017) NIH/NINDS(NS34069) NIH/NIMH(MH073204) James S. McDonnell 基 金 会 为 Grigori Yourganov 所 提 供 的 博 士 奖 学 金 Ph.D. scholarship to, NIH/NIBIB P20EB02013, NIH/ NIMH P20MH072580, and CIHR/MOP84483 资 助 Stephen C. Strother 要 特 别 感 谢 安 大 略 省 心 脏 与 中 风 基 金 会 通 过 中 风 康 复 中 心 所 给 予 的 支 持 作 者 简 介 Miles N. Wernick([email protected]) 于 1983 年 在 西 北 大 学 获 得 物 理 学 学 士 学 位,1990 年 在 罗 切 斯 特 大 学 获 得 光 学 博 士 学 位 1990 年, 作 为 美 国 国 立 卫 生 研 究 院 博 士 后 研 究 员 在 芝 加 哥 大 学 研 究 放 射 学, 在 那 里 他 成 为 一 个 副 研 究 员 助 理 教 授 1994 年, 他 加 入 了 伊 利 诺 伊 理 工 大 学, 目 前 他 是 医 学 影 像 研 究 中 心 的 主 管, 电 气 和 计 算 机 工 程 以 及 生 物 医 学 工 程 系 的 Motorola 基 金 会 的 讲 座 教 授 他 还 是 Predictek 公 司 的 总 裁, 他 的 研 究 兴 趣 包 括 医 疗 成 像, 机 器 学 习, 图 像 处 理, 光 学 他 是 IEEE Signal Processing Magazine 特 刊 的 客 座 编 辑,IEEE Transactions on Image Processing 和 SPIE/IS&T Journal of Electronic Imaging 的 副 主 编,IEEE Bioimaging and Signal Processing Technical Council 的 会 员 Yongyi Yang ([email protected]) 分 别 于 1985 年 和 1988 在 中 国 北 京 的 北 方 交 通 大 学 获 得 电 子 工 程 学 生 学 位 和 硕 士 学 位 并 分 别 于 1992 年 与 1994 年 芝 加 哥 的 伊 利 诺 伊 州 科 技 大 学 (IIT) 获 得 应 用 数 学 硕 士 学 位 和 电 气 工 程 博 士 学 位 他 目 前 是 IIT 在 电 气 与 计 算 机 工 程 系 任 教 授, 他 在 医 学 影 像 研 究 中 心 工 作, 而 且 是 生 物 医 学 工 程 学 系 的 合 聘 教 授 他 的 研 究 兴 趣 包 括 信 号 和 图 像 处 理 医 学 成 像 机 械 学 习 模 式 识 别 和 生 物 医 学 应 用 他 同 时 还 是 IEEE Transactions on Image Processing 的 副 主 编 Jovan G. Brankov( [email protected]) 于 1996 年 在 南 斯 拉 夫 贝 尔 格 莱 德 大 学 获 得 电 气 工 程 高 级 文 凭 并 分 别 于 1999 年 和 2002 年 从 伊 利 诺 伊 州 科 技 大 学 (IIT) 获 得 电 子 工 程 的 硕 士 和 博 士 学 位 他 目 前 在 IIT 的 电 气 与 计 算 机 工 程 系 担 任 助 理 教 授, 他 在 医 学 影 像 研 究 中 心 工 作 他 的 研 究 兴 趣 包 括 医 学 成 像 图 像 序 列 处 理, 模 式 识 别 和 数 据 挖 掘 他 目 前 的 研 究 课 题 包 括 医 学 图 像 序 列 的 四 维 和 五 维 断 层 图 像 重 建, 多 图 统 计 法 ( 一 种 相 位 敏 感 的 成 像 方 法 ), 以 及 基 于 人 类 观 察 者 模 型 的 图 像 质 量 评 估 他 已 编 写, 或 与 他 人 合 著 超 过 八 十 的 著 作, 并 担 任 Medical Physics 的 专 案 副 主 编 Grigori Yourganov ([email protected]) 分 别 于 2000 年 和 2005 年 获 得 位 于 加 拿 大 多 伦 多 的 约 克 大 学 的 计 算 机 科 学 的 学 士 学 位 和 硕 士 学 位 他 目 前 正 在 在 Rotman 研 究 所 ( 多 伦 多 大 学 ) 医 学 科 学 研 究 所 攻 读 博 士 学 位, 师 从 于 Stephen C. Strother 博 士 和 Randy McIntosh 博 士 他 的 研 究 [16] IEEE 信 号 处 理 杂 志

19 主 要 集 中 在 将 多 变 量 分 析 技 术 用 于 fmri 数 据 的 应 用 Stephen C. 分 别 于 1976 年 和 1979 年 在 位 于 新 西 兰 的 奥 克 兰 大 学 获 得 学 士 学 位 和 硕 士 学 位,1986 年 在 蒙 特 利 尔 的 McGill 大 学 获 得 电 器 工 程 的 博 士 学 位 Since 1985, he has been a postdoctoral fellow at Memorial Sloan-Kettering Cancer Center, New York. 在 1989 年, 他 作 为 高 级 PET 物 理 学 家 加 入 了 位 于 Minneapolis 的 弗 吉 尼 亚 州 医 学 中 心, 并 在 2002 年 成 为 明 尼 苏 达 大 学 的 放 射 学 教 授 2004 年 他 移 居 到 多 伦 多, 作 为 Rotman Research Institute 的 资 深 科 学 家 和 多 伦 多 大 学 的 医 用 生 物 物 理 学 教 授, 在 那 里 他 还 是 中 风 康 复 中 心 的 是 multiinstitutional 中 风 康 复 中 心 的 核 心 成 员 目 前 的 研 究 兴 趣 包 括 神 经 信 息 学, 主 要 致 力 于 将 机 器 和 统 计 学 习 技 术 用 于 PET 和 fmri/mri 神 经 影 像 在 大 脑 老 化 的 研 究 与 临 床 应 用 中 的 应 用 2001 年 他 与 他 人 一 起 在 芝 加 哥 创 办 了 Predictek 公 司 他 还 是 Human Brain Mapping 的 副 主 编 Partial ROC Area Rho = 0.00 Rho = 0.50 Rho = GLM-S GLM-P NLD LD 0.04 QD (a) (b) (c) Signal Variation, 2 AMP Signal-to-Noise Variance V = Noise, 2 NOISE [ 图 12] 在 (a) (c) 中 给 出 了 作 为 被 激 活 大 脑 区 域 的 网 络 间 的 信 噪 方 差 比 (V) 和 相 关 性 (rho) 的 函 数, 五 种 模 式 下 检 测 大 脑 激 活 的 性 能 QD 和 NLD 的 表 现 最 佳, 随 着 网 络 强 度 的 增 加 而 有 所 改 善 ( 增 大 了 V 和 Rho 值 ), 而 单 变 量 方 法 的 性 能 已 经 落 后, 实 际 上 随 着 信 号 强 度 的 增 加 而 恶 化 参 考 文 献 [1] T. Hastie, R. Tibshirani, and J. H. Friedman, The Elements of Statistical Learning.New York:Springer-Verlag, [2] B. Scholkopf and A. J. Smola, Learning with Kernels:Support Vector Machines, Regularization, Optimization, and Beyond.Cambridge, MA:MIT Press, 2001, p [3] M. N. Wernick, Pattern classification by convex analysis, J. Opt.Soc. Amer.A, Opt.Image Sci., vol. 8, pp , [4] V. N. Vapnik, Statistical Learning Theory.New York:Wiley, [5] M. E. Tipping, Sparse Bayesian learning and the relevance vector machine, J. Mach.Learn.Res., vol. 1, pp , Sept [6] R. G. Baraniuk, E. J. Candès, R. Nowak, and M. Vitterli, Compressive sampling, IEEE Signal Processing Mag., vol. 21, no. 2, pp , Mar [7] B. Efron and R. J. Tibshirani, An Introduction to the Bootstrap.Boca Raton, FL:CRC, [8] B. Efron and R. Tibshirani, Improvements on cross-validation:the.632+ bootstrap method, J. Amer.Statist.Assoc., vol. 92, no. 438, pp , June [9] S. C. Strother, J. Anderson, L. K. Hansen, U. Kjems, R. Kustra, J. Sidtis, S. Frutiger, S. Muley, S. LaConte, and D. Rottenberg, The quantitative evaluation of functional neuroimaging experiments:the NPAIRS data analysis framework, Neuroimage, vol. 15, no. 4, pp , Apr [10] Image-Processing Techniques for Tumor Detection.New York:Marcel Dekker, [11] Recent Advances in Breast Imaging, Mammography, and Computer-Aided Diagnosis of Breast Cancer.Bellingham, WA:SPIE, [12] J. Tang, R. M. Rangayyan, J. Xu, I. El Naqa, and Y. Yang, Computer-aided detection and diagnosis of breast cancer with mammography: recent advances, IEEE Trans.Inform.Technol.Biomed., vol. 13, no. 2, pp , Mar [13] I. El-Naqa, Y. Yang, M. N. Wernick, N. P. Galatsanos, and R. M. Nishikawa, A support vector machine approach for detection of microcalcifications, IEEE Trans.Med.Imaging, vol. 21, no. 12, pp , Dec [14] L. Wei, Y. Yang, R. M. Nishikawa, M. N. Wernick, and A. Edwards, Relevance vector machine for automatic detection of clustered microcalcifications, IEEE Trans.Med.Imaging, vol. 24, no. 10, pp , Oct [15] Y. Jiang, R. M. Nishikawa, D. E. Wolverton, C. E. Metz, M. L. Giger, R. A. Schmidt, C. J. Vyborny, and K. Doi, Malignant and benign clustered microcalcifications: automated feature analysis and classification, Radiology, vol. 198, no. 3, pp , Mar [16] L. Wei, Y. Yang, R. M. Nishikawa and Y. Jiang, A study on several machinelearning methods for classification of malignant and benign clustered microcalcifications, IEEE Trans.Med.Imaging, vol. 24, no. 3, pp , Mar [17] I. El-Naqa, Y. Yang, N. P. Galatsanos, R. M. Nishikawa, and M. N. Wernick, A similarity learning approach to content-based image retrieval: application to digital mammography, IEEE Trans.Med.Imaging, vol. 23, no. 10, pp , Oct [18] L. Y. Wei, Y. Y. Yang, M. N. Wernick, and R. M. Nishikawa, Learning of perceptual similarity from expert readers for mammogram retrieval, IEEE J. Select.Topics Signal Processing, vol. 3, no. 1, pp , Feb [19] N. Damera-Venkata, T. D. Kite, W. S. Geisler, B. L. Evans, and A. C. Bovik, Image quality assessment based on a degradation model, IEEE Trans.Image Processing, vol. 9, no. 4, pp , Apr [20] L. B. Lusted, Signal detectability and medical decision making, Science, vol. 171, pp , [21] C. E. Metz, B. A. Herman, and J. H. Shen, Maximum-likelihood estimation of ROC curves from continuously-distributed data, Stat.Med., vol. 17, no. 9, pp , [22] K. J. Myers and H. H. Barrett, Addition of a channel mechanism to the ideal-observer model, J. Opt.Soc.Amer.A, Opt.Image Sci., vol. 4, no. 12, pp , Dec [23] J. G. Brankov, Y. Yang, L. Wei, I. El Naqa, and M. N. Wernick, Learning a channelized observer for image quality assessment, IEEE Trans.Med.Imaging, vol. 28, no. 7, pp , July [24] J. Kippenhan, W. Barker, S. Pascal, J. Nagel, amd R. Duara, Evaluation of a neural network classifier for PET scans of normal and Alzheimers disease subjects, J. Nucl.Med., vol. 33, pp , [25] P. Bandettini, Functional MRI today, Int. J. Psychophysiol., vol. 63, no. 2, pp , Feb [26] K. J. Friston, J. T. Ashburner, S. J. Kiebel, and T. E. Nichols, Statistical Parametric Mapping:The Analysis of Functional Brain Images.New York:Academic, [27] F. Pereira, T. Mitchell, and M. Botvinick, Machine learning classifiers and fmri:a tutorial overview, Neuroimage, vol. 45, no. 1 (Suppl.), pp. S199 S209, Mar [28] L. K. Hansen, Multivariate strategies in functional magnetic resonance imaging, Brain Lang., vol. 102, no. 2, pp , Aug IEEE 信 号 处 理 杂 志 [17]

20 Posterior Probability Test-Scan Class (p) Curves Equidistant from Prediction = 1.0 and Reproducibility = Cosine Detrending 5 = # SVD 2.0 Cycles Components 1.5 Cycles Reproducibility (r) M M > 0 [ 图 13] 在 NPAIRS 框 架 中, 预 测 重 复 性 (,) pr 曲 线 给 出 了 预 测 准 确 度 ( 纵 轴 ) 和 由 此 产 生 的 脑 图 ( 横 轴 ) 重 复 性 的 折 中 当 曲 线 最 接 近 理 想 点 (1,1), 实 现 了 最 小 距 离 M 时 就 可 实 现 最 佳 性 能 这 为 优 化 图 像 分 析 过 程 提 供 了 基 础, 本 例 是 在 特 定 fmri 数 据 分 析 问 题 中 指 定 了 最 佳 参 数 (SVD 分 量 的 数 目, 以 及 在 特 定 余 弦 去 趋 势 步 骤 中 的 周 期 数 目 ) [42] C. F. Beckmann and S. M. Smith, Probabilistic independent component analysis for functional magnetic resonance imaging, IEEE Trans.Med Imaging, vol. 23, no. 2, pp , Feb [43] J. Mourao-Miranda, A. L. Bokde, C. Born, H. Hampel, and M. Stetter, Classifying brain states and determining the discriminating activation patterns:support vector machine on functional MRI data, Neuroimage, vol. 28, no. 4, pp , Dec [44] S. LaConte, S. Strother, V. Cherkassky, J. Anderson, and X. Hu, Support vector machines for temporal classification of block design fmri data, Neuroimage, vol. 26, no. 2, pp , June [45] A. S. Lukic, M. N. Wernick, D. G. Tzikas, X. Chen, A. Likas, N. P. Galatsanos, Y. Yang, F. Zhao, and S. C. Strother, Bayesian kernel methods for analysis of functional neuroimages, IEEE Trans.Med Imaging, vol. 26, no. 12, pp , Dec [46] D. R. Hardoon, J. Mourao-Miranda, M. Brammer, and J. Shawe-Taylor, Unsupervised analysis of fmri data using kernel canonical correlation, Neuroimage, vol. 37, no. 4, pp , Oct [47] S. C. Strother, S. La Conte, L. Kai Hansen, J. Anderson, J. Zhang, S. Pulapura, and D. Rottenberg, Optimizing the fmri data-processing pipeline using prediction and reproducibility performance metrics:i. A preliminary group analysis, Neuroimage, vol. 23 (Suppl. 1), pp. S196 S207, [48] J. Zhang, J. R. Anderson, L. Liang, S. K. Pulapura, L. Gatewood, D. A. Rottenberg, and S. C. Strother, Evaluation and optimization of fmri single-subject processing pipelines with NPAIRS and second-level CVA, Magn.Reson.Imaging, vol. 27, no. 2, pp , Feb [49] J. Zhang, L. Liang, J. R. Anderson, L. Gatewood, D. A. Rottenberg, and S. C. Strother, Evaluation and comparison of GLM- and CVA-based fmri processing pipelines with Java-based fmri processing pipeline evaluation system, Neuroimage, vol. 41, pp , July [50] R. Kustra and S. C. Strother, Penalized discriminant analysis of [15O]-water PET brain images with prediction error selection of smoothness and regularization hyperparameters, IEEE Trans.Med.Imaging, vol. 20, no. 5, pp , May [SP] [29] D. Eidelberg, Metabolic brain networks in neurodegenerative disorders:a functional imaging approach, Trends Neurosci., vol. 32, no. 10, pp , Oct [30] M. D. Fox and M. E. Raichle, Spontaneous fluctuations in brain activity observed with functional magnetic resonance imaging, Nat. Rev. Neurosci., vol. 8, no. 9, pp , Sept [31] A. R. McIntosh, W. K. Chau, and A. B. Protzner, Spatiotemporal analysis of event-related fmri data using partial least squares, Neuroimage, vol. 23, no. 2, pp , Oct [32] C. F. Beckmann, M. DeLuca, J. T. Devlin, and S. M. Smith, Investigations into resting-state connectivity using independent component analysis, Philos. Trans.R. Soc.Lond.B Biol.Sci., vol. 360, no. 1457, pp , May [33] N. M. Correa, T. Adalı, Y.-O. Li, and V. D. Calhoun, Canonical correlation analysis for data fusion and group inferences, IEEE Signal Processing Mag., vol. 27, no. 4, pp , [34] K. E. Stephan, L. M. Harrison, S. J. Kiebel, O. David, W. D. Penny, and K. J. Friston, Dynamic causal models of neural system dynamics:current state and future extensions, J. Biosci., vol. 32, no. 1, pp , Jan [35] C. J. Honey, O. Sporns, L. Cammoun, X. Gigandet, J. P. Thiran, R. Meuli, and P. Hagmann, Predicting human resting-state functional connectivity from structural connectivity, Proc.Nat. Acad.Sci.USA, vol. 106, no. 6, pp , Feb [36] S. C. Strother, Evaluating fmri preprocessing pipelines, IEEE Eng. Med. Biol.Mag., vol. 25, no. 2, pp , Mar. Apr [37] N. Lange, S. C. Strother, J. R. Anderson, F. A. Nielsen, A. P. Holmes, T. Kolenda, R. Savoy, and L. K. Hansen, Plurality and resemblance in fmri data analysis, Neuroimage, vol. 10, no. 3, part 1, pp , Sept [38] N. Morch, L. K. Hansen, S. C. Strother, C. Svarer, D. A. Rottenberg, B. Lautrup, R. Savoy, and O. B. Paulson, Nonlinear versus linear models in functional neuroimaging:learning curves and generalization crossover, in Information Processing in Medical Imaging (Lecture Notes in Computer Science), J. Duncan and I. Gindi, Eds.1997, pp [39] A. S. Lukic, M. N. Wernick, and S. C. Strother, An evaluation of methods for detecting brain activations from functional neuroimages, Artif.Intell.Med., vol. 25, no. 1, pp , May [40] K. J. Worsley, J. Cao, T. Paus, M. Petrides, and A. C. Evans, Applications of random field theory to functional connectivity, Hum.Brain Mapp., vol. 6, no. 5 6, pp , [41] T. P. Minka, Automatic choice of dimensionality for PCA, Cambridge, MA:MIT, Rep.514, [18] IEEE 信 号 处 理 杂 志

21 [ 专 题 报 告 ] Ron Schneiderman DSP 在 消 费 电 子 应 用 的 演 化 您 将 很 难 找 到 一 个 不 需 要 数 字 信 号 处 理 消 费 类 电 子 产 品 消 费 电 子 是 一 个 很 大 的 市 场 ü 今 年 市 场 总 值 大 概 有 1650 亿 美 元 ( 参 见 消 费 电 子 市 场 增 长 和 创 新 的 形 势 如 何? ), 随 着 新 的 创 新 产 品 的 推 出,DSP 的 需 求 也 持 续 增 长 随 着 纠 错 码 这 一 发 明 的 出 现, 数 字 信 号 的 价 值 在 1948 年 日 益 显 现, 纠 错 码 不 仅 能 传 输 信 号, 而 且 在 传 输 过 程 中 检 测 并 纠 正 错 误 就 在 同 一 年, 贝 尔 实 验 室 宣 布 发 明 了 晶 体 管 也 就 是 在 这 一 年, 哥 伦 比 亚 广 播 公 司 实 验 室 的 负 责 人 Peter Goldmark 博 士, 因 为 不 得 不 在 他 最 喜 欢 的 古 典 音 乐 作 品 片 段 中 间 翻 转 这 种 78 转 的 唱 片 而 恼 火, 就 发 明 了 密 纹 (LP) 慢 转 唱 片 A m p e x 也 开 始 在 1984 年 售 卖 磁 带 录 音 机 ( 当 然 是 盘 式 的 ) 但 是,DSP 真 正 开 始 成 为 消 费 电 子 产 品 的 重 要 组 件 是 在 20 世 纪 70 年 代 第 一 台 个 人 电 脑 Altair 8800, 于 1975 年 开 始 以 工 具 包 的 形 式 出 售, 之 后 在 1997 年 出 现 了 组 装 电 脑, 苹 果 II Sony 和 JVC 也 在 1975 年 开 始 销 售 录 像 机 (JVC 采 用 VHS 格 式, 而 Sony 采 用 Betamax 格 式 ) 随 着 德 州 仪 器 (TI) 在 1978 年 推 出 的 一 款 玩 具,DSP 进 一 步 地 渗 透 进 消 费 市 场 的 这 款 玩 具 名 为 Speak & Spell, 玩 具 的 特 点 是 采 用 了 一 个 数 字 对 象 标 识 符 /MSP DSP 特 定 语 音 合 成 芯 片, 通 过 单 词 的 发 音 教 孩 子 拼 写, 并 指 出 他 们 的 拼 写 是 否 正 确 还 有 其 他 的 公 司 也 在 设 计 和 生 产 单 片 的 DSP (Intel 在 1979 年 推 出 了 一 款 单 片 DSP ) Philips Electronics 因 其 在 光 盘 随 着 新 的 创 新 产 品 的 推 出,DSP 的 需 求 也 持 续 增 长 (CD) 发 展 方 面 所 做 的 贡 献, 获 得 了 IEEE 里 程 碑 奖 首 先 是 在 年 出 现 的 一 个 代 号 为 Pinkeltje 的 原 型 装 置, 这 是 在 首 个 进 入 千 万 个 消 费 者 家 庭 的 大 规 模 数 字 化 消 费 产 品, 也 是 受 益 于 数 字 信 号 技 术 的 首 个 消 费 产 品 DSP SoC/FASICs 51% 2008: US$27.2 Billion (WW) Cell Phone DSP ASSPs 29% 到 了 1985 年, 根 据 Fifty Years of Signal Processing:The IEEE Signal Processing Society and Its Tech nologies 的 说 法, 对 于 DSP 芯 片 而 言, 只 有 三 个 大 的 商 业 市 场 ü 语 音 编 码 视 频 压 缩 和 调 制 解 调 器 总 共 会 有 价 值 5000 万 美 元 的 市 场 自 那 时 起,DSP 进 入 了 电 子 行 业 的 角 角 落 落, 新 的 和 创 新 的 消 费 电 子 产 品 和 应 用 的 发 展 带 来 了 极 大 的 增 长 ( 图 1) 根 据 专 门 跟 踪 和 分 析 数 字 信 号 处 理 市 场 的 Forward Concepts 的 说 法,2008 年 消 费 品 部 分 占 了 数 字 信 号 处 理 市 场 65 亿 美 元 中 的 8.37 亿 美 元 Forward Concepts 预 测 全 球 数 字 信 号 处 理 芯 片 市 场 在 2008 年 到 2013 年 这 五 年 间, 将 以 9.4% 的 速 度 增 长, 达 到 亿 美 元 的 水 平 ; 但 是, 从 2009 年 开 始, 四 年 的 增 长 率 预 测 为 12.1%( 年 复 合 平 均 增 长 率 ) Non-Cell Phone DSP ASICs 3% Discrete DSP Chips 11% FPGA and Parallel DSPs 2% MPUs and Other 2% [ 图 1] 随 着 目 前 许 多 DSP 芯 片 被 称 为 或 标 识 为 SoC 类, 例 如 ASIC 和 ASSP, 有 关 DSP 的 消 费 电 子 产 品 市 场 正 在 发 生 改 变 现 成 的 或 分 立 DSP 芯 片 只 占 DSP 芯 片 世 界 的 一 小 部 分 事 实 上, 分 立 DSP 现 在 大 约 只 占 270 亿 美 元 市 场 的 11% ( 引 用 得 到 了 Forward Concepts 公 司 的 许 可 ) IEEE 信 号 处 理 杂 志 [19]

22 [ 专 题 报 告 ] 但 是 Forward Concepts 的 创 始 人 和 总 裁 Will Strauss 说, 无 线 和 消 费 电 子 产 品 将 以 更 快 的 速 度 增 长 ( 图 2) 市 场 技 术 的 挑 战 但 是, 市 场 和 技 术 都 是 在 不 断 变 化 中 起 初, 许 多 组 件 都 曾 被 称 为 DSP 芯 片, 现 在 更 多 地 是 被 贴 上 了 片 上 系 统 ( S o C s ) 的 标 签, 就 像 专 用 集 成 电 路 (ASIC) 或 专 用 标 准 产 品 (ASICs) 一 样 ü 即 使 是 传 统 的 数 字 信 号 处 理 芯 片 供 应 商 也 这 么 做 因 此, 今 天 所 谓 的 离 散 数 字 信 号 处 理 芯 片 是 数 字 信 号 处 理 芯 片 市 场 的 一 小 部 分, 几 乎 没 有 被 算 作 DSP 芯 算 不 过,Strauss 说, 数 字 信 号 处 理 作 为 推 动 整 个 半 导 体 市 场 的 一 项 技 术, 正 在 为 应 用 设 计 和 开 发 工 具 创 造 一 个 成 长 中 的 市 场 随 着 今 天 高 度 集 成 的 芯 片 设 计 和 对 这 些 先 进 处 理 器 的 编 程 越 来 越 复 杂, 开 发 工 具 的 选 择 是 目 前 DSP 选 择 的 关 键 Strauss 说 硅 知 识 产 权 DSP 内 核 和 消 费 电 子 平 台 解 决 方 案 的 领 先 授 权 厂 商 CEVA 随 后 采 纳 了 Strauss 的 评 析, 整 合 优 化 工 具 链, 启 用 了 终 端 到 终 端, 完 全 基 于 C 的 可 授 权 D S P 内 核 开 发 流 程 CEVA 声 称 开 发 将 大 大 提 高 产 品 的 整 体 性 能, 并 为 缩 短 SoC 设 计 的 周 期 据 报 道, 许 多 公 司 使 用 专 有 DSP 内 核 都 转 而 使 用 CEVA 内 核, 特 别 是 手 机 应 用 程 序 这 种 趋 势 的 原 因 是 芯 片 价 格 的 压 力, 已 促 使 芯 片 设 计 公 司 减 少 或 卖 掉 其 手 机 芯 片 生 产 线, 同 时 加 大 来 自 基 带 芯 片 供 应 商 的 竞 争 DSP 在 消 费 类 电 子 产 品 中 的 蓬 勃 发 展 尽 管 移 动 电 话 代 表 了 数 字 信 号 处 理 器 芯 片 ( 如 基 带 和 应 用 处 理 器 ) 最 大 的 单 一 市 场, 这 也 是 音 频 设 备 的 重 要 组 成 部 分 消 费 电 子 市 场 的 发 展 和 创 新 是 什 么 样 的? 就 各 方 面 而 言, 消 费 电 子 都 是 电 子 工 业 的 不 可 小 觑 的 一 部 分 根 据 由 美 国 消 费 电 子 协 会 (CEA) 每 半 年 一 次 的 行 业 预 测, 消 费 电 子 产 品 今 年 在 美 国 产 生 了 超 过 1650 亿 美 元 的 年 销 售 收 入, 比 2009 年 ( 该 年 份 的 行 业 收 入 在 20 年 来 首 次 下 降 ) 略 有 增 加 移 动 手 机 有 望 成 为 该 行 业 的 主 要 驱 动 力 智 能 手 机 占 手 机 总 出 货 量 超 过 30%, 在 2010 年 创 造 了 近 170 亿 美 元 的 销 售 收 入, 销 量 超 过 5200 万 台, 预 计 这 一 数 字 在 今 后 几 年 还 会 增 加 ( 诺 基 亚 表 示,2010 年 1 月 份 预 计 销 量 超 过 500 万 台, 远 高 于 市 场 预 期, 预 计 占 有 对 全 球 40% 的 市 场 份 额 ) 在 2010 年, 电 脑 的 销 售 预 计 也 会 不 错 上 网 本 的 销 量 比 2009 年 翻 了 一 番, 这 个 相 对 较 新 的 电 脑 类 别 与 以 前 的 预 测 相 比, 销 售 更 加 强 劲 CEA 的 预 测 2010 年 将 会 售 出 超 过 3000 万 台 上 网 本, 产 生 超 过 140 亿 美 元 的 收 入 CEA 的 行 业 分 析 总 监,Steven Koenig 说 : 智 能 手 机 和 上 网 本 具 有 强 劲 的 增 长 潜 力, 原 因 是 消 费 者 在 孜 孜 不 倦 寻 求 高 效 便 携 的 设 备 过 去 数 年 来, 随 着 消 费 者 向 高 清 平 板 电 视 过 渡, 电 视 机 市 场 也 一 直 都 是 收 入 的 主 要 驱 动 力 之 一,CEA 认 为 今 年 的 销 量 将 超 过 3700 万 台 创 新 的 电 视 显 示 器, 例 如 三 维 (3D) 互 联 网 连 通 以 及 有 机 发 光 二 极 管 技 术, 有 望 继 续 保 持 增 长, 而 且 有 助 于 维 持 显 示 器 类 的 收 入 CEA 预 计 在 2010 年 3D 电 视 的 销 量 超 过 400 万 台 对 于 消 费 电 子 厂 商 而 言, 汽 车 行 业 也 将 继 续 发 挥 更 大 的 作 用, 汽 车 制 造 商 使 用 电 子 设 备, 让 他 们 的 产 品 与 众 不 同 创 新 在 消 费 电 子 产 品 的 成 长 历 程 中 举 足 轻 重 一 月 初, 在 拉 斯 维 加 斯 举 行 的 国 际 消 费 电 子 展 (CES) 上, 有 超 过 2500 家 科 技 公 司 引 进 了 超 过 20,000 个 新 产 品, 其 中 CEA 公 布 了 一 项 Zogby 调 查 结 果, 调 差 显 示,96% 的 美 国 人 认 为 创 新 是 美 国 努 力 在 全 球 经 济 舞 台 上 保 持 领 舞 的 关 键 CEA 的 总 裁 和 CEO,Gary Shapiro 先 生 说 我 不 知 道 还 有 其 他 别 的 事 情 能 得 到 96% 的 美 国 人 的 赞 同 作 为 Qualcomm 的 主 席 和 CEO,Paul Jacobs 博 士 在 CES 期 间 所 做 的 主 题 演 讲 中 提 到, 无 线 与 消 费 电 子 的 契 合 将 会 以 出 人 意 料 的 方 式 进 行, 因 为 越 来 越 多 的 消 费 电 子 设 备 很 快 就 具 备 了 手 机 的 功 能 期 待 新 的 无 线 产 品 和 应 用 出 现, 可 能 会 有 助 于 在 大 范 围 对 无 线 运 营 商 的 业 务 进 行 预 期 的 重 新 分 配 虽 然 无 线 设 备 的 增 长 是 全 球 性 的, 但 大 多 数 分 析 家 预 计 北 美 市 场 的 增 长 会 格 外 强 劲, 北 美 的 消 费 者 已 经 习 惯 了 拥 有 多 个 无 线 设 备 有 几 家 公 司 活 跃 在 这 个 市 场 C i r r u s L o g i c 推 出 了 一 款 SoC,CS47048, 主 要 针 对 音 频 放 大 器 应 用 将 一 个 32 位 的 音 频 DSP, 高 性 能 多 声 道 音 频 编 解 码 器 和 一 个 数 字 音 频 接 收 / 发 射 器 集 成 到 一 个 芯 片 (IC) 上, 大 幅 降 低 了 整 体 电 路 板 空 间 要 求 和 系 统 成 本 Cirrus 目 前 正 在 开 发 一 个 新 的 音 频 SoCs 产 品 线, 结 合 了 音 频 DSP 和 不 同 级 别 的 混 合 信 号 内 容, 并 使 用 的 S/PDIF 接 收 器 和 [20] IEEE 信 号 处 理 杂 志

23 [ 专 题 报 告 ] Shipments (US$ Millions) 45,000 40,000 35,000 30,000 25,000 20,000 15,000 10,000 5,000 0 Military Industrial Computer Wireless 2008 Instrumentation Consumer Wireline [ 图 2] 无 线 和 消 费 电 子 产 品 是 全 球 范 围 内 DSP 出 货 量 增 长 最 快 的 两 大 块 市 场 ( 引 用 得 到 了 Forward Concepts 公 司 的 许 可 ) 本 Nichols 的 评 论 似 乎 在 呼 应 去 年 德 州 仪 器 说 法 ü 对 于 许 多 设 计 师 而 言, 评 估 一 个 新 的 DSP 平 台 时, 成 本 和 时 间, 设 置 开 发 工 具 成 为 了 一 个 主 要 障 碍 TI 的 回 应 是 推 出 其 ezdsp USB 记 忆 棒 开 发 工 具, 将 全 功 能 仿 真 器 和 集 成 开 发 平 台 的 成 本 降 至 49 美 元 TI 表 示, 这 会 加 速 DSP 应 用 的 创 建, 包 括 便 携 式 音 频 播 放 器 录 音 机 IP 电 话 便 携 式 医 疗 设 备 生 物 识 别 USB 密 钥 软 件 定 义 的 无 线 电 设 备 免 提 耳 机 及 计 量 应 用 ezdsp 无 需 其 他 组 件 或 电 缆, 整 个 开 发 工 具 由 USB 端 口 驱 动 设 计 人 员 只 需 将 其 插 入 任 何 笔 记 本 电 脑 或 工 作 站 的 USB 端 口 即 可 S/PDIF 发 射 器 Cirrus 音 频 DSP 产 品 大 多 针 对 消 费 应 用, 重 点 在 于 音 频, 而 不 是 通 用 数 字 信 号 处 理 器 虽 然 National Semiconductor 不 生 产 DSP 芯 片, 但 将 数 字 信 号 处 理 器 集 成 到 其 移 动 电 话 的 混 合 信 号 音 频 系 统 National 最 近 扩 展 了 两 个 新 器 件 的 低 功 耗 Boomer D 类 音 频 子 系 统 产 品 系 列, 旨 在 简 化 便 携 式 产 品 的 设 计 LM49352 内 置 音 频 编 码 解 码 器 接 地 参 考 的 头 戴 式 耳 机 放 大 器 小 型 听 筒 驱 动 器 D 类 扬 声 器 及 音 频 数 字 信 号 处 理 器 National 还 提 供 结 合 远 场 噪 声 抑 制 技 术, 降 低 背 景 噪 音, 改 善 移 动 电 话 和 供 电 耳 机 中 语 音 通 讯 清 晰 度 的 音 频 产 品 线 National 声 称 PowerWise 产 品 线 只 消 耗 具 有 可 比 性 的 数 字 信 号 处 理 器 软 件 系 统 的 功 率 (1 ma) 的 十 分 之 一, 无 需 增 加 数 字 信 号 处 理 器 或 微 处 理 器 的 语 音 处 理 程 序 代 码 的 编 写 和 测 试 开 发 时 间 Tensilica, Inc 正 致 力 于 MIPS 技 术, 以 推 动 Google 的 Android 平 台 的 SoC 设 计 Tensilica 和 MIPS 在 一 月 份 的 国 际 消 费 电 子 展 商 共 同 展 示 了 一 个 集 成 了 Tensilica 的 HiFi 2 音 频 DSP 的 处 理 器 内 核 Samsung 最 近 获 得 Tensilica, Inc. 的 HiFi 2 音 频 DSP 的 授 权, 将 其 用 于 Samsung 下 一 代 多 媒 体 系 统 产 品 Tensilica 支 持 数 据 层 面 处 理 器 产 品, 包 括 蓝 光 光 盘 播 放 机, 蓝 牙 功 能 设 备, 液 晶 显 示 电 视 机, 手 机,WiFi 和 无 线 通 用 串 行 总 线 功 能 的 笔 记 本 电 脑, 无 线 高 清 晰 度 多 媒 体 界 面, 手 持 式 游 戏 机, 与 喷 墨 和 激 光 打 印 机 设 在 日 内 瓦 的 意 法 半 导 体 公 司 (STMicroelectronics) 也 在 高 清 SoC 芯 片 中 使 用 专 用 的 双 重 可 编 程 音 频 DSP, 投 放 全 球 平 板 电 视 市 场 但 在 今 年 一 月,STMicroelectronics 推 出 一 款 单 核 的 多 触 点 电 阻 式 触 摸 屏 控 制 器 ( 作 为 其 多 触 点 产 品 新 STMTouch 系 列 的 第 一 个 成 员 ) 和 接 近 和 触 摸 键 感 应 器,STM 微 控 制 器 部 的 总 经 理 Jim Nichols 称 其 为 一 个 具 有 附 加 价 值 的 解 决 方 案, 与 其 他 需 要 专 门 的 编 程 知 识 的 昂 贵 的 多 核 处 理 器 或 数 字 信 号 处 理 器 相 比 的 话 Nichols 说, 新 的 微 控 制 器 的 开 发 是 为 了 支 持 日 益 复 杂 的 应 用 和 智 能 手 机 游 戏 移 动 互 联 网 设 备 和 上 网 今 年 1 月,TI 还 增 添 了 两 个 新 的 器 件, 最 低 功 耗 的 16 位 DSP 平 台, 声 称 高 度 集 成, 可 提 升 便 携 式 设 备 性 能 的 20% 该 战 略 旨 在 使 客 户 能 够 维 持 非 常 低 的 功 率 水 平, 同 时 还 增 加 了 诸 如 额 外 的 语 音, 音 频 的 编 解 码 算 法, 以 及 便 携 式 通 信 和 应 用 的 功 能 典 型 的 转 变 已 不 仅 仅 考 虑 独 立 的 数 字 信 号 处 理 器, 该 器 件 还 集 成 了 电 源 管 理 功 能, 如 一 个 片 上 低 压 降 稳 压 器, 以 及 动 态 电 压 和 频 率 缩 放, 以 使 设 计 人 员 能 够 最 大 限 度 地 发 挥 和 有 效 管 理 电 池 寿 命 便 携 设 备 (TI 还 继 续 大 力 推 广 其 高 端 三 核 数 字 信 号 处 理 器, 主 要 用 于 无 线 长 期 进 化 的 原 始 设 备 制 造 商 (OEM) 网 络 中 使 用 的 蜂 窝 通 信 基 础 设 施 ) 同 样,Marvell 半 导 体 最 近 推 出 了 针 对 使 用 ARM 指 令 集 的 消 费 电 子 产 品 的 应 用 的 四 倍 核 处 理 器 Weili Dai,Marvell 的 创 始 人 之 一, 副 总 裁 以 及 该 公 司 的 消 费 品 和 计 算 业 务 部 总 经 理 说, 四 核 实 现 的 话, 每 核 可 以 提 供 超 过 千 兆 赫 的 处 理 能 力, 是 专 门 针 对 诸 如 大 众 消 费 市 场 和 高 容 量 游 戏 应 用 的 客 户 专 用 产 品 另 一 个 在 音 频 领 域, 以 数 字 信 号 处 理 为 基 础 的 项 目 就 是 G N Netcom 公 司 的 Jabra Cruiser, 用 IEEE 信 号 处 理 杂 志 [21]

24 [ 专 题 报 告 ] 于 手 机 的 蓝 牙 无 线 扬 声 器, 具 有 噪 音 阻 断 技 术, 以 及 消 除 交 通 噪 音 的 双 麦 克 风 系 统 Jabra 技 术 使 用 双 麦 克 风 捕 捉 声 音, 然 后 只 过 滤 掉 环 境 噪 音 和 DSP 一 起 使 用, 用 于 降 低 回 音, 该 技 术 允 许 通 话 双 方 都 能 以 接 近 自 然 的 语 音 质 量 听 到 声 音 十 大 消 费 移 动 应 用 随 着 移 动 手 机 引 领 DSP 市 场 增 长 方 式, 哪 些 应 用 ( 应 用 程 序 ) 将 在 移 动 市 场 增 长 最 快? 作 为 领 先 的 信 息 技 术 研 究 和 咨 询 机 构,Gartner 公 司 制 作 了 它 认 为 是 2012 年 十 大 消 费 移 动 应 用 的 名 单 这 份 名 单 是 根 据 其 对 消 费 者 和 业 界 的 影 响, 考 虑 收 益 消 费 忠 诚 度, 商 业 模 式 消 费 者 价 值 估 算 的 市 场 占 有 率 而 得 根 据 Gartner 的 说 法,2012 年 十 大 消 费 移 动 应 用 包 括 : 1) 移 动 转 账 业 务 : 这 项 业 务 使 得 人 们 能 够 汇 款 给 使 用 短 消 息 服 务 (SMS) 的 其 他 人 其 低 成 本, 更 快 捷 和 便 利 的 特 点 对 发 展 中 市 场 的 用 户 很 有 号 召 力 但 这 一 业 务 也 面 临 挑 战, 包 括 监 管 的 风 险 2) 定 位 服 务 (LBS):LBS 是 上 下 文 感 知 服 务 的 一 部 分,Gartner 公 司 预 期 其 在 接 下 来 的 数 年 内 会 成 为 最 具 颠 覆 性 的 技 术 之 一 根 据 G a r t n e r 的 估 计,2009 年 全 球 LBS 用 户 将 超 过 9600 万,2012 年 将 达 到 5.26 亿 3) 移 动 搜 索 :G a r t n e r 公 司 表 示, 移 动 搜 索 列 在 十 大 业 务 的 第 三 位, 是 因 其 对 技 术 创 新 和 行 业 收 入 有 很 大 的 影 响 力 Gartner 预 计 移 动 搜 索 的 忠 诚 度 将 在 若 干 移 动 搜 索 运 营 商 间 分 摊, 这 些 移 动 搜 索 提 供 商 在 技 术 上 会 有 其 独 特 之 处 4) 移 动 浏 览 : 移 动 浏 览 位 列 第 四 原 因 是 它 在 商 业 领 域 的 广 泛 应 用 2009 年, 在 全 球 出 货 的 手 机 中,60% 具 有 移 动 浏 览 功 能 根 据 Gartner 的 预 测, 到 年, 这 个 比 例 会 上 升 到 80% 5) 移 动 健 康 监 控 : 今 天, 移 动 健 康 监 控 还 处 于 初 级 阶 段, 发 展 也 很 缓 慢, 但 可 以 看 到 有 非 常 大 的 潜 力, 因 为 移 动 性 的 移 动 网 络 覆 盖 比 固 定 网 更 重 要, 尤 其 是 在 发 展 中 国 家, 6) 移 动 支 付 : 在 可 用 的 支 付 方 式 很 少 时, 移 动 支 付 可 以 作 为 一 种 付 款 方 式 这 是 在 线 支 付 的 一 种 扩 展, 也 是 加 强 安 全 认 证 的 附 加 要 素 主 要 源 于 对 多 方 面 业 务 的 影 响, 包 括 银 行 零 售 商 消 费 者 以 及 移 动 运 营 商 缺 点 是 不 同 的 技 术 和 商 业 创 新 在 消 费 电 子 产 品 的 成 长 历 程 中 举 足 轻 重 模 式 的 实 现 可 能 会 创 建 一 个 非 常 分 散 的 市 场 7) 近 场 通 信 (NFC) 服 务 : 近 场 通 信 可 实 现 相 互 兼 容 装 置 间 的 无 线 数 据 转 输, 只 需 将 它 们 放 在 靠 近 的 地 方 (10CM) 这 一 技 术 可 用 于 零 售 购 买 交 通 个 人 识 别 和 信 用 卡 NFC 最 大 挑 战 是 达 成 移 动 运 营 商 和 服 务 供 应 商 的 商 业 协 议 Gartner 预 计 从 2010 年 下 半 年 开 始 NFC 会 有 大 规 模 的 部 署 8) 移 动 广 告 : 被 看 做 移 动 互 联 网 上 内 容 货 币 化 的 重 要 途 径, 尽 管 经 济 衰 退, 手 机 广 告 业 务 还 是 继 续 增 长 2008 年, 移 动 广 告 总 支 出 是 亿 美 元,2012 年, 这 个 数 字 可 以 达 到 75 亿 美 元 9) 移 动 即 时 信 息 (IM): 价 格 和 可 用 性 问 题 已 经 阻 碍 了 移 动 即 时 通 讯 的 广 泛 应 用, 但 Gartner 认 为 用 户 需 求 和 市 场 条 件, 将 引 导 未 来 移 动 即 时 信 息 的 发 展 移 动 IM 被 认 为 是 移 动 广 告 和 社 交 网 络 发 展 的 一 个 机 遇, 已 经 内 置 于 某 些 较 先 进 的 移 动 IM 客 户 端 中 10) 移 动 音 乐 :: 虽 然 至 今 市 场 部 分 还 是 有 些 令 人 失 望 ( 除 了 手 机 铃 声 和 回 铃 外, 这 是 个 可 产 生 数 以 百 万 计 收 入 的 业 务 ), 消 费 者 表 示 他 们 希 望 他 们 的 移 动 电 话 有 音 乐 相 伴 新 的 创 新 模 式 和 服 务 计 划 有 望 在 2012 年 成 为 一 个 增 长 点 消 费 者 的 移 动 应 用 和 服 务 不 再 是 移 动 运 营 商 的 特 权,Gartner 的 研 究 主 管,Sandy Shen 如 是 说 越 来 越 多 消 费 者 青 睐 智 能 手 机, 互 联 网 企 业 都 参 与 到 移 动 业 务 中 来, 应 用 程 序 商 店 存 储 和 跨 产 业 服 务 的 出 现 降 低 了 移 动 运 营 商 的 主 导 地 位 每 个 企 业 都 会 对 消 费 者 如 何 交 付 和 体 验 应 用 程 序 产 生 影 响, 那 就 看 谁 能 最 终 获 得 他 们 的 注 意 力 和 消 费 力 这 些 应 用 中 的 某 些 或 全 部 都 可 能 对 DSP 市 场 产 生 影 响, 如 何 发 挥 技 术 的 影 响, 以 及 如 何 将 其 整 合 到 移 动 产 品 的 新 的, 不 断 增 长 的 范 围 内 [SP] [22] IEEE 信 号 处 理 杂 志

25 [ Steve Young ] 认 知 型 用 户 界 面 [ 智 能 人 机 交 互 - 有 应 用 程 序 可 行 吗?] 本 文 提 出 的 观 点 是 : 未 来 一 代 计 算 机 系 统 将 需 要 使 用 认 知 型 用 户 界 面 来 实 现 足 够 鲁 棒 和 智 能 的 人 机 交 互 这 种 认 知 型 用 户 界 面 的 特 点 是, 具 备 推 理 能 力 能 在 具 有 不 确 定 性 的 情 况 下 进 行 策 略 规 划, 在 短 期 可 以 进 行 自 适 应 调 节, 在 长 期 可 以 根 据 经 验 进 行 学 习 局 部 可 观 测 马 尔 科 夫 决 策 过 程 ( P a r t i a l O b s e r v a b l e M a r k o v D e c i s i o n P r o c e s s e s : P O M D P ) 是 实 现 这 种 界 面 的 一 种 合 适 的 工 程 框 架 这 种 框 架 结 合 了 贝 叶 斯 置 信 跟 踪 技 术 和 基 于 收 益 值 的 强 化 学 习 技 术 它 的 好 处 可 以 通 过 后 文 一 个 简 单 的 采 用 触 摸 手 势 驱 动 的 i P h o n e 应 用 程 序 界 面 的 例 子 来 说 明 而 且, 证 据 表 明, 人 类 似 乎 对 于 不 确 定 条 件 下 的 规 划 也 使 用 相 似 的 机 制 P O M D P 框 架 的 一 个 局 限 性 是 难 以 处 理 精 确 计 算, 因 此, P O M D P 往 往 被 认 为 对 实 际 问 题 是 不 切 实 际 的 本 文 的 第 二 部 分 将 说 明 P O M D P 方 法 最 核 心 的 优 势 可 以 通 过 使 用 合 理 的 近 似 算 法 而 在 解 决 实 际 问 题 的 过 程 中 得 以 保 留 为 了 说 明 这 一 点, 我 会 详 细 讨 论 两 个 用 于 实 际 情 况 的 口 语 对 话 系 统 ( S D S ) 每 个 系 统 都 有 很 不 同 的 近 似 算 法, 但 是 都 能 实 现 显 著 的 性 能 提 高 第 一 个 称 为 隐 信 息 状 态 ( H i d d e n I n f o r m a t i o n S t a t e : H I S ) 系 统, 它 是 传 统 口 语 对 话 系 统 的 一 种 自 然 扩 展 第 二 个 是 : 对 话 状 态 的 贝 叶 斯 更 新 ( B a y e s i a n U p d a t e D i a l o g u e S t a t e : B U D S ) 系 统, 它 采 用 了 贝 叶 斯 网 络 理 论 研 究 中 的 一 些 最 新 成 果, 虽 然 在 系 统 规 模 的 扩 展 性 方 面 仍 然 面 临 问 题, 但 它 却 为 短 期 和 长 期 的 系 统 自 适 应 提 供 了 更 多 的 可 能 性 文 章 最 后 指 出, 尽 管 认 知 型 用 户 界 面 的 未 来 发 展 所 面 临 的 挑 战 是 巨 大 的, 但 使 用 这 样 的 界 面 是 必 然 的 趋 势 引 言 随 着 计 算 机 系 统 的 复 杂 性 不 断 增 加, 对 更 加 鲁 棒 PHOTO BY MATTHIEU BARRAGUÉ 数 字 对 象 标 识 符 /MSP IEEE 信 号 处 理 杂 志 [23]

26 和 智 能 的 人 机 交 互 的 需 求 将 日 益 增 长, 并 将 最 终 超 出 目 前 通 用 的 传 统 人 机 界 面 技 术 可 以 支 持 的 范 围 而 且, 这 种 推 动 技 术 发 展 的 需 求 事 实 上 已 经 出 现 高 性 能 触 摸 屏 智 能 手 机 的 引 入 催 生 了 非 常 先 进 的 新 一 代 手 机 应 用 模 式, 即 用 户 必 须 通 过 使 用 触 摸 手 势 和 语 音 的 组 合 完 成 复 杂 的 交 互 然 而, 手 机 屏 幕 通 常 较 小, 且 环 境 噪 音 通 常 较 高 因 此, 保 持 一 个 可 接 受 的 鲁 棒 性 水 平 将 是 一 个 重 User Input 大 的 挑 战 为 大 众 市 场 开 发 智 能 机 器 人, 例 如 为 老 年 人 提 供 帮 助 等, 将 进 一 步 提 出 新 的 挑 战 在 这 里, 语 音 控 制 将 是 至 关 重 要 的 但 一 系 列 的 技 术 问 题 会 不 可 避 免 的 出 现, 如 信 号 源 分 离 的 不 充 分 不 可 靠 的 语 音 端 点 检 测 语 义 理 解 错 误 用 户 自 身 意 图 的 不 确 定 性 和 对 计 算 机 系 统 的 理 解 混 淆 等 这 些 因 素 的 存 在 都 为 对 用 户 意 图 的 准 确 可 靠 的 解 读 增 添 了 困 难 另 一 个 例 子 是 迅 速 扩 展 的 电 脑 游 戏 业 ( 在 美 国 电 脑 游 戏 业 的 营 业 额 现 在 已 经 超 过 了 电 影 业 ) 有 关 人 类 玩 家 与 计 算 机 生 成 的 人 物 进 行 真 实 对 话 的 全 新 一 代 身 临 其 境 游 戏, 将 促 使 我 们 发 挥 最 大 的 能 力 去 创 建 鲁 棒 和 自 然 的 用 户 界 面 虽 然 与 游 戏 相 比 虽 然 不 是 那 么 重 要, 但 在 医 疗 保 健 支 持 和 教 育 领 域, 对 话 系 统 方 面 也 会 出 现 同 样 具 有 挑 战 性 的 应 用 实 例 这 篇 文 章 是 在 年 I E E E 声 学 语 音 学 和 信 号 处 理 国 际 会 议 上 的 完 整 讲 稿 它 的 基 本 前 提 是 : 未 来 的 人 机 界 面 必 须 满 足 以 下 四 个 关 键 特 征 才 能 应 对 上 述 挑 战 : 1 ) 支 持 推 理 和 推 论 的 能 力 自 然 的 人 际 交 往 通 常 依 赖 于 不 精 确 的 模 拟 信 号, 诸 如 手 势 面 部 表 情 和 语 音 人 机 界 面 必 须 有 能 力 根 据 上 下 文 解 释 这 些 输 入, 稳 健 地 解 决 这 些 含 糊 之 处, 尽 量 减 少 失 误 2 ) 在 不 确 定 性 条 件 下 进 行 规 划 的 能 力 有 效 的 沟 通 往 往 可 以 利 用 不 完 整 的 知 识 实 现 特 定 的 沟 通 目 标 这 就 要 求 定 义 客 观 的 沟 通 目 标, 并 通 过 对 话 交 互 策 略 的 优 化, 尽 可 能 有 效 的 满 足 目 标 3 ) 在 线 适 应 变 化 的 能 力 对 话 环 境 是 不 断 变 化 的, 人 机 界 面 必 须 能 够 即 时 改 变 自 身 的 运 行 方 式, 以 维 持 可 接 受 的 性 能 水 平 4 ) 从 经 验 中 学 习 的 能 力 除 了 短 期 内 适 应, 从 长 期 来 看, 人 机 界 面 应 该 能 够 从 它 自 身 与 用 户 的 互 动 中 学 习 更 具 一 般 性 的 知 识 和 行 为 方 式 越 是 使 用, 它 应 该 变 得 越 聪 明 具 有 上 述 四 个 基 本 属 性 的 人 机 用 户 界 面 将 被 称 Interpretation Command System State Decision Logic Response 为 认 知 型 用 户 界 面 Presentation [ 图 1] 有 限 状 态 的 人 机 交 互 自 动 机 模 型 每 个 用 户 输 入 都 被 视 为 一 个 命 令, 根 据 一 定 的 决 策 逻 辑, 这 个 命 令 使 自 动 机 从 一 个 状 态 转 移 到 另 一 个 状 态 每 次 进 入 一 个 新 状 态 的 时 候, 自 动 机 会 对 用 户 产 生 一 个 响 应. 几 乎 目 前 所 有 的 人 机 界 面 都 采 用 图 1 所 示 的 有 限 状 态 自 动 机 模 型 所 有 相 关 信 息 都 被 编 码 在 一 个 有 限 状 态 机 内 每 个 用 户 输 入 都 被 视 为 一 个 命 令, 根 据 一 定 的 决 策 逻 辑, 这 个 命 令 使 自 动 机 从 一 个 状 态 转 移 到 另 一 个 状 态 每 次 进 入 一 个 新 状 态 的 时 候, 自 动 机 会 对 用 户 产 生 一 个 响 应 把 这 个 模 型 应 用 于 洗 衣 机 的 简 单 按 钮 界 面 或 者 基 于 语 音 的 信 息 查 询 系 统 的 复 杂 自 然 语 言 界 面 是 等 价 的 唯 一 的 区 别 是, 后 者 中 存 在 的 模 糊 性 要 高 得 多, 因 为 语 音 输 入 信 号 往 往 无 法 正 确 识 别 然 而, 两 者 的 操 作 都 基 于 状 态 完 全 已 知 的 假 设 事 实 上, 这 个 假 设 永 远 不 会 被 满 足 即 使 在 一 台 洗 衣 机 上 按 下 一 个 按 钮 可 以 是 完 全 明 确 的, 但 却 可 能 无 法 代 表 用 户 的 真 正 意 图 人 类 经 常 在 不 确 切 的 意 图 下, 基 于 不 完 全 的 信 息 来 进 行 交 流 因 此, 用 户 意 图 中 总 存 在 着 某 种 不 确 定 性, 而 不 确 定 性 的 问 题 会 由 于 与 人 类 互 动 的 I T 系 统 过 于 复 杂 而 变 得 更 为 严 重 对 于 这 样 的 交 互 系 统, 越 来 越 多 的 引 入 不 精 确 的 多 模 式 输 入 ( 例 如 手 势 情 感 特 征 目 视 特 征 和 语 音 ), 以 及 鲁 棒 的 处 理 不 确 定 性 的 机 制 就 变 成 了 一 种 不 可 阻 挡 的 趋 势 这 篇 文 章 中 提 出 的 主 张 是 明 确 而 直 接 的 : 不 确 定 性 无 法 避 免, 未 来 的 交 互 界 面 如 果 要 用 于 某 个 具 体 的 目 的, 则 必 须 具 有 认 知 能 力 接 下 来 的 部 分 将 论 证 基 于 贝 叶 斯 推 理 和 贝 尔 曼 最 优 性 准 则 的 P O M D P 框 架 是 建 立 下 一 代 认 知 型 用 户 界 面 的 一 种 适 当 的 工 程 方 法 应 该 指 出 的 是, 这 是 一 篇 表 明 立 场 的 文 章, 而 非 评 论 性 文 章 因 此, 文 章 中 适 当 地 给 出 了 参 考 文 献, 但 是 没 有 全 部 给 出 一 个 例 子 : 简 单 的 触 摸 手 势 驱 动 界 面 System Output i P h o n e 是 一 个 很 好 的 例 子, 可 以 显 示 直 观 的 触 摸 手 势 驱 动 界 面 是 如 何 提 高 我 们 与 设 备 间 沟 通 能 力 的 不 过, 有 些 操 作 并 不 如 我 们 希 望 的 那 样 灵 活 假 设 一 种 情 况 : 您 已 经 拍 摄 了 大 量 的 照 片, 想 快 速 浏 览 它 们 并 删 除 其 中 一 些 照 片 默 认 的 界 面 要 求 您 [24] IEEE 信 号 处 理 杂 志

27 选 择 每 张 照 片, 按 下 删 除 按 钮, 然 后 明 确 地 确 认 每 个 操 作 如 图 2 所 示, 做 这 件 事 情 的 一 个 快 捷 方 式 可 能 只 使 用 3 个 手 势, 即 前 滚 后 滚 和 删 除 这 种 界 面 的 唯 一 问 题 是, 当 您 尝 试 快 速 进 行 时, 您 的 手 势 变 得 不 可 靠, 从 而 产 生 错 误 当 然, 在 实 际 系 统 中, 将 需 要 某 种 形 式 的 恢 复 机 制 以 防 止 意 外 删 除, 但 是, 这 里 所 关 注 的 是 从 一 开 始 就 要 尽 量 减 少 出 现 这 样 的 错 误 首 先 考 虑 用 经 典 的 方 法 来 实 现 图 1 的 交 互 界 面 假 设 每 个 手 势 可 以 通 过 屏 幕 上 手 划 曲 线 的 角 度 来 识 别 ( 如 图 3 所 示 ) 最 经 典 的 方 法 需 要 两 个 阶 段 : 首 先 是 将 每 个 手 势 的 角 度 识 别 为 上 述 三 个 可 能 的 命 令 之 一 ; 其 次 是 将 识 别 结 果 输 入 到 决 定 系 统 响 应 的 某 种 决 策 逻 辑 中 去 切 合 实 际 的 近 似, 可 以 保 留 POMDP 方 法 的 根 本 优 势. 这 些 步 骤 的 首 要 问 题 是 一 个 分 类 问 题 假 定 手 势 与 竖 直 方 向 的 夹 角 为 i, 由 于 可 能 存 在 检 测 错 误, 通 常 我 们 会 对 每 一 类 命 令 ~ = ( forward, delete, backward) ( 见 图 4 ) 估 计 一 个 概 率 分 布 P( i ~ ) 最 优 决 策 的 边 界 i ) i 可 以 根 据 类 后 验 概 率 P( i ~ ) 来 确 定 图 4 给 出 了 在 这 种 情 况 下 是 一 个 典 型 分 布, 这 里 的 平 均 误 i 2 0 % 选 择 的 一 种 典 型 方 法 是 要 求 在 决 策 边 界 上 的 后 验 概 率 相 等, 如 图 4 中 的 垂 直 虚 线 对 于 每 一 个 输 入 手 势, 识 别 出 其 角 度 之 后, 可 以 通 过 与 决 策 逻 辑 中 的 角 度 阈 值 进 行 比 较 来 选 择 适 当 的 系 统 响 应 操 作 作 为 进 一 步 的 完 善, 决 策 错 误 率 的 概 率 分 布 可 以 通 过 角 度 的 后 验 分 布 估 计 出 来, 并 同 时 估 计 一 个 置 信 边 界 d 因 此 因 此, 经 典 方 法 的 第 二 阶 段 通 常 以 一 个 简 单 的 程 序 或 流 程 图 的 形 式 概 述, 如 图 5 所 示 scrollforward scrollbackward P (Angle) forward delete backward delete [ 图 2] iphone 照 片 选 择 使 用 的 三 个 手 势 :a) 摁 左 键 向 前 翻 阅 照 片 ;b) 摁 右 键 向 后 翻 阅 照 片 ;c) 摁 向 下 键 删 除 照 片 Angle [ 图 4] 每 个 命 令 的 手 势 角 度 的 经 验 分 布 给 定 一 个 手 势 的 角 度, 通 过 将 其 与 如 虚 线 所 示 的 类 边 界 比 对, 确 定 最 有 可 能 的 命 令 分 布 之 间 的 重 叠 程 度 决 定 了 错 误 率 Gesture Angle [ 图 3] 识 别 一 个 手 势 每 个 手 势 通 过 它 在 屏 幕 上 的 角 度 来 识 别 1: Let = angle of input gesture and 1 and 2 be lower and upper thresholds 2: Let be a confidence margin around each threshold 3: if < 1 then 4: scroll-forward 5: else if 1 + < < 2 then 6: delete-photo 7: else if 2 + < then 8: scroll-backward 9: else 10: do-nothing 11: end if [ 图 5] 识 别 每 一 个 手 势 的 决 策 逻 辑 通 过 引 入 一 个 以 决 策 边 界 为 中 心, 宽 度 为 2d 的 边 距 来 降 低 误 差 的 影 响 当 一 个 手 势 落 在 这 个 边 距 内, 该 命 令 将 被 忽 略 IEEE 信 号 处 理 杂 志 [25]

28 那 么, 当 用 这 种 方 法 去 设 计 用 户 界 面 时, 丢 失 了 什 么? 首 先, 没 有 明 确 的 描 述 不 确 定 性 的 模 型 如 上 例 所 示, 置 信 边 界 虽 然 可 以 用 来 辅 助 决 策, 但 是, 角 度 识 别 过 程 本 身 仍 然 是 输 出 一 个 确 定 性 的 结 果, 而 且 一 旦 这 个 结 果 被 后 面 的 决 策 过 程 采 用, 就 无 法 轻 易 去 除 影 响 第 二, 没 有 尝 试 跟 踪 用 户 的 意 图 因 此, 该 系 统 无 法 确 定 它 对 用 户 手 势 的 解 释 与 用 户 要 做 什 么 是 否 一 致 在 这 个 例 子 中, 系 统 可 能 会 观 察 到 用 户 很 少 在 删 除 照 片 后 还 往 回 浏 览, 但 是, 在 往 回 浏 览 时, 最 有 可 能 的 下 一 个 手 势 就 是 删 除 照 片 这 种 行 为 特 征 完 全 可 以 用 来 消 除 手 势 角 度 识 别 不 准 确 产 生 的 歧 义 第 三, 由 于 没 有 量 化 指 标, 不 可 能 对 流 程 图 中 的 决 策 规 则 进 行 优 化 这 一 切 的 后 果 是 不 能 满 足 认 知 型 用 户 界 面 所 需 的 标 准 建 立 一 个 认 知 型 用 户 界 面 的 关 键 是 认 识 到 在 解 释 手 势 输 入 时 会 出 现 不 确 定 性, 因 此, 不 将 它 们 视 作 确 定 的 命 令, 而 把 它 们 视 为 一 种 观 察 到 的 特 征, 利 用 这 些 观 察 特 征, 系 统 可 以 推 断 出 用 户 的 意 图 系 统 响 应 用 户 意 图 的 有 效 性 可 以 通 过 一 组 收 益 值 来 量 化, 必 要 的 决 策 逻 辑 可 以 通 过 最 大 化 这 些 收 益 值 而 达 到 最 优 这 种 方 法 的 工 程 实 现 依 赖 于 两 个 基 本 思 想 : 贝 叶 斯 推 理 和 贝 尔 曼 最 优 化 原 则, 这 个 框 架 就 是 通 常 所 说 的 P O M D P [ 2 ], [ 3 ] 回 到 i P h o n e 的 例 子, 在 每 一 个 时 刻, 用 户 有 三 种 可 能 的 意 图 : 前 滚 后 滚 和 删 除 照 片 这 些 意 图 由 一 个 离 散 的 状 态 来 表 示, 即 s = { 向 前 删 除 向 后 } 在 此, 应 注 意 这 些 状 态 是 指 用 户 的 实 际 意 图 状 态, 而 不 是 计 算 机 系 统 的 状 态 为 满 足 用 户 需 求, 机 器 提 供 四 个 可 能 的 操 作 : a = { 前 滚 删 除 照 片 后 滚 什 么 也 不 做 } 用 户 t 时 刻 的 意 图 s t 取 决 于 其 先 前 的 意 图 s t- 1 和 当 前 系 统 的 操 作 a t- 1 因 此, 用 户 的 意 图 变 化 可 以 通 过 转 移 概 率 Ps ( t st-1, at- 1) 获 得 t 时 刻 产 生 的 手 势 特 征 o t 将 仅 取 决 于 用 户 当 时 的 状 态 s t 因 此, 可 以 通 过 概 率 po ( t st ) 密 度 分 布 来 描 述 用 户 表 达 特 定 意 图 时 采 用 的 各 种 可 能 方 式 请 注 意, 观 察 特 征 仅 仅 是 检 测 到 的 简 单 的 手 势 角 度 特 征, 在 这 里, 我 们 并 不 像 前 面 经 典 方 法 中 那 样 要 对 手 势 特 征 S t 1 S t 进 行 分 类 识 别 当 然, 这 里 的 关 键 问 题 还 是 在 于 用 户 的 实 际 意 图 是 无 法 直 接 观 察 的, 它 是 一 个 隐 变 量, 其 取 值 只 能 从 状 态 转 移 概 率, 特 定 状 态 下 的 观 察 特 征 概 率 分 布 函 数, 以 及 实 际 观 察 到 的 角 度 特 征 来 推 断 这 些 关 系 可 以 通 过 一 个 如 图 6 所 示 的 贝 叶 斯 网 络 来 描 述 图 6 中, 圆 圈 代 表 隐 变 量, 用 阴 影 表 示 的 圆 圈 代 表 可 观 察 的 变 量, 方 框 表 示 机 器 的 操 作 [ 4 ] 令 t - 1 时 刻 的 隐 状 态 s t 1 bt 1( st 1) a t- 1 和 o t- 1 的 条 件 下 寻 找 b( s) - 的 特 征 分 布 为 - -, 则 所 谓 推 理 就 是 要 在 给 定 b t 1 t t 这 一 问 题 很 容 易 通 过 贝 叶 斯 公 式 解 决 ( 1 ) bt( st) Ps ( t ot, at 1, bt 1) po ( t st) Ps ( t at 1, bt 1)/ po ( t at 1, bt 1) po ( s) Ps (, s a, b )/ po ( a, b ) t t t t 1 t 1 t 1 t t 1 t 1 st 1 = k po ( s) Ps ( s, a ) b ps ( ), t t t t 1 t 1 t 1 t 1 st 1 其 中, k 1 p( ot at 1, bt 1) -, = - - 是 归 一 化 常 数, 而 状 态 相 关 的 特 征 分 布 函 数 往 往 是 由 一 个 称 作 置 信 状 态 的 N 维 向 量 b = [ b( s 1 ), g, b( s N )] 来 表 示 于 是, 置 信 状 态 的 更 新 就 可 以 写 成 如 下 矩 阵 形 式 : bt k$ Oo ( t) Ta ( t ) bt = -1-1 ( 2 ) 其 中, Ta () 是 对 于 系 统 操 作 a 的 N# N 转 移 矩 阵, Oo () = diag([ po ( s 1 ), g, p( o s N )]) 是 特 征 概 率 分 布 的 对 角 矩 阵 因 此, 进 行 一 轮 推 理 ( 包 括 进 行 归 一 化 ) 的 时 间 复 杂 度 是 : ON ( 2 + 3N) 以 简 单 的 i P h o n e 为 例, 其 中, N = 3 是 完 全 可 控 的 然 而 对 于 更 复 杂 的 情 况, 由 于 N 很 大, 将 难 以 做 出 准 确 的 计 算 这 一 主 题 将 稍 后 作 出 详 细 讨 论 给 定 一 组 初 始 值 b 0, 经 过 对 每 个 手 势 的 连 续 观 察, 通 过 ( 2 ) 式, 置 信 状 态 就 可 以 不 断 更 新 因 为 实 际 的 确 切 状 态 是 不 可 知 的, 在 每 一 回 合 对 话 中, 系 统 所 采 取 的 操 作 就 必 然 基 于 置 信 状 态 而 不 是 那 个 未 知 的 隐 状 态 从 置 信 状 态 到 操 作 的 映 射 取 决 于 策 略 任 何 特 定 策 略 的 好 坏 都 可 以 通 过 指 定 r = b " a 所 有 可 能 的 状 态 - 操 作 组 合 的 收 益 值 rsa (, ) 来 量 化 以 i P h o n e 为 例, 表 1 给 出 了 可 能 的 收 益 值 表 1 [ 表 1] 对 每 个 可 能 的 状 态 - 操 作 对 的 收 益 值 a t 1 [ 图 6] 以 手 势 界 面 为 例, 给 出 了 一 个 时 刻 的 贝 叶 斯 网 络 隐 藏 的 系 统 状 态 s 由 圆 圈 表 示 由 阴 影 表 示 观 察 o 和 操 作 a O t 状 态 操 作 后 滚 删 除 照 片 前 滚 什 么 也 不 做 向 后 删 除 向 前 [26] IEEE 信 号 处 理 杂 志

29 [ 表 2] 转 移 矩 阵 Ps ( l sa, ) 对 于 一 个 特 定 的 动 作, 每 一 个 3h 3 的 网 格 对 应 一 个 状 态 转 移 矩 阵 在 列 标 签 b d 和 分 别 代 表 了 状 态 后 退 删 除 和 前 进 STATE sl b d f b d f b d f b d f STATE s backward delete forward ACTION a scrollforward scrollbackward delete-photo do-nothing 中, 对 符 合 用 户 意 图 的 操 作 给 予 了 积 极 的 回 馈, 对 不 符 合 用 户 意 图 的 操 作 给 予 了 相 应 的 惩 罚 从 用 户 的 角 度 来 看, 不 正 确 的 删 除 应 给 予 最 强 的 惩 罚, 因 为 意 外 删 除 照 片 是 系 统 犯 的 最 糟 糕 的 错 误 收 益 值 的 具 体 形 式 的 选 择 是 一 个 设 计 决 策, 不 同 的 收 益 值 会 导 致 不 同 的 策 略 和 不 同 的 用 户 体 验 收 益 值 函 数 的 选 择 可 能 也 会 在 策 略 优 化 期 间 影 响 学 习 率 但 是, 一 旦 收 益 函 数 固 定, 策 略 的 质 量 则 要 通 过 用 户 交 互 过 程 中 总 收 益 的 数 学 期 望 来 衡 量, 即 策 略 优 化 等 价 于 最 大 化 R T T // / ( 3 ) t = 1 s t = 1 R = f{ bt( srsa ) (, t)} = f{ rba ( t, t)} 如 果 整 个 过 程 具 有 马 尔 科 夫 性, 则 采 用 策 略 从 任 意 一 个 给 定 的 置 信 状 态 b 到 到 交 互 的 结 束 状 态 的 总 收 益 将 独 立 于 其 前 面 的 所 有 状 态 使 用 贝 尔 曼 的 最 优 性 原 则, 可 以 通 过 迭 代 计 算 出 这 个 价 值 函 数 的 最 优 值 ) ) V () b = max{(, rba) + p( o b, av ) ( x( bao,, ))} Reward per Turn a 0.5 / P b = 0 P f = 0 P f P b P d = 1 P f P d = 1 P b o scroll-forward do-nothing delete-photo 20 ( 4 ) do-nothing scroll-backward Error Rate (%) 其 中, x (,, bao) 表 示 式 ( 2 ) 中 定 义 的 状 态 更 新 函 数 [ 5 ] 这 种 迭 代 优 化 是 强 化 学 习 的 一 个 特 例 [ 6 ] 这 种 最 优 值 函 数 对 有 限 的 交 互 序 列 而 言 是 分 段 线 性 且 具 有 凸 性 的 它 可 以 表 示 为 n 维 超 平 面 张 成 的 置 信 空 间 中 的 一 个 有 限 集 合, 其 中, 集 合 中 的 每 个 超 平 面 对 应 一 个 相 关 的 操 作 这 种 超 平 面 的 集 合 还 定 义 了 最 优 策 略, 因 为 对 于 任 何 置 信 状 态 b, 我 们 所 需 做 的 就 是 要 找 到 具 有 最 大 期 望 值 ) 的 超 平 面, 然 后, 选 择 对 应 的 操 作 [ 3 ] V () b [ 图 7] 对 于 不 同 的 手 势 错 误 率, 在 一 个 压 缩 置 信 空 间 上 画 出 了 策 略 价 值 的 函 数 横 轴 一 分 为 二, 表 示 了 用 户 希 望 前 滚 的 概 率 (Pf) 希 望 后 滚 的 概 率 (Pb) 和 希 望 删 除 的 概 率 (Pd) 在 左 半 部 分,Pb=0, 当 Pd 从 0 增 加 到 1 时,Pf 从 1 减 小 到 0 右 半 轴 是 其 镜 像, 即 Pf=0, 当 Pd 从 1 减 小 到 0 时,Pb 从 0 增 加 到 1 其 他 横 向 维 度 指 错 误 率, 垂 直 轴 是 每 轮 平 均 的 收 益 值 表 面 的 着 色 是 指 沿 着 置 信 状 态 维 在 每 一 点 采 取 的 最 佳 操 作 可 以 从 图 4 所 示 分 布 中 估 计 观 测 概 率 矩 阵 O 注 意, O 将 取 决 于 用 户 手 势 的 识 别 错 误 率 为 了 反 应 这 个 情 况, 在 例 子 中, 观 察 矩 阵 的 7 个 离 散 错 误 率 的 范 围 是 从 0 % 到 6 0 % 在 此, 如 果 一 个 手 势 的 角 度 位 于 最 低 错 误 决 策 边 界 的 错 误 的 一 边, 即 pw ( intended i) < pw ( not- intended i), 我 们 即 认 为 该 手 势 有 误 给 定 T 值, O 值 和 收 益 值 函 数, 可 以 使 用 贝 尔 曼 最 优 性 原 则 来 优 化 策 略 如 前 所 述, 策 略 是 一 组 超 平 面 集 合, 这 些 超 平 面 的 上 表 面 定 义 了 最 优 值 函 数 随 着 手 势 的 错 误 率 的 增 加, 这 个 上 表 面 的 复 杂 度 也 会 增 高 对 于 这 里 的 例 子, 在 0 % 错 误 率 时, 策 略 仅 包 括 三 个 超 平 面, 而 在 6 0 % 错 误 率 时, 策 略 包 括 约 3 7, 个 超 平 面 图 7 总 结 了 在 七 种 不 同 的 错 误 率 下 学 到 的 策 略 在 这 里, 假 定 当 f = 非 常 大 时, P P( forward) Pb = P( backward) = 0, 这 样 置 信 空 间 就 被 压 缩 成 一 个 一 维 空 间 因 此, 当 在 向 前 和 删 除 状 态 中 进 行 选 择 时, 图 的 后 部 显 示 出 价 值 函 数 的 表 面 ; 而 当 在 删 除 和 向 后 状 态 中 选 择 时, 前 部 显 示 价 值 函 数 的 表 面 表 面 的 颜 色 表 示 了 在 置 信 空 间 中 的 任 何 点 采 取 的 最 优 系 统 操 作 可 以 看 出, 在 0 % 的 错 误 率 时, 除 非 删 除 的 可 能 性 非 常 接 近 1, 否 则 决 策 将 会 选 择 向 前 或 向 后 滚 动 在 高 错 误 率 时, 一 个 什 么 也 不 做 的 操 作 区 域 被 引 入, 以 避 免 无 意 中 删 除 照 片 这 也 表 明, 当 错 误 率 上 升 时, 价 值 函 数 本 身 ( 表 示 为 每 轮 的 平 均 收 益 值 ) 会 稳 定 下 降 i P h o n e 照 片 排 序 程 序 的 性 能 可 以 通 过 对 状 态 转 移 和 观 察 概 率 模 型 进 行 采 样 以 模 拟 用 户 的 意 图 和 手 势 来 进 行 研 究 这 种 研 究 方 法 能 确 定 出 不 同 用 户 错 误 率 范 围 下, 照 片 排 序 程 序 在 不 同 的 实 验 设 置 下 得 到 的 每 个 对 话 回 合 的 平 均 收 益 值 图 8 显 示 了 这 些 模 拟 的 结 果, 可 以 看 出, 基 于 图 5 所 IEEE 信 号 处 理 杂 志 [27]

30 描 述 的 经 典 算 法 的 手 工 策 略 在 低 错 误 率 时 性 能 很 好, 但 是 在 高 噪 声 时 会 导 致 性 能 的 显 著 下 降 图 8 中, 其 他 的 曲 线 分 别 对 应 于 由 强 化 学 习 训 练 得 到 的 各 种 策 略 标 记 为 固 定 策 略 ( 3 0 % 噪 声 ) 的 曲 线 给 出 的 是 采 用 错 误 率 为 3 0 % 的 数 据 来 训 练 的 观 察 特 征 矩 阵 模 型 参 数 和 最 优 策 略 的 系 统 性 能 可 以 看 出, 相 对 于 手 工 策 略, 该 策 略 在 高 噪 声 时, 鲁 棒 性 有 所 提 高, 但 是 在 低 噪 声 性 能 受 损 通 过 检 查 这 个 策 略, 我 们 发 现 该 策 略 在 低 错 误 率 时 过 度 谨 慎, 总 是 选 择 什 么 都 不 做 操 作, 由 此 浪 费 了 很 多 操 作 机 会 标 记 为 固 定 策 略 + 自 适 应 模 型 的 曲 线 描 述 的 系 统 采 用 了 与 前 面 相 同 的 策 略, 但 观 察 特 征 的 概 率 矩 阵 会 根 据 实 际 的 错 误 率 进 行 调 整 可 以 看 出, 低 错 误 率 时 的 性 能 现 已 恢 复, 高 错 误 率 时 的 性 能 得 到 了 进 一 步 的 提 高 这 显 示 了 精 确 的 模 型 参 数 的 重 要 性 最 后, 标 记 为 自 适 应 策 略 + 自 适 应 模 型 的 曲 线 给 出 了 当 策 略 也 根 据 错 误 率 进 行 自 适 应 调 整 时 的 性 能 在 这 种 情 况 下, 进 一 步 改 善 了 性 能 总 之, 这 些 性 能 结 果 显 示 出 了 贝 叶 斯 置 信 跟 踪 和 策 略 优 化 对 不 确 切 和 模 糊 的 手 势 具 有 鲁 棒 性 图 8 中 所 示 系 统 的 性 能 提 高 有 三 个 主 要 原 因 首 先 是 采 用 状 态 转 移 概 率 模 型 来 描 述 环 境 的 变 化 使 用 户 的 行 为 特 征 可 以 被 用 来 消 除 手 势 中 的 歧 义 第 二 个 是 采 用 显 示 的 观 测 特 征 概 率 模 型 可 以 对 噪 声 特 性 进 行 建 模, 这 样 可 以 优 化 隐 式 决 定 的 阈 值 第 三, 强 化 学 习 使 得 最 优 策 略 可 以 最 大 化 收 益 值 的 期 望, 也 即 优 化 对 话 目 标 当 然 这 只 是 一 个 用 以 说 明 基 本 的 思 想 的 小 例 子 图 8 中 所 示 的 性 能 和 测 试 结 果 应 谨 慎 对 待 例 如, 在 存 在 自 适 应 的 情 况 下, 用 户 模 拟 器 使 用 的 参 数 与 系 统 的 参 数 完 全 相 同, 两 者 是 完 全 匹 配 的 因 此, 图 8 中 上 部 的 曲 线 代 表 的 是 一 个 上 限, 该 上 限 在 实 践 中 是 难 以 实 现 的 此 外, 设 计 手 工 策 略 时 没 有 使 用 收 益 值 函 数 的 知 识, 因 此, 使 用 平 均 收 益 作 为 性 能 测 度 是 有 利 于 基 于 数 据 训 练 的 系 统 的 但 无 论 如 何, 将 贝 叶 斯 置 信 状 态 跟 踪 与 通 过 强 化 学 习 进 行 策 略 优 化 结 合 在 一 起 的 潜 在 技 术 价 值 还 是 非 常 清 楚 的 正 如 引 言 所 述, 本 节 概 述 的 系 统 是 一 个 P O M D P 的 例 子 P O M D P 满 足 了 认 知 型 用 户 界 面 所 需 的 所 有 条 件 : 它 们 支 持 基 于 贝 叶 斯 置 信 状 态 跟 踪 的 推 理 和 推 论 ; 它 们 采 用 优 化 的 策 略 在 不 确 定 性 条 件 下 进 行 规 划, 这 些 策 略 是 基 于 置 信 状 态 并 通 过 强 化 学 习 训 练 得 来 的 ; 它 们 是 参 数 化 的 模 型, 从 而 可 以 迅 速 的 进 行 在 线 自 适 应 ; 因 为 策 略 是 通 过 数 据 训 练 的, 所 以 它 们 可 以 在 更 长 的 时 间 范 围 里 从 经 验 中 进 行 学 习 和 更 新 P O M D P 绝 非 最 近 才 出 现 它 们 最 初 出 现 在 运 筹 学 的 研 究 中 [ 2 ] [ 5 ] 机 器 学 习 领 域 的 研 究 者 已 对 其 进 行 了 广 泛 的 探 讨 但 是 它 们 的 广 泛 使 用 却 遇 到 了 可 解 性 方 面 的 严 重 阻 碍 较 早 的 时 候, 当 有 人 指 出 置 信 跟 踪 和 策 略 优 化 的 复 杂 度 对 状 态 空 间 的 规 模 呈 指 数 级 变 化 时, 可 解 性 问 题 就 已 经 被 意 识 到 了 事 实 上, 它 们 的 复 杂 度 对 操 作 和 观 察 特 征 空 间 的 规 模 也 是 指 数 级 的 增 长 关 系 因 此 它 们 在 现 实 世 界 中 的 应 用 并 不 简 单, 这 点 在 后 面 还 会 被 提 及 但 在 此 之 前, 让 我 们 先 来 看 看 人 类 是 如 何 在 不 确 定 条 件 下 进 行 策 略 规 划 的 人 类 决 策 和 规 划 0% 10% 20% 30% 40% 50% Adaptive Policy + Adaptive Model Fixed Policy + Adaptive Model Fixed Policy (30% Noise) Handcrafted Policy [ 图 8] 4 种 结 构 每 轮 对 于 手 势 错 误 率 的 平 均 收 益 值 这 4 种 结 构 为 : 手 工 策 略 在 30% 噪 声 下 训 练 的 固 定 策 略 具 有 自 适 应 模 型 参 数 的 不 变 策 略 和 具 有 自 适 应 模 型 参 数 的 自 适 应 策 略 本 文 的 中 心 原 则 是 : 未 来 人 机 界 面 需 要 表 现 出 认 知 的 能 力, 这 样 才 能 满 足 下 一 代 计 算 机 系 统 要 实 现 的 目 标, 而 贝 叶 斯 推 理 和 强 化 学 习 则 必 须 用 来 支 撑 这 种 界 面 的 实 现 大 多 数 互 动 是 人 和 机 器 之 间 的 一 种 协 作 行 为 如 果 你 知 道 在 人 的 这 一 方 面 其 实 也 遵 循 和 机 器 类 似 的 机 制, 你 应 该 会 感 到 欣 慰 吧 其 实, 人 类 采 用 强 化 学 习 的 原 则 是 不 言 而 喻 的 [ 9 ], 但 人 类 是 否 具 有 贝 叶 斯 推 理 的 能 力 就 不 那 么 显 而 易 见 了 所 以 我 们 提 出 这 样 一 个 有 趣 的 问 题 人 类 的 决 策 是 否 具 有 贝 叶 斯 统 计 的 特 性? 从 进 化 角 度 说, 脑 功 能 发 展 的 主 要 动 力 之 一 是 运 动 事 实 上, 可 以 说 人 类 有 大 脑 的 唯 一 原 因 是 使 他 们 可 以 移 动 [ 1 1 ] 因 此 要 了 解 人 类 推 理 的 核 心 机 制, 就 非 常 有 必 要 了 解 人 类 是 如 何 规 划 自 己 的 运 动 的 为 回 答 这 一 问 题, 研 究 者 们 已 经 做 了 许 多 实 验, 但 是 第 一 次 以 解 决 运 动 规 划 是 否 具 有 贝 叶 斯 特 性 的 问 题 的, 是 我 剑 桥 大 学 的 同 事 D a n i e l Wo l p e r t 沃 伯 特 的 实 验 从 概 念 上 来 说 很 简 单, 主 要 原 理 如 图 9 所 示 [ 1 2 ] 要 求 一 个 测 试 者 将 他 的 手 指 穿 过 一 张 桌 子, 从 蓝 色 的 起 始 点 到 绿 色 的 目 标 点 不 过, 在 移 动 过 程 中, 测 试 者 的 视 线 被 遮 挡, 而 参 考 框 架 [28] IEEE 信 号 处 理 杂 志

31 Target Prior N ( x, x ) 首 先, 可 以 忽 略 先 验 信 息, 只 使 用 带 噪 声 的 观 察 值 来 预 测 目 标 在 这 种 情 况 下, 如 图 1 0 ( 1 ), 平 均 误 差 为 零, 但 会 有 一 个 如 绿 色 带 所 示 的 大 的 方 差 Start 则 会 偏 移 一 段 距 离, 这 个 距 离 x 是 从 高 斯 分 布 N( n x, v x ) 上 采 样 得 到 的 在 每 个 操 作 结 束, 测 试 者 可 以 去 看 她 错 过 的 距 离, 重 复 几 次 训 练 后, 测 试 者 学 会 将 她 的 手 指 移 动 到 高 斯 分 布 的 均 值 n x ( 图 9 中 的 路 径 A ) 然 后 这 个 实 验 被 重 复 一 遍, 但 在 这 次 实 验 中, 测 试 者 在 从 起 始 点 到 目 标 点 中 的 途 中 允 许 她 对 手 指 相 对 于 参 考 点 的 位 置 有 模 糊 的 一 瞥 此 处 的 模 糊 相 当 于 对 观 察 加 入 了 高 斯 噪 声 N( n x, v x ) ( 图 9 中 的 路 径 B ) 这 样 经 过 多 次 试 验, 测 试 者 至 少 在 原 则 上 已 经 有 了 一 个 先 验 的 目 标 点 位 置 信 息 和 一 个 有 噪 声 的 观 测 结 果 接 下 来 的 问 题 是 测 试 者 是 如 何 使 用 此 信 息 来 调 整 她 的 运 动 规 划 在 给 定 运 动 中 途 的 带 噪 声 的 观 察 结 果 的 条 件 下, 测 试 者 可 能 使 用 三 种 模 型 去 确 定 目 标 的 位 置 A B Observation N (0, n ) [ 图 9] 一 个 简 单 的 运 动 规 划 的 任 务 测 试 者 必 须 将 他 的 手 指 从 蓝 色 的 开 始 移 动 到 绿 色 的 目 标 不 过, 在 运 动 过 程 中, 这 个 测 试 者 的 视 线 被 遮 挡, 参 考 框 架 是 沿 高 斯 分 布 N x x ( n, v ) 上 的 采 样 点 x 移 动 的 然 后 重 复 这 一 试 验, 测 试 者 学 会 将 她 的 手 指 移 动 到 高 斯 分 布 的 均 值 ( 如 手 A 所 示 ) 之 后, 测 试 者 在 从 起 始 点 到 目 标 点 中 的 途 中 允 许 向 手 指 模 糊 的 看 一 眼, 则 测 试 者 将 修 改 他 们 的 轨 道, 如 手 B 所 示 接 下 来 的 问 题 是 测 试 者 使 用 何 种 模 型 以 做 出 正 确 的 选 择? Deviation from Target +1 Variance True Lateral Shift x = 1 (a) (b) (c) [ 图 10] 三 种 模 型 偏 离 目 标 的 平 均 预 测 偏 差 (a) 全 额 补 偿 ; (b) 直 接 映 射 ; (c) 贝 叶 斯. 带 厚 度 的 绿 色 带 表 明 差 异 变 化 (c) 中 曲 线 的 坡 度 随 观 察 噪 声 的 增 加 而 增 加 +1 0 第 二, 测 试 者 可 以 学 习 噪 声 观 察 和 随 之 而 来 的 目 标 错 位 之 间 的 直 接 映 射 通 过 最 大 限 度 地 减 少 大 量 实 验 中 的 误 判, 测 试 者 可 以 学 习 到 某 种 最 优 映 射 而 且 无 需 明 确 使 用 先 验 分 布 或 观 测 噪 声 由 于 观 测 噪 声 的 实 现 是 通 过 将 目 标 图 像 进 行 模 糊 化 而 产 生 的, 测 试 者 可 以 从 视 觉 上 估 计 v n 然 而, 在 实 验 中, 他 们 只 是 在 模 糊 度 为 零 的 情 况 下 ( 其 中 v n = 0 ) 看 到 过 目 标 的 偏 移 错 位 因 此, 如 果 他 们 使 用 直 接 映 射 算 法, 那 么 对 于 所 有 的 试 验, 不 管 偏 移 错 位 的 实 际 值 是 多 少, 他 们 都 不 得 不 使 用 相 同 的 v n = 0 时 的 映 射 这 导 致 了 测 试 者 的 行 为 反 应 如 图 1 0 ( b ) 所 示 最 后, 假 设 人 类 将 先 验 分 布 和 观 察 分 布 内 在 化, 则 贝 叶 斯 规 则 可 以 用 来 预 测 目 标 这 将 导 致 最 大 后 验 估 计 : 2 2 n x x = v 2 2nx + v 2 2x ( 5 ) vn + vx vn + vx 从 图 1 0 ( c ) 可 以 看 出, 平 均 标 准 差 会 随 偏 移 的 大 小 而 改 变, 而 斜 率 则 取 决 于 观 察 噪 声 的 变 化 注 意, 这 种 模 型 显 示 出 的 方 差 是 最 小 的, 而 事 实 上, 这 正 是 这 个 估 计 问 题 的 最 小 方 差 解 决 方 案 这 个 实 验 的 结 果 表 明 毫 不 含 糊 地 说 明 贝 叶 斯 模 型 是 唯 一 适 合 实 验 数 据 的 模 型 对 数 据 的 进 一 步 分 析 显 示 测 试 者 确 实 在 学 习 先 验 分 布 更 进 一 步, 当 采 用 一 个 双 峰 高 斯 分 布 用 于 先 验 概 率 的 时 候, 同 样 获 得 了 一 致 的 结 果 [ 1 3 ], [ 1 4 ], 这 说 明 人 类 可 以 预 测 和 计 算 比 简 单 的 高 斯 分 布 更 加 复 杂 的 分 布 最 近 的 研 究 表 明 人 类 也 将 贝 叶 斯 推 理 用 于 其 他 的 处 理 活 动 例 如 另 一 剑 桥 的 同 事, M á t é L e n g y e l, 已 经 证 明 人 类 将 贝 叶 斯 学 习 用 于 视 觉 分 块 [ 1 5 ] 在 他 的 实 验 中, 测 试 者 要 去 观 察 如 图 1 1 ( b ) 所 示 的 图 形 模 式 这 些 模 式 是 由 图 1 1 ( a ) 中 所 示 的 基 本 的 积 木 块 拼 接 组 合 而 成 的 这 些 基 本 积 木 块 测 试 者 是 不 知 道 的 经 过 训 练 后, 一 系 列 新 的 积 木 组 合 被 拿 给 测 试 者, 这 些 组 合 物 中 的 一 些 来 自 测 试 积 木 清 单, 而 另 一 些 则 不 是 当 测 试 者 被 询 问, 在 每 一 种 情 况 下, 基 本 的 积 木 块 是 否 与 他 看 到 的 积 木 组 合 物 相 似 的 时 候, 他 们 通 常 会 以 7 5 % 左 右 的 概 率 认 为 从 测 试 清 单 中 的 积 木 是 相 似 的, 而 这 远 高 于 随 机 的 概 率 对 于 人 类 如 何 做 到 这 一 点 以 及 相 关 的 复 杂 学 习 算 法, 研 究 者 们 已 经 IEEE 信 号 处 理 杂 志 [29]

32 提 出 了 若 干 模 型 与 它 们 相 比, L e n g y e l 提 出, 人 类 会 自 然 使 用 贝 叶 斯 分 块 学 习 过 程, 包 括 利 用 奥 卡 姆 剃 刀 原 理 来 确 定 最 优 模 型 复 杂 度 及 积 木 块 大 小 通 过 改 变 组 合 物 出 现 的 频 率 和 组 合 的 复 杂 度 ( 如 使 用 3 个 ), 这 些 假 设 的 机 制 可 以 通 过 数 据 进 行 仿 真 测 试 进 而 和 人 类 性 能 进 行 比 较 在 所 有 情 况 下, 贝 叶 斯 方 法 和 数 据 最 匹 配 Inventory Training Example 总 体 而 言, 实 验 数 据 表 明, 人 类 可 以 隐 含 的 计 算 贝 叶 斯 统 计 量, 并 使 用 贝 叶 斯 推 理 来 解 决 不 确 定 条 件 下 的 规 划 问 题 这 里 介 绍 的 经 验 证 据 后 来 被 许 多 进 一 步 的 实 验 证 实 [ 1 6 ] [ 1 8 ] 还 有 一 些 生 理 架 构 上 的 论 据 也 支 持 这 种 猜 想, 即 人 类 的 神 经 系 统 非 常 适 合 贝 叶 斯 推 理 [ 1 9 ] 因 此, 似 乎 很 清 楚 的 是, 人 类 已 经 进 化 出 一 种 能 力 : 既 能 通 过 观 察 量 来 学 习 先 验 的 统 计 分 布, 又 能 利 用 贝 叶 斯 公 式 去 从 这 些 分 布 中 推 理 出 后 验 分 布 由 此 看 来, 人 类 确 实 在 解 决 问 题 和 在 不 确 定 条 件 下 的 规 划 时 使 用 了 贝 叶 斯 推 理 到 现 实 世 界 系 统 的 扩 展 在 例 子 : 一 个 简 单 的 触 摸 手 势 驱 动 界 面 这 一 节 中, 给 出 了 P O M D P 的 基 本 思 想, 并 通 过 一 个 简 单 的 例 子 说 明 了 它 们 有 潜 力 实 现 鲁 棒 和 智 能 的 用 户 界 面 P O M D P 框 架 的 主 要 特 征 是 : 存 在 一 个 可 以 持 续 运 行 的 由 置 信 状 态 组 成 的 系 统, 置 信 状 态 的 更 新 通 过 贝 叶 斯 推 理 实 现, 系 统 策 略 的 性 能 可 以 用 收 益 值 量 化 衡 量, 策 略 的 优 化 通 过 强 化 学 习 来 实 现 如 前 一 节 所 述, 有 充 分 的 证 据 显 示 人 类 也 在 利 用 类 似 的 机 制 总 而 言 之, P O M D P 似 乎 满 足 前 面 所 述 的 认 知 型 界 面 的 所 有 要 求 那 么, 为 什 么 P O M D P 框 架 并 未 用 于 目 前 使 用 的 用 户 界 面 呢? (a) [ 图 11] 视 觉 组 块 任 务 : 测 试 者 表 现 为 表 格 的 训 练 模 式 如 (b) 所 示, 积 木 目 录 如 (a) 所 示, 目 录 保 持 隐 藏 让 测 试 者 观 看 目 录 中 的 个 别 积 木, 并 问 他 对 积 木 是 否 熟 悉 和 交 通 领 域 的 语 音 信 息 服 务 最 近, 它 们 也 越 来 越 多 的 被 用 于 自 动 呼 叫 中 心 用 于 旅 游 信 息 查 询 领 域 的 一 个 典 型 的 口 语 对 话 系 统 结 构 如 图 1 2 所 示 用 户 的 声 音 先 通 过 一 个 语 音 识 别 系 统 转 换 成 文 字, 然 后 通 过 语 义 识 别 器 将 这 些 文 字 转 换 成 对 话 行 为 对 话 行 为 是 对 用 户 意 图 的 一 个 抽 象 化 的 描 述, 例 如 i n f o r m ( f o o d = c h i n e s e ), c o n f i r m ( n e a r = t o w e r ) 一 般 情 况 下, 对 话 行 为 的 类 型 与 对 话 系 统 的 实 际 应 用 领 域 是 无 关 的, 而 属 性 - 取 值 则 与 具 体 应 用 有 关 用 户 的 对 话 行 为 传 递 给 对 话 管 理 器 该 对 话 管 理 器 可 以 解 读 输 入 的 用 户 对 话 行 为, 更 新 其 内 部 状 态, 并 且 以 对 话 行 为 的 形 式 产 生 输 出 反 馈 这 个 系 统 输 出 的 对 话 行 为 会 被 转 化 为 自 然 语 言, 并 由 语 音 合 成 器 合 成 语 音 (b) 对 这 个 问 题 的 答 案 在 例 子 : 一 个 简 单 的 手 势 驱 动 界 面 这 一 节 结 束 时 已 经 提 到 一 个 现 实 世 界 中 的 人 机 界 面 的 状 态 空 间 的 规 模 是 巨 大 的 因 此, 通 过 ( 1 ) 的 置 信 跟 踪 算 法 实 现 的 话, 对 于 实 时 系 统 来 说 成 本 太 高 了 此 外, P O M D P 策 略 的 精 确 实 施 和 优 化 往 往 都 是 难 以 处 理 的 ( 玩 具 级 的 问 题 除 外 ) 不 管 怎 样, 这 些 问 题 都 不 必 然 是 取 得 进 展 的 障 碍 Is that near the tower? confirm (near = tower) User Semantic Recognizer Input Decoder Speech Understanding Dialog Manager P O M D P 框 架 的 基 本 要 素 是 : 使 用 多 个 可 能 值 来 描 述 不 确 定 性, 以 及 采 用 可 优 化 可 量 化 的 决 策 过 程 有 几 种 P O M D P 的 近 似 算 法 可 以 保 持 这 些 基 本 要 素, 并 在 实 践 中 取 得 了 比 传 统 方 法 好 得 多 的 性 能 本 节 的 剩 余 部 分 将 通 过 一 个 统 计 对 话 系 统 ( S p o k e n D i a l o g u e S y s t e m : S D S ) 的 设 计 来 对 这 些 加 以 说 明 S D S 被 广 泛 用 于 银 行 金 融 System Output S D S 包 括 了 设 计 现 实 世 界 中 的 认 知 型 用 户 界 面 过 程 中 会 遇 到 的 所 有 问 题 系 统 内 部 状 态 s 通 常 可 分 解 为 三 个 要 素 : s = { guh,, }, 其 中 g 代 表 用 户 的 意 图, u 代 表 用 户 输 入 的 对 话 行 为, h 代 表 对 话 历 史 [ 2 0 ] 所 有 这 些 都 是 极 为 复 杂 的 此 外, 由 于 语 Speech Generation Message Synthesiszer Generator No, it is near the castle. negate (near = castle) Database [ 图 12] 用 于 旅 游 信 息 域 的 一 个 口 语 对 话 系 统 的 体 系 结 构 该 语 音 识 别 系 统 产 生 一 个 词 串, 语 义 识 别 器 将 其 转 换 为 一 个 称 为 对 话 行 为 的 用 户 意 图 一 个 抽 象 表 示 用 户 的 对 话 行 为 传 递 给 一 个 对 话 管 理 器, 管 理 器 解 释 对 话 行 为, 更 新 它 的 内 部 状 态, 并 以 输 出 对 话 行 为 的 形 式 产 生 一 个 适 当 的 反 应 然 后 将 对 话 行 为 转 换 为 自 然 语 言 进 而 由 语 音 合 成 器 转 换 成 语 音 [30] IEEE 信 号 处 理 杂 志

33 音 识 别 错 误 率 通 常 很 高, 通 过 识 别 得 来 的 用 户 输 入 u 存 在 很 大 的 不 确 定 性, 这 些 不 确 定 性 也 会 传 播 到 g 和 h 中 去 再 有, 由 系 统 的 各 种 操 作 组 成 的 空 间 必 须 涵 盖 所 有 可 能 的 系 统 响 应 操 作, 对 话 管 理 器 的 策 略 必 须 能 将 复 杂 和 不 确 定 的 对 话 状 态 映 射 到 巨 大 的 操 作 空 间 中 所 有 这 些 因 素 结 合 起 来, 使 P O M D P 框 架 内 S D S 的 实 现 成 了 一 项 重 大 的 挑 战 尽 管 如 此, 通 过 利 用 一 些 简 单 的 想 法, P O M D P 框 架 还 是 可 以 扩 展 到 现 实 世 界 中 首 先, 通 过 简 化 对 话 状 态 概 率 分 布 的 表 示 形 式 可 将 置 信 跟 踪 变 得 易 于 处 理 例 如, 在 旅 游 信 息 查 询 的 应 用 中, 用 户 意 图 包 括 四 个 离 散 值 : 类 型, 位 置, 价 格 和 食 物 精 确 的 置 信 跟 踪 需 要 知 道 这 些 变 量 的 完 整 的 联 合 概 率 分 布, P ( 类 型, 位 置, 价 格, 食 物 ) ; 但 即 使 是 很 有 限 个 数 的 类 型, 地 点, 价 格 点 和 食 物 种 类 也 会 使 整 个 联 合 概 率 分 布 的 规 模 大 到 不 可 想 象 处 理 这 一 问 题 的 最 简 单 方 法 是 使 用 M - best 近 似, 即 对 所 有 意 图 状 态 值 的 概 率 进 行 排 名, 只 保 留 了 M 个 最 可 能 的 状 态, 其 余 删 除 例 如, 旅 游 信 息 查 询 的 应 用 中 可 能 出 现 如 下 例 子 : P ( 旅 馆, 东 方, 便 宜, 无 ) = P ( 旅 馆, 西 方, 便 宜, 无 ) = 应 用 的 特 点 出 发, 我 们 有 理 由 认 为 食 物 和 场 所 ( 例 如 餐 馆 ) 的 价 格 仅 仅 依 赖 于 其 类 型, 而 类 型 和 位 置 则 是 相 互 独 立 的, 即 : P ( 类 型, 位 置, 价 格, 食 物 ) P ( 价 格 类 型 ) P ( 食 物 类 型 ) P ( 类 型 ) P ( 食 物 ) ( 6 ) 这 就 给 出 了 意 图 状 态 的 一 个 贝 叶 斯 网 络 表 示 上 述 两 种 近 似 方 法 都 可 以 使 置 信 跟 踪 易 于 处 理, 但 它 们 没 有 改 变 状 态 空 间 过 大 以 至 于 无 法 进 行 有 效 决 策 优 化 的 问 题 处 理 这 类 问 题 的 通 常 办 法 是 通 过 映 射 函 数 将 所 谓 主 置 信 空 间 b 映 射 到 更 紧 凑 的 摘 要 置 信 空 间 b t 以 同 样 的 方 式, 可 以 在 摘 要 空 间 中 定 义 一 个 紧 凑 的 操 作 集, 而 这 个 紧 凑 操 作 集 可 以 通 过 逆 映 射 再 映 射 回 主 操 作 空 间 [ 2 1 ] 下 面 的 两 节 将 概 述 两 个 在 剑 桥 大 学 实 现 的 统 计 对 话 系 统, 它 们 分 别 代 表 了 以 上 两 种 不 同 的 P O M D P 框 架 下 的 近 似 方 法 第 一 个 是 采 用 M - best 近 似 算 法 的 H I S 系 统 第 二 个 是 采 用 贝 叶 斯 网 络 方 法 的 B U D S 系 统 二 者 都 使 用 了 从 主 空 间 到 摘 要 空 间 的 映 射, 但 是 方 式 有 所 不 同 [ 2 2 ] 给 出 了 统 计 对 话 系 统 的 更 多 详 细 总 结 P ( 饭 店, 东 方, 便 宜, 意 大 利 的 ) = P ( 酒 吧, 东 方, 便 宜, 无 ) = P ( 旅 馆, 东 方, 贵, 无 ) = 除 了 以 上 状 态 组 合 之 外, 其 余 的 各 种 组 合 的 概 率 都 太 低, 不 需 要 保 留 对 于 置 信 状 态 的 第 二 种 近 似 方 法 是 : 通 过 设 定 一 些 独 立 假 设 来 分 解 整 个 联 合 分 布 例 如, 从 旅 游 POMDP u Speech o Belief b Understanding Update g User h Summary Space b^ 隐 信 息 状 态 系 统 H I S 系 统 的 框 图 如 图 1 3 所 示 [ 2 3 ] [ 2 4 ] 它 对 置 信 跟 踪 过 程 采 用 M - best 近 似, 同 时 在 策 略 优 化 中 采 用 了 摘 要 空 间 映 射 技 术 图 1 2 给 出 了 一 个 典 型 对 话 回 合 的 基 本 流 程 用 户 输 入 通 过 语 音 理 解 模 块 处 理, 该 模 块 输 出 一 个 列 表, 包 括 N 个 最 好 候 选 值 以 及 相 关 的 置 信 度 [ < u 1, c 1 >,, < u N, c N > ] 我 们 将 整 个 列 表 视 为 P O M D P 对 话 管 理 器 得 到 的 观 测 值 q, 据 此 更 新 置 信 状 态 b, 然 后 将 更 新 后 的 置 信 状 态 映 射 成 为 摘 要 置 信 状 态 b t 而 对 话 策 略 则 通 过 at = }() bt 将 摘 要 操 作 与 每 一 个 可 能 的 摘 要 置 信 状 态 b t 联 系 在 一 起 Σ 然 后 摘 要 操 作 可 以 被 映 射 回 主 操 作 空 间, 形 成 系 统 的 操 作 响 应 a r(b, a) Speech Generation a Action Mapping Dialog Policy Optimize [ 图 13] HIS 系 统. HIS 的 对 话 管 理 器 保 持 着 对 所 有 可 能 的 对 话 状 态 置 信 分 布 为 了 使 策 略 具 代 表 性 和 易 于 优 化, 将 置 信 分 布 映 射 到 一 个 简 单 的 摘 要 空 间 通 过 使 用 一 个 启 发 式 操 作 映 射 将 摘 要 操 作 扩 展 到 整 个 系 统 操 作 向 用 户 产 生 反 应 a^ H I S 系 统 由 前 面 所 述 的 三 个 要 素 构 成, 即 其 中 g 代 表 用 户 意 图, u 代 表 用 户 输 入 的 对 话 行 为, h 代 表 对 话 历 史 如 果 将 其 按 ( 1 ) 式 分 解, 给 定 合 理 的 独 立 假 设, 易 见 : IEEE 信 号 处 理 杂 志 [31]

34 b ( g, u, h ) = k P( o u ) P( u g, a) gh, oberservation mod el user action mod el Pg ( gaph, ) ( g, u, habgh, ) (, ) observation dialog ue distory mod el mod el ( 7 ) 其 中, ÿ 符 号 表 示 下 一 个 时 间 点 [ 2 5 ] 如 底 部 括 号 所 示, 对 话 系 统 的 置 信 状 态 更 新 方 程 涉 及 四 个 不 同 的 概 率 模 型 用 户 意 图 模 型 ( u s e r g o a l m o d e l ) 和 对 话 历 史 模 型 ( d i a l o g u e h i s t o r y m o d e l ) 表 示 了 马 尔 可 夫 决 策 过 程 的 运 行 方 式 在 H I S 系 统 中, 假 设 用 户 意 图 不 会 改 变, 对 话 历 史 模 型 由 一 个 确 定 的 具 有 有 限 状 态 的 完 毕 模 型 代 替 更 有 趣 的 是 观 测 模 型 ( o b s e r v a t i o n m o d e l ) 和 用 户 操 作 ( u s e r a c t i o n m o d e l ) 模 型 观 测 模 型 包 含 了 语 音 理 解 系 统 的 误 差 信 息, 它 是 前 面 i P h o n e 例 子 中 观 察 特 征 概 率 矩 阵 的 一 个 推 广 而 用 户 操 作 模 型 实 现 了 对 观 测 模 型 的 概 率 进 行 缩 放 由 于 观 测 值 是 包 含 N 个 最 好 候 选 值 的 列 表, 用 户 操 作 模 型 实 际 的 效 果 是 根 据 上 下 文 对 这 个 列 表 进 行 了 重 新 排 序 因 此, 用 户 操 作 模 型 提 供 了 上 下 文 敏 感 的 过 滤 器, 它 能 非 常 有 效 的 减 少 失 误, 特 别 是 在 高 噪 声 条 件 下 [ 2 6 ] 变 化 的 完 毕 状 态 因 此 总 体 来 说, H I S 的 状 态 空 间 由 所 有 可 能 的 分 区 加 上 所 有 可 能 的 用 户 对 话 行 为 和 所 有 可 能 的 完 毕 状 态 组 合 而 成 这 个 集 合 中 每 个 状 态 分 区 的 概 率 会 被 计 算 排 序 或 者 剪 枝 系 统 通 常 会 维 持 , 个 活 跃 分 区, 所 有 这 些 活 跃 状 态 组 成 了 系 统 的 置 信 状 态 b 主 空 间 到 摘 要 空 间 映 射 和 H I S 系 统 的 策 略 表 示 见 图 1 5 摘 要 置 信 状 态 b t 由 固 定 维 度 的 特 征 矢 量 组 成, 例 如 主 空 间 中 最 优 状 态 的 概 率 和 次 优 状 态 的 概 率, 加 上 一 个 布 尔 变 量, 表 示 这 两 个 状 态 是 否 可 以 用 来 代 表 同 一 个 实 体 项 摘 要 矢 量 被 映 射 到 经 过 矢 量 量 化 的 摘 要 空 间 中 的 一 个 固 定 网 格 格 点 上 [ 2 7 ], [ 2 8 ] 每 个 格 点 都 有 一 个 对 应 的 摘 要 系 统 操 作, 这 个 操 作 通 过 逆 映 射 函 数 可 以 映 射 回 主 操 作 空 间, 在 大 多 数 情 况 下, 我 们 都 假 定 该 系 统 操 作 的 主 题 是 由 主 置 信 状 态 空 间 中 的 最 优 状 态 决 定 的 这 个 过 程 如 图 1 5 所 示, 确 认 这 个 操 作 类 型 是 从 摘 要 空 间 中 选 择 的, 而 需 要 确 认 的 主 题 内 容 ( 即 属 性 值 ) 则 来 自 于 置 信 状 态 b 中 具 有 最 高 概 率 的 那 个 状 态 find(venue(type=hotel,area=east)) find(venue(type=bar,area=east)) find(venue(type=hotel,area=west)).... find(venue) u 1 u 2... u N 为 了 进 一 步 简 化 置 信 跟 踪, H I S 系 统 将 用 户 意 图 状 态 分 为 一 系 列 等 价 类, 称 为 分 区 在 对 话 开 始 时, 所 有 意 图 状 态 都 在 一 个 分 区 通 过 观 测 到 的 用 户 对 话 行 为, 新 的 证 据 不 断 被 累 积, 分 区 也 据 此 被 不 断 细 分 以 描 述 不 同 的 用 户 意 图 这 种 细 分 过 程 会 遵 循 一 套 从 数 据 库 中 导 出 的 本 体 规 则, 这 些 规 则 具 有 树 状 过 程 树 状 结 构, 以 确 保 所 有 分 区 的 并 集 始 终 等 于 完 整 的 状 态 空 间 由 于 一 个 分 区 中 所 有 的 意 图 状 态 在 当 前 证 据 下 无 法 进 一 步 被 区 分, 因 此 置 信 状 态 的 更 新 就 可 以 在 分 区 层 次 进 行, 而 无 须 对 每 个 单 独 的 意 图 状 态 进 行, 这 就 大 大 减 少 了 计 算 量 H I S 的 状 态 空 间 生 成 的 示 意 图 如 图 1 4 所 示 每 一 个 H I S 分 区 包 括 : 一 个 用 户 意 图 分 区, 前 一 次 观 测 到 的 用 户 对 话 行 为 列 表 中 的 一 项, 以 及 完 毕 信 息 完 毕 信 息 构 成 了 对 话 历 史, 以 使 得 这 些 分 区 中 的 每 个 树 节 点 都 有 一 个 根 据 确 定 的 有 限 状 态 机 规 则 User Goal Partition Last User Act History [ 图 14] HIS 置 信 空 间. 每 一 个 用 户 意 图 分 区, 前 一 个 用 户 对 话 行 为, 和 历 史 状 态 的 集 合 构 成 HIS 分 区 空 间 历 史 状 态 记 录 了 完 毕 信 息, 其 详 情 请 见 [24] b a find(venue(hotel,area=east,near=museum)) find(venue(bar,area=east,near=museum)) find(venue(hotel,area=east)) find(venue(hotel,area=west)) find(venue(hotel)).... etc confirm(area=east) Inverse Mapping a^ confirm() Greet Request Confirm Offer Inform...etc ^ b P(top) P(Nxt) T12Same TPStatus TUserAct LastSA VQ Policy [ 图 15] HIS 摘 要 空 间 映 射 摘 要 空 间 b t 由 一 个 固 定 维 数 的 特 征 矢 量 组 成, 通 过 矢 量 量 化 器 映 射 到 摘 要 空 间 中 的 一 个 固 定 网 格 点 每 个 格 点 都 有 一 个 对 应 的 摘 要 系 统 操 作, 该 操 作 被 选 择 并 且 通 过 逆 映 射 函 数 将 其 映 射 回 主 空 间 [32] IEEE 信 号 处 理 杂 志

35 性 Success Rate (%) Human User Trial HDC MDP HIS 连 续 摘 要 空 间 的 矢 量 量 化 将 HIS POMDP 转 换 成 一 个 简 单 的 离 散 马 尔 可 夫 决 策 过 程 ( M D P ), 对 此, 存 在 许 多 优 化 算 法 H I S 系 统 就 是 采 用 了 蒙 特 卡 罗 控 制 算 法, 在 与 用 户 模 拟 器 的 交 互 过 程 中, 通 过 在 线 的 强 化 学 习 来 估 计 最 优 的 系 统 操 作 集 合 [ 2 9 ] 图 1 6 显 示 了 H I S 系 统 的 性 能, 与 只 保 持 一 个 最 优 对 话 状 态 的 基 于 传 统 马 尔 科 夫 决 策 过 程 ( M D P ) 的 对 话 管 理 器 相 比, 它 保 持 多 个 候 选 状 态, 但 是 只 有 一 个 手 工 定 制 的 策 略 上 图 中 的 曲 线 给 出 了 平 均 成 功 率 随 着 用 户 模 拟 器 输 入 语 义 错 误 率 的 函 数 变 化 成 功 的 定 义 是 : 系 统 给 出 了 满 足 用 户 需 求 的 场 所, 并 提 供 了 用 户 要 求 的 任 何 信 息, 如 地 址 或 电 话 号 码 可 以 看 出, H I S 系 统 对 于 高 错 误 率 更 具 鲁 棒 性 柱 状 图 则 给 出 了 在 噪 声 环 境 下 与 3 6 个 真 人 测 试 者 进 行 对 话 的 性 能 H I S 系 统 明 显 更 具 鲁 棒 性 对 话 状 态 系 统 的 贝 叶 斯 更 新 Simulated User Handcrafted (HDC) MDP Error Rate (%) HIS [ 图 16] 作 为 输 入 错 误 率 函 数 的 HIS 的 性 能 主 要 的 图 形 显 示 成 功 率 的 比 例 随 使 用 一 个 模 拟 用 户 的 语 义 错 误 率 函 数 的 变 化 该 插 图 显 示 了 类 似 结 果, 为 人 类 用 户 在 噪 声 条 件 下 进 行 了 该 试 验, 其 平 均 误 差 率 为 25% 前 一 节 所 述 的 H I S 系 统 显 示 了 利 用 置 信 空 间 的 M - best 近 似 算 法, 再 加 上 摘 要 状 态 映 射 可 以 实 现 复 杂 的 现 实 世 界 对 话 系 统 虽 然 相 对 于 传 统 系 统, H I S 系 统 能 够 提 供 更 高 的 性 能, 但 它 却 有 两 个 主 要 问 题 : 首 先, M - best 近 似 方 法 使 其 很 难 使 用 状 态 转 移 矩 阵, 因 此, H I S 系 统 假 定 在 对 话 过 程 中 用 户 意 图 不 会 改 变 第 二, H I S 系 统 中 的 概 率 模 型 是 确 定 性 规 则 与 统 计 模 型 的 混 合, 很 难 完 全 通 过 数 据 自 动 训 练 正 如 前 面 介 绍 的, 我 们 可 以 采 用 另 一 种 近 似 : 用 贝 叶 斯 网 络 表 示 对 话 状 态 这 种 近 似 保 留 了 正 确 反 映 系 统 动 态 变 化 的 能 力, 并 可 以 充 分 利 用 参 数 化 的 模 型 ; 但 忽 略 了 现 实 世 界 中 固 有 的 很 多 条 件 相 关 这 种 方 法 的 一 个 例 子 是 在 剑 桥 建 立 的 称 作 B U D S 的 系 统 该 系 统 使 用 了 与 H I S 系 统 同 样 的 对 话 状 态 分 解 s( guh,, ), 但 它 却 将 每 个 组 分 进 一 步 分 解 成 概 念 例 如, 在 旅 游 信 息 领 域, 用 户 可 能 会 对 位 置, 价 格, 食 物, 星 级 和 音 乐 等 概 念 感 兴 趣 这 些 概 念 大 部 分 将 依 赖 于 所 涉 及 的 场 地 类 型 ( 餐 厅, 酒 吧, 宾 馆 等 ), 但 除 此 之 外, 它 们 可 以 被 视 为 是 独 立 的 图 1 7 给 出 了 一 个 动 态 贝 叶 斯 网 络 结 构, 它 给 出 了 场 地 类 型 和 一 个 相 关 的 概 念 : 食 物 请 注 意, 在 实 际 系 统 中, 根 据 不 同 的 应 用, 有 1 0 到 2 0 个 概 念 每 个 概 念 C 有 三 个 节 点 : 一 个 意 图 节 点 g c, 其 值 随 用 户 可 能 的 选 择 变 化 ; 一 个 用 户 操 作 节 点 u c, 表 示 的 是 前 一 个 用 户 对 话 行 为 的 类 型, 如 果 上 一 个 用 户 操 作 并 没 有 提 及 这 个 概 念, 则 该 行 为 为 空 ; 一 个 历 史 节 点 h c, 取 值 为 一 个 简 单 的 完 毕 模 型 值, 如 ( 初 始 化, 涉 及 到, 完 毕 ) 所 有 的 u c 节 点 都 依 赖 于 一 个 描 述 完 整 的 用 户 对 话 行 为 的 节 点, 于 是 它 们 也 必 然 取 决 于 观 测 值, 这 里 的 观 测 值 与 H I S 系 统 一 样, 是 一 组 用 户 对 话 行 为 的 M best - 候 选 列 表 系 统 的 动 态 变 化 可 以 通 过 使 当 前 节 点 与 前 一 时 间 点 中 的 等 效 节 点 相 关 联 来 实 现 在 B U D S 系 统 中, 意 图 节 点 和 历 史 节 点 都 与 于 它 们 以 前 的 值 相 关 B U D S 系 统 将 所 有 相 关 的 对 话 状 态 信 息 都 表 示 在 一 个 贝 叶 斯 网 络 结 构 中 于 是 置 信 跟 踪 就 可 以 利 用 任 何 现 有 的 贝 叶 斯 网 络 近 似 推 理 算 法 来 实 现 在 B U D S 系 统 中, 我 们 使 用 的 是 循 环 置 信 传 播 ( L B P ) 然 而, 为 使 其 能 实 时 运 行, 各 种 优 化 还 是 必 要 的 例 如, 意 图 节 点 的 值 域 可 能 是 一 个 很 大 的 集 合, 而 在 单 次 对 话 中, 一 般 只 会 涉 及 极 少 的 一 部 分 因 此, 与 在 H I S 系 统 中 的 做 法 相 似, 我 们 对 这 些 值 进 行 分 区, 这 样, L B P 会 运 行 得 更 快 这 通 常 能 将 有 效 基 数 下 降 到 二 或 三, 这 对 降 低 计 算 时 间 有 很 好 的 效 果 另 一 种 非 常 有 效 的 优 化 是 假 设 用 户 意 图 不 断 变 化 的 概 率 是 恒 定 的 通 过 降 维, 对 于 一 个 用 户 意 图 转 移 矩 阵 规 模 为 n 的 问 题, 时 间 复 杂 度 从 可 以 降 低 到 On () On ( 2 ) 将 置 信 空 间 分 解 为 在 大 量 的 因 素 之 后, 系 统 策 略 就 要 采 取 同 的 表 示 方 式, 因 为 将 每 个 主 状 态 映 射 到 摘 要 空 间 已 不 再 可 能 在 B U D S 系 统 中, 我 们 采 用 一 种 S o f t M a x 形 式 的 随 机 策 略, 其 参 数 为 i, 表 示 如 下 : iz. a( b) r( a b, i ) = e izal e. ( b) / a l ( 8 ) 其 中, z a() b 是 操 作 a 的 基 函 数 这 些 基 函 数 可 进 一 步 分 解 成 分 量, 使 贝 叶 斯 网 络 中 的 每 个 概 念 意 图 节 点 都 会 对 整 体 策 略 发 生 影 响 IEEE 信 号 处 理 杂 志 [33]

36 T T T T za() b = [ za, 1( b),..., zag, (), b z a,* ( b)] ( 9 ) 其 中, 下 标 1...G 在 意 图 节 点 范 围 内 变 化, 最 后 T 的 一 项 z a,* () b 包 括 全 局 信 息, 例 如 有 多 少 数 据 项 满 足 用 户 最 可 能 的 目 标 意 图 这 个 参 数 化 的 策 略 可 以 通 过 最 大 化 期 望 收 益 值 来 优 化 我 们 发 现, B U D S 系 统 中, n a t u r a l a c t o r c r i t i c 算 法 是 非 常 有 效 的 [ 3 2 ] 与 H I S 系 统 一 样, B U D S 系 统 已 经 在 用 户 模 拟 器 和 真 人 测 试 环 境 中 都 进 行 了 实 验 性 能 结 果 相 同 或 略 好 于 H I S 系 统 结 果, 在 此 不 再 赘 述 但 是 B U D S 系 统 的 主 要 优 点 是, 可 以 采 用 D i r i c h l e t 先 验 模 型 来 把 系 统 模 型 参 数 本 身 也 引 入 到 贝 叶 斯 网 络 中 去 如 果 用 期 望 置 信 传 播 代 替 循 环 置 信 传 播 [ 3 3 ], 该 系 统 就 可 以 从 数 据 中 在 线 学 习 模 型 参 数 并 进 行 自 适 应 因 此 与 B U D S 相 似 的 架 构 可 以 满 足 前 面 所 述 的 认 知 型 用 户 界 面 的 所 有 要 求 结 论 与 展 望 本 文 主 要 讲 述 以 未 来 的 计 算 机 系 统 所 需 要 的 用 户 界 面, 它 将 支 持 比 当 前 方 法 更 具 鲁 棒 和 智 能 的 交 互 本 文 认 为, 未 来 的 界 面 必 须 提 供 认 知 功 能, 即 具 有 支 持 推 论 和 推 理 的 能 力 在 不 确 定 性 条 件 下 进 行 规 划 的 能 力 短 期 适 应 的 能 力 和 长 期 从 经 验 中 学 习 的 能 力 满 足 认 知 型 用 户 界 面 要 求 的 工 程 框 架 应 基 于 P O M D P, P O M D P 结 合 了 贝 叶 斯 置 信 跟 踪 和 基 于 收 益 值 的 强 化 学 习 实 验 证 明, 这 个 框 架 可 以 对 不 精 确 的 人 类 交 互 信 息 进 行 鲁 棒 的 理 解, 同 时 有 能 力 通 过 最 大 化 目 标 函 数 来 搜 寻 最 优 的 交 互 策 略 更 进 一 步, 人 类 本 身 其 实 也 是 利 用 了 类 似 的 机 制 成 彻 底 的 概 率 模 型, 才 能 保 证 系 统 能 够 随 时 间 进 化 且 能 适 应 经 验 对 于 此 类 系 统, 毋 庸 置 疑 可 以 采 用 贝 叶 斯 网 络 ( 如 B U D S 系 统 ) 然 而, 基 于 大 规 模 贝 叶 斯 网 络 的 P O M D P 系 统 的 实 现 面 临 很 多 的 挑 战 最 直 接 的 问 题 就 是 当 网 络 复 杂 性 增 加 时 如 何 保 持 实 时 性 操 作, 这 是 由 于 近 似 推 理 需 要 大 量 的 计 算 正 如 B U D S 系 统 所 展 示 的, 应 用 传 统 的 置 信 传 播 算 法, 以 及 人 类 交 互 通 常 把 重 点 放 在 少 量 具 体 实 体 上 这 个 基 本 事 实, 显 著 的 速 度 提 高 是 可 以 达 到 的 但 是, 最 终 我 们 仍 需 要 能 处 理 大 规 模 的 动 态 变 化 系 统, 而 这 也 许 需 要 底 层 硬 件 的 支 持, 也 许 需 要 某 种 特 殊 的 分 布 式 处 理 器 用 来 优 化 置 信 传 播 算 法 所 需 的 消 息 传 递 操 还 作 也 有 其 他 的 挑 战, 例 如 集 成 多 通 道 输 入 和 输 出, 以 及 处 理 人 和 人 自 然 交 流 之 间 的 微 妙 对 话 现 象 还 存 在 一 些 社 会 问 题, 与 现 存 的 其 他 系 统 不 同, 我 们 可 能 无 法 精 确 保 证 一 个 认 知 型 用 户 界 面 在 一 些 特 定 情 况 下 将 如 何 反 应 除 了 少 数 明 显 的 例 外, I T 系 统 的 传 统 设 计 思 路 是 将 所 有 的 信 息 列 成 表, 再 采 用 确 定 性 算 法 来 操 作 输 入 也 被 看 成 确 定 性 的, 这 在 语 音 识 别 技 术 的 应 用 上 带 来 了 明 显 的 困 难 : 语 音 识 别 被 作 为 键 盘 输 入 的 替 代 品, 要 使 它 有 用 就 必 须 要 降 低 错 误 率 本 文 认 为, 这 种 看 法 是 错 误 的 本 文 认 为 真 正 的 认 知 型 人 机 界 面 会 需 要 一 种 全 新 的, 以 对 不 确 定 性 进 行 明 确 建 模 为 核 心 的 方 法 P O M D P 为 合 理 设 计 此 类 系 统 提 供 了 一 个 良 好 的 基 础 框 架, 它 是 未 来 认 知 型 用 户 界 面 的 关 键 致 谢 笔 者 感 谢 剑 桥 对 话 系 统 小 组 的 现 任 和 前 任 成 员 : M i l i c a G a š i c F i l i p J u r c ˇ í c ˇ e k S i m o n K e i z e r F a b r i c e L e f e v r e F r a n ç o i s 如 果 这 个 观 点 被 接 受, 则 其 影 响 是 : 我 们 必 须 要 以 一 种 不 同 的 方 式 来 设 计 以 人 为 中 心 的 I T 系 统 关 键 是 要 确 定 哪 些 是 不 确 定 性 的 主 要 来 源, 及 他 们 如 何 能 有 效 地 在 系 统 内 表 示 用 户 输 入 必 须 被 当 作 证 据, 据 此, 通 过 贝 叶 斯 推 理, 不 确 定 性 可 以 得 到 解 决 虽 然 P O M D P 往 往 被 认 为 在 现 实 世 界 应 用 中 存 在 可 解 性 的 问 题, 但 是, 在 实 践 中 合 理 使 用 近 似 算 法 就 仍 然 可 以 实 现 实 际 系 统, 并 且 同 时 保 留 P O M D P 框 架 的 基 本 优 势 a Time t Time t + 1 g type g type g food g food a u type u food u type u food u u 文 章 中 详 细 描 述 了 H I S 口 语 对 话 系 统 的 实 现 H I S 系 统 同 时 代 表 了 从 现 有 传 统 系 统 到 上 述 新 系 统 的 一 个 演 化 路 径 实 际 从 效 果 上 看, H I S 系 统 等 价 于 若 干 个 对 话 管 理 器 在 并 行 运 行, 其 中 每 个 对 话 管 理 器 对 用 户 意 图 有 各 自 不 同 的 假 设 H I S 系 统 包 含 很 多 符 号 化 的 组 件, 这 与 传 统 对 话 系 统 很 相 似 而 事 实 上, 将 传 统 的 对 话 系 统 模 块 集 成 到 一 个 概 率 框 架 中 去 正 是 它 的 优 点 然 而, 从 长 远 来 看, 认 知 型 用 户 界 面 只 有 设 计 h type h food o h type h food [ 图 17] BUDS 使 用 动 态 贝 叶 斯 网 络, 其 中, 将 对 话 状 态 分 解 为 代 表 的 诸 如 食 物 价 格 和 位 置 等 手 势 插 槽 每 个 槽 有 目 标 g, 一 个 相 关 的 用 户 对 话 行 为 u 和 历 史 信 息 h 除 了 依 赖 于 槽 场 地 类 型 的 插 槽 外, 该 槽 大 多 是 独 立 的 o [34] IEEE 信 号 处 理 杂 志

37 M a i r e s s e J o s t S c h a t z m a n n M a t t S t u t t l e B l a i s e T h o m s o n K a r l We i l h a m m e r J a s o n Wi l l i a m s 和 K a i Yu 本 文 中 提 到 的 一 些 研 究 是 由 英 国 E P S R C ( 资 助 协 议 E P / F / 1 ) 和 欧 盟 F P 7 计 划 ( 资 助 协 议 ) 资 助 ( C L A S S I C 项 目 : w w w. c l a s s i c - p r o j e c t. o r g ). 他 们 也 给 出 了 匿 名 的 评 论 和 建 议, 对 改 善 本 文 的 最 后 版 本 颇 有 帮 助 作 者 简 介 S t e v e Yo u n g ( s j e n g. c a m. a c. u k ) 现 为 剑 桥 大 学 副 校 长, 剑 桥 大 学 工 程 系 信 息 工 程 分 部 教 授 他 主 要 的 研 究 兴 趣 在 于 口 语 系 统, 包 括 语 音 识 别, 语 音 合 成, 语 义 理 解, 统 计 对 话 管 理 他 是 H T K To o l k i t 的 原 创 者, 和 P h i l Wo o d l a n d 一 起, 开 发 了 H T K 词 汇 语 音 识 别 系 统 参 考 文 献 年 到 年 间, 他 担 任 C o m p u t e r S p e e c h a n d L a n g u a g e 的 编 辑, 目 前 是 I E E E 语 音 和 语 言 处 理 技 术 委 员 会 的 主 席 他 是 英 国 皇 家 科 学 院 院 士, 英 国 工 程 技 术 学 会 I E E E 和 R S A 的 会 士 ( f e l l o w ) 年, 他 获 得 了 I E E E 信 号 处 理 学 会 技 术 成 就 奖 年, 他 当 选 为 国 际 语 音 通 信 协 会 ( I S C A ) 的 会 士, 年 他 获 得 了 I S C A 的 科 学 成 就 荣 誉 奖 章 [ S P ] 参 考 文 献 [1] Apple Inc. (2009). iphone human interface guidelines [Online]. Available: [2] E. Sondik, The optimal control of partially observable Markov decision processes, Ph.D. dissertation, Stanford Univ., Palo Alto, CA, [3] L. Kaelbling, M. Littman, and A. Cassandra, Planning and acting in partially observable stochastic domains, Artif. Intell., vol. 101, pp , [4] C. Bishop, Pattern Recognition and Machine Learning. New York: Springer, [5] R. Smallwood and E. Sondik, The optimal control of partially observable Markov processes over a finite horizon, Oper. Res., vol. 21, no. 5, pp , [6] R. Sutton and A. Barto, Reinforcement Learning: An Introduction (ser. Adaptive Computation and Machine Learning). Cambridge, MA: MIT Press, [7] M. Littman, A. Cassandra, and L. Kaelbling, Learning policies for partially observable environments: Scaling up, in Proc. 12th Int. Conf. Machine Learning, A. Prieditis and S. Russell, Eds. San Francisco, CA: Morgan Kaufmann, 1995, pp [8] Y. Virin, G. Shani, S. E. Shimony, and R. Brafman, Scaling up: Solving POMDPs through value based clustering, in Proc. 22nd Nat. Conf. Artificial Intelligence, AAAI 2007, Vancouver, [9] W.-T. Fu and J. Anderson, From recurrent choice to skill learning: A reinforcement-learning model, J. Exp. Psychol. Gen., vol. 135, no. 2, pp , [10] G. Cziko, Universal Selection Theory and the Second Darwinian Revolution. Cambridge, MA: MIT Press, [11] D. Wolpert, Z. Ghahramani, and J. Flanagan, Perspectives and problems in motor learning, Trends Cogn. Sci., vol. 5, no. 11, pp , [12] K. Kording and D. Wolpert, Bayesian integration in sensorimotor learning, Nature, vol. 427, pp , [13] R. Jacobs, Optimal integration of texture and motion cues to depth, Vision Res., vol. 39, pp , [14] M. Ernst and H. Bulthoff, Merging the senses into a robust percept, Trends Cogn. Sci., vol. 8, pp , [15] G. Orban, J. Fiser, R. Aslin, and M. Lengyel, Bayesian learning of visual chunks by human observers, Proc. Nat. Acad. Sci., vol. 105, no. 7, pp , [16] K. Kording and D. Wolpert, Bayesian decision theory in sensorimotor control, Trends Cogn. Sci., vol. 10, no. 7, pp , [17] H. Tassinari, T. Hudson, and M. Landy, Combining priors and noisy visual cues in a rapid pointing task, J. Neurosci., vol. 26, no. 40, pp , [18] D. Wolpert, Probabilistic models in human sensorimotor control, Hum. Mov. Sci., vol. 26, pp , [19] M. Sahani and P. Dayan, Doubly distributional population codes: Simultaneous representation of uncertainty and multiplicity, Neural Comput., vol. 15, pp , [20] J. Williams, P. Poupart, and S. Young, Factored partially observable Markov decision processes for dialogue management, in Proc. 4th Workshop Knowledge and Reasoning in Practical Dialogue Systems, Edinburgh, [21] J. Williams and S. Young, Scaling POMDPs for spoken dialog management, IEEE Trans. Audio, Speech and Lang. Processing, vol. 15, no. 7, pp , [22] O. Lemon and O. Pietquin, Machine learning for spoken dialogue systems, in Proc. Interspeech, Antwerp, Belgium, 2007, pp [23] S. Young, J. Schatzmann, K. Weilhammer, and H. Ye, The hidden information state approach to dialog management, in Proc. IEEE Int. Conf. Acoustics, Speech and Signal Processing, ICASSP 2007, Honolulu, HI, [24] S. Young, M. Gasic, S. Keizer, F. Mairesse, J. Schatzmann, B. Thomson, and K. Yu, The hidden information state model: A practical framework for POMDPbased spoken dialogue management, Comput. Speech Lang., vol. 24, no. 2, pp , [25] J. Williams and S. Young, Partially observable Markov decision processes for spoken dialog systems, Comput. Speech Lang., vol. 21, no. 2, pp , [26] S. Keizer, M. Gasic, F. Mairesse, B. Thomson, K. Yu, and S. Young, Modelling user behaviour in the HIS-POMDP dialogue manager, in Proc. IEEE Workshop Spoken Language Technology (SLT 08), Goa, India, [27] W. Lovejoy, Computationally feasible bounds for partially observed Markov decision processes, Oper. Res., vol. 39, pp , [28] R. Brafman, A heuristic variable grid solution method for POMDPs, in Proc. 14th Nat. Conf. Artificial Intelligence, AAAI, Cambridge, MA, [29] M. Gasic, S. Keizer, F. Mairesse, J. Schatzmann, B. Thomson, and S. Young, Training and evaluation of the HIS POMDP dialogue system in noise, in Proc. 9th SIGdial Workshop Discourse and Dialogue 2008, Columbus, OH, [30] B. Thomson, J. Schatzmann, and S. Young, Bayesian update of dialogue state for robust dialogue systems, in Proc. Int. Conf. Acoustics Speech and Signal Processing, ICASSP, Las Vegas, [31] B. Thomson and S. Young, Bayesian update of dialogue state: A POMDP framework for spoken dialogue systems, Comput. Speech Lang., to be published. [32] J. Peters and S. Schaal, Natural actor-critic, Neurocomputing, vol. 71, no. 7 9, pp , [33] T. Minka, Expectation propagation for approximate Bayesian inference, in Proc. 17th Conf. Uncertainty in Artificial Intelligence, Seattle, WA, 2001, pp [34] J. Henderson and O. Lemon, Mixture model POMDPs for efficient handling of uncertainty in dialogue management, in Proc. 46th Annu. Meeting Association for Computational Linguistics (ACL 08), Columbus, OH, [35] K. Kim, C. Lee, S. Jung, and G. Lee, A frame-based probabilistic framework for spoken dialog management using dialog examples, in Proc. 9th SIGdial Workshop Discourse and Dialogue, Columbus, OH, [36] T. Paek and R. Pieraccini, Automating spoken dialogue management design using machine learning: An industry perspective, Speech Commun., vol. 50, no. 8 9, pp , [SP] IEEE 信 号 处 理 杂 志 [35]

38 Can semantic technologies make the Web truly worldwide? Find the latest telecommunications research in IEEE Xplore Wherever you fi nd people developing the most advanced telecommunications technology, chances are you ll fi nd them using the IEEE Xplore digital library. That s because IEEE Xplore is fi lled with the latest research on everything from wireless technology and optical networks to a semantic Web that can connect people around the world. When it comes to telecom, the research that matters is in IEEE Xplore. See for yourself. Read Toward a New Generation of Semantic Web Applications, only in IEEE Xplore. Try IEEE Xplore free visit IEEE Xplore Digital Library Information driving innovation 09-CRS-0223d-Telecom-7x10-Final-2010.indd [36] 1 IEEE 信 号 处 理 杂 志 11/23/09 2:24:04 PM

39 [ Xiaodong He, Li Deng and Wu Chou ] [ 语 音 识 别 中 模 型 优 化 技 术 的 一 个 综 述 ] PHOTODISC & DIGITAL VISION 判 别 学 习 在 序 列 模 式 识 别 中 的 应 用 判 别 学 习 已 经 成 为 包 含 语 音 识 别 和 语 言 处 理 在 内 的 统 计 信 号 处 理 及 模 式 识 别 研 究 领 域 的 一 个 主 题 [9,10,13,21,29,35,43,44,47,49] 特 别 是 近 年 来 在 大 规 模 的 语 音 识 别 中 因 为 引 入 判 别 学 习 而 取 得 了 很 多 成 就 [35,38,47,48] 理 解 语 音 过 程 的 重 点 是 语 音 序 列 的 可 变 长 度 的 特 性 的 动 态 描 述 对 于 序 列 模 式 识 别 的 判 别 学 习 有 两 个 重 要 问 题, 一 是 建 立 优 化 目 标 函 数, 二 是 实 际 的 优 化 技 术 文 献 [9,18,21,29,35, 38,41,45,52,54,58] 为 解 决 这 两 个 问 题 提 出 了 很 多 的 方 法 然 而, 它 们 并 没 有 充 分 理 解 这 两 个 关 键 问 题 之 间 的 关 系 由 于 该 问 题 在 理 论 和 实 际 中 均 起 到 重 要 作 IEEE 信 号 处 理 杂 志 [37]

40 用, 因 此 迫 切 需 要 去 归 类 和 统 一 文 献 中 的 判 别 学 习 方 法 这 篇 文 章 旨 在 满 足 上 述 要 求, 同 时 对 判 别 学 习 框 架 下 的 序 列 模 式 分 类 和 识 别 提 出 一 些 见 解 本 文 旨 在 说 明 这 些 判 别 学 习 方 法 之 间 的 关 联 和 区 别, 并 利 用 深 层 次 的 方 案 去 统 一 表 面 上 不 相 同 的 各 种 技 术 尽 管 本 文 综 述 了 一 般 类 型 的 关 于 序 列 特 征 的 模 式 识 别 问 题, 但 大 部 分 重 点 还 是 放 在 讨 论 这 类 问 题 和 语 音 识 别 及 隐 马 尔 科 夫 模 型 [11,50,56] 之 间 的 关 系 上 隐 马 尔 科 夫 模 型 和 其 他 多 种 形 式 的 判 别 学 习 一 样 已 经 被 应 用 到 很 多 的 信 号 处 理 领 域, 除 了 语 音 领 域, 还 有 生 物 信 息 学 [6,16], 计 算 遗 传 学 [55], 文 本 和 图 像 分 类 和 识 别 [33,62,65], 视 频 目 标 分 类 [63], 自 然 语 言 处 理 [8,10], 遥 控 机 器 人 [64] 我 们 希 望 通 过 本 文 的 综 述 和 见 解 可 以 使 判 别 学 习 在 应 用 更 广 的 信 号 处 理 学 科 方 面 取 得 原 理 上 的 进 步 或 者 成 功 的 应 用 除 了 给 出 大 量 基 本 的 判 别 学 习 的 思 路 和 方 法, 也 希 望 我 们 的 相 应 算 法 从 更 一 般 的 机 器 学 习 方 法 的 角 度 出 发, 定 位 在 更 广 泛 的 建 立 统 计 分 类 器 的 问 题 上 生 成 的 方 法 (generative methods) 和 判 别 的 方 法 (discriminative methods) 是 设 计 和 训 练 统 计 分 类 器 及 识 别 器 的 两 类 范 例 模 式 生 成 识 别 器 依 靠 一 个 观 测 特 征 和 相 应 的 类 别 的 联 合 概 率 密 度 的 学 习 模 型 使 用 这 个 联 合 概 率 模 型, 根 据 贝 叶 斯 规 则 [12,50,66] 计 算 最 大 后 验 概 率 完 成 决 策 任 务 相 反, 判 别 分 类 器 及 识 别 器 是 直 接 使 用 类 别 后 验 概 率 ( 或 者 相 关 的 判 别 方 程 ), 概 括 描 述 为 直 接 解 决 分 类 或 识 别 的 问 题 而 不 解 决 中 间 步 骤 的 广 义 性 问 题 [57] 识 别 器 的 设 计 理 念 基 础 是 广 泛 流 行 的 机 器 学 习 方 法, 包 括 支 撑 矢 量 机 [57], 条 件 随 机 场 [32,44] 和 最 大 熵 马 尔 科 夫 模 型 [19,34], 这 里 估 计 联 合 分 布 的 中 间 步 骤 被 省 略 另 一 方 面, 尽 管 联 合 分 布 估 计 具 有 复 杂 性, 其 唯 一 目 的 就 是 判 别, 生 成 方 法 在 对 识 别 器 的 各 个 成 分 和 交 互 方 面 的 知 识 融 合 概 念 直 接 分 析 有 很 重 要 的 作 用 上 述 对 这 两 种 一 般 化 的 学 习 方 法 相 应 的 优 点 和 局 限 性 的 分 析 致 使 在 这 里 需 要 一 种 实 用 的 模 式 识 别 框 架 也 就 是 试 图 估 计 一 种 简 单 的 联 合 分 布 或 生 成 模 型, 它 有 比 计 算 真 实 分 布 的 生 成 模 型 更 低 的 复 杂 度 为 了 使 得 低 复 杂 性 的 生 成 模 型 判 别 足 够 好, 这 需 要 参 数 学 习 方 法 在 实 际 的 判 别 任 务 中 克 服 简 单 模 型 结 构 的 局 限 性 这 与 使 用 最 大 似 然 估 计 拟 合 内 部 数 据 的 传 统 方 法 相 反 这 种 框 架 已 经 在 语 音 识 别 研 究 领 域 有 了 很 重 要 的 应 用 和 指 导 意 义, 这 里 隐 马 尔 科 夫 模 型 作 为 一 种 低 复 杂 度 的 联 合 分 布 模 型, 常 用 于 描 述 语 音 的 局 部 声 学 特 征 序 列 和 相 应 的 底 层 语 言 标 记 序 列 ( 句 子, 单 词 或 者 音 ) 的 联 合 分 布 模 型 典 型 隐 马 尔 科 夫 模 型 的 判 别 参 数 学 习 方 法 为 :1) 最 大 互 信 息 (MMI)[7,18,20,39,40,41,58,61];2) 最 小 分 类 误 差 (MCE)[1,9,23,28,29,35,36,38,49,52,54];3) 最 小 音 误 差 (MPE) 和 相 近 的 最 小 词 误 差 (MWE)[13,45-48] 除 了 对 上 述 分 类 方 法 做 总 回 顾 外, 本 文 还 在 判 别 学 习 的 三 个 关 键 领 域 给 予 特 别 关 注 首 先 给 出 了 三 种 用 于 分 类 器 参 数 优 化 的 主 要 判 别 学 习 目 标 函 数 (MMI,MCE,MPE/MWE) 的 统 一 概 述, 从 他 们 的 起 源 探 究 他 们 的 关 系 通 过 统 一 的 目 标 函 数, 本 文 分 析 了 对 模 式 识 别 任 务 具 有 不 同 优 化 性 能 的 各 种 条 件, 包 括 超 字 符 串 单 元, 字 符 串 单 元 和 子 字 符 串 单 元 的 优 化 性 能 水 平 其 次, 本 文 描 述 了 一 种 在 设 计 分 类 器 时 参 数 估 计 的 有 效 方 法 在 判 别 学 习 中, 这 种 参 数 估 计 方 法 基 于 增 长 转 型 (Growth Transform, GT) 的 优 化 框 架,( 在 有 理 方 程 的 最 优 化 (Optimizing Rational Functions) 中 有 很 详 细 的 介 绍 ) 我 们 分 析 表 明, 该 方 法 统 一 了 参 数 估 计 公 式, 同 时 也 可 升 级 适 用 于 大 型 的 模 式 识 别 任 务 本 文 第 三 部 分 说 明 了 对 于 采 用 隐 马 尔 科 夫 模 型 的 序 列 模 式 识 别 问 题, 基 于 MCE 和 MPE/MWE 的 学 习 方 法 在 增 长 转 型 的 参 数 估 计 框 架 下 的 算 法 性 质 [38] IEEE 信 号 处 理 杂 志

41 II. MMI,MCE,MPE/MWE 的 判 别 学 习 准 则 MMI,MCE,MPE/MWE 是 在 语 音 和 语 言 处 理 领 域 三 个 最 重 要 的 判 别 学 习 准 则 尽 管 本 文 主 要 讨 论 语 音 和 语 言 处 理 方 面 的 判 别 分 类 器 设 计, 但 它 们 同 样 可 以 应 用 到 其 它 相 似 的 序 列 识 别 领 域, 如 手 写 体 识 别 本 文 的 参 考 文 献 涉 及 词 语 音 字 符 串 等 的 识 别, 就 是 为 了 说 明 序 列 动 态 识 别 问 题 可 以 基 于 不 同 层 次 的 识 别 单 元 此 外, 序 列 模 式 识 别 的 分 类 器 可 以 是 基 于 每 一 个 独 立 的 模 式 或 识 别 单 元 如 果 可 以 利 用 序 列 的 相 关 性, 分 类 器 的 构 造 就 可 以 基 于 字 符 串 的 模 式 或 识 别 单 元 的 识 别, 如 短 语, 字 符 串, 句 子 该 灵 活 性 为 序 列 模 式 识 别 的 分 类 器 设 计 提 供 了 很 大 的 研 究 空 间, 已 经 发 展 出 很 多 的 方 法 [22,29,47] 首 先 记 为 分 类 器 参 数 的 集 合, 在 设 计 分 类 器 时 需 要 对 其 进 行 估 计 在 语 音 和 语 言 处 理 中, 对 一 个 观 察 序 列 X, 相 应 的 标 记 词 序 列 为 S, 其 基 于 分 类 器 的 联 合 分 布 即 为 : (1) 上 式 中, 假 设 语 言 模 型 P(S) 中 的 参 数 不 需 优 化 给 定 一 个 训 练 数 据 集 合, 记 R 作 为 训 练 样 本 总 数 本 文 主 要 讨 论 有 监 督 的 学 习, 这 里 每 一 次 训 练 标 记 由 一 组 观 察 数 据 序 列 组 成, 其 正 确 的 模 式 序 列 标 记 为 :, 其 中 是 序 列 的 第 i 个 字 使 用 小 写 的 变 量 去 记 录 所 有 可 能 的 模 式 序 列, 这 些 序 列 可 以 用 来 标 记 第 r 个 标 记, 包 括 正 确 的 被 标 号 序 列 和 其 它 序 列 A. 最 大 互 信 息 (MMI) 在 基 于 MMI 的 分 类 器 设 计 方 面, 全 局 分 类 器 参 数 估 计 是 以 数 据 X 和 相 应 的 标 号 或 者 符 号 S 之 间 的 互 信 息 I(X,S) 最 大 化 为 目 标 的 从 信 息 论 角 度 看 S 和 X 的 关 系, 信 息 量 提 供 了 信 息 获 取 量 的 一 个 度 量, 或 者 不 确 定 性 降 低 的 数 量 MMI 准 则 在 信 息 论 中 能 够 较 好 的 估 计 它 具 有 很 好 的 理 论 特 性, 同 时 又 不 同 于 用 在 基 于 生 成 模 型 的 学 习 中 的 最 大 似 然 准 则 互 信 息 量 I(X,S) 的 定 义 为 : (2) 其 中 是 S 的 熵, 是 给 定 数 据 X 的 条 件 熵 : 这 里 是 基 于 模 型 的, 可 以 得 到 公 式 : (3) 假 设 语 言 模 型 (P(S) 及 H(S)) 的 参 数 不 用 优 化, 因 此 对 于 训 练 数 据,(2) 式 中 的 互 信 息 最 大 化 就 等 价 于 (3) 式 的 H(S X) 最 小 化 当 训 练 数 据 中 的 样 本 及 标 记 从 独 立 同 分 布 的 分 布 提 取,H(S X) 即 为 : 因 此, 基 于 MMI 判 别 学 习 的 参 数 最 优 化 可 以 通 过 最 大 化 下 面 方 程 得 到 : (4) 其 中, 是 模 式 序 列 的 语 言 模 型 概 率 式 (4) 中 的 目 标 函 数 是 一 个 对 数 和 形 式, 和 接 下 来 几 个 章 节 的 判 别 训 练 准 则 相 比, 我 们 为 式 (4) 构 造 了 一 个 单 调 递 增 的 幂 函 数 如 下 : (5) 这 里 需 要 说 明, 和 有 相 同 的 最 大 值 点 的 集 合, 因 为 最 大 值 点 对 于 单 调 递 增 函 数 是 恒 定 不 变 的 为 了 和 其 它 的 判 别 训 练 准 则 相 区 别, 记 式 (5) 中 的 因 子 为 : (6) IEEE 信 号 处 理 杂 志 [39]

42 定 义 式 (6) 为 标 记 基 于 模 型 的 期 望 效 用 (utility), 等 于 1 减 去 基 于 模 型 的 期 望 损 失 B. 最 小 分 类 误 差 (MCE) 基 于 MCE 的 分 类 器 设 计 是 模 式 识 别 中 的 一 种 基 于 判 别 函 数 (discriminant function) 的 方 法 [1,28,29] 分 类 器 的 判 定 准 则 被 看 做 是 判 别 函 数 集 合 的 比 较, 当 判 定 准 则 应 用 于 分 类 器 中 时, 参 数 估 计 包 括 使 期 望 损 失 最 小 化 基 于 MCE 判 别 学 习 的 损 失 函 数 的 构 造, 是 以 嵌 在 平 滑 函 数 形 式 中 的 分 类 器 的 识 别 误 差 率 形 式 构 造 的, 分 类 器 的 期 望 损 失 最 小 化 直 接 关 系 到 错 分 率 的 降 低 在 基 于 MCE 的 判 别 学 习 中, 目 标 ( 损 失 ) 函 数 可 以 利 用 基 于 似 然 度 的 生 成 模 型 通 过 以 下 步 骤 构 建 对 于 每 个 训 练 标 记, 判 别 函 数 的 集 合 为 : 这 里 包 含 数 据 和 给 定 模 型 下 的 模 式 序 列 ( 字 符 串 ) 的 对 数 联 合 概 率 分 类 或 识 别 的 判 定 规 则 定 义 为 : 对 于 只 有 一 个 最 佳 竞 争 字 符 串 (one-best string) 的 MCE 方 法 (N=1), 只 有 最 易 被 混 淆 的 错 字 符 串 才 被 认 为 是 竞 争 对 象, 这 里 变 为 : (9) 然 而 对 于 N>1 的 一 般 情 况, 可 以 使 用 多 种 定 义 一 个 比 较 典 型 的 定 义 形 式 为 [29]: (10) 另 外 一 种 和 典 型 的 形 式 如 下 ( 这 和 式 10 很 相 似, 见 文 献 [54]): (11) 其 中, 为 联 合 概 率 的 尺 度 因 子 在 本 文 中, 我 们 采 用 式 (11) 中 的 形 式, 同 时 为 了 计 算 方 便 设 ( 的 情 况 在 [24] 中 进 行 讨 论 ) 给 出 错 分 率 度 量, 对 于 每 个 训 练 样 本 r, 损 失 函 数 可 以 通 过 Sigmoid 函 数 来 定 义 ( 见 文 献 [28,29]): (12) 实 际 上,MCE 的 判 别 学 习 中 可 考 虑 N 个 最 容 易 混 淆 的 竞 争 字 符 串,, 与 正 确 字 符 间 的 竞 争 这 里 最 佳 的 N 个 字 符 串 可 以 归 纳 定 义 为 : 其 中 表 示 sigmoid 函 数 的 斜 率, 通 常 靠 经 验 决 定 本 文 中 为 简 单 起 见 设 定 为 1 在 文 献 [25, p.156] 有 类 似 设 定 这 里 需 要 说 明 式 (12) 的 损 失 函 数 逼 近 记 为 平 滑 函 数 形 式 的 0-1 分 类 误 差 其 中 是 分 类 器 的 当 前 参 数 模 型 集 合 (7) 给 定 所 有 的 模 式 序 列 集 合 和 相 应 的 观 测 数 据, 其 中,, 把 (11) 式 代 入 (12) 式, 得 到 训 练 标 记 数 据 的 损 失 函 数 : 错 分 率 度 量 用 来 逼 近 对 每 个 训 练 样 本 判 定 准 则 的 性 能, 当 表 明 有 错 分, 表 明 没 有 错 分 实 际 上 这 样 的 错 分 类 度 量 可 以 定 义 为 : (8) 其 中 是 一 个 表 示 错 误 竞 争 字 符 串 的 分 数 的 函 数, 是 对 正 确 字 符 串 的 判 别 函 数 (13) 相 应 的, 可 定 义 效 用 函 数 为 一 减 损 失 函 数 的 形 式, 也 就 是 : (14) [40] IEEE 信 号 处 理 杂 志

43 基 于 MCE 的 判 别 学 习 的 目 标 就 变 为 对 所 有 的 训 练 数 据 而 言, 使 训 练 期 望 损 失 最 小 化 (15) 很 明 显, 使 式 (15) 中 的 最 小 化 等 价 于 使 下 列 MCE 目 标 函 数 最 大 化 式 (17) 中 原 始 音 精 度 可 以 广 义 的 定 义 为 原 始 子 串 精 度 特 别 地, 原 始 音 精 度 亦 能 够 以 相 同 的 方 式 定 义 为 在 参 考 字 符 串 的 总 字 数 减 去 的 插 入 删 除 和 置 换 误 差 相 似 的, 基 于 原 始 词 精 度, 可 以 得 到 MWE 准 则 的 等 价 定 义 : (18) (16) 这 里 值 得 注 意 的 是,MCE 的 求 和 形 式 (16) 与 MMI 的 求 积 形 式 (5) 形 成 了 强 烈 对 比 C. 最 小 音 / 词 误 差 (MPE/MWE) MPE/MWE 是 另 一 种 判 别 学 习 方 法, 最 早 被 文 献 [45,47] 提 出, 并 且 在 语 音 识 别 领 域 证 明 了 其 有 效 性 与 MMI 以 及 MCE 不 同,MMI/MCE 是 为 适 合 大 规 模 的 模 式 序 列 ( 例 如, 字 符 串 或 者 超 字 符 串 ),MPE 旨 在 提 高 子 串 模 式 水 平 的 优 化 性 能 在 语 音 识 别 中, 一 组 模 式 字 符 串 通 常 和 由 一 系 列 词 组 成 的 句 子 相 对 应, 其 中 子 字 符 串 作 为 序 列 的 组 成 部 分 可 以 是 字 或 者 音 MPE 需 要 最 大 化 的 目 标 函 数 定 义 为 : (17) 其 中 表 示 在 句 串 中 的 原 始 音 ( 子 串 ) 精 度 ( 在 文 献 [45,47] 中 提 到 ) 原 始 音 精 度 定 义 为 参 考 字 符 串 的 全 部 音 的 数 目 减 去 的 插 入 删 除 和 置 换 误 差 式 (17) 的 MPE 准 则 等 价 于 对 整 个 训 练 集 原 始 音 精 度 数 目 的 基 于 模 型 的 期 望 这 种 关 系 可 以 将 (17) 式 改 写 为 : 其 中 是 基 于 模 型 的 后 验 概 率 因 此 本 文 将 这 两 种 方 法 均 归 为 MPE /MWE 一 类 D. 讨 论 在 单 一 训 练 样 本 级 别 时,MMI 准 则 使 用 式 (6) 中 基 于 模 型 的 实 用 期 望, 此 时 MCE 准 则 使 用 了 由 式 (8)(12) 和 (14) 定 义 的 依 赖 分 类 器 的 平 滑 经 验 效 用 函 数 MPE/ MWE 准 则 同 样 使 用 基 于 模 型 的 期 望 效 用 函 数, 但 是 该 效 用 是 由 子 字 符 串 计 算 得 到 的, 例 如, 在 音 和 字 的 层 次 中 本 文 为 了 计 算 方 便, 使 用 式 (11) 作 为 MCE 的 错 分 测 度 因 此, 式 (14) 平 滑 的 经 验 效 用 函 数 和 式 (6) 有 相 同 的 形 式 这 可 以 直 接 用 式 (14) 取 代 式 (13) 在 多 重 训 练 样 本 级 别 时, 通 过 比 较 式 (5) (16) (17) 和 (18),MMI 训 练 使 训 练 标 记 的 模 型 预 期 效 用 乘 积 最 大, 此 时 MCE 训 练 使 对 所 有 训 练 标 记 的 平 滑 经 验 效 用 之 和 最 大 化,MPE/MWE 训 练 则 是 使 模 型 期 望 经 验 效 用 之 和 最 大 化 对 效 用 函 数 (utility function) 进 行 求 和 或 乘 积 形 式 之 间 的 差 别, 才 是 MMI 和 MCE/MPE/ MWE 之 间 的 不 同 这 种 不 同 造 成 了 从 MMI 扩 展 原 始 GT/EBW 方 法 到 其 它 准 则 时 的 困 难 [47 p.92] 接 下 来 几 章, 本 文 将 说 明 我 们 统 一 的 学 习 准 则 如 何 反 映 这 种 不 同 性 III. MMI MCE MPE/MWE 目 标 函 数 的 统 一 有 理 函 数 形 式 本 章 给 出 了 基 于 MMI MCE 和 MPE/MWE 准 则 的 判 别 学 习 的 目 标 函 数, 可 以 被 映 射 到 一 个 规 范 有 理 函 数 形 式, 并 约 束 其 分 母 函 数 为 正 数 值 这 种 规 范 有 理 函 数 的 形 式 有 利 于 深 入 研 究 基 于 MMI,MCE 和 MPE/MWE 的 分 类 器 此 外, 这 一 统 一 的 目 标 函 数 对 分 类 器 参 数 优 化 的 统 一 框 架 发 展 起 到 了 促 进 作 用 IEEE 信 号 处 理 杂 志 [41]

44 A. MMI 目 标 函 数 的 有 理 函 数 形 式 基 于 式 (5) 的 MMI 目 标 函 数 的 有 理 函 数 形 式 可 以 写 为 : (19) 其 中, (20) 是 一 个 常 数, 该 常 数 只 与 句 序 列 相 关, 为 克 罗 内 尔 函 数, 也 就 是 : 对 式 (19), 采 用 一 般 性 假 设, 认 为 不 同 训 练 样 本 之 间 是 相 互 独 立 的 MMI 目 标 函 数 旨 在 对 整 个 训 练 数 据 而 不 是 对 每 个 单 独 的 字 符 串 进 行 条 件 似 然 函 数 的 改 进 它 可 以 被 看 做 是 所 有 训 练 数 据 在 超 字 符 串 层 的 判 别 性 能 测 度, 其 中 可 以 看 成 超 字 符 串 的 二 元 函 数, 当 超 字 符 串 为 正 确 时, 取 值 为 1, 反 之 为 0 法, 无 法 确 定 判 别 学 习 的 终 点 近 年 来 基 于 梯 度 的 批 处 理 最 优 化 方 法 的 使 用, 包 括 批 量 - 半 批 量 的 概 率 下 降 (batch and semi-batch probabilistic descent), 快 速 传 播 (QuickProp), 弹 性 反 向 传 播 (Rprop) 算 法, 都 对 MCE 算 法 进 行 了 改 进, 并 且 提 高 了 识 别 率 [37,38] 然 而, 这 些 方 法 的 单 调 收 敛 性 还 未 确 定 本 文 使 用 一 种 不 同 的 方 法 使 MCE 判 别 学 习 的 目 标 函 数 适 合 于 GT 的 参 数 优 化 基 于 GT 具 有 可 扩 展 和 单 调 收 敛 的 学 习 性 质, 其 备 快 速 和 稳 定 性 优 势 为 了 实 现 这 种 优 势, 需 要 重 新 对 MCE 函 数 进 行 规 范, 对 MCE 的 目 标 函 数 提 取 一 个 规 范 且 有 理 的 函 数 形 式 同 时,MCE 的 规 范 有 理 的 函 数 形 式 在 该 过 程 中 有 利 于 统 一 MCE 与 MMI MPE/MWE 的 目 标 函 数, 这 样 可 以 研 究 他 们 之 间 的 异 同 MCE 目 标 函 数 的 有 理 函 数 形 式 可 通 过 通 分 的 方 法 推 导 如 下 : (21) B. MCE 目 标 函 数 的 有 理 函 数 形 式 和 MMI 的 情 况 不 同, 式 (16) 给 出 了 MCE 目 标 函 数, 为 若 干 个 有 理 函 数 的 总 和 而 不 是 单 独 的 有 理 函 数 这 导 致 应 用 GT 的 参 数 最 优 化 框 架 去 优 化 MCE 的 目 标 函 数 有 困 难 因 此,MCE 的 目 标 函 数 通 常 使 用 广 义 概 率 下 降 算 法 (GPD)[9,28,29] 或 者 其 它 基 于 梯 度 的 方 法 [37,38] 进 行 优 化 尽 管 相 当 普 及 和 很 多 成 功 应 用, 但 基 于 GPD 顺 序 学 习 的 梯 度 下 降 主 要 存 在 两 个 缺 点 第 一, 它 是 一 种 单 样 本 循 序 学 习 算 法 在 计 算 时, 对 于 GPD 而 言 参 数 学 习 算 法 的 并 行 化 非 常 困 难, 而 这 对 大 规 模 任 务 很 关 键 第 二, 它 不 具 有 单 调 的 学 习 算 [42] IEEE 信 号 处 理 杂 志

45 (22) 其 中 可 以 理 解 为 的 字 符 串 精 度, 值 取 为 0 到 R 之 间 的 整 数 值, 表 示 中 正 确 的 字 符 串 的 数 量 MCE 目 标 函 数 的 有 理 函 数 形 式 (22), 在 基 于 MCE 的 判 别 学 习 研 究 中 将 起 到 很 关 键 的 作 用 C. MPE/MWE 目 标 函 数 的 有 理 函 数 形 式 与 MCE 类 似,MPE/MWE 的 目 标 函 数 也 是 多 个 有 理 函 数 的 总 和, 如 在 文 章 [47] 中 的 讨 论, 很 难 直 接 推 导 出 GT 公 式 为 了 避 开 这 个 问 题, 文 献 [45,47] 中 提 出 了 一 种 弱 性 辅 助 函 数 (WSAF) 的 优 化 MPE/MWE 目 标 函 数 的 方 法 而 本 文 中, 我 们 将 MPE/MWE 目 标 函 数 改 为 它 的 等 价 形 式, 即 规 范 的 有 理 函 数 形 式, 使 得 基 于 MPE/MWE 的 判 别 学 习 中 的 参 数 优 化 直 接 修 正 为 基 于 GT 的 参 数 估 计 框 架 这 为 统 一 的 参 数 估 计 框 架 提 供 了 可 靠 的 单 调 收 敛 性 质, 而 这 种 单 调 收 敛 性 恰 是 如 基 于 梯 度 和 基 于 WSAF 的 逼 近 方 法 所 缺 少 的 我 们 发 现, 用 在 MCE 目 标 函 数 的 有 理 函 数 形 式 (22) 中 的 推 导 方 法, 同 样 可 以 直 接 用 来 推 导 定 义 在 式 (17) 和 (18) 中 MPE/MWE 目 标 函 数 的 有 理 函 数 式 要 注 意 的 是, 式 (17) 和 (18) 与 式 (21) 的 形 式 相 同, 除 了 是 由 或 取 代 相 同 的 M C E 目 标 函 数 的 推 导 步 骤 在 这 里 同 样 可 用,MPE/MWE 的 有 理 函 数 形 式 如 下 : (23) 这 里 (24) 或 可 被 理 解 为 超 级 字 符 串 中 音 或 词 的 精 确 计 数 它 的 上 限 值 是 所 有 训 练 数 据 ( 或 者 正 确 的 超 级 字 符 串 ) 中 的 音 或 词 的 总 和 数 但 实 际 值 有 可 能 是 负 数, 比 如 有 太 多 的 干 扰 错 误 时 相 应 地, 和 分 别 表 示 所 有 训 练 数 据 集 的 基 于 模 型 平 均 原 声 或 词 的 精 度 计 数 D. 评 价 和 讨 论 这 一 部 分 主 要 讲 这 三 个 判 别 学 习 目 标 函 数,MMI,MCE, 和 MPE/MWE, 表 示 为 一 个 统 一 的 规 范 有 理 函 数 形 式 : (25) 式 (25) 中 的 总 和 表 示 所 有 R 训 练 标 记 的 不 确 定 标 记 序 列 ( 包 括 正 确 的 和 不 正 确 的 ) 因 为 还 要 进 行 进 一 步 处 理, 所 以 在 实 际 应 用 时 不 确 定 字 符 串 数 量 会 被 大 大 减 少 在 式 (25) 中, 表 示 在 所 有 训 练 标 记 R 中 的 全 部 观 测 数 据 序 列 ( 串 ) 的 集 合, 在 把 这 些 串 连 在 一 起 形 成 单 个 串 后, 我 们 将 此 单 独 的 串 称 作 超 级 字 符 串 是 超 级 数 据 串 的 联 合 概 率 分 布, 该 超 级 数 据 串 的 不 确 定 标 记 序 列 为 式 (25) 中,MMI,MCE 和 MPE/MWE 由 于 依 赖 于 准 则 的 加 权 因 子 和 不 同 而 相 互 区 别 一 个 重 要 性 质 是 : 仅 由 标 记 序 列 决 定, 与 要 进 行 最 优 化 的 参 数 集 无 关 用 有 理 函 数 公 式 (25) 做 MMI,MCE 和 MPE/MWE 的 目 标 函 数 主 要 有 两 个 目 的 首 先,MMI,MCE 和 MPE/ MWE 的 目 标 函 数 被 统 一 为 一 个 规 范 的 有 理 函 数 形 式, 因 而 能 够 研 究 不 同 的 判 别 学 习 准 则 之 间 的 关 系, 同 时 比 较 它 们 的 性 能 这 能 对 不 同 的 判 别 学 习 方 法 提 供 更 好 的 观 察 其 次, 式 (25) 表 示 的 统 一 的 目 标 函 数 克 服 了 在 判 别 学 习 中 应 用 基 于 GT 参 数 最 优 化 框 架 的 最 主 要 障 碍 这 就 为 判 别 学 习 提 供 了 一 种 可 扩 展 的 和 普 遍 的 参 数 评 估 框 架, 该 框 架 具 有 高 效 且 充 分 的 算 法 收 敛 IEEE 信 号 处 理 杂 志 [43]

46 特 性 所 有 这 些 性 能 均 是 以 前 将 判 别 学 习 应 用 于 连 续 模 式 识 别 时 的 主 要 关 注 点 如 本 节 所 提 出 的,MMI,MCE 和 MPE/MWE 准 则 的 有 理 函 数 形 式 之 间 的 关 键 差 别 是 式 (25) 分 子 中 的 加 权 因 数 其 中 作 为 一 个 通 用 的 加 权 因 子, 取 决 于 采 用 哪 一 种 判 别 训 练 (DT) 准 则 例 如, 对 于 MMI, 则 有 : 而 对 MPE, 则 有 : 在 MCE 具 有 N 个 最 佳 竞 争 对 手 N>1 的 情 况 下 : 而 对 于 单 个 最 优 的 MCE( 即 N =1), 仅 属 于 子 集 从 式 (25) 的 规 则 有 理 函 数 形 式, 可 对 MMI,MCE 和 MPE/MWE 的 目 标 函 数 进 行 直 接 对 比 表 1 以 表 格 形 式 给 出 了 这 些 判 别 目 标 函 数 之 间 的 关 系 文 献 [47] 指 出,MPE/MWE 与 MCE 和 MMI 有 一 个 重 要 的 区 别, 即 对 于 错 误 字 符 串 的 MPE/MWE 标 准 的 加 权 给 定 值, 取 决 于 错 误 字 符 串 中 子 字 符 串 的 数 目 根 据 整 个 句 串 是 否 正 确,MCE 和 MMI 产 生 了 一 个 二 进 制 的 区 别, 或 许 不 适 用 于 以 减 少 子 字 符 串 错 误 为 目 的 的 情 况 对 于 MCE, 该 区 别 可 以 通 过 比 较 二 值 函 数 和 明 确 得 出 : 对 于 MPE/MWE, 非 二 值 函 数 的 和 为 : 该 关 键 差 别 造 成 了 MPE/MWE 和 MCE 中 的 子 字 符 串 级 别 及 字 符 串 级 别 的 识 别 性 能 优 化 之 间 的 不 同 进 而,MMI 采 用 二 进 制 函 数 的 乘 积 形 式 代 替 了 MCE 中 的 二 进 制 函 数 的 和 形 式 : 由 上 式 可 得,MMI 在 超 字 符 串 级 别 上 得 到 了 性 能 优 化, 举 例 来 说, 如 果 任 一 句 的 标 记 是 错 误 的, 克 罗 内 克 三 角 函 数 的 联 合 乘 积 即 变 为 零 因 此, 除 了 与 一 个 正 确 标 签 / 抄 本 的 序 列 相 对 应, 式 (25) 分 子 上 的 所 有 条 件 表 一 C DT (S 1...S R ) IN THE UNIFIED RATIONAL-FUNCTION FORM FOR MMI, MCE, AND MPE/MWE OBJECTIVE FUNCTIONS. THE SET OF COMPETING TOKEN CANDIDATES DISTIN- GUISHES N-BEST AND ONE-BEST VERSIONS OF THE MCE. NOTE THAT THE OVERALL C DT (S 1...S R ) IS CONSTRUCTED FROM ITS CONSTITUENTS C DT (S R ) S IN INDIVIDUAL STRING TOKENS BY EITHER SUMMATION (FOR MCE, MPE/MWE) OR PRODUCT (FOR MMI). 目 标 函 数 C DT 1s r 2 C DT 1s 1... s R 2 DT 中 所 用 的 标 记 序 列 集 合 MCE (N-BEST) d1s r, S r 2 a R C DT 1s r 2 r51 5S r, s r,1,...,s r,n 6 MCE (ONE-BEST) d1s r, S r 2 a R C DT 1s r 2 r51 5S r, s r,1 6 MPE A 1s r, S r 2 a R C DT 1s r 2 r51 所 有 可 能 的 标 记 序 列 MWE A l 1s r, S r 2 a R C DT 1s r 2 r51 所 有 可 能 的 标 记 序 列 MMI d1s r, S r 2 q R C DT 1s r 2 r51 所 有 可 能 的 标 记 序 列 和 都 为 0 正 如 在 语 音 判 别 实 验 [35], [45]-[47] 中 被 广 泛 观 测 的 那 样,MMI 标 准 不 如 MCE 或 MPE/MWE 令 人 满 意 从 式 (25) 目 标 函 数 的 统 一 形 式 中 得 到 的 另 一 个 结 论 是, 在 训 练 数 据 只 有 一 个 样 本 标 记 (R=1) 的 特 例 中, 如 假 设 这 时 该 句 只 包 含 一 个 音, 那 么 这 三 种 标 准 ( 即 MMI,MCE 和 MPE/MWE 标 准 ) 即 为 相 同 该 结 论 十 分 明 显, 因 为 在 这 种 情 况 下, 完 全 相 同 只 有 当 训 练 集 合 包 含 多 重 语 句 标 记 的 情 况 时, 它 们 之 间 的 不 同 才 会 出 现 在 多 个 训 练 样 本 情 况 下, 当 有 理 函 数 形 式 (25) 对 于 三 种 规 则 均 保 持 不 变 时, 差 别 主 要 在 独 立 于 的 加 权 因 子 中 体 现 在 序 列 模 式 识 别 中, 尽 管 我 们 尝 试 对 MMI,MCE 和 MPE/MWE 的 三 种 目 标 函 数 形 式 推 导 出 基 于 GT 的 参 数 最 优 化 框 架, 但 应 该 注 意 的 是 该 统 一 的 目 标 函 数 (25) 能 为 推 导 出 其 它 参 数 最 优 化 方 法 提 供 一 个 关 键 性 基 础 例 如, 最 近 Jebara 在 文 献 [26][27] 提 出 了 一 种 有 理 函 数 的 参 数 最 优 化 方 法 可 作 为 GT 方 法 一 种 替 代 该 方 法 是 基 于 反 转 的 Jensen 不 等 式, 基 于 此, 一 种 对 带 有 指 数 族 密 度 HMMs 的 最 佳 解 决 方 案 能 得 以 构 建 IV. 采 用 GT 的 有 理 函 数 优 化 基 于 GT 的 参 数 最 优 化 是 指 一 种 批 处 理 方 式 的, 迭 代 的, 最 优 化 方 案 目 标 函 数 的 值 随 每 次 迭 代 而 增 加 也 就 是 说, 新 的 模 型 参 数 集 通 过 变 换 利 用 当 前 的 模 型 估 计 得 出, 其 性 质 是 目 标 函 数 值 会 不 停 增 [44] IEEE 信 号 处 理 杂 志

47 加, 除 非 估 计 HMM 参 数 时,EBW 算 法 是 这 种 优 化 技 术 类 型 的 一 种 典 型 GT/EBW 算 法 最 初 是 由 Baum 和 他 的 同 事 因 为 齐 次 多 项 式 提 出 的 [3],[4] 它 后 来 被 扩 展 到 用 来 优 化 非 齐 次 的 有 理 函 数, 如 文 献 [18] 中 所 载 EBW 算 法 开 始 流 行 是 因 为 在 离 散 HMMs 的 MMI 判 别 训 练 中 的 成 功 应 用 [18] 它 后 来 也 被 扩 展 及 应 用 到 连 续 密 度 HMMs 的 MMI 判 别 训 练 中 [2],[20],[41],[59],[61] GT/EBW 算 法 的 重 要 性 在 于 它 的 单 调 收 敛 性 算 法 的 高 效 性 并 行 执 行 时 的 可 扩 展 性 以 及 用 于 大 规 模 最 优 化 问 题 时 的 的 解 析 解 的 参 数 更 新 公 式 GT 的 统 一 参 数 优 化 框 架 还 减 轻 了 对 其 它 经 验 设 置 的 需 求, 例 如, 在 其 它 方 法 中, 调 整 参 数 由 经 验 设 置 的 学 习 速 率 决 定 [29][52] 令 和 为 参 数 集 的 两 个 实 值 函 数, 且 分 母 上 那 个 的 函 数 为 正 值 基 于 GT 的 参 数 优 化 目 标 就 是 找 到 一 个 最 优 的 使 得 目 标 函 数 最 大, 而 这 个 目 标 函 数 是 一 个 如 下 表 示 的 有 理 函 数 : (26) 举 例 说 明, 可 以 成 为 式 (19),(22),(23) 和 (24) 所 示 的 有 理 函 数 中 的 一 个, 这 四 个 方 程 分 别 为 MMI,MCE 和 MPE/MWE 的 目 标 函 数, 或 者 为 广 义 有 理 函 数 式 (25) 对 于 广 义 情 况 下 的 式 (25), 我 们 有 : and (27) 其 中, 我 们 使 用 速 记 符 号 来 表 示 所 有 R 训 练 标 记 / 句 子 的 被 标 序 列, 并 用 来 表 示 对 所 有 R 训 练 标 记 的 观 测 数 据 序 列 首 要 辅 助 函 数 正 如 在 文 献 [18] 中 最 初 提 出 的, 对 于 目 标 函 数 式 (26), 基 于 GT 的 优 化 算 法 将 构 建 一 个 如 下 形 式 的 辅 助 函 数 : (28) 其 中 D 是 一 个 与 参 数 集 合 相 独 立 的 量, 通 过 将 GT 应 用 于 一 个 已 存 在 的 模 型 参 数 集 从 而 估 计 新 的 模 型 参 数 集 合 这 种 G T 算 法 开 始 于 ( 初 始 ) 参 数 集 合 ( 例 如, 利 用 最 大 似 然 度 (ML) 训 练 获 得 ) 然 后, 通 过 最 大 化 辅 助 函 数 F 该 算 法 将 参 数 集 合 从 更 新 为, 这 个 迭 代 过 程 止 于 达 到 收 敛 条 件 使 该 辅 助 函 数 最 大 化 通 常 能 比 使 原 始 有 理 函 数 的 最 大 化 更 为 可 行 基 于 GT 的 参 数 优 化 的 重 要 性 质 就 是, 只 要 D 是 与 参 数 集 无 关 的 量, 的 增 加 就 会 确 保 的 增 加 这 从 下 面 的 推 导 可 容 易 看 出 : 用 代 如 式 (28) 中, 可 得 : 因 此, 因 为 是 正 数, 所 以 在 左 边 时, 即 有 右 边 的 次 要 辅 助 函 数 直 接 优 化 的 时 候 依 旧 可 能 比 较 困 难, 因 此 一 种 次 要 辅 助 函 数 可 以 通 过 前 面 的 辅 助 函 数 进 行 构 造 和 优 化 如 文 献 [17] 提 到 的 那 样, 在 基 于 GT 的 参 数 估 计 中 次 要 辅 助 函 数 具 有 如 下 结 构 : (29) 是 一 个 由 离 散 变 量 构 建 的 正 值 函 数, 与 前 面 提 到 的 主 要 辅 助 函 数 相 关 (30) 通 过 将 Jensen 不 等 式 应 用 到 凸 的 对 数 函 数 中, 容 易 证 明 出 函 数 的 增 加 能 够 保 证 函 数 的 增 加 因 为 对 数 是 单 调 增 加 的 函 数, 所 以 这 意 味 着 函 数 的 增 加, 因 此 原 始 的 目 标 函 数 也 会 增 加 V. 基 于 GT 框 架 的 离 散 HMM 中 的 判 别 学 习 对 离 散 HMMs 中 的 基 于 GT-EBW 的 判 别 学 习 需 要 估 计 参 数 模 型, 包 括 状 态 转 移 概 率 和 发 射 概 率 我 们 推 导 出 参 数 优 化 公 式 能 够 使 式 (25) 及 其 中 覆 盖 的 MMI,MCE 和 MPE/MWE 的 判 别 目 标 函 数 产 生 增 长 判 别 函 数 很 难 直 接 优 化 尽 管 它 是 一 个 有 理 函 数 但 应 用 服 从 基 于 GT/EBW 的 参 数 估 计 框 架, 我 们 可 以 先 构 建 辅 助 函 数 F, 然 后 基 于 F 构 建 IEEE 信 号 处 理 杂 志 [45]

48 次 要 辅 助 函 数 V 我 们 将 会 阐 述 如 何 优 化, 导 出 三 种 判 别 准 则 MMI,MCE 和 MPE/MWE 的 参 数 估 计 公 式 只 要 目 标 函 数 能 用 式 (25) 中 的 有 理 函 数 形 式 表 示, 该 方 法 就 可 以 应 用 在 其 它 任 何 判 别 准 则 中 对 于 离 散 隐 马 尔 科 夫 模 型 (DHMM), 观 测 空 间 可 以 用 一 些 离 散 码 本 进 行 量 化 因 此, 是 所 有 训 练 标 记 的 串 联, 每 一 个 训 练 标 记 包 括 一 列 离 散 索 引, 这 些 指 针 通 过 把 第 r 个 标 记 的 观 测 时 间 序 列 映 射 到 每 个 离 散 索 引 序 列 的 元 素 得 到, 其 中,K 是 码 本 索 引 集 合 的 取 值 范 围, 是 索 引 组 成 部 分, 用 来 量 化 第 r 个 标 记 索 引 处 第 t 帧 的 观 测 数 据 是 一 个 独 立 于 的 常 数 尽 管 此 和 函 数 独 立 于, 为 了 补 偿 为 负 的 可 能 性, 每 一 项 的 是 相 关 的 下 面 进 行 详 细 叙 述 为 了 在 式 (32) 的 函 数 基 础 上 构 建 式 (29) 的 次 要 辅 助 函 数, 我 们 首 先 根 据 式 (30) 从 式 (32) 可 得 : 为 了 保 证 上 面 的 是 正 的, 应 该 选 一 个 充 分 大 的 值 这 样 才 能 保 证 式 (32) 中 的 然 后 根 据 式 (29), 我 们 可 以 得 出 : A. 构 造 首 要 辅 助 函 数 把 式 (27) 代 入 式 (28) 我 们 可 以 得 到 下 面 的 辅 助 函 数 (31) 这 里 q 是 一 个 隐 马 尔 科 夫 模 型 (HMM) 状 态 序 列, 是 所 有 R 训 练 标 记 的 超 级 标 记 序 列 ( 包 括 正 确 的 和 错 误 的 句 子 ) 上 面 的 辅 助 函 数 的 主 要 条 件 可 以 理 解 为 对 准 确 值 的 期 望 偏 差 B. 构 建 次 要 辅 助 函 数 因 为 取 决 于 语 言 模 型 且 与 优 化 不 相 关, 因 此, 我 们 可 以 得 到, 以 及 : (32) 这 里 (33) (34) 辅 助 函 数 (34) 比 函 数 (32) 更 容 易 优 化, 因 为 在 函 数 (34) 中 所 用 到 的 新 对 数 ( 函 数 (32) 中 就 没 有 用 到 ) 可 以 对 进 行 更 加 有 效 的 简 化, 我 们 接 下 来 会 进 行 描 述 C. 简 化 次 要 辅 助 函 数 首 先 我 们 先 不 管 函 数 (34) 中 所 用 到 的 独 立 优 化 的 常 数, 为 了 将 联 合 概 率 转 化 为 后 验 概 率, 用 另 外 一 个 独 立 优 化 值 来 分 割 我 们 可 以 得 到 一 个 等 价 的 辅 助 函 数 : D 是 一 个 独 立 于 参 数 集 的 值 在 式 (33) 中, 是 克 罗 内 克 尔 δ 函 数,χ 表 示 χ 所 属 的 整 个 离 散 数 据 空 间 采 用 文 献 [20] 的 思 想, 这 里 该 数 据 空 间 总 和 的 引 入 是 为 了 满 足 式 (28) 和 (32) 中 常 数 D 成 为 独 立 参 数 的 条 件 也 就 是 说, 在 (32) 中 : 这 里 (35) (36) [46] IEEE 信 号 处 理 杂 志

49 因 为 X 仅 仅 取 决 于 隐 马 尔 科 夫 模 型 (HMM) 的 状 态 序 列 q, 因 此 我 们 有 进 而 可 以 进 一 步 被 分 解 为 以 下 四 个 部 分 : 这 里 两 边 均 乘 以 为 了 求 解, 我 们 定 义 : (40) (41) 这 里 我 们 可 以 得 到 重 估 公 式 : (37) 在 这 里, 集 合 了 所 有 R 独 立 句 子 标 记 的 训 练 数 据 对 于 每 一 个 标 记 观 测 向 量 是 相 互 独 立 的, 且 它 只 取 决 于 隐 马 尔 科 夫 模 型 (HMM) 在 时 间 T 时 的 状 态 因 此, 是 可 以 被 分 解 的, 从 而 能 对 式 (37) 中 的 第 一 项 和 第 二 项 进 行 简 化 为 了 简 化 (37) 中 的 第 三 项 和 第 四 项, 我 们 根 据 的 一 阶 隐 马 尔 科 夫 模 型 HMM 的 特 性 时 间 t 时 的 状 态 仅 依 赖 于 时 间 t-1 时 的 状 态, 从 而 对 进 行 分 解 我 们 可 以 得 到 分 解 和 优 化 后 的 目 标 函 数 : 现 在 我 们 定 义 : 可 得 : (42) (43) (44) (38) 这 里 表 示 式 (37) 中 第 一 项 和 第 二 项 的 和, 它 只 是 和 发 射 概 率 的 优 化 有 关, 市 第 三 项 和 第 四 项 的 和, 仅 和 来 优 化 转 移 概 率 相 关 D. 辅 助 函 数 优 化 中 的 增 长 转 型 估 计 为 了 优 化 在 限 制 条 件 1 下 的 转 移 概 率, 我 们 使 用 拉 格 朗 日 乘 法 构 建 下 面 的 函 数 : (45) 参 量 重 估 公 式 (42) 和 (45) 是 MMI,MCE 和 MPE/MWE 的 统 一 重 估 公 式 对 此 统 一 的 重 估 公 式,MMI,MCE 和 MPE/MWE 最 主 要 的 不 同 就 在 于, 式 (41) 中 和 式 (44) 中 的 权 重 项 导 致 的 约 束 C(s) 不 同 计 算 具 体 的 MMI,MCE 和 MPE/MWE 计 算 的 细 节 详 见 附 件 I 和 文 献 [24] 设 置 值 为 0 和 得 到 如 下 K+1 个 等 式 : (39) E. 设 置 常 量 D i 式 (43) 中 常 量 D i 和 式 (60) 中 值 决 定 了 上 述 GT/ EBW 算 法 的 稳 定 性 和 收 敛 速 度 设 置 的 理 论 基 础 是 需 要 式 (32) 中 描 述 的 式 (58)d(s) 足 够 大, 从 而 使 从 式 (33) 中 可 得 : IEEE 信 号 处 理 杂 志 [47]

50 因 此, 给 出 : 相 应 地, 类 似 的, 我 们 可 以 推 导 出 : (46) 这 里, (50) (51) (47) 实 际 上, 式 (56) 和 (60) 中 给 出 的 Di 和 过 于 保 守 且 值 过 大, 这 会 导 致 比 以 前 的 经 验 方 法 更 慢 的 收 敛 速 度 在 这 篇 回 顾 中 我 们 不 会 讨 论 这 类 具 体 的 启 示, 但 仍 指 出 这 依 然 是 一 个 感 兴 趣 的 研 究 问 题, 且 会 向 读 者 推 荐 这 类 研 究 或 者 讨 论, 见 文 献 [18],[41],[42],[47],[54],[59] 和 [61] VI. 对 连 续 密 度 HMMs 下 的 区 别 性 学 习 对 连 续 密 度 HMMs (CDHMMs) 来 说, 观 测 空 间 并 没 有 被 量 化 由 于 这 个 原 因, 是 所 有 训 练 标 记 的 串 联, 每 一 个 训 练 标 记 包 括 一 系 列 的 连 续 随 机 变 量 我 们 将 公 式 (25) 应 用 于 CDHMMS 的 判 别 学 习 中 特 别 地, 在 之 前 的 等 式 (29) 和 (30) 中 χ. 是 一 个 连 续 变 量, 因 此 χ. 域 内 的 总 和 均 被 改 为 χ. 域 的 积 分, 这 样 (48) 式 (52) 中 的 是 Dirac 函 数 (52) 在 经 过 与 前 面 部 分 类 似 的 推 导 后, 式 (45) 中 的 转 移 概 率 估 计 公 式 同 样 存 在 于 离 散 隐 马 尔 科 夫 模 型 HMM 中 A. 基 于 GT 的 参 数 估 计 在 高 斯 密 度 CDHMM 中 的 应 用 我 们 首 先 推 导 CDHMM 中 的 具 有 高 斯 分 布 的 GT 参 数 估 计 公 式, 然 后 再 将 其 推 广 到 后 面 混 合 高 斯 分 布 的 情 况 对 于 高 斯 分 布 的 CDHMM, 观 测 概 率 密 度 函 数 以 如 下 形 式 为 高 斯 分 布 : 这 里 向 量 和 协 方 差 矩 阵 (53) 是 状 态 i 时 高 斯 分 布 的 平 均 为 了 求 出 和, 我 们 设 定 : 这 里 积 分 函 数 被 定 义 为 : (49) 通 过 求 解 和 给 出 GT 的 公 式, 其 中 如 式 (41) 中 定 义, 如 (40) 中 定 义 (54) (55) [48] IEEE 信 号 处 理 杂 志

51 正 如 在 离 散 隐 马 尔 可 夫 模 型 的 例 子 中 那 样, 式 (54) 和 (55) 是 基 于 式 (25) 中 广 义 判 别 目 标 函 数 的 形 式, 其 中 涵 盖 MMI,MCE 和 MPE/MWE 等 特 例 这 致 使 统 一 的 基 于 GT 参 数 估 值 的 MMI,MCE 和 MPE/ MWE 方 程 与 其 它 任 何 判 别 目 标 函 数 一 样, 都 可 以 映 射 为 式 (25) 的 有 理 函 数 形 式 此 外, 式 (54) 和 (55) 中 的 定 义 为 与 离 散 隐 马 尔 科 夫 模 型 例 子 中 式 (41) 相 同, 对 于 MMI,MCE 和 MPE/MWE, 唯 一 的 区 别 就 是, 而 这 将 在 附 件 和 文 献 [24] 中 做 进 一 步 说 明 B. CDHMM 中 常 量 D i 的 设 置 根 据 Jensen 不 等 式, 设 定 一 个 适 合 的 常 量 来 确 保 式 (54) 和 (55) 为 增 长 转 型 的 理 论 基 础 是 式 (32) 指 出 的 要 求, 即 式 (58) 中 的 需 要 足 够 大 以 确 保 对 于 任 何 字 串 和 任 何 观 测 序 列, 满 足 其 中 在 式 (33) 中 定 义 但 是,CDHMM 中 的 是 狄 拉 克 (Dirac) 三 角 函 数, 它 的 分 布 满 足 中 心 点 时 具 有 密 度 函 数 的 极 大 值, 也 就 是 说, 当 时 所 以, 对 于 字 串, 使 在 这 种 条 件 下, 要 找 到 一 个 边 界 来 满 足 是 不 可 能 的, 所 以 不 能 采 用 Jensen 不 等 式 请 注 意, 这 个 问 题 不 会 出 现 在 离 散 隐 马 尔 科 夫 模 型 中, 因 为 那 时 是 Kronecker 函 数, 只 能 取 有 限 值 0 或 1 如 果 能 证 明 出 存 在 足 够 大 且 有 界 的 常 量 D 使 式 (48) 中 的 可 能 由 式 (51) 定 义 为 积 分 形 式, 那 就 仍 是 有 效 得 辅 助 函 数 ; 也 就 是 说 值 的 增 加 能 够 保 证 值 的 增 加, 那 么 上 面 提 到 的 CDHMMs 难 题 就 可 以 克 服, 且 可 以 继 续 采 用 同 样 的 推 导 方 式 关 于 CDHMMs 中 基 于 GT 的 MMI 训 练 近 年 来 由 文 献 [2] 发 展 和 研 究, 它 同 时 也 支 持 本 文 的 广 义 有 理 函 数 判 别 训 练 准 则 因 此 有 界 的 边 界 是 存 在 的 ( 技 术 细 节 见 文 献 [24]) 尽 管 一 个 足 够 大 的 值 能 确 保 GT 迭 代 估 计 公 式 的 单 调 收 敛 性, 也 就 是 说, 对 于 离 散 HMM 采 用 式 (42) 和 (45), 对 于 CDHMM 采 用 式 (54) 和 (55), 通 过 单 调 收 敛 性 证 明 得 到 的 值 是 一 个 宽 松 的 不 确 定 上 限, 对 合 理 收 敛 速 度 而 言 它 可 能 过 大 事 实 上, 我 们 通 常 经 验 地 设 置 值 从 而 得 到 折 衷 的 训 练 性 能 更 多 探 讨 和 对 比 详 见 文 献 [23][41][42][45][46][47][54][59][60][61] [66] VII. 相 关 工 作 和 讨 论 A. 与 其 它 方 法 的 关 系 在 最 近 的 文 献 [35] 和 [54] 中 提 出 一 种 能 够 统 一 多 种 判 别 学 习 的 方 法, 包 括 MMI,MCE 和 MPE/MWE,( 早 些 的 文 章 [54] 中 未 包 括 MPE/MWE) 文 献 [35],[54] 探 讨 了 MMI,MCE 和 MPE/MWE 准 则 中 目 标 函 数 的 异 同 点 本 文 提 出 的 框 架 需 要 一 个 额 外 步 骤 来 统 一 这 些 准 则 为 正 则 有 理 函 数 形 式 (25), 基 于 GT 的 判 别 学 习 应 用 于 该 有 理 函 数 中, 包 括 作 为 特 例 的 MMI,MCE 和 MPE/MWE 标 准 这 从 两 个 方 面 来 看 都 是 重 要 的 : 首 先, 在 基 于 统 一 有 理 函 数 形 式 (25) 的 目 标 函 数 中, 提 供 了 对 MMI,MCE 和 MPE/MWE 准 则 之 间 本 质 关 系 的 更 准 确 和 更 直 接 的 见 解 其 次, 使 一 个 统 一 的 基 于 GT 的 参 数 优 化 框 架 能 应 用 于 MMI,MCE 和 MPE/MWE 和 其 他 判 别 标 准 中 去 在 文 献 [35] 中 提 到 的 框 架 是 基 于 下 面 的 目 标 函 数 形 式 ( 用 本 文 中 的 数 学 符 号 重 写 了 上 述 公 式, 以 利 于 比 较 ): 其 中 (56) 与 表 1 取 值 相 同 式 (56) 中 平 滑 函 数 f(z), 竞 争 词 序 列 和 的 权 值 的 选 择 是 由 表 2 提 供, 专 为 不 同 类 型 DT 准 则 而 建 立 在 表 2 中 q 是 平 滑 函 数 的 斜 率 方 程 (56) 表 明 不 同 的 判 别 准 则 具 有 一 个 相 似 的 核 函 数 形 式, 且 因 依 赖 准 则 且 能 调 整 核 的 平 滑 函 数 f(z) 而 所 有 不 同, 其 中 目 标 函 数 是 平 滑 函 数 的 和 方 程 (56) 是 对 MMI,MCE,MPE/MWE 目 标 函 数 的 一 般 性 描 述 然 而 由 于 非 线 性 函 数 f(z) 的 存 在, 它 并 不 是 有 理 函 IEEE 信 号 处 理 杂 志 [49]

52 数 ( 定 义 为 两 个 多 项 式 函 数 的 比 ) 的 一 般 形 式 对 于 这 些 准 则 间 求 和 与 乘 积 之 间 最 大 的 区 别 没 有 明 确 提 出 在 本 文 提 出 的 方 法 中, 我 们 直 接 提 出 了 该 问 题, 并 揭 示 了 MMI,MCE 和 MPE/MWE 准 则 的 目 标 函 数 具 有 一 个 确 定 的 有 理 函 数 形 式 (25), 且 对 于 每 个 判 别 标 准, 目 标 函 数 只 会 因 独 立 于 模 型 的 量 值 而 出 现 不 同 表 二 CHOICES OF THE SMOOTHING FUNCTION f(z), ALTER- NATIVE WORD SEQUENCES M r, AND EXPONENT WEIGHT h IN (56) FOR VARIOUS TYPES OF DT CRITERIA. THIS IS MODI- FIED FROM THE ORIGINAL TABLE IN [54]. 准 则 光 滑 函 数 f(z) 词 序 选 择 M R η MCE (N-BEST) $1 MCE (ONE-BEST) N/A MPE/MWE ALL POSSIBLE LABEL 1 SEQUENCE MMI ALL POSSIBLE LABEL SEQUENCE 1 如 表 2 所 示, 由 于 f(z) 对 MPE/MWE 和 MCE 准 则 而 言 是 一 个 非 线 性 函 数, 原 始 GT 的 解 [18] 是 并 不 能 直 接 应 用 于 MPE/MWE 和 MCE 准 则 的 目 标 函 数 的 ( 因 为 当 f(z) 为 非 线 性 时 试 (56) 不 满 足 GT 的 要 求 ) 为 了 避 开 该 难 题, 文 献 [30] 进 行 了 研 究 在 [30] 中, 原 始 目 标 函 数 是 逼 近 一 个 泰 勒 级 数 的 展 开 式 然 后 通 过 和 文 献 [18] 中 相 似 的 方 法, 基 于 GT 的 参 数 优 化 可 以 被 用 于 泰 勒 级 数 展 开 的 部 分 和, 它 是 一 个 有 限 级 数 的 多 项 式 这 形 成 了 早 期 的 基 于 GT 的 MCE 和 MPE/MWE 理 论 基 础 [35][54] 然 而, 部 分 和 的 正 值 增 长 是 依 赖 于 部 分 和 级 数 的 ( 在 文 献 [18] 中 可 见 关 于 这 点 更 多 讨 论 ), 而 且 当 等 级 接 近 无 限 大 时 它 将 消 失 它 甚 至 消 失 的 比 泰 勒 级 数 逼 近 的 误 差 还 快 因 此 它 并 没 有 明 确 表 明 重 估 公 式 能 确 保 目 标 函 数 值 以 迭 代 方 式 增 长 相 反 地, 本 文 中 描 述 的 统 一 有 理 函 数 方 法 与 文 献 [35] 和 [54] 所 做 的 工 作 不 一 样 它 不 依 赖 于 泰 勒 级 数 逼 近, 且 表 明 了 MMI,MCE 和 MPE/MWE 准 则 的 目 标 函 数 具 有 一 个 明 确 的 广 义 有 理 函 数 形 式 (25) 因 此 基 于 GT 的 参 数 优 化 框 架 能 以 一 种 建 设 性 的 方 法 直 接 应 用 于 式 (25) 在 本 文 中 采 取 的 方 法 是 在 文 献 [2] 和 [20] 工 作 基 础 上 所 做, 比 文 献 [3] 和 [18] 的 工 作 更 前 进 一 步 此 外, 本 文 提 出 的 统 一 的 判 别 目 标 函 数 为 将 基 于 有 理 函 数 的 优 化 方 法 ( 比 如, 基 于 反 向 Jensen 不 等 式 的 方 法 [26]) 应 用 于 MMI,MCE 和 MPE/MWE 分 类 器 设 计 中 开 辟 了 一 条 新 路 通 过 采 用 有 理 函 数 的 结 构, 我 们 期 望 在 本 文 中 出 现 的 参 数 优 化 步 骤 里 期 望 的 算 法 性 能 都 能 够 被 确 定 和 证 明 B. 与 梯 度 优 化 的 关 系 GT/EBW 方 法 和 基 于 梯 度 优 化 的 方 法 之 间 的 关 系 在 一 些 文 献 ( 如 [2],[53],[54]) 中 已 经 有 所 研 究 除 了 收 敛 性 方 面 的 主 要 区 别, 基 于 GT/EBW 的 更 新 公 式 (54) 的 学 习 速 度 和 二 次 牛 顿 修 正 有 一 定 可 比 性 ; 也 就 是 说, 它 可 以 用 步 长 的 梯 度 上 升 来 表 示, 逼 近 反 向 Hessian 算 子 H 的 目 标 函 数 在 CDHMM 情 况 下, 对 于 目 标 函 数 的 式 (25) 形 式, 我 们 以 平 均 向 量 的 估 算 作 为 例 子 的 梯 度 能 表 达 如 下 : (57) 另 一 方 面, 我 们 可 以 将 GT 公 式 (54) 重 写 成 以 下 等 式 形 式 : (58) 考 虑 到 二 次 牛 顿 修 正, 在 降 低 和 的 相 关 性 后, 对 于,Hessian 算 子 可 由 以 下 方 程 近 似 : 因 此, 式 (54) 中 GT 的 更 新 公 式 可 以 进 一 步 写 成 (59) [50] IEEE 信 号 处 理 杂 志

53 它 逼 近 二 次 牛 顿 修 正, 通 常 比 基 于 梯 度 的 简 单 搜 索 学 习 速 度 快 其 它 的 普 遍 且 有 效 的 基 于 梯 度 的 优 化 判 别 训 练 准 则 的 方 法 可 参 见 文 献 [15][21][31][37][38][42][51][52][54] 参 数 估 计 的 算 法 收 敛 性 对 于 利 用 判 别 训 练 准 则 设 计 的 分 类 器 而 言 是 个 重 要 问 题 寻 找 分 类 器 设 计 中 更 好 的 判 别 标 准 和 优 化 方 法 仍 然 是 一 片 非 常 活 跃 且 具 有 生 命 力 的 研 究 领 域 我 们 希 望 在 本 文 中 基 于 有 理 函 数 表 示 的 目 标 函 数 综 述 能 够 提 供 其 它 的 构 造 公 式, 并 能 够 调 动 研 究 新 学 习 算 法 发 展 的 积 极 性, 从 而 提 高 序 列 模 式 分 类 器 和 识 别 器 的 判 别 能 力 VIII. 总 结 在 这 篇 文 章 中, 我 们 研 究 了 序 列 模 式 识 别 中 关 于 MMI,MCE,MPE/MWE 目 标 函 数 的 判 别 学 习 方 法 我 们 提 出 了 一 种 能 将 MMI,MCE 和 MPE/MWE 目 标 函 数 统 一 为 普 通 有 理 函 数 形 式 (25) 的 方 法 对 现 有 每 种 判 别 准 则 构 造 的 有 理 函 数 结 构 分 别 进 行 了 推 导 和 研 究 过 去 就 已 经 知 道 MMI 的 有 理 函 数 形 式, 因 此 本 文 着 重 为 MCE 和 MPE/MWE 目 标 函 数 存 在 类 似 的 有 理 函 数 形 式 提 供 了 理 论 依 据 另 外, 我 们 给 出 了 MMI,MCE 和 MPE/MWE 目 标 函 数 的 有 理 函 数 形 式 由 于 常 量 权 值 因 子 而 不 同, 且 这 些 权 值 因 子 只 与 标 记 序 列 有 关, 与 被 优 化 的 参 数 集 合 不 相 关 为 MMI,MCE 和 MPE/MWE 推 导 出 的 有 理 函 数 形 式 允 许 基 于 GT/EBW 的 参 数 优 化 框 架 直 接 应 用 于 判 别 学 习 中 在 过 去, 缺 乏 合 适 的 有 理 函 数 形 式 对 于 MCE 和 MPE/MWE 是 一 个 难 题, 因 为 如 果 没 有 这 个 形 式, 基 于 GT/EBW 的 参 数 优 化 框 架 就 不 能 直 接 被 应 用 在 指 导 性 风 格 中, 我 们 为 判 别 学 习 中 使 用 MMI,MCE 和 MPE/MWE 准 则 而 对 离 散 HMMs 和 CDHMMs 分 别 推 导 出 基 于 GT/EBW 的 参 数 优 化 公 式 本 文 的 整 体 性 综 述 有 大 量 被 引 用 和 研 讨 的 早 期 文 献 贯 穿 全 文 这 里 我 们 提 供 一 个 关 于 背 景 工 作 的 简 要 总 结 GT 技 术 最 早 出 现 在 文 献 [3] 和 [4] 中, 用 于 离 散 HMMs 的 ML 估 计, 在 文 献 [18] 中 得 到 扩 展 以 用 来 解 决 HMMs 的 MMI 估 计 问 题 论 文 [41] 将 文 献 [18] 中 的 研 究 工 作 从 离 散 HMMS 扩 展 到 在 小 规 模 语 音 识 别 任 务 中 的 连 续 高 斯 分 布 CDHMMs 在 文 献 [59] 和 [60] 中 扩 展 到 大 规 模 语 音 识 别 任 务 的 实 现 论 文 [47] 进 一 步 将 MMI 准 则 提 高 至 MPE/MWE 准 则 同 时, 文 献 [20] 中 的 研 究 工 作 为 论 文 [41] 的 实 现 提 供 了 一 个 可 选 方 案, 尝 试 提 供 更 严 格 的 MMI 目 标 函 数 正 增 长 的 CDHMM 模 型 重 估 公 式 此 尝 试 的 一 个 关 键 错 误 被 文 献 [2] 纠 正, 因 而 得 以 建 立 该 正 增 长 存 在 的 依 据 在 判 别 学 习 发 展 的 另 一 条 道 路 上,MCE 的 最 初 形 式 出 现 在 文 献 [1] 中, 而 在 文 献 [28] 和 [29] 中 得 到 充 分 发 展, 展 示 了 它 如 何 被 应 用 于 语 音 识 别 文 献 [22] 和 [23] 中 的 工 作 进 一 步 表 明, 将 使 用 文 献 [20] 中 的 公 式 取 代 文 献 [41] 中 的 公 式, 那 么 GT 也 能 够 应 用 于 MCE 最 近, 文 献 [37] 和 [38] 中 的 研 究 工 作 证 明 了 MCE 能 应 用 于 大 规 模 语 音 识 别 再 近 些, 文 献 [52] 验 证 了 非 序 列 的 梯 度 方 法 也 能 被 成 功 地 应 用 于 CDHMMs 中 的 MCE 学 习 上 再 近 一 些, 文 献 [35],[53] 和 [54] 中 的 研 究 工 作 表 明 MPE,MCE 和 MMI 是 因 目 标 函 数 的 普 遍 非 有 理 函 数 描 述 而 关 联 最 后, 在 本 文 中, 我 们 阐 述 了 所 有 MMI,MCE 和 MPE/MWE 都 能 严 格 地 化 为 一 个 满 足 严 格 GT 类 优 化 的 有 理 函 数 公 式 这 篇 文 章 是 由 近 来 语 音 识 别 领 域 基 于 MMI,MCE 和 MPE/MWE 判 别 准 则 的 斐 然 成 绩 所 感 而 发 在 过 去, 尽 管 MMI( 诞 生 于 1983 年, 见 文 献 [39]),MCE ( 诞 生 于 1967 年, 见 文 献 [1]),MPE/MWE ( 诞 生 于 2002 年, 见 文 献 [45]) 具 有 相 对 较 长 的 发 展 史, 但 缺 乏 对 这 些 技 术 间 相 互 关 系 的 共 同 理 解 由 于 这 些 技 术 的 复 杂 性 和 共 同 的 根 本 的 理 论 主 题 和 结 构 的 缺 失, 各 种 判 别 学 习 发 展 各 不 相 同, 且 参 数 优 化 也 变 成 一 个 重 要 课 题 这 篇 文 章 的 主 要 目 标 是 在 目 标 函 数 级 别 上 为 MMI,MCE 和 MPE/MWE 提 供 根 本 基 础 支 撑, 使 新 的 参 数 优 化 技 术 得 以 发 展, 引 入 其 它 的 模 式 识 别 概 念, 比 如 判 别 边 界 [66] 的 概 念, 到 当 前 的 判 别 学 习 范 例 中 IEEE 信 号 处 理 杂 志 [51]

54 附 录 : 计 算 GT 公 式 中 的 在 (41) 中, 直 接 计 算 非 常 复 杂, 需 要 进 一 步 简 化 以 下, 我 们 设 定, 及. 于 是, 由 (41), 可 得 : B. 对 求 和 形 式 的 C(s) (MCE 和 MPE/MWE) 对 MCE 和 MPE/MWE,, 或 者 于 是 (62) (60) 对 MCE, 上 述 公 试 可 简 化 为 : 下 面 针 对 MMI 和 MCE/MPE/MWE 讲 述 具 体 方 法 A. 对 乘 积 形 式 的 C(s) ( 如 MMI) 对 MMI, 为 乘 积 形 式, 于 是 (63) 类 似 的, 当 用 识 别 字 网 格 (lattice) 时, 图 二 演 示 了 一 个 高 效 的 算 法 具 体 方 法 见 文 献 [24] (61) 当 用 识 别 字 网 格 (lattice) 时, 图 一 演 示 了 一 个 高 效 的 算 法 具 体 方 法 见 文 献 [24] {p : p precedes q} {v : v succeeds q} q p(x r (q) q,λ ) P(v q,λ ) P(q p,λ ) p(x r (v) v,λ ) (p) (q), (q) (v) X (q) r b q 1 b q X r (q) e q e q +1 X r (q) T (p) (p) p X r (q) {p : p precedes q} (q) P(q p,λ ) C(q) q p(x r (q) q,λ ) b q X r (q) e q X r (q)t [FIG2] Illustrations of the sub-lattice containing arc q and of the recursive (q) computation based on the sub-lattice. Each solid line represents an arc in the sub-lattice, and each dashed line represents the transition between two arcs. The dotted line encircles all partial paths that pass p and end with q. [FIG1] Illustrations of the sub-lattice that contains arc q and of the computation of the forward and backward (q) and (q) based on the sub-lattice. Each solid line represents an arc in the lattice, and each dashed line represents the direct connection between two arcs (i.e., b q 1 5 e p ). [52] IEEE 信 号 处 理 杂 志

55 Can new telemedicine standards keep us healthier longer? Find the latest research in IEEE Xplore Wherever you fi nd people developing the most advanced technology, chances are you ll fi nd them using the IEEE Xplore digital library. That s because IEEE Xplore is fi lled with the latest research on everything from wireless technology and solid-state circuits to telemedicine standards that can help us get more out of life. When it comes to technology, the research that matters is in IEEE Xplore. See for yourself. Read Evaluation of Security and Privacy Issues in Integrated Mobile Telemedical System, only in IEEE Xplore. Try IEEE Xplore free visit IEEE Xplore Digital Library Information driving innovation 09-CRS-0283a-Standards-7x10-Final-2010.indd 1 11/23/09 2:55:28 PM

56 MATLAB 标 的 数 器, MATLAB 的 备 MATLAB 的 数, 整 分 析 化 的 所 持 的, : The MathWorks, Inc. MATLAB The MathWorks 的 商 标 其 或 者 商 标 其 各 所 有 者 的 商 标 或 者 商 标