数 据 采 集 与 处 理 第 卷 些 方 法 依 赖 于 某 一 特 殊 的 模 型 其 训 练 出 的 信 息 很 难 适 用 于 其 他 的 有 监 督 任 务 为 了 解 决 这 一 问 题 越 来 越 多 文 本 处 理 领 域 的 研 究 人 员 开 始 专 注 于 单 词 嵌 入 的

第 卷 第 期 年 月 数 据 采 集 与 处 理!"!!#$%""!& 文 章 编 号 单 词 嵌 入 自 然 语 言 的 连 续 空 间 表 示 陈 恩 红 邱 思 语 许 畅 田 飞 刘 铁 岩 中 国 科 学 技 术 大 学 计 算 机 科 学 与 技 术 系 合 肥 南 开 大 学 计 算 机 科 学 与 信 息 安 全 系 天 津 微 软 亚 洲 研 究 院 北 京 摘 要 单 词 嵌 入 是 指 运 用 机 器 学 习 的 方 法 将 位 于 高 维 离 散 空 间 维 数 为 词 典 单 词 数 目 中 的 每 个 单 词 映 射 到 低 维 连 续 空 间 的 实 数 向 量 的 技 术 在 很 多 文 本 处 理 的 任 务 中 单 词 嵌 入 提 供 了 更 好 的 语 义 级 别 的 单 词 特 征 表 示 从 而 为 文 本 处 理 任 务 带 来 了 诸 多 便 利 同 时 大 数 据 时 代 海 量 的 未 标 注 文 本 数 据 以 及 以 深 度 学 习 为 代 表 的 机 器 学 习 技 术 的 发 展 使 高 效 的 单 词 嵌 入 技 术 成 为 可 能 本 文 将 给 出 单 词 嵌 入 的 定 义 以 及 实 际 意 义 同 时 将 综 述 目 前 单 词 嵌 入 技 术 的 几 种 典 型 方 法 包 括 基 于 神 经 网 络 的 方 法 基 于 受 限 玻 尔 兹 曼 机 的 方 法 以 及 基 于 单 词 与 上 下 文 共 生 矩 阵 分 解 的 方 法 本 文 将 详 细 介 绍 不 同 模 型 的 数 学 定 义 物 理 意 义 以 及 训 练 方 法 并 给 出 他 们 之 间 的 比 较 关 键 词 机 器 学 习 自 然 语 言 单 词 嵌 入 文 本 处 理 中 图 分 类 号 ($ 文 献 标 志 码!"#$%& %)*%+*)%,!%%-!.%"!/,!%%#(%0&/+0!1%%!+0! +%&%+*)%#+&!%%!&!-!.%"!/(!!+0!!"%"%0"!%!!&+0!!2#%*3%##!&%%"*0!%%!&%0&/40!0 *)""%04# /!&!0!&0#!*%"!#!"%%")% 4!0#!*%"!3%0%*3%4#" %*3%.%!4#!*%"!!"")%2#%*3%##!&).!#%"3%%"% *!4#%)%"%!"#0"&%/3%%!"%5)%""!&""%40!%0&% *3%%#%5#&%0%4!00%#%.%)*%#.%# *0!%%!& %0!%""0"#%%)%!&*%!)""!3%%%!.%/3!0!&0!/4#%* 3%##!&"%"!#%"0%#%!!!#)!.%4#%*3%##!&%&!.%#"*% ""!*%0#"%"%.!%4%#3!4#%*3%##!&!#!&%%43"%# *%0#"%"!%#6**0!%3"%#*%0#"#*%0#"3"%#!6! %5%%*!57%0 *#%!"*0%*!#%!!!)0/"!*%!& %!#%#!#%!"4%"!!&)%#%8##!!0%"%*%0#"%* )%#!0%%*%!%#0%%")%" *0!%%!&&&%4#%*3%##!&%5)%""!& 引 言 随 着 大 数 据 时 代 的 到 来 海 量 的 未 标 注 的 语 料 数 据 为 文 本 处 理 的 相 关 研 究 诸 如 自 然 语 言 处 理 信 息 检 索 文 档 建 模 等 带 来 了 新 的 机 遇 与 挑 战 一 方 面 大 量 的 未 标 注 文 本 中 将 为 文 本 处 理 任 务 提 供 非 常 多 的 有 用 信 息 另 一 方 面 如 何 充 分 挖 掘 这 些 潜 藏 的 有 用 信 息 并 将 其 应 用 于 不 同 的 文 本 处 理 任 务 等 问 题 也 随 之 而 来 基 于 半 监 督 学 习 的 方 法 可 以 部 分 利 用 这 些 无 标 记 文 本 并 在 特 定 的 自 然 语 言 处 理 任 务 上 有 着 良 好 的 表 现 但 这 收 稿 日 期 修 订 日 期

数 据 采 集 与 处 理 第 卷 些 方 法 依 赖 于 某 一 特 殊 的 模 型 其 训 练 出 的 信 息 很 难 适 用 于 其 他 的 有 监 督 任 务 为 了 解 决 这 一 问 题 越 来 越 多 文 本 处 理 领 域 的 研 究 人 员 开 始 专 注 于 单 词 嵌 入 的 方 法 具 体 来 说 单 词 的 嵌 入 表 示 定 义 为 每 个 单 词 关 联 的 某 种 数 学 对 象 通 常 来 讲 该 数 学 对 象 是 一 个 实 数 值 向 量 单 词 嵌 入 表 示 的 目 标 在 于 学 习 到 每 个 单 词 的 向 量 表 示 并 将 这 种 向 量 表 示 用 于 不 同 的 文 本 处 理 任 务 学 习 到 的 单 词 向 量 既 可 以 作 为 完 全 的 单 词 特 征 输 入 到 某 些 特 定 任 务 的 有 监 督 学 习 算 法 中 也 可 以 作 为 依 赖 于 不 同 任 务 所 特 定 提 取 特 征 的 有 益 扩 充 为 了 将 单 词 与 实 数 向 量 关 联 起 来 一 个 最 简 单 的 方 法 在 于 使 用 只 有 一 位 为 其 他 位 全 为 的 向 量 9%0%)%"%! 具 体 来 说 假 设 词 典 为 对 于 中 的 第 个 单 词 其 关 联 的 向 量 为 : 的 第 位 为 其 他 位 都 为 这 种 方 法 非 常 简 单 但 却 有 两 个 主 要 的 缺 点 单 词 向 量 维 度 是 词 典 大 小 而 词 典 中 的 单 词 数 目 往 往 很 大 从 而 导 致 向 量 维 度 太 大 引 起 计 算 上 的 不 便 该 种 表 示 唯 一 记 录 的 是 单 词 在 词 典 中 的 索 引 并 没 有 刻 画 单 词 之 间 的 相 似 度 从 而 没 有 为 后 续 的 文 本 处 理 任 务 带 来 更 多 的 有 用 信 息 为 了 解 决 上 述 9%0 表 示 方 法 的 缺 点 研 究 人 员 开 始 将 注 意 力 转 到 从 大 量 的 无 标 记 文 本 语 料 中 学 习 到 更 有 效 的 单 词 嵌 入 表 示 这 里 有 效 有 两 层 含 义 一 是 相 对 于 词 典 大 小 单 词 嵌 入 向 量 的 维 度 非 常 低 可 以 认 为 每 一 维 均 对 应 某 种 语 义 的 表 示 而 没 有 冗 余 信 息 二 是 对 于 类 似 的 单 词 比 如 ;; 和 ;#&; 它 们 的 向 量 表 示 也 相 近 海 量 的 文 本 语 料 无 疑 为 实 现 这 种 有 效 性 提 供 了 很 大 的 帮 助 文 本 预 料 中 包 含 的 单 词 共 现 以 及 单 词 先 后 顺 序 等 机 构 化 信 息 提 供 了 刻 画 单 词 相 似 度 的 来 源 从 而 为 学 习 到 语 义 层 面 有 效 的 单 词 嵌 入 表 示 带 来 了 极 大 的 方 便 主 要 方 法 简 述 为 了 充 分 挖 掘 无 标 记 语 料 中 的 信 息 以 获 取 有 效 的 单 词 嵌 入 表 示 研 究 人 员 开 发 了 多 种 新 的 机 器 学 习 方 法 其 中 主 要 包 括 基 于 神 经 网 络 的 方 法 基 于 受 限 玻 尔 兹 曼 机 的 方 法 以 及 基 于 单 词 与 上 下 文 相 关 性 的 方 法 在 基 于 神 经 网 络 的 方 法 中 单 词 的 嵌 入 表 示 常 常 作 为 神 经 网 络 的 权 重 矩 阵 神 经 网 络 通 过 优 化 某 个 目 标 函 数 更 新 其 权 重 矩 阵 从 而 学 习 到 较 优 的 单 词 嵌 入 表 示 通 常 来 讲 神 经 网 络 优 化 的 目 标 函 数 是 极 大 化 文 本 语 料 的 生 成 概 率 或 者 是 尽 可 能 符 合 某 种 具 体 任 务 的 标 记 信 息 例 如 词 性 标 注 $"&&!& 任 务 中 的 标 注 信 息 与 基 于 神 经 网 络 的 方 法 类 似 基 于 受 限 玻 尔 兹 曼 机 的 方 法 的 目 标 同 样 是 极 大 化 文 本 语 料 的 生 成 概 率 二 者 区 别 在 于 具 体 模 型 的 构 建 在 该 方 法 中 受 限 玻 尔 兹 曼 机 被 用 来 建 模 文 档 的 概 率 单 词 嵌 入 向 量 作 为 受 限 玻 尔 兹 曼 机 的 参 数 因 为 受 限 玻 尔 兹 曼 机 的 目 标 函 数 的 梯 度 无 法 精 确 求 得 其 训 练 过 程 是 近 似 的 梯 度 下 降 这 也 与 训 练 传 统 的 反 向 传 播 神 经 网 络 有 很 大 的 不 同 基 于 单 词 与 上 下 文 相 关 性 的 方 法 首 先 构 建 单 词 与 上 下 文 的 共 生 矩 阵 这 里 上 下 文 可 以 是 所 有 文 档 每 个 单 词 的 左 窗 口 右 窗 口 等 然 后 对 共 生 矩 阵 做 矩 阵 分 解 从 而 得 到 每 个 单 词 的 低 维 表 示 与 以 上 两 种 方 法 不 同 基 于 单 词 与 上 下 文 相 关 性 的 方 法 一 般 不 是 概 率 模 型 其 训 练 方 法 一 般 是 矩 阵 分 解 基 于 神 经 网 络 的 方 法 神 经 网 络 概 率 语 言 模 型 使 用 神 经 网 络 以 及 单 词 嵌 入 技 术 构 建 语 言 模 型 的 思 想 首 先 由 "0%&! 等 人 在 文 献 中 提 出 为 了 叙 述 方 便 用 缩 写 神 经 网 络 概 率 语 言 模 型 %%4)33!!"!&&%*# % 来 代 表 该 模 型 同 时 引 入 一 些 记 号 以 来 代 表 词 典 中 的 所 有 单 词 的 集 合 即 词 典 训 练 样 本 是 一 串 单 词 序 列!!! 对 于 任 意 " 均 有! " 每 个 单 词 嵌 入 向 量 的 维 度 为 # 将 所 有 单 词 嵌 入 向 量 的 矩 阵 记 为 " # 即 中 的 第 个 单 词 被 映 射 成 的 第 行 " # 有 了 上 述 记 号 给 出 神 经 网 络 模 型 的 训 练 目 标 学 习 到 给 定 前 个 单 词 的 条 件 下 出 现 当 前 单 词 的 概 率 即 $! "! "! " 记 %! "! "! " :$! "! "! " 显 然 为 了 满 足 概 率 性 质 需 要 函 数 % 满 足 & & %! "! " : 同 时 为 了 将 单 词 嵌 入 向 量 加 入 到 目 标 函 数 中 通 常 采 取 两 层 映 射 的 形 式 即 %! "! "!"!" 式 中 第 一 层 映 射 为 矩 阵 将 离 散 的 单 词 映 射 成 了 连 续 的 向 量 第 二 层 映 射 为 函 数 使 用 多 层 神 经 网 络 来 建 模 具 体 来 说 有

第 期 陈 恩 红 等 单 词 嵌 入 自 然 语 言 的 连 续 空 间 表 示 $! "&! "! " %! "! "! " %! " % 其 中 是 未 经 正 则 化 的 第 个 单 词 概 率 的 对 数 按 照 式 计 算 0!"!" 需 要 学 习 的 参 数 是 : " " " ( " # " # ) # 为 隐 层 节 点 个 数 该 式 对 应 下 述 的 层 神 经 网 络 输 入 层 通 过 查 找 表 将! "! " 映 射 到 向 量 将 词 典 中 的 第 个 单 词 映 射 成 向 量 隐 层 通 过 0 函 数 将 向 量 映 射 到 隐 层 维 向 量 输 出 层 将 隐 层 向 量 通 过 线 性 变 换 输 出 到 最 后 一 层 并 使 用 "*5 函 数 将 其 转 化 成 概 率 形 式 训 练 神 经 网 络 使 用 随 机 梯 度 下 降 法 处 理 第 " 个 单 词 时 的 参 数 更 新 为 &$! "! "! " 其 中 是 学 习 率 树 状 加 速 方 法 上 述 神 经 网 络 概 率 语 言 模 型 提 供 了 一 种 学 习 单 词 嵌 入 的 方 法 同 时 利 用 学 到 的 单 词 嵌 入 矩 阵 该 模 型 可 以 建 立 更 好 的 语 言 模 型 但 是 该 方 法 存 在 计 算 复 杂 度 过 高 的 问 题 注 意 到 在 式 和 中 在 计 算 给 定 前 个 单 词! "! " 单 词! " 的 条 件 概 率 时 每 个 词 典 中 的 单 词 对 应 的 值 均 需 要 计 算 即 在 计 算 隐 层 变 量 0 时 共 需 要 # # 次 操 作 对 于 词 典 非 常 大 的 情 况 例 如 计 算 该 条 件 概 率 无 疑 非 常 耗 时 为 了 克 服 这 一 问 题 %&! 等 人 在 文 献 < 中 提 出 了 一 种 利 用 树 状 层 次 结 构 加 速 这 一 计 算 的 技 术 这 一 技 术 现 在 已 经 被 广 泛 应 用 在 了 各 种 神 经 网 络 概 率 语 言 模 型 * 的 工 作 中 该 技 术 的 基 本 思 想 很 直 观 注 意 到 在 上 一 小 节 陈 述 的 基 本 模 型 中 事 实 上 由 式 每 个 单 词 的 条 件 概 率 均 由 所 有 的 单 词 来 表 示 即 每 个 单 词 均 由 位 的 信 息 来 表 示 这 导 致 了 计 算 一 个 单 词 的 条 件 概 率 的 复 杂 度 是 阶 的 考 虑 将 表 示 一 个 单 词 的 位 数 降 低 可 以 采 取 一 种 层 次 结 构 一 个 单 词 首 先 属 于 某 个 大 类 自 顶 向 下 分 别 再 属 于 某 些 子 类 直 至 到 达 这 个 单 词 以 单 词!&% 为 例 它 的 层 次 类 别 可 以 如 下 所 有 单 词 名 词!.!&0!&" 生 物!* 动 物 ***" 哺 乳 动 物 " 猫 科 动 物! &% 老 虎 可 见 通 过 个 节 点 即 可 以 表 示 单 词!&% 远 远 低 于 词 典 的 大 小 具 体 来 讲 词 典 中 的 每 个 单 词 + 均 关 联 一 个 二 值 的 向 量 +,+ +, + 是 + 关 联 的 向 量 的 长 度 该 向 量 可 以 解 释 为, + 个 二 值 的 决 策 例 如 +: 代 表 单 词 + 属 于 最 顶 层 的 类 +: 代 表 单 词 + 属 于 顶 层 的 类 为 了 得 到 每 个 单 词 的 该 二 值 向 量 表 示 可 以 构 建 一 棵 叶 子 节 点 为 所 有 单 词 的 二 叉 树 对 于 每 个 单 词 从 二 叉 树 的 根 节 点 到 该 单 词 对 应 的 叶 子 节 点 的 路 径 即 是 该 单 词 对 应 的 二 值 向 量 表 示 例 如 取 转 向 左 儿 子 为 转 向 右 儿 子 为 构 建 二 叉 树 的 方 式 可 以 采 用 从 知 识 库 例 如 2#% 中 学 习 到 单 词 分 类 的 方 < 式 也 可 以 采 用 按 照 语 料 中 的 单 词 分 布 构 建 的 方 式 以 加 快 运 算 速 度!0 和 1! 在 文 献 中 对 各 种 不 同 方 式 构 建 的 二 叉 树 的 性 能 给 出 了 实 验 性 的 总 结 使 用 该 二 值 向 量 式 可 以 替 换 为, + $+! "! " : $ - +& + - - +! "! " 即 每 个 单 词 的 条 件 概 率 分 解 成 从 二 叉 树 根 节 点 到 该 单 词 对 应 的 叶 子 节 点 的, + 条 边 的 概 率 的 乘 积 不 失 一 般 性 考 虑 建 模 $#%! "! " 其 中 #% 代 表 当 前 考 虑 的 内 部 节 点 它 代 表 了 从 根 节 点 到 当 前 内 部 节 点 的 一 串 * 序 列 类 似 式 有 $&#%! "! " "!&*!# #% 0. #% 其 中 "!&*!#/: %5)/ #% 类 比 于 中 单 词 的 偏 置 项 类 比 于 式 中 的 与 中 对 应 的 符 号 含 义 相 同 类 似 矩 阵 代 表 所 有 单 词 的 嵌 入 向 量 矩 阵 给 出 了 所 有 二 叉 树 内 部 节 点 的 嵌 入 向 量 使 用 这 种 树 状 加 速 方 式 构 建 的 二 叉 树 很 容 易 做 到 最 长 路 径 长 度 是 0 阶 则 计 算 一 次 条 件 概 率 的 复 杂 度 由 0 降 低 到 了 0 极 大 提 升 了 运 算 效 率 ()! 嵌 入 模 型 在 年 和 年 (0*"!. 等 人

数 据 采 集 与 处 理 第 卷 在 =&%%"%0 的 工 作 单 词 向 量 表 示 2#.%2#% 引 起 了 学 术 界 和 工 业 界 的 广 泛 关 注 2#% 模 型 计 算 简 单 并 且 在 一 些 有 趣 的 任 务 上 取 得 了 很 好 的 效 果 比 如 寻 找 单 词 之 间 的 线 性 关 系 (/)7%:! 等 2#% 同 样 属 于 神 经 网 络 语 言 模 型 也 采 取 了 树 状 加 速 方 式 但 与 经 典 的 神 经 网 络 概 率 语 言 模 型 相 比 2#% 有 以 下 显 著 不 同 不 是 定 义 给 定 前 个 单 词 的 情 况 下 出 现 第 个 单 词 的 概 率 而 是 给 定 一 个 窗 口 大 小 比 如 计 算 给 定 该 窗 口 其 他 个 单 词 的 条 件 下 出 现 窗 口 中 心 的 单 词 的 概 率 即 此 时 考 虑 的 上 下 文 不 再 仅 仅 是 左 窗 口 上 文 而 是 包 括 左 窗 口 上 文 和 右 窗 口 下 文 关 于 上 下 文 向 量 的 构 建 在 %&! 等 人 可 以 生 成 一 份 通 用 的 单 词 嵌 入 向 量 来 完 成 自 然 语 言 处 理 里 面 的 各 种 任 务 比 如 词 性 标 注 命 名 实 体 识 别 语 句 切 分 语 义 角 色 标 注 等 上 述 深 层 神 经 网 络 模 型 从 逻 辑 上 可 以 分 为 个 部 分 单 词 嵌 入 层 查 找 表 特 征 提 取 层 和 传 统 神 经 网 络 分 类 层 图 列 出 了 这 种 网 络 结 构 任 务 和 任 务 共 享 同 一 个 单 词 嵌 入 向 量 和 卷 几 层 这 种 共 享 结 构 对 于 大 于 两 个 任 务 的 情 况 也 适 用 的 工 作 中 上 下 文 向 量 是 单 词! " 之 前 所 有 个 单 词 嵌 入 向 量 的 拼 接 从 而 有 /" # # 是 单 词 嵌 入 向 量 的 维 度 而 2#% 与 此 不 同 2#% 采 取 两 种 模 型 一 是 +4 模 型 在 该 模 型 下 / 是 窗 口 中 所 有 个 上 下 文 单 词 嵌 入 向 量 的 平 均 值 二 是,!)=* 模 型 在 该 模 型 下 / 是 每 个 上 下 文 单 词 的 嵌 入 向 量 对 于 每 个 预 测 的 窗 口 中 心 词 一 共 训 练 次 故 而 在 2#% 中 /" # 不 再 设 置 隐 层 而 是 直 接 将 输 入 的 单 词 嵌 入 向 量 与 内 部 节 点 嵌 入 向 量 作 用 输 出 条 件 概 率 在 构 建 二 叉 树 的 过 程 中 使 用 了 哈 夫 曼 编 码 而 不 是 类 比 之 前 工 作 中 使 用 2#% 构 建 这 样 做 的 好 处 是 使 得 运 算 速 度 更 快 这 是 因 为 哈 夫 曼 编 码 保 证 了 词 频 高 的 单 词 对 应 的 路 径 短, + 小 从 而 在 预 测 该 高 频 单 词 时 需 要 更 新 参 数 的 二 叉 树 内 部 节 点 个 数 少 综 上 所 述 在 2#% 模 型 中 类 比 于 式 的 条 件 概 率 为 $+&#%! 8 "!&*!#. #%/ 其 中! 8 是 上 下 文 单 词 是! 8 嵌 入 向 量 其 他 符 号 类 似 *+, 嵌 入 模 型 +3% 和 2%" 等 人 在 文 献 中 提 出 了 一 种 可 以 解 决 不 同 自 然 语 言 处 理 问 题 的 通 用 架 构 为 了 叙 述 方 便 将 这 个 架 构 简 写 为 +2 他 们 的 贡 献 不 在 于 解 决 了 某 个 单 一 的 自 然 语 言 处 理 问 题 而 是 提 出 了 一 个 对 于 多 种 自 然 语 言 处 理 问 题 通 用 的 深 层 神 经 网 络 模 型 结 构 使 用 这 种 网 络 结 构 图 一 个 多 任 务 学 习 深 层 神 经 网 络 的 例 子 7!&%5*)%*!"#%%)%%4 为 了 方 便 叙 述 此 处 再 次 引 入 一 些 符 号 层 前 向 传 导 神 经 网 络 记 作 % " 每 一 层 神 经 网 络 记 作 整 个 网 络 即 为 %"% % % " 对 于 一 个 矩 阵 用 1 - 来 表 示 其 第 行 - 列 的 元 素 用 - 来 代 表 1 的 第 - 列 用 #$ 4! 来 表 示 以 1 的 第 列 为 中 心 的 4! 列 所 拼 成 的 列 向 量 即 #$ 4! 1 4! 1 4! 1 4! 1 4! < 这 层 的 结 构 和 作 用 如 下 单 词 嵌 入 层 查 找 表 给 定 一 个 单 词 序 列!! 单 词 嵌 入 层 的 输 出 可 以 表 示 为 %! (!! 此 处 的 参 数 即 是 需 要 学 习 的 单 词 嵌 入 矩 阵 的 第 行 代 表 词 典 中 第 个 单 词 的 嵌 入 向 量 特 征 提 取 层 这 里 跟 卷 积 神 经 网 络 非 常 类 似 输 入 是 由 个 连 续 单 词 嵌 入 向 量 构 成 的 矩 阵 上 一 层 的 输 出 对 每 个 宽 度 为 4! 的 连 续 单 词 窗 口 的 嵌 入 向 量 表 示 均 使 用 同 一 个 线 性 变 换 将 其 映 射 到 新 的 空 间 此 时 该 层 输 出 的 第 个 列 向 量 对 应 第 " 个 单 词 窗 口 可 以 表 示 为 % " "#% $ 4! " 这 里 权 重 矩 阵 和 偏 置 是 要 训 练 的 参 数 对 于 所 有 的 这 些 列 向 量 取 出 每 一 维 的 最 大

第 期 陈 恩 红 等 单 词 嵌 入 自 然 语 言 的 连 续 空 间 表 示 值 作 为 第 三 层 的 输 出 即 有 % " *5 % " 其 中 表 示 第 二 层 节 点 的 数 量 即 矩 阵 的 行 数 是 传 统 神 经 网 络 分 类 层 有 了 上 面 一 层 被 降 维 且 被 提 取 了 特 征 的 向 量 就 可 以 用 传 统 神 经 网 络 的 方 法 解 决 上 述 自 然 语 言 处 理 问 题 最 常 用 的 办 法 就 是 构 造 传 统 的 神 经 网 络 分 类 器 特 殊 地 对 于 语 言 模 型 问 题 在 该 工 作 中 没 有 建 模 条 件 概 率 $!!! 而 是 直 接 用 神 经 网 络 最 后 的 输 出 值 作 为 联 合 概 率 分 布 $!!! 的 估 计 通 过 对 个 词 语 序 列 打 分 来 判 断 这 几 个 词 以 某 种 次 序 出 现 在 一 起 的 合 理 性 对 于 随 机 替 换 中 间 词 的 得 分 应 该 比 合 理 序 列 得 分 低 用 数 学 方 法 表 示 为 最 小 化 *5%/%/! /! 表 示 所 有 输 入 文 本 窗 口 的 集 合 表 示 字 典 集 合! 表 示 将 窗 口 / 的 中 心 词 随 机 替 换 成 单 词! 所 形 成 的 新 窗 口 接 下 来 通 过 深 度 多 任 务 学 习 就 可 以 来 训 练 整 个 网 络 训 练 的 目 标 是 最 小 化 所 有 任 务 的 平 均 损 失 函 数 值 具 体 算 法 如 下 选 择 下 一 个 任 务 为 这 个 任 务 选 一 个 随 机 的 训 练 样 本 用 梯 度 下 降 算 法 来 更 新 整 个 网 络 的 参 数 回 到 第 一 步 至 此 得 到 了 一 份 通 过 多 个 自 然 语 言 处 理 任 务 训 练 的 单 词 嵌 入 表 示 经 试 验 证 实 这 种 方 法 得 到 的 单 词 嵌 入 表 示 在 多 种 自 然 语 言 处 理 任 务 上 都 有 比 较 好 的 表 现 - 递 归 神 经 网 络 语 言 模 型 递 归 神 经 网 络 %%%%4 是 一 种 特 殊 的 前 向 传 播 神 经 网 络 结 构 标 准 的 由 层 构 成 输 入 层 隐 层 和 输 出 层 它 的 特 别 之 处 在 于 隐 层 通 过 一 个 重 现 矩 阵 和 自 己 相 连 重 现 矩 阵 可 以 传 播 延 迟 信 号 从 而 使 得 获 得 短 期 记 忆 的 属 性 具 体 来 讲 将 上 一 个 阶 段 隐 层 的 信 息 保 留 下 来 记 作 " 在 当 前 阶 段 隐 层 的 输 出 信 息 " 不 仅 仅 与 当 前 阶 段 输 入! " 有 关 而 且 与 上 一 阶 段 隐 层 记 忆 的 信 息 " 有 关 基 于 这 两 部 分 隐 层 值 " 得 以 更 新 模 型 也 这 种 递 归 性 质 而 得 名 具 体 到 语 言 模 型 上 如 果 给 定 一 串 单 词 序 列!!!! " 将 利 用 式 计 算 相 应 的 隐 层 序 列 和 输 出 序 列 " 0! " " " " 图 递 归 神 经 网 络 语 言 模 型 总 结 了 这 种 神 经 网 络 语 言 模 型 这 里! " 代 表 第 " 个 单 词 的 % 0 表 示 需 要 学 习 的 模 型 参 数 集 合 是 : 对 于 隐 层 激 活 函 数 的 选 取 除 了 上 述 的 双 曲 正 切 0 函 数 还 可 使 用 "!&*!# 函 数 输 出 层 可 进 一 步 使 用 "*5 函 数 将 线 性 输 出 转 换 为 概 率 形 式 最 终 学 习 到 的 矩 阵 即 是 单 词 的 嵌 入 矩 阵 图 递 归 神 经 网 络 语 言 模 型 7!&%%%%4&&%*#% 如 此 可 见 在 处 理 第 " 个 单 词! " 时 将 前 " 个 单 词 均 考 虑 进 来 而 不 是 像 经 典 的 前 向 传 播 神 经 网 络 模 型 一 样 只 考 虑 某 个 固 定 大 小 的 窗 口 内 的 上 下 文 单 词 例 如! "! " 正 因 为 这 种 不 需 要 显 式 指 定 上 下 文 长 度 的 优 点 可 以 刻 画 更 大 范 围 的 词 间 关 系 依 赖 虽 然 的 优 点 很 明 显 但 是 当 使 用 梯 度 下 降 法 训 练 却 容 易 出 现 梯 度 爆 炸 和 梯 度 消 损 的 问 题 梯 度 爆 炸 是 指 在 训 练 的 过 程 中 错 误 信 号 在 向 后 反 馈 时 呈 指 数 型 增 加 的 现 象 梯 度 消 损 指 的 是 相 反 方 向 即 错 误 信 号 以 指 数 速 率 衰 减 为 这 两 种 现 象 是 由 长 期 信 息 爆 炸 式 增 加 造 成 的 为 了 解 决 这 两 个 问 题 模 型 在 原 有 基 础 上 又 有 许 多 扩 展 (*"!. 和 =%%/>4%!& 提 出 了 一 个 的 扩 展 模 型 参 见 图 加 入 特 征 层 的 模 型 在 原 有 的 层 基 础 上 加 入 特 征 层 与 隐 层 和 输 出 层 相 连 即 在 当 前 词 汇 前 抽 取

数 据 采 集 与 处 理 第 卷 一 段 固 定 长 度 的 词 汇 利 用 潜 在 狄 利 克 雷 分 配 计 算 词 汇 的 话 题 分 布 一 个 近 似 的 特 征 层 输 入 可 以 写 为 %! 其 中! 是 单 词! 的 话 题 分 布 向 量 使 得 结 果 归 一 化 在 这 样 的 模 型 下 单 词 的 嵌 入 表 示 相 应 的 变 为 " 0! " " %" 有 了 %" 提 供 补 充 信 息 长 期 的 信 息 不 会 如 之 前 一 样 以 指 数 速 率 归 一 为 从 而 避 免 了 上 文 中 梯 度 消 损 的 问 题 变 量 的 偏 置 以 及 隐 变 量 的 偏 置 在 以 上 的 概 率 参 数 表 达 下 的 推 断 问 题 < 变 得 相 对 简 单 数 学 上 可 以 证 明 对 于 有 下 式 成 立 $&/ $ &/ $ &/"!&*!# / 其 中 是 矩 阵 的 第 列 这 样 计 算 给 定 观 测 变 量 的 情 况 下 隐 变 量 的 条 件 概 率 可 以 通 过 计 算 个 条 件 概 率 得 到 即 给 定 对 于 任 意 的 - - - 是 独 立 的 类 似 地 有 / $/& $/ & $/ &"!&*!# < 其 中 是 矩 阵 的 第 行 训 练 的 过 程 即 是 极 大 化 观 测 数 据 似 然 的 过 程 为 此 求 得 在 / 处 的 概 率 $/ : $/ 关 于 参 数 图 加 入 特 征 层 的 模 型 7!& *#%4!0%%%)%"%!/% ( 基 于 受 限 波 尔 兹 曼 机 的 方 法 ( 受 限 玻 尔 兹 曼 机 < 受 限 玻 尔 兹 曼 机 %"!%#6* *0!% 是 机 器 学 习 界 普 遍 采 用 的 一 种 生 成 模 型 它 是 一 种 无 向 概 率 图 模 型 也 称 为 马 尔 科 夫 随 机 场 主 要 用 来 建 模 观 测 数 据 的 生 成 概 率 需 要 说 明 的 是 处 理 的 数 据 一 般 是 离 散 的 具 体 来 说 给 定 / 维 的 观 测 向 量 / 以 及 维 的 隐 向 量 建 立 它 们 的 联 合 概 率 分 布 $/ %&// 其 中 %&// 是 变 量 / 和 的 能 量 方 程 定 义 为 %&//: // 是 确 保 概 率 形 式 的 归 一 化 项 定 义 为 :/ / / %&/ / 模 型 的 参 数 集 合 是 : 分 别 代 表 观 测 变 量 和 隐 变 量 的 交 互 观 测 的 梯 度 为 < &$/ $&/ %&/ / / $/ %&/ / 因 为 $/ 可 以 很 方 便 地 求 出 故 而 上 式 中 的 第 一 求 和 项 $&/ %&/ / 可 以 在 多 项 式 时 间 内 求 得 第 二 求 和 项 / %&// 却 因 为 牵 扯 到 指 数 项 求 和 并 且 没 有 条 件 独 立 性 而 无 法 有 效 计 算 注 意 到 该 求 和 项 实 际 上 是 随 机 变 量 %&// 在 当 前 模 型 指 定 的 概 率 下 的 期 望 故 而 可 以 采 取 马 尔 可 夫 链 蒙 特 卡 洛 抽 样 的 方 法 近 似 计 算 具 体 来 说 从 训 练 样 本 中 选 取 一 初 始 值 然 后 从 条 件 概 率 $/ 中 抽 样 出 再 从 $/ 中 抽 样 / 如 此 循 环 得 到 一 串 序 列 / / 使 用 %&// 在 这 串 序 列 上 的 均 值 来 作 为 第 二 项 期 望 的 估 计 近 似 得 到 对 数 似 然 的 梯 度 后 沿 梯 度 方 向 更 新 参 数 即 可 基 于 上 述 的 模 型!0 和 1! 在 文 献 中 提 出 了 种 概 率 图 模 型 来 求 得 单 词 嵌 入 种 模 型 的 关 键 在 于 如 何 定 义 不 同 的 以 单 词 嵌 入

第 期 陈 恩 红 等 单 词 嵌 入 自 然 语 言 的 连 续 空 间 表 示 向 量 为 参 数 的 能 量 函 数 其 中 前 两 个 模 型 包 含 了 隐 变 量 与 的 能 量 函 数 形 式 很 相 似 第 三 个 模 型 对 数 线 性 模 型 没 有 隐 变 量 ( 两 种 隐 变 量 模 型!0 等 人 的 第 一 个 模 型 分 解 模 型 的 能 量 函 数 如 下 定 义 %&/!!!!! 其 中! 是 单 词! 的 嵌 入 向 量! 是 对 应 单 词! 的 * 向 量 %0%)%"%! 矩 阵 指 定 了 第 个 位 置 的 单 词 的 嵌 入 向 量! 与 隐 变 量 的 交 互 向 量 指 定 隐 变 量 的 偏 置 向 量 指 定 最 后 一 个 单 词! 嵌 入 向 量 的 偏 置 向 量 指 定! 本 身 的 偏 置 模 型 参 数 集 合 为 : 注 意 到 本 模 型 与 前 述 的 各 个 基 于 神 经 网 络 的 模 型 最 大 的 区 别 在 于 每 个 位 置 的 单 词 指 定 了 不 同 的 参 数 这 代 表 不 同 位 置 的 单 词 对 单 词 的! 影 响 是 不 同 的 第 二 个 模 型 时 序 分 解 模 型 采 用 了 与 递 归 神 经 网 络 类 似 的 思 想 注 意 到 事 实 上 单 词! " 之 前 所 有 的 单 词!!! " 对! " 均 有 影 响 然 而 大 部 分 工 作 都 做 了 一 个 很 强 的 假 设! " 仅 与 其 之 前 的 个 单 词! "! " 有 关 时 序 模 型 的 目 标 就 在 于 克 服 这 种 假 设 即 用 给 定 的 单 词 序 列!! " 预 测 单 词! " 为 了 达 到 这 个 目 的 在 预 测 单 词! " 时 对 数 线 性 模 型 维 持 了 " 个 与 分 解 模 型 非 常 类 似 的 模 型 即 " 个 单 词 序 列!!!!! "! " 中 的 每 一 个 均 作 为 一 个 独 立 的 分 解 模 型 的 可 见 变 量 这 样 得 到 了 " 个 隐 层 表 示 使 用 来 代 表 第 个 模 型 的 隐 层 变 量 为 了 将 上 文 中 的 信 息 不 断 后 传 至 需 要 预 测 的 单 词! " 在 第 个 模 型 中 除 了 第 个 单 词 序 列 上 一 个 模 型 的 隐 变 量 也 作 为 第 个 模 型 的 输 入 可 见 变 量 参 与 训 练 与 之 间 的 交 互 矩 阵 是 多 层 之 间 共 享 的 即 不 随 着 层 数 而 改 变 时 序 分 解 模 型 通 过 这 种 组 合 本 层 原 有 输 入 与 上 一 层 输 出 作 为 本 层 真 正 输 入 的 方 式 克 服 了 之 前 单 词 窗 口 方 法 的 局 限 不 难 看 出 该 方 式 与 递 归 神 经 网 络 的 思 想 是 非 常 类 似 的 两 个 模 型 的 推 断 和 学 习 与 经 典 的 受 限 玻 尔 兹 曼 机 推 断 和 学 习 的 方 式 类 似 此 处 不 再 赘 述 (( 对 数 线 性 模 型!0 提 出 的 第 三 个 模 型 对 数 线 性 模 型 &3!!%*#% 与 前 两 个 基 于 的 模 型 不 同 的 地 方 在 于 该 模 型 没 有 加 入 隐 变 量 的 建 模 事 实 上 该 模 型 的 能 量 函 数 定 义 与 分 解 模 型 非 常 类 似 %&/!!!!!! 不 同 在 于 模 型 中 使 用 前 个 单 词 的 嵌 入 与 第 个 单 词! 的 嵌 入 向 量 作 用 而 并 非 与 隐 层 变 量 作 用 矩 阵 仍 然 指 定 了 不 同 位 置 单 词 的 不 同 作 用 舍 去 隐 变 量 使 得 模 型 的 物 理 意 义 更 清 楚 同 时 使 得 计 算 更 加 简 单 事 实 上 该 模 型 与 2#% 模 型 非 常 类 似 除 了 以 下 两 点 不 同 对 不 同 位 置 的 单 词 指 定 了 不 同 的 参 数 矩 阵 而 2#% 中 不 存 在 这 样 的 矩 阵 2#% 直 接 使 用 上 下 文 单 词 与 预 测 单 词 的 嵌 入 向 量 作 用 即 相 当 于 : : : :!! 为 单 位 矩 阵 做 预 测 时 2#% 考 虑 被 预 测 单 词 的 上 下 文 即 左 窗 口 和 右 窗 口 内 的 单 词 均 考 虑 1 则 仍 是 只 考 虑 上 文 左 窗 口 在 文 献 中! 和 1! 采 用 上 文 所 述 的 树 状 加 速 方 法 对 对 数 线 性 模 型 进 行 加 速 取 得 了 良 好 的 实 验 效 果 他 们 不 使 用 任 何 外 部 知 识 数 据 例 如 2#% 构 建 的 单 词 树 而 是 采 用 一 种 基 于 训 练 语 料 的 类 似 自 助 法 的 方 式 首 先 构 建 一 棵 随 机 的 单 词 树 然 后 基 于 该 树 训 练 得 到 单 词 嵌 入 向 量 最 后 基 于 得 到 的 单 词 嵌 入 向 量 进 行 层 次 聚 类 产 生 最 终 使 用 的 单 词 树 * 基 于 单 词 与 上 下 文 共 生 矩 阵 分 解 的 方 法 用 来 代 表 单 词 与 上 下 文 的 共 生 矩 阵 一 般 来 讲 是 一 种 刻 画 单 词 与 其 上 下 文 的 一 种 计 数 模 型 的 行 空 间 是 单 词 空 间 列 空 间 是 上 下 文 空 间 的 行 列 元 素 - 代 表 第 个 单 词 和 第 - 个 上 下 文 环 境 的 关 系 一 般 是 单 词 在 环 境 - 中 出 现 的 次 数 或 者 频 率 构 建 了 共 生 矩 阵 之 后 对 做 矩 阵 分 解 即 可 得 到 单 词 在 隐 空 间 上 的 一 个 表 示 即 为 单 词 的 嵌 入 向 量 基 于 不 同 的 上 下 文 可 以 构 建 不 同 的 矩 阵

< 数 据 采 集 与 处 理 第 卷 * 潜 在 语 义 分 析 潜 在 语 义 分 析 %"%*! /"!", 是 一 种 分 析 单 词 与 文 档 相 关 性 的 常 用 方 法 在, 中 上 下 文 是 所 有 的 文 档 假 定 词 典 大 小 为 文 档 数 为 2 则 " 2 - 代 表 第 个 单 词 在 第 - 个 文 档 中 频 率 或 者 "!# 值, 对 矩 阵 实 施 奇 异 值 分 解 式 中 " 3 " 23 :!:!3 是 矩 阵 的 秩 :#!&3 记 录 了 的 所 有 奇 异 值 注 意 到 矩 阵 记 录 了 每 个 单 词 在 3 维 隐 空 间 下 的 表 示 类 似 的 矩 阵 记 录 了 每 个 文 档 在 维 隐 空 间 下 的 表 示 指 定 3 维 隐 空 间 中 第 维 的 权 重 这 里 的 隐 空 间 可 以 代 表 主 题 空 间 则 由 - 3 : ( - 可 见 单 词 在 文 档 - 中 的 词 频 或 者 "!# 值 是 由 单 词 在 每 个 主 题 下 的 权 重 与 对 应 主 题 在 文 档 - 中 的 权 重 的 乘 积 的 加 权 平 均 这 里 加 权 的 权 重 是 每 个 主 题 的 权 重 3 可 见 可 以 使 用 矩 阵 作 为 单 词 的 嵌 入 向 量 矩 阵 的 第 行 即 是 单 词 的 嵌 入 向 量 该 嵌 入 向 量 是 3 维 的 * 基 于 典 型 相 关 分 析 的 方 法 基 于 典 型 相 关 分 析 +!%! /"!"++ 的 方 法 构 建 的 上 下 文 矩 阵 有 两 个 一 是 每 个 单 词 左 窗 口 内 的 所 有 单 词 二 是 每 个 单 词 右 窗 口 内 的 所 有 单 词 该 方 法 的 基 本 思 想 是 极 大 化 两 个 矩 阵 的 协 方 差 典 型 相 关 分 析 ++ 和 主 成 分 分 析 $!!)% *)%/"!"$+ 类 似 给 定 一 个 矩 阵 $+ 计 算 一 个 投 影 方 向 使 得 矩 阵 的 行 向 量 投 影 到 该 方 向 之 后 方 差 最 大 ++ 与 此 不 同 的 是 它 处 理 两 个 矩 阵 以 本 文 的 问 题 为 例 假 设 语 料 中 共 有 个 单 词!! 词 典 大 小 为 用 代 表 所 有 单 词 的 矩 阵 用 " 和 分 别 代 表 单 词 的 左 窗 口 矩 阵 和 右 窗 口 矩 阵 "" "" 这 里 是 指 定 的 窗 口 大 小 希 望 计 算 得 到 两 个 方 向, 和 3 使 得 在, 方 向 的 投 影 与 " 在 3 方 向 的 投 影 的 协 方 差 最 大 可 以 认 为 这 两 个 方 向 保 持 了 " 和 " 中 最 有 用 的 一 维 信 息 该 最 大 化 目 标 可 以 用 下 式 来 表 达 *5 #" $#" $ 槡 #" $ # $ 其 中 代 表 经 验 期 望 用,3, 代 表 " 和 和 之 间 之 间 的 协 方 差 矩 阵 易 知,3:", :"" 那 么 可 证 明 上 式 的 解 #, 3$ 由 下 面 的 方 程 给 出, 3, 3 3,,, 3 3,,,3 3 用 # " $ 来 代 表 # 个 最 大 的 左 特 征 向 量 和 右 特 征 向 量 集 合 这 里 的 最 大 指 对 应 的 特 征 值 最 大 可 见 "" # " # 基 于 上 述 符 号 文 献 中 给 出 的 两 步 典 型 相 关 分 析 算 法 如 下 输 入 矩 阵 " 对 " 和 做 典 型 相 关 分 析 " " 计 算 矩 阵 #:"" 对 矩 阵 # 和 做 典 型 相 关 分 析 # $ 输 出 矩 阵 即 为 最 终 的 单 词 嵌 入 矩 阵 该 算 法 中 第 一 步 是 求 左 右 窗 口 矩 阵 " 的 在 求 得 后 # " $ 分 别 将 " 投 影 到 方 " 向 将 投 影 到 方 向 算 法 第 三 行 得 到 每 个 单 词 的 一 个 隐 状 态 ## 记 录 了 左 右 窗 口 矩 阵 中 最 相 关 的 # 个 成 分 在 第 二 步 中 对 矩 阵 和 原 始 矩 阵 做 以 求 得 的 # 个 关 于 的 投 影 矩 阵!" # 作 为 最 终 的 的 单 词 嵌 入 矩 阵 事 实 上 可 以 证 明 第 二 步 中 求 单 词 嵌 入 矩 阵 的 过 程 就 是 对 隐 变 量 矩 阵 取 平 均 的 过 程 有!!:.&# "! " : - 模 型 比 较 各 种 方 法 的 数 学 模 型 和 实 现 细 节 的 比 较 结 果 总 结 在 表 具 体 来 说 比 较 的 方 面 包 括 方 法 属 于 的 类 型 包 括 神 经 网 络 模 型 受 限 玻 尔 兹 曼 机 模 型 和 共 生 矩 阵 分 解 模 型 训 练 的 目 标 包 括 极 大 化 数 据 条 件 似 然 *5$! "%" 极 大 化 数 据 观 测 似 然 *5$! " %5 区 分 正 确 数 据 和 错 误 数 据 使 观 测 数 据 的 得 分 大 于 随 机 生 成 的 错 误 数 据 得 分 以 及 基 于 相 关 性 的 降 维 是 否 含 有 隐 层 模 型 考 虑 的 上 下 文 包 括 窗 口 大 小 固 定 大 小 可 变 大 小 窗 口 位 置 左 窗 口 右 窗 口 单 词 所 在 句 子 以 及 所 有 文 档 可 变 大 小 的 窗 口 和 左 右 窗 口 代 表 更 多 的 信 息 被 考 虑 进 去 从 而 使 得 模 型 有 更 好 的 性 能 是 否 有 加 速 方 法 这 里 主 要 指 树 状 加 速 方 法 各 个 方 法 的 优 缺 点 总 结 在 表 主 要 从 个

第 期 陈 恩 红 等 单 词 嵌 入 自 然 语 言 的 连 续 空 间 表 示 表 不 同 单 词 嵌 入 方 法 的 模 型 细 节 比 较 方 法 名 称 类 型 训 练 目 标.%##% 是 否 含 隐 层 神 经 网 络 极 大 化 数 据 条 件 似 然 是 2#% +2 神 经 网 络 神 经 网 络 极 大 化 数 据 条 件 似 然 区 分 正 确 数 据 和 错 误 数 据 极 大 化 数 据 条 件 似 然 区 分 正 确 数 据 和 错 误 数 据 神 经 网 络 极 大 化 数 据 观 测 似 然 是 7 受 限 玻 尔 兹 曼 机 极 大 化 数 据 观 测 似 然 是 否 上 下 文 固 定 大 小 的 左 窗 口 内 单 词 固 定 大 小 的 左 右 窗 口 内 单 词 加 速 方 法 树 状 加 速 基 于 2# % 构 建 单 词 树 < 树 状 加 速 基 于 哈 夫 曼 编 码 构 建 单 词 树 是 单 词 所 在 句 子 无 可 变 长 度 的 左 窗 口 内 单 词 固 定 大 小 的 左 窗 口 内 单 词 无 无 (7 受 限 玻 尔 兹 曼 机 极 大 化 数 据 观 测 似 然 是 可 变 长 度 的 左 窗 口 内 单 词 无 受 限 玻 尔 兹 曼 机 神 经 网 络 极 大 化 数 据 观 测 似 然 否 固 定 大 小 的 左 窗 口 内 单 词 树 状 加 速 基 于 数 据 的 自 助 算 法 构 建 单 词 树, 共 生 矩 阵 分 解 基 于 相 关 性 降 维 所 有 文 档 无 ++ 共 生 矩 阵 分 解 基 于 相 关 性 降 维 固 定 大 小 的 左 右 窗 口 内 单 词 无 表 不 同 单 词 嵌 入 方 法 的 优 缺 点 比 较.%/ ##% 方 法 名 称 模 型 表 达 能 力 训 练 效 率 有 无 理 论 保 证 隐 层 加 入 使 得 神 经 网 络 可 表 达 的 函 数 空 间 变 大 表 达 能 力 较 强 可 使 用 树 状 加 速 方 法 加 速 但 隐 层 的 加 入 使 得 参 数 集 合 变 大 从 而 训 练 效 率 一 般 神 经 网 络 的 优 化 目 标 非 凸 很 难 找 到 全 局 最 优 解 从 而 没 有 理 论 保 证 2#% 没 有 隐 层 同 时 上 下 文 窗 口 大 小 固 定 而 且 直 接 使 用 输 入 单 词 和 输 出 单 词 的 交 互 来 计 算 概 率 没 有 参 数 矩 阵 从 而 表 达 能 力 很 差 树 状 加 速 方 法 以 及 较 小 的 参 数 空 间 使 得 训 练 效 率 很 高 没 有 理 论 保 证 理 由 同 上 +2 含 有 多 层 隐 层 同 时 处 理 的 输 入 对 象 是 一 个 句 子 而 并 非 固 定 的 单 词 窗 口 因 而 表 达 能 力 很 强 没 有 合 适 的 加 速 方 法 训 练 效 率 很 低 没 有 理 论 保 证 理 由 同 上 7 有 隐 层 并 且 通 过 递 归 的 结 构 使 得 窗 口 大 小 没 有 限 制 从 而 表 达 能 力 很 强 有 隐 层 表 达 能 力 较 强 会 遭 遇 梯 度 爆 炸 和 梯 度 消 损 训 练 效 率 很 低 训 练 需 要 采 用 马 尔 可 夫 链 蒙 特 卡 洛 抽 样 的 方 法 收 敛 速 率 一 般 很 慢 从 而 训 练 效 率 很 低 没 有 理 论 保 证 理 由 同 上 的 训 练 目 标 非 凸 同 时 抽 样 的 方 法 难 以 确 定 是 否 收 敛 从 而 没 有 理 论 保 证 (7 有 隐 层 同 时 采 用 了 类 似 的 无 限 制 窗 口 从 而 表 达 能 力 很 强 训 练 效 率 很 低 理 由 同 上 没 有 理 论 保 证 理 由 同 上, ++ 没 有 隐 层 上 下 文 窗 口 固 定 但 使 用 了 参 数 矩 阵 来 指 定 输 入 单 词 向 量 与 输 出 单 词 向 量 的 交 互 表 达 能 力 较 差 非 概 率 模 型 表 达 能 力 较 差 非 概 率 模 型 表 达 能 力 较 差 训 练 效 率 很 低 理 由 同 上 训 练 过 程 需 要 实 施 复 杂 度 为 矩 阵 奇 异 值 分 解 效 率 很 低 典 型 相 关 分 析 ++ 需 要 计 算 矩 阵 特 征 向 量 复 杂 度 同 样 为 训 练 效 率 很 低 没 有 理 论 保 证 理 由 同 上 优 化 目 标 是 凸 的 奇 异 值 分 解 唯 一 确 定 了 最 优 解 从 而 有 理 论 保 证 典 型 相 关 分 析 的 优 化 目 标 是 凸 的 最 优 解 唯 一 确 定 从 而 有 理 论 保 证

数 据 采 集 与 处 理 第 卷 方 面 比 较 它 们 的 优 缺 点 模 型 的 表 达 能 力 强 弱 训 练 效 率 高 低 以 及 优 化 的 方 法 有 没 有 理 论 保 证 即 可 达 到 最 优 解 表 中 几 个 缩 写 词 的 意 义 如 下 %%%%4&&% *#% 递 归 神 经 网 络 语 言 模 型 77%# 受 限 玻 尔 兹 曼 机 (7(%*)%# 时 序 分 解 受 限 玻 尔 兹 曼 机 其 他 缩 写 词 全 称 已 在 文 中 全 出 0 结 束 语 单 词 嵌 入 是 当 今 非 常 流 行 的 用 于 文 本 处 理 任 务 的 一 种 技 术 本 文 综 述 了 当 下 流 行 的 各 种 求 取 单 词 嵌 入 向 量 的 方 法 包 括 基 于 神 经 网 络 的 方 法 基 于 受 限 玻 尔 兹 曼 机 的 方 法 以 及 基 于 单 词 与 上 下 文 共 生 矩 阵 分 解 的 方 法 本 文 阐 述 了 各 个 方 法 的 具 体 数 学 模 型 和 实 现 细 节 同 时 给 出 了 各 个 方 法 优 缺 点 的 比 较 以 期 让 相 关 研 究 者 更 加 熟 悉 单 词 嵌 入 这 一 技 术 并 将 该 技 术 应 用 到 各 种 新 的 文 本 处 理 问 题 中 未 来 的 单 词 嵌 入 向 量 工 作 中 一 个 重 要 的 方 向 将 外 部 知 识 库 中 的 知 识 考 虑 进 来 结 合 当 前 深 度 神 经 网 络 技 术 的 飞 速 发 展 产 生 更 好 的 单 词 嵌 入 表 示 这 里 的 知 识 库 可 以 包 含 单 词 形 态 相 似 度 句 法 相 似 度 以 及 语 义 相 似 度 等 方 面 的 知 识 通 过 这 样 一 些 外 部 知 识 的 辅 助 深 度 神 经 网 络 将 会 得 到 对 文 本 处 理 任 务 更 有 用 的 信 息 从 而 有 可 能 获 得 更 好 的 单 词 嵌 入 表 示 参 考 文 献!%?3#(&>0&0!&0)%*% "%*!")%.!"%#%!& *%0#%50!& + $%%#!&"0%# %%!& ""!! +*)!!&!"!" +;,#"3&$-,""!!+* )!!&!"!",6!8"6!1,%*!")%.!"%#"%%!3%!&#"%&*%!"!&&!&4#"%3%%# #+ $%%#!&"0%<0%%!& ""!! +*)!!&!"!" +; +*3"90!-,""!!+* )!!&!"!"<<<,6!8"6!1+%"@%%*)!! "#/"%*!")%.!"%#"%##!!*# %"#%)%#%/)"!&+ $%%#!&"0% +%%% *)!! %0#"! &&%$%""!&*%,""!! +*)!!&!"!"< %&!0*%!%$%)3 3!!"!&&%*#%+ #.%"! %8 *! $%""!&,/"%*".%!!"0 +*3!+#%8*! $%""!&,/"%*"7#! %&!0*%!%$% % $33!!"!&&%#%0!% %!&%"%0 <!7%&!1!%0!)33!!"!% %4 &&% *#%+ $%%#!&" 0% 08%!2"0)!!!8%!&%% #,!"!"3#"+<!.(+0%?+#=%!!%%"! *!4#%)%"%!"!.%")% 9@!.)%)!@!.!01!=(0%%%4&)0!*#%" "!"!&&%*#%!&+ $%%#!&"0% 08%!+%%% 0!%%!& +.!"-,+<<!01!="3%0!%0!#!"!3 %#&&%*#%+ #.%"!%8 *!$%""!&,/"%*".%++ #%8*!$%""!&,/"%*"7#!!.(,"%.%8+0%?%!"!3%# %)%"%!"4#"#)0"%"#0%!* )"!!!/+ #.%"! %8*! $%""!&,/"%*"%.#-!%#,%"% 8*! $%""!&,/"%*"7#! 0%%1/,%%&%""!.%)! *#%+ #.%"! %8*! $ %""!&,/"%*"%.#-!%#,%"%8 *! $%""!&,/"%*" 7#! +3%2%"!!%#0!%% &&%)%""!&%%) %%4" 4!0*!"%!&+ $%%#!&"0%0 8%!+%%% 0!%%!&1% "!!7!#+<< +3%" 2%"A%% &&% )%""!& *"*,00%%"!. (>4%!& =+%5#%)%#%%%

第 期 陈 恩 红 等 单 词 嵌 入 自 然 语 言 的 连 续 空 间 表 示 %%4&&% *#%+ $%%#!&" 0%08 2"0),)%&&%(%0 &/7!#-!%#,%"8 %! &#8%#!!0%!(0% 0!% %!& % "%0 <%&! %!&#%%)0!%%" 8 7#!"#(%#"! 0!%%!& 1! =,0#!. %#!&0%#! *%"!!/# 4!0%%4",! %%<< *!",(7"= 2#%(?%- "!&%"%*!/"!"!*).%%""%5!*!+ $%%#!&" 0%,8=+18 +%%% 1* 7"! +*)!&,/" %*",+ 0!$,7"% $-& 1!!%4 %!&4#%*3%##!&".!+++ #.%"!%8*!$%""!&,/"%*"=#,)!%8*!$%""!&,/"%*"7 #! 0!$#7"%%(4"%)++ %4")%*%0#%"!*!&.%*#%" 4#" 9@!. )%)! @!. << 作 者 简 介 陈 恩 红 < 男 教 授 研 究 方 向 机 器 学 习 数 据 挖 掘 社 会 网 络 个 性 化 推 荐 系 统 田 飞 男 博 士 研 究 生 研 究 方 向 机 器 学 习 信 息 检 索 自 然 语 言 处 理 *!!%!*!"%# 邱 思 语 女 学 士 研 究 方 向 机 器 学 习 深 度 学 习 神 经 网 络 许 畅 女 学 士 研 究 方 向 机 器 学 习 自 然 语 言 处 理 刘 铁 岩 < 男 高 级 研 究 员 教 授 研 究 方 向 机 器 学 习 信 息 检 索 数 据 挖 掘 计 算 经 济 学

数 据 采 集 与 处 理 第 卷