一种快速获取领域新词语的新方法

1 一 种 快 速 获 取 领 域 新 词 语 的 新 方 法 2 刘 华 ( 暨 南 大 学 华 文 学 院, 广 州,510610) 摘 要 : 针 对 新 词 语 识 别 问 题, 直 接 抽 取 分 类 网 页 上 人 工 标 引 的 关 键 词, 按 照 其 网 页 栏 目 所 属 类 目 存 储 进 各 分 类 词 表, 快 速 完 成 新 词 语 识 别 和 聚 类 任 务, 简 单 快 捷 从 15 类 6 亿 字 网 页 中 抽 取 到 229237 个 词 条, 新 词 语 175187 个, 新 词 率 为 76.42%, 其 中 游 戏 类 新 词 率 最 高, 时 政 _ 社 会 类 新 词 率 最 低 新 词 语 以 命 名 实 体 为 主, 结 构 固 定, 意 义 完 整 性 和 专 指 性 强, 有 助 于 解 决 歧 义 切 分 和 未 登 录 词 问 题, 并 能 提 高 文 本 表 示 如 分 类 和 关 键 词 标 引 的 效 果 关 键 词 : 新 词 语 ; 识 别 ; 聚 类 中 图 分 类 号 :TP391 A Short Cut of New Classified Words Detection Liu Hua (College of Chinese Language and Culture of Jinan University,Guangzhou,510610) Abstract:Extracts directly key words labeled by specialist in web pages, and stored them in classified wordlist according to the column of source web page, detects new words and clusters quickly. From 6 hundred million web pages covering 15 kinds, extracted 229237 words, including 175187 new words, the new words ratio is 76.42%. New words are mostly Named Entities, with steady structure and integrated meaning, conducive to ambiguity and unknown words in Chinese word segmentation, would improve text representation, such as text categorization and key words indexing. Keywords:New Words;Detection;Clustering 新 词 语 的 识 别 和 领 域 聚 类 是 自 然 语 言 处 理 信 息 检 索 信 息 提 取 中 的 一 项 基 础 研 究 新 词 语 可 以 丰 富 人 类 语 言 知 识, 帮 助 解 决 一 些 歧 义 切 分 的 问 题 ; 而 且, 新 词 语 常 常 表 达 更 为 精 确 完 整 的 概 念, 能 提 高 向 量 空 间 模 型 的 文 本 表 达 能 力 和 文 本 分 类 的 效 果 本 文 在 简 要 回 顾 新 词 语 识 别 和 聚 类 的 基 础 上, 介 绍 了 一 种 简 便 快 捷 的 新 词 语 发 现 和 聚 类 的 新 方 法 该 方 法 直 接 抽 取 网 页 上 人 工 标 引 的 关 键 词 和 其 他 词 语 信 息, 并 按 照 该 网 页 栏 目 的 对 应 类 别 将 新 词 语 分 类, 同 时 达 到 了 新 词 语 识 别 和 领 域 聚 类 的 目 的 最 终 从 15 类 6 亿 字 的 语 料 中 抽 取 出 了 约 18 万 条 分 类 新 词 语, 并 分 析 了 这 些 新 词 语 的 特 点 及 其 在 语 言 信 息 处 理 中 的 应 用 1 新 词 语 识 别 和 聚 类 简 述 新 词 语 识 别 不 外 乎 基 于 统 计 的 和 基 于 规 则 的 两 种 方 法 统 计 方 法 主 要 基 于 符 号 ( 如 字 n 串 ) 的 内 部 结 合 紧 密 度 及 其 对 上 下 文 环 境 的 依 赖 程 度 实 现 几 乎 各 种 算 法 都 已 应 用 过, 常 见 的 如 隐 马 尔 可 夫 模 型 (Bikel et al 1997) 最 大 熵 (Borthwik 1998) 支 持 向 量 机 (Asahara 2003) 互 信 息 熵 等 等 ( 罗 盛 芬,2003) 基 于 规 则 方 法 的 基 础 是 模 板 特 征 库 和 已 标 注 上 下 文 搭 配 1 本 文 承 国 家 语 言 资 源 监 测 ( 项 目 号 :L2004-01-01-04) 资 助, 特 此 致 谢! 2 刘 华,1975 年 生, 男, 博 士, 讲 师, 研 究 方 向 : 计 算 语 言 学, 信 息 检 索 1

特 征 的 训 练 库, 如 专 名 或 术 语 的 前 后 指 界 信 息 词 语 构 造 规 则 ( 如 知 网 中 文 信 息 结 构 库 ) 等 等 基 于 统 计 的 方 法 可 移 植 性 强, 但 难 以 解 决 数 据 稀 疏 问 题, 缺 乏 语 言 学 验 证 基 于 规 则 的 方 法 则 由 于 语 言 的 灵 活 性 而 难 以 穷 尽, 并 且 最 大 缺 点 在 于 资 源 建 设 代 价 高 可 移 植 性 差 目 前 的 趋 势 是 二 者 的 融 合 以 机 器 学 习 方 法 为 工 具, 大 规 模 自 动 获 取 新 词 语, 在 此 基 础 上 通 过 规 则 的 过 滤, 控 制 质 量 ; 或 者 通 过 机 器 学 习 方 法 获 取 规 则, 再 施 以 统 计 或 规 则 方 法 这 吸 收 了 统 计 方 法 的 自 动 快 速 和 规 则 方 法 的 可 解 释 性 和 高 质 量 的 优 点 ( 金 翔 字,2002; 聂 颂, 2003; 庄 明,2004; 苏 菲,2004; 贾 自 艳,2004; 隋 岩,2004; 杨 尔 弘,2005) 目 前, 国 外 有 MUC(Message Understanding Conference) 和 ACE(Automatic Content Extraction) 进 行 实 体 识 别 的 评 测 在 汉 语 中, 由 于 汉 语 缺 乏 形 态 标 记, 又 与 分 词 任 务 相 互 影 响, 新 词 识 别 难 度 更 大 总 的 说 来, 新 词 语 识 别 仍 存 在 如 下 几 个 问 题 : 长 度 限 制 由 于 性 能 的 限 制, 大 部 分 研 究 集 中 2 字 至 4 字 的 n 串 识 别 上 领 域 依 赖 新 词 语 识 别 和 领 域 判 定 相 依 赖, 领 域 知 识 获 取 代 价 高, 这 在 基 于 规 则 的 方 法 方 面 更 是 如 此 准 确 率 有 待 提 高 以 2004 年 度 863 计 划 中 文 信 息 处 理 与 智 能 人 机 交 互 技 术 评 测 中 的 命 名 实 体 评 测 结 果 为 例,F1 值 约 为 75% 如 何 滤 除 共 现 频 度 高 的 非 词 语 常 用 搭 配 ( 这 一 是 吗 等 ); 对 常 用 词 的 识 别 精 度 较 差 召 回 率 更 是 没 法 计 算 识 别 效 率 较 低 作 为 其 他 应 用 的 基 础, 底 层 消 耗 过 大, 特 别 是 某 些 算 法, 如 SVM 领 域 知 识 获 取 是 基 于 内 容 的 文 本 处 理 中 的 基 础 关 键 技 术 目 前 很 多 著 名 的 知 识 库 主 要 依 靠 专 家 手 工 构 建, 如 WordNet HowNet, 也 有 许 多 自 动 方 法 来 获 取 领 域 词 语 基 于 规 则 的 方 法 利 用 人 工 构 建 好 的 模 板 以 匹 配 的 方 式 在 大 规 模 分 类 语 料 中 获 取 领 域 词 语 ; 基 于 统 计 的 方 法 主 要 利 用 机 器 学 习 的 方 法 进 行 领 域 词 语 聚 类, 如 基 于 Bootstrapping 互 信 息 TFIDF 等 的 领 域 词 语 自 动 获 取 与 新 词 识 别 类 似, 也 存 在 领 域 依 赖 准 确 率 低 召 回 率 没 法 计 算 识 别 效 率 低 等 缺 点 2 分 类 新 词 语 发 现 方 法 网 络 是 一 个 巨 大 的 资 源 宝 库, 当 观 察 或 利 用 角 度 不 同 时, 会 带 来 意 想 不 到 的 收 获 在 构 建 文 本 分 类 和 主 题 词 标 引 系 统 时, 我 们 建 立 了 一 个 超 大 规 模 的 语 料 库 语 料 来 自 几 个 门 户 网 站, 时 间 跨 度 为 4 年 (2002-2005), 共 约 60 万 个 网 页,6 亿 字 对 60 万 个 网 页 提 取 出 详 细 的 语 料 信 息, 如 标 题 栏 目 关 键 词 时 间 同 主 题 链 接 标 题 和 正 文 同 时, 通 过 对 4 个 门 户 网 站 3 个 搜 索 引 擎 和 13 个 主 流 报 纸 网 站 的 栏 目 分 类 体 系 和 传 统 分 类 体 系 的 对 比 研 究, 经 过 同 名 栏 目 去 重 相 似 栏 目 合 并 异 名 同 类 栏 目 映 射 子 类 栏 目 提 炼 上 升 等 手 段, 最 终, 在 求 得 各 大 网 站 栏 目 的 共 性 的 基 础 上, 重 点 考 虑 主 题 划 分 生 活 优 先 的 原 则, 我 们 归 纳 出 一 个 网 页 分 类 用 类 目 体 系 体 系 共 15 个 大 类, 层 级 类 别 体 系 最 深 为 四 级, 如 科 技 _ 数 码 _ 视 频 _ 数 字 电 视, 类 目 总 共 244 个 将 语 料 库 的 网 页 栏 目 和 已 建 立 的 网 页 分 类 体 系 进 行 映 射, 最 终, 语 料 库 存 储 为 XML 格 式 详 细 标 注 语 料 属 性 的 层 级 分 类 语 料 库 在 网 页 信 息 提 取 时, 我 们 发 现 很 多 网 页 已 经 人 工 标 引 上 了 关 键 词, 没 有 标 引 的 网 页 也 存 在 一 些 有 用 的 词 语 信 息, 如 热 门 搜 索 或 文 中 的 词 语 超 连 接 这 些 词 语 信 息 大 体 上 可 分 为 两 类 : 1 网 页 关 键 词 这 是 新 词 语 主 要 的 来 源 关 键 词 往 往 标 引 在 标 题 下 面, 是 那 些 具 有 文 本 主 题 表 示 功 能 的 词 语 关 键 词 是 对 一 个 网 页 的 主 题 进 行 描 述 的 关 键 性 词 语, 一 般 一 个 网 页 约 两 三 个 关 键 词 2

例 如 一 篇 题 为 安 然 高 官 仍 受 调 查 前 主 席 秘 书 承 认 犯 内 部 交 易 罪 网 页 的 关 键 词 为 安 然 内 部 交 易 罪 在 网 页 源 代 码 中 关 键 词 的 存 在 形 式 类 似 : <meta name="keywords" content=" 安 然 内 部 交 易 罪 "> 2 网 页 上 热 门 焦 点 或 搜 索 的 内 容 文 中 的 词 语 链 接 为 吸 引 用 户 眼 球, 网 站 在 网 页 上 放 置 了 近 期 热 门 或 焦 点 的 词 语 的 链 接, 用 户 点 击 即 可 进 入 相 关 页 面 如 今 年 8 月 某 网 站 网 页 上 放 置 了 热 点 推 荐 : 六 方 会 谈 超 级 女 声,9 月 初 的 卡 特 里 娜 飓 风 在 网 页 源 代 码 中 其 存 在 形 式 类 似 : 热 点 搜 索 </font></a>:<a href="http://search.xxx.com/xxxnews.php?word= 六 方 会 谈 " target="_blank"><font color=#0000ff><u> 六 方 会 谈 </u> <a href="http://auto.xxx.com/model/1747.html" target=_blank><font color=blue> 新 奥 迪 A6</font></a> 在 信 息 抽 取 时, 只 需 定 位 到 相 应 锚 点, 直 接 抽 取 即 可 获 得 大 量 词 语 如 在 C# 程 序 中, 只 需 一 条 语 句 public string Substring(int startindex, int length), 再 按 照 该 网 页 的 栏 目 分 类 别 存 储 这 种 方 法 快 捷 高 效, 只 需 要 简 单 的 匹 配 即 可, 避 免 了 规 则 法 或 统 计 法 复 杂 繁 琐 的 运 算, 而 且 准 确 率 几 乎 百 分 之 百 3 分 类 新 词 语 分 析 3.1 词 语 抽 取 的 准 确 率 与 排 错 处 理 根 据 上 面 的 方 法, 我 们 在 上 文 建 立 的 超 大 规 模 分 类 语 料 库 中 抽 取 出 其 中 已 标 注 的 关 键 词 和 超 链 接 的 词 语, 总 共 229237 个 词 条, 按 网 页 的 主 题 属 性 存 储 进 词 表, 形 成 15 个 大 类 的 领 域 词 表 ( 按 照 层 级 小 类 形 成 244 个 领 域 词 表, 示 例 参 见 表 3 限 于 篇 幅, 分 析 时 止 于 大 类 ) 由 于 是 专 家 人 工 标 引, 网 页 关 键 词 抽 取 的 词 语 质 量 很 高, 我 们 抽 样 检 查 了 经 济 类 抽 取 的 关 键 词 在 17058 个 词 语 中, 词 次 大 于 或 等 于 4 的 词 语, 由 于 是 多 次 出 现, 避 免 了 笔 误 或 超 常 词 语 ( 如 虐 人 卡 特 里 娜 飓 风 袭 击 美 国 ) 等 偶 尔 出 现 的 出 错 情 况, 百 分 之 百 正 确 词 次 小 于 4 特 别 是 词 次 为 1 的 词 语, 有 一 些 是 上 面 提 到 的 笔 误 和 超 常 词 语, 但 比 例 很 小, 在 4079 个 词 语 中 总 共 发 现 了 11 个, 大 多 是 形 如 卡 特 里 娜 飓 风 袭 击 美 国 这 样 标 题 性 的 小 句, 词 次 都 小 于 等 于 2 因 此, 对 从 关 键 词 中 抽 取 的 所 有 类 的 词 语, 我 们 只 对 词 次 小 于 等 于 2 的 词 语 进 行 了 排 错, 结 果 表 明 错 误 率 等 于 0.25% 从 超 链 接 中 抽 取 的 词 语 不 多, 这 只 是 对 关 键 词 抽 取 的 补 充 经 过 检 查 发 现, 并 不 完 全 是 词 或 短 语, 有 的 是 标 题 性 的 小 句, 如 圆 明 园 湖 底 防 渗 工 程 引 争 议 这 些 小 句 都 是 特 定 时 期 大 众 比 较 关 注 的 话 题, 词 次 不 高, 词 长 较 长 经 济 类 的 抽 样 检 查 表 明, 基 本 上 是 小 于 等 于 8 次, 词 长 大 于 等 于 7 因 此, 对 超 链 接 中 抽 取 的 词 语, 我 们 采 取 如 下 方 法 查 错 : 用 通 用 切 词 底 表 和 排 错 后 的 关 键 词 中 抽 取 的 词 语 进 行 过 滤, 余 下 小 量 从 超 链 接 中 抽 取 的 词 语 (6724 词 条 ); 对 这 些 词 语 中 词 次 小 于 等 于 8 次 词 长 大 于 等 于 7 的 词 语 (3483 词 条 ) 人 工 排 错 结 果 表 明 错 误 率 等 于 33.56% 总 体 上, 关 键 词 抽 取 的 词 语 的 准 确 率 为 99.94%, 超 链 接 中 抽 取 的 词 语 的 准 确 率 为 94.43% 下 表 是 科 技 经 济 游 戏 汽 车 体 育 生 活 男 女 教 育 7 类 语 料 中 抽 取 到 的 词 语 举 例 : 科 技 经 济 游 戏 汽 车 体 育 生 活 男 女 教 育 微 软 大 盘 纯 情 房 东 俏 房 客 汽 车 皇 马 写 真 高 考 笔 记 本 美 元 传 奇 降 价 国 奥 性 感 试 题 手 机 反 弹 A3 车 市 姚 明 美 女 教 育 3

IBM 基 金 COSPLAY F1 足 彩 女 性 留 学 数 码 相 机 股 市 反 恐 精 英 新 车 火 箭 男 人 研 究 生 英 特 尔 调 整 奇 迹 车 展 大 连 实 德 健 康 大 学 生 索 尼 大 豆 天 骄 购 车 女 足 女 人 大 学 网 络 银 行 PS2 宝 马 网 球 明 星 高 校 病 毒 上 市 魔 兽 丰 田 曼 联 美 容 招 生 MP3 欧 元 冰 风 传 奇 车 祸 国 家 队 情 感 考 研 联 想 非 典 骑 士 交 通 阿 里 汉 模 特 英 语 中 国 美 国 敏 捷 篇 大 众 贝 克 汉 姆 两 性 考 试 电 信 香 港 决 战 奇 瑞 上 海 申 花 性 爱 学 生 3G 股 指 魔 兽 争 霸 吉 利 湖 人 时 尚 就 业 软 件 央 行 圣 斗 士 SUV 乒 乓 球 性 中 考 IT 震 荡 凯 旋 奥 迪 国 足 减 肥 校 园 联 通 蓝 筹 XBOX 奔 驰 沈 祥 福 名 模 毕 业 生 火 星 经 济 神 泪 进 口 车 AC 米 兰 职 业 非 典 AMD 人 民 币 动 画 二 手 车 围 棋 服 饰 民 办 主 板 铜 童 话 雅 阁 综 合 生 活 成 绩 小 灵 通 中 国 GBA POLO 赛 车 白 领 学 校 惠 普 蓝 筹 股 天 使 通 用 世 锦 赛 人 体 北 大 三 星 投 资 天 堂 2 福 特 科 比 爱 情 录 取 硬 盘 证 监 会 天 堂 宝 来 北 京 现 代 瘦 身 高 招 互 联 网 汽 车 射 击 篇 开 车 世 乒 赛 服 装 文 物 电 脑 港 股 任 天 堂 舒 马 赫 NBA 内 衣 四 六 级 Windows 板 块 神 之 领 域 事 故 F1 裸 体 上 海 显 卡 券 商 MU 一 汽 上 海 中 远 图 教 师 摩 托 罗 拉 保 险 补 丁 本 田 重 庆 力 帆 婚 姻 收 费 非 典 小 麦 E3 马 自 达 阿 森 纳 诱 惑 法 国 表 1 7 类 语 料 中 抽 取 到 的 词 语 ( 词 次 倒 序 前 30 位 ) 3.2 抽 取 词 语 的 新 词 率 通 常 切 词 用 的 底 表, 一 般 约 为 8 万 词 条, 本 文 以 教 育 部 语 用 所 建 立 的 词 表 作 为 对 比 词 表 ( 下 称 8 万 词 表 ), 此 表 共 84213 个 词 条 新 抽 取 到 的 词 语 除 掉 8 万 词 表 中 的 词 语, 我 们 将 之 称 为 新 词 语 ( 显 然, 对 比 词 表 不 同, 新 词 语 也 不 同 ) 新 词 语 共 175187 个 词 条, 新 词 率 为 76.42%(175187/229237), 具 体 分 布 在 不 同 类 别 中 我 们 下 面 以 科 技 类 为 例 进 行 说 明 从 科 技 类 共 抽 取 到 21458 个 词 语, 按 照 词 语 出 现 的 次 数 倒 序 排 列 表 1 列 举 的 30 个 词 语 中, 除 了 中 国, 其 他 完 全 是 科 技 领 域 的 主 题 词 语, 全 是 命 名 实 体 其 出 现 次 数 的 排 名 也 反 映 了 科 技 领 域 中 信 息 分 布 和 用 户 关 注 点 的 真 实 情 况 去 掉 8 万 词 表 中 的 词 语, 新 词 语 共 16812 个, 倒 序 前 30 位 分 别 是 IBM 英 特 尔 MP3 3G IT AMD 小 灵 通 惠 普 Windows 显 卡 非 典 Linux 网 络 游 戏 CPU 戴 尔 DVD TCL 网 通 Intel PC CDMA Google 掌 上 电 脑 Photoshop 中 国 电 信 华 为 P4 垃 圾 邮 件 数 字 电 视 仁 科 全 部 是 命 名 实 体, 而 且 带 字 母 的 词 语 明 显 增 多, 共 16 个 下 表 是 15 个 类 别 语 料 抽 取 到 的 词 语 数 新 词 语 数 及 新 词 率 词 语 数 是 从 某 一 类 别 的 所 有 网 页 中 抽 取 到 的 词 语 数 量, 新 词 语 数 是 指 抽 取 到 的 未 出 现 在 8 万 词 表 中 的 词 语 数 量, 这 些 是 新 词 语, 新 词 率 是 新 词 语 数 除 以 词 语 数 的 商 类 目 词 语 数 新 词 语 数 新 词 率 类 目 词 语 数 新 词 语 数 新 词 率 4

游 戏 18548 15877 85.60 旅 游 13585 8701 64.05 经 济 19654 15998 81.40 文 艺 15487 9663 62.40 科 技 21458 16812 78.35 时 政 _ 国 际 12685 6991 55.12 房 产 17685 13810 78.09 时 政 _ 国 内 15248 8290 54.37 汽 车 16248 12401 76.32 教 育 14547 7631 52.46 体 育 18846 14103 74.83 生 活 男 女 13697 7042 51.42 娱 乐 18354 13627 74.25 时 政 _ 社 会 13991 6094 43.56 时 政 _ 军 事 16458 11338 68.89 表 2 15 个 类 别 语 料 抽 取 到 的 词 语 新 词 语 及 新 词 率 由 于 含 有 大 量 的 游 戏 名 公 司 名 和 游 戏 中 的 人 物 装 备 地 名 等, 游 戏 类 新 词 率 最 高 例 如, 在 195 篇 游 戏 _ 迷 你 游 戏 _ 敏 捷 类 层 级 小 类 的 网 页 中, 仅 游 戏 名 称 就 抽 取 到 298 个 超 级 贪 吃 蛇 土 人 大 战 逃 离 陷 阱 醉 酒 上 厕 所 圆 桌 弹 球 圣 诞 铲 雪 工 血 腥 闯 关 星 际 猪 霸 小 偷 克 星 顽 皮 小 酒 鬼 玩 具 抓 抓 机 圣 诞 搬 运 工 太 空 兔 子 忍 者 杀 阵 拳 皇 2000 碰 碰 拳 打 魔 力 彩 蛋 生 死 巡 航 魔 鬼 出 租 车 辣 妹 快 打 恐 怖 医 院 街 头 霸 主 超 级 鱼 仔 死 亡 赛 车 足 球 炸 弹 人 自 行 车 障 碍 赛 重 锤 打 鸭 子 战 场 救 美 女 勇 闯 魔 鬼 窟 舌 头 弹 球 大 战 隐 匿 潜 入 银 河 撞 球 赛 异 星 奇 遇 养 育 美 人 鱼 训 练 皮 卡 丘 球 球 跳 跳 血 盆 狼 口 雪 山 逃 生 记 幸 运 蜜 蜂 新 格 斗 之 王 小 猪 方 块 泡 泡 豆 豆 龙 小 强 终 结 者 消 灭 蛀 牙 西 部 大 对 决 无 敌 小 泡 泡 危 险 传 递 员 落 日 战 机 外 星 人 着 陆 坦 克 出 巡 水 晶 岛 大 冒 险 水 池 挪 杆 蔬 菜 马 里 奥 狂 人 姿 三 四 郎 试 管 通 道 圣 诞 老 人 打 架 圣 诞 滑 雪 圣 诞 大 逃 亡 圣 诞 打 雪 仗 精 品 打 砖 块 表 3 游 戏 _ 迷 你 游 戏 _ 敏 捷 类 的 游 戏 名 称 ( 例 举 60 个 ) 经 济 科 技 房 产 和 汽 车 类 由 于 行 业 发 展 较 快, 新 事 物 或 新 概 念 层 出 不 穷, 产 品 名 公 司 名 等 更 新 快, 新 词 率 也 较 高 时 政 _ 社 会 等 主 要 与 日 常 生 活 密 切 相 关, 不 太 容 易 出 现 新 事 物 或 新 概 念, 因 此 新 词 率 较 低 3.3 新 词 语 在 切 分 中 的 作 用 我 们 将 抽 取 到 的 新 词 语 加 入 到 原 来 的 8 万 词 表 中, 形 成 一 个 含 259400 词 条 的 大 词 语 表 与 通 常 词 表 ( 如 8 万 词 表 ) 的 切 分 结 果 不 同, 基 于 大 词 语 表 的 最 大 切 分 表 现 出 如 下 一 些 特 点 : 1 粒 度 较 粗, 词 语 的 平 均 长 度 为 3.19( 含 单 字 二 字 词 字 母 数 字 词 多 字 词 ) 2 切 词 底 表 的 词 语 多 为 关 键 词, 专 指 性 强 结 构 完 整 语 义 单 一, 保 证 了 词 语 内 部 的 准 确 性 ; 在 本 身 准 确 性 的 前 提 下, 词 语 词 长 较 长, 减 少 了 切 分 点 这 些 避 免 了 一 些 常 用 底 表 的 切 分 错 误 3 由 于 词 语 表 中 的 新 词 语 多 为 命 名 实 体, 因 此, 基 本 上 能 将 起 到 文 本 表 示 作 用 的 特 征 词 语 切 出 来,8 万 词 表 切 分 时 的 未 登 录 词 也 基 本 上 可 以 解 决, 这 在 科 技 经 济 类 文 档 中 体 现 得 更 明 显 那 些 切 不 出 来 的 专 名 也 是 偶 尔 出 现 的, 如 社 会 新 闻 中 偶 尔 出 现 的 人 名, 一 般 不 具 有 特 征 表 示 的 意 义 下 面 我 们 以 歧 义 和 专 名 最 多 的 科 技 文 档 为 例 进 行 说 明, 进 行 对 比 的 其 他 切 分 系 统 共 4 个 ( 软 件 于 2004 年 年 底 下 载 于 网 络, 可 能 并 非 最 新 版 或 最 强 版 ), 限 于 篇 幅, 这 里 只 显 示 了 我 们 的 切 分 结 果 : PC/ 巨 头 / 戴 尔 / 刚 / 宣 布 / 进 军 / 家 电 市 场 / 不 久 /,/ 手 机 / 巨 头 / 摩 托 罗 拉 / 也 / 尾 随 其 后 / 染 指 / 家 电 / / 据 / / 北 京 晨 报 / / 报 道 /,/ 摩 托 罗 拉 / 与 / 唯 冠 / 集 团 / 在 / 深 圳 / 联 合 / 宣 布 /,/ 他 们 / 联 合 / 推 出 / 的 / 摩 托 罗 拉 / 资 讯 家 电 / 将 / 在 / 深 圳 / 高 交 会 / 上 / 首 次 / 亮 相 / / 据 称 /,/ / 摩 托 罗 拉 / / 牌 / 家 电 / 将 以 / 数 字 电 视 / 为 / 重 点 /,/ 以 / 厨 卫 电 视 / / 楼 宇 可 视 对 讲 机 / / 车 载 影 音 / 等 / 为 / 主 轴 /,/ 年 底 / 将 / 推 出 / 液 晶 显 示 器 / / 液 晶 电 视 / / 等 离 子 电 视 / 和 /DVD/ / 数 码 / 录 / 放 像 机 / / 车 载 产 品 / 等 / 家 电 / 新 品 / / 众 多 / 巨 头 / 纷 纷 / / 入 伍 / / 家 电 市 场 /,/ 家 电 业 / 能 / 迎 来 / 发 展 / 的 / / 第 5

二 春 / / 吗 /?/ 从 切 分 对 比 来 看, 我 们 的 切 分 系 统 基 本 上 能 将 命 名 实 体 切 出 来, 在 29 个 命 名 实 体 中 ( 不 含 时 间 词 ), 只 切 错 了 两 个 : 唯 冠 集 团 数 码 录 放 像 机 而 且 避 免 了 其 它 系 统 出 现 的 类 似 戴 尔 刚 家 / 电 业 高 / 交 / 会 上 数 字 / 电 / 视 为 这 样 的 歧 义 错 误 而 戴 尔 刚 家 / 电 业 高 / 交 / 会 上 数 字 / 电 / 视 为 这 样 的 切 分 错 误 因 为 包 含 特 征 词, 会 影 响 文 本 表 示 文 本 分 类 主 题 词 标 引 等 后 续 处 理, 其 他 的 专 名 切 分 错 误 如 高 / 交 / 会 更 是 如 此 而 北 京 / 晨 报 唯 冠 / 集 团 资 讯 / 家 电 数 字 / 电 视 厨 卫 / 电 视 楼 宇 / 可 视 / 对 讲 机 车 载 / 影 音 液 晶 / 显 示 器 液 晶 / 电 视 等 离 子 / 电 视 家 电 / 市 场 家 电 / 业 在 一 般 应 用 目 的 下, 并 不 完 全 算 切 错, 但 对 于 信 息 处 理 中 的 文 本 表 示 研 究 而 言, 我 们 认 为 是 错 的, 不 利 于 文 本 表 示 需 要 特 别 说 明 的 是, 这 只 是 个 别 例 子 上 的 对 比, 无 法 统 计 准 确 率 和 召 回 率, 更 无 法 与 其 它 切 分 系 统 进 行 数 据 上 的 对 比 以 后 可 以 参 加 863 智 能 技 术 与 接 口 评 测 项 目 中 命 名 实 体 识 别 的 评 测, 进 行 全 面 科 学 的 测 试 3.4 新 词 语 的 强 文 本 表 示 功 能 总 体 上 看, 新 词 语 中 命 名 实 体 或 术 语 占 很 大 比 例, 特 别 是 在 游 戏 科 技 经 济 房 产 汽 车 类 中 更 是 如 此 这 样 的 新 词 语 是 具 有 强 文 本 表 示 功 能 的 特 征 词 语, 在 文 本 表 示 时, 能 将 文 本 的 内 容 特 征 ( 例 如 领 域 类 别 主 题 思 想 中 心 意 义 等 ) 鲜 明 地 表 示 出 来 例 如, 相 对 于 虚 词 性 成 分 ( 如 总 而 言 之 ), 一 些 领 域 性 强 的 体 词 性 成 分 ( 如 封 闭 式 基 金 ) 的 文 本 表 示 功 能 强 得 多 这 些 词 语 往 往 结 构 固 定, 具 有 一 定 的 凝 固 性 ; 表 意 完 整 单 一 所 指 明 确, 在 意 义 上 有 一 定 的 完 整 性 和 专 指 性, 多 是 领 域 中 的 特 征 词 语, 如 保 钓 组 织 保 修 证 明 书 贝 尔 格 莱 德 红 星 队 手 机 操 作 系 统 精 确 轰 炸 内 部 交 易 罪 等, 很 适 合 表 达 文 本 的 内 容 特 征 在 文 本 表 示 中, 最 常 见 的 是 向 量 空 间 模 型, 但 向 量 空 间 模 型 一 个 很 大 的 缺 陷 在 于 它 没 有 考 虑 文 本 上 下 文 间 的 语 义 关 系 和 潜 在 的 概 念 结 构 ( 如 词 汇 间 的 共 现 关 系 同 义 关 系 等 ), 特 征 项 之 间 独 立 性 不 够, 不 能 充 分 反 映 出 文 本 总 体 面 貌 另 一 个 用 的 较 多 概 率 模 型 也 存 在 类 似 的 贝 叶 斯 假 设, 即 特 征 之 间 被 假 定 为 是 相 互 条 件 独 立 的 最 基 本 最 有 效 的 改 进 应 该 是 从 向 量 空 间 模 型 和 概 率 模 型 的 文 本 表 示 入 手, 提 高 特 征 项 之 间 的 独 立 性, 比 如 用 结 构 更 稳 定 语 义 更 完 整 的 特 征 项 来 满 足 独 立 性 假 设 例 如, 医 药 板 块 两 个 词 和 医 药 板 块 短 语 相 比, 医 药 板 块 显 然 语 义 更 独 立 完 整, 更 适 合 表 示 文 本 内 容 我 们 抽 取 到 的 新 词 语 多 为 每 一 类 中 的 命 名 实 体, 具 有 结 构 稳 定 语 义 完 整 的 特 点, 在 较 大 程 度 上 可 以 克 服 向 量 空 间 模 型 和 贝 叶 斯 假 设 的 缺 点, 理 论 上, 比 其 他 特 征 项 更 适 合 作 为 文 本 表 示 的 特 征 很 多 命 名 实 体 几 乎 可 以 一 词 定 类, 例 如, 游 戏 类 中 的 游 戏 名, 甚 至 可 以 直 接 定 层 级 小 类 我 们 利 用 文 本 分 类 的 实 验 来 进 行 验 证 文 本 分 类 用 的 训 练 集 和 测 试 集 来 自 上 文 介 绍 的 超 大 规 模 层 级 分 类 语 料 库 直 接 以 抽 取 到 的 领 域 词 表 构 建 向 量 空 间 模 型, 实 验 证 明, 与 8 万 词 表 作 为 切 分 底 表 再 训 练 模 型 相 比, 在 3 万 篇 测 试 文 档 中, 文 本 分 类 的 大 类 分 类 ( 只 分 到 大 类, 如 科 技 ) 效 果 的 微 平 均 提 高 了 3.1%, 宏 平 均 F 1 值 提 高 了 5.5%; 层 级 分 类 ( 分 到 层 级 小 类, 如 科 技 _ 电 脑 _ 软 件 _ 操 作 系 统 ) 的 宏 平 均 F 1 值 提 高 了 7.6%, 微 平 均 则 提 高 了 15% 这 既 提 高 了 文 本 表 示 的 效 果, 有 大 大 节 省 了 训 练 时 间, 快 捷 高 效 4 结 语 与 通 常 的 机 器 学 习 算 法 或 规 则 法 相 比, 本 文 介 绍 的 新 词 语 获 取 和 聚 类 方 法 简 单 快 捷 准 确 率 高, 而 且 提 高 了 切 分 和 文 本 表 示 的 效 果 在 施 行 复 杂 的 动 态 算 法 之 前, 该 方 法 能 解 决 掉 大 多 数 问 题, 简 单 快 捷, 节 约 了 时 间 对 于 性 能 要 求 较 高 的 后 续 处 理, 该 方 法 更 是 具 有 复 杂 算 法 无 法 比 拟 的 效 率 优 势 6

但 这 只 是 一 个 利 用 已 有 资 源 的 静 态 方 法, 如 需 动 态 更 新, 也 可 以 定 期 下 载 新 网 页, 重 新 抽 取 另 外, 新 词 语 的 领 域 交 叉 问 题 也 需 要 解 决, 可 以 依 靠 新 词 语 在 各 个 类 别 中 的 频 率 或 TFIDF 值 的 差 别 来 计 算 其 对 于 各 个 类 别 的 归 属 可 能 性, 如 词 语 对 于 类 别 的 归 属 可 能 性 一 支 独 秀, 则 只 属 于 某 一 类, 如 几 个 峰 值 并 峙, 则 属 于 某 几 类, 但 可 能 性 大 小 不 一 当 然, 这 中 间 的 判 断 阈 值 的 设 定 值 得 深 究 参 考 文 献 : [1] Borthwik et al. Exploiting Diverse Knowledge Source via Maximum Entropy in Named Entity Recognition[C],WVLC98. [2] Donald Hindle. Noun classification from predicate-argument structures [C]. In proceedings of ACL, 1990, 268-275. [3] 孙 茂 松, 黄 昌 宁 等. 中 文 姓 名 的 自 动 辨 识 [J]. 中 文 信 息 学 报.1995,9(2):16-27 [4] 刘 秉 伟, 黄 萱 箐, 郭 以 昆 等. 基 于 统 计 方 法 的 中 文 姓 名 识 别 [J]. 中 文 信 息 学 报.2000,14(3): 16-24 [5] 郑 家 恒, 李 鑫, 潭 红 叶. 基 于 语 料 库 的 中 文 姓 名 识 别 [J]. 中 文 信 息 学 报.2000,14(1):7-12 [6] 周 正 宇, 李 宗 葛. 一 种 新 的 基 于 统 计 的 词 典 扩 展 方 法 [J]. 中 文 信 息 学 报.2001,15(5):46-51 [7] 贾 自 艳, 史 忠 植. 基 于 概 率 统 计 技 术 和 规 则 方 法 的 新 词 发 现 [J]. 计 算 机 工 程.2004,30(20): 19-21,83 [8] 郑 家 恒, 杜 永 萍, 刘 昌 钰. 基 于 语 料 的 动 态 获 取 专 业 词 汇 方 法 初 探 [J]. 计 算 机 工 程,2002, 28(5):64-66 [9] 罗 盛 芬, 孙 茂 松. 基 于 字 串 内 部 结 台 紧 密 度 的 汉 语 自 动 抽 词 实 验 研 究 [J]. 中 文 信 息 学 报, 2003,17(3):9-14 [10] 刘 建 舟, 何 婷 婷. 基 于 语 料 库 和 网 络 的 新 词 自 动 识 别 [J]. 计 算 机 应 用,2004,24(7): 132-134 [11] 邹 纲, 刘 洋. 面 向 Internet 的 中 文 新 词 语 检 测 [J]. 中 文 信 息 学 报,2004,18(6):1-9 [12] 聂 颂. 统 计 与 规 则 结 合 的 一 种 新 词 识 别 方 法 [J]. 微 型 机 与 应 用,2003,10:58-60 [13] 苏 菲, 王 丹 力. 基 于 标 记 的 规 则 统 计 模 型 与 未 登 录 词 识 别 算 法 [J]. 计 算 机 工 程 与 应 用,2004,15:43-46 [14] 隋 岩. 基 于 动 态 流 通 语 料 库 的 有 效 字 符 串 提 取 研 究 [D]. 北 京 : 北 京 语 言 大 学 博 士 论 文,2004 [15] 杨 尔 弘. 突 发 事 件 信 息 提 取 研 究 [D]. 北 京 : 北 京 语 言 大 学 博 士 论 文,2005 作 者 介 绍 : 刘 华, 男,1975 年 生, 暨 南 大 学 华 文 学 院, 博 士, 讲 师 研 究 方 向 : 语 言 信 息 处 理, 信 息 检 索 地 址 : 广 州 市 天 河 区 广 园 东 路 暨 南 大 学 华 文 学 院 华 文 教 育 系, 邮 编 :510610 电 话 :02035577201,13826432689 E-mail:liuhua0461@sina.com,liuhua7586@blcu.edu.cn 7