2005硕士论文模版

基 于 输 入 法 用 户 词 库 和 查 询 日 志 的 若 干 研 究 Some Research based on User Dictionary of Input Method and Query Log ( 申 请 清 华 大 学 工 学 硕 士 学 位 论 文 ) 培 养 单 位 : 计 算 机 科 学 与 技 术 系 学 科 : 计 算 机 科 学 与 技 术 研 究 生 : 王 鹏 指 导 教 师 : 孙 茂 松 教 授 二 一 一 年 四 月

基 于 输 入 法 用 户 词 库 和 查 询 日 志 的 若 干 研 究 王 鹏

关 于 学 位 论 文 使 用 授 权 的 说 明 本 人 完 全 了 解 清 华 大 学 有 关 保 留 使 用 学 位 论 文 的 规 定, 即 : 清 华 大 学 拥 有 在 著 作 权 法 规 定 范 围 内 学 位 论 文 的 使 用 权, 其 中 包 括 :(1) 已 获 学 位 的 研 究 生 必 须 按 学 校 规 定 提 交 学 位 论 文, 学 校 可 以 采 用 影 印 缩 印 或 其 他 复 制 手 段 保 存 研 究 生 上 交 的 学 位 论 文 ;(2) 为 教 学 和 科 研 目 的, 学 校 可 以 将 公 开 的 学 位 论 文 作 为 资 料 在 图 书 馆 资 料 室 等 场 所 供 校 内 师 生 阅 读, 或 在 校 园 网 上 供 校 内 师 生 浏 览 部 分 内 容 本 人 保 证 遵 守 上 述 规 定 ( 保 密 的 论 文 在 解 密 后 遵 守 此 规 定 ) 作 者 签 名 : 导 师 签 名 : 日 期 : 日 期 :

摘 要 摘 要 中 文 输 入 法 是 中 文 计 算 机 用 户 的 重 要 工 具, 但 是 基 于 中 文 输 入 法 的 用 户 行 为 研 究 非 常 稀 少 本 文 研 究 了 用 于 中 文 输 入 法 用 户 词 库 和 搜 索 引 擎 查 询 日 志 的 字 词 情 况 通 过 数 据 处 理 统 计 分 析, 本 文 介 绍 了 用 户 词 库 和 查 询 日 志 在 用 字 用 词 上 的 新 特 点 并 与 其 他 数 据 进 行 对 比 结 合 用 户 词 库 查 询 日 志 Wiki Sogout 数 据, 本 文 论 述 了 寻 找 Wiki 中 文 常 见 词 条 的 方 法 并 分 析 结 果 本 文 还 介 绍 了 通 过 两 个 记 录 用 户 输 入 序 列 信 息 的 输 入 法 数 据 抽 取 拼 音 错 误 模 式 的 方 法, 并 对 结 果 进 行 分 析 并 试 图 找 到 错 误 发 生 的 原 因, 总 结 了 中 文 输 入 法 输 入 错 误 的 一 些 规 律 最 后, 本 文 介 绍 了 实 现 Win32 平 台 下 女 书 拼 音 输 入 法 的 机 制 和 原 理 关 键 词 : 输 入 法 搜 索 引 擎 错 误 模 式 用 户 词 库 查 询 日 志 I

Abstract Abstract Chinese Input Method is an important tool of Chinese computer users. But studies on user behaviors in Chinese Input Method are rare. This paper introduces the research on Chinese characters and words used in Chinese Input Method and Search Engine. Based on data processing and statistical analysis, we introduce new features of Chinese Input Method user dictionaries and Search Engine query logs and compare them to other datasets. We also introduce and analysis some methods to find popular Wiki Chinese words based on user dictionaries, query logs, Wiki and Sogout dataset. And we introduce the method of extracting Pinyin error patterns by several methods based on two datasets of two Chinese input methods which include input sequences of users. Then we analysis these input error patterns and try to find their reasons. We summarize some rules of input errors of Chinese in input method. At last, we introduce how to implement "Female Script" Pinyin Input Method based on Win32 system. Keywords: Input Method Search Engine error patterns User dictionary Query log II

目 录 目 录 第 1 章 引 言... 1 1.1 研 究 背 景... 1 1.2 研 究 现 状... 1 1.3 本 文 的 主 要 内 容 与 贡 献... 2 第 2 章 输 入 法 用 户 词 库 和 查 询 日 志 用 字 情 况 分 析... 3 2.1 实 验 概 述... 3 2.2 数 据 说 明... 3 2.3 用 户 词 库 查 询 日 志 媒 体 字 表 单 字 使 用 情 况... 4 2.3.1 输 入 法 用 户 词 库... 4 2.3.2 搜 索 引 擎 查 询 日 志... 7 2.3.3 媒 体 常 用 字 表... 9 2.4 常 用 七 千 字 在 三 个 数 据 集 中 的 分 布 情 况... 12 2.4.1 常 用 七 千 字 在 用 户 词 库 中 的 分 布... 12 2.4.2 常 用 七 千 字 在 查 询 日 志 中 的 分 布... 13 2.4.3 常 用 七 千 字 在 媒 体 字 表 中 的 分 布... 13 2.5 不 同 数 据 集 之 间 单 字 分 布 比 较... 14 2.5.1 用 户 词 库 与 查 询 日 志 单 字 分 布 比 较... 14 2.5.2 用 户 词 库 与 媒 体 字 表 比 较... 15 2.5.3 查 询 日 志 与 媒 体 字 表 比 较... 16 2.6 小 结... 17 第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析... 19 3.1 实 验 概 述... 19 3.2 数 据 说 明... 19 3.2.1 输 入 法 用 户 词 库... 19 3.2.2 搜 索 引 擎 查 询 日 志... 19 3.2.3 其 他 数 据... 19 3.3 输 入 法 用 户 词 库 用 词 情 况 分 析... 20 III

目 录 3.3.1 总 体 情 况... 20 3.3.2 三 千 常 用 词 分 布 情 况... 24 3.4 查 询 日 志 用 词 情 况 分 析... 28 3.4.1 总 体 情 况... 28 3.4.2 三 千 常 用 词 分 布 情 况... 42 3.5 小 结... 46 第 4 章 基 于 输 入 法 用 户 词 库 和 查 询 日 志 的 wiki... 47 4.1 实 验 概 述... 47 4.2 数 据 介 绍... 47 4.2.1 输 入 法 用 户 词 库 和 查 询 日 志... 47 4.2.2 Wiki 链 接 词 数 据... 47 4.2.3 Sogout 网 页 串 频 数 据... 48 4.3 Wiki 中 文 链 接 词 条 在 不 同 数 据 集 下 的 分 布 情 况... 48 4.3.1 Wiki 中 文 链 接 词 条 在 输 入 法 用 户 词 库 的 分 布... 48 4.3.2 Wiki 中 文 链 接 词 条 在 查 询 日 志 的 分 布... 49 4.3.3 Wiki 中 文 链 接 词 条 在 Sogout 串 频 数 据 的 分 布... 51 4.3.4 小 结... 53 4.4 基 于 不 同 数 据 集 的 Wiki 常 用 词 条... 53 4.5 小 结... 62 第 5 章 基 于 输 入 法 输 入 数 据 的 常 见 拼 音 错 误 模 式 抽 取... 63 5.1 实 验 背 景 概 述... 63 5.2 数 据 介 绍... 63 5.2.1 小 白 狗 输 入 法 数 据... 63 5.2.2 大 白 狗 输 入 法 数 据... 64 5.3 错 误 拼 音 模 式 抽 取 方 法... 65 5.3.1 小 白 狗 输 入 法 数 据 错 误 对 抽 取 方 法... 65 5.3.2 大 白 狗 输 入 法 数 据 错 误 对 抽 取 方 法... 66 5.3.3 从 错 误 对 抽 取 错 误 模 式 的 方 法... 67 5.4 实 验 结 果 及 分 析... 67 5.4.1 小 白 狗 数 据... 67 IV

目 录 5.4.2 大 白 狗 数 据... 69 5.4.3 实 验 结 果 分 析... 71 5.5 小 结... 74 第 6 章 女 书 拼 音 输 入 法 的 设 计 与 实 现... 76 6.1 背 景 概 述... 76 6.2 Win32 平 台 的 IME 机 制 介 绍... 77 6.3 女 书 拼 音 输 入 法 的 实 现 原 理... 79 6.4 小 结... 80 第 7 章 结 论... 82 7.1 论 文 成 果 总 结... 82 7.2 课 题 研 究 展 望... 82 参 考 文 献... 84 致 谢 与 声 明... 85 个 人 简 历 在 学 期 间 发 表 的 学 术 论 文 与 研 究 成 果... 86 V

第 1 章 引 言 第 1 章 引 言 1.1 研 究 背 景 随 着 网 络 的 发 展, 信 息 传 播 的 量 和 速 度 都 显 著 提 高 根 据 最 新 统 计, 中 国 网 民 数 量 已 经 达 到 3.84 亿, 互 联 网 普 及 率 为 28.9%[1][2] 这 种 信 息 的 高 速 发 展 对 现 有 的 语 言 造 成 了 很 大 影 响 就 汉 语 来 说, 每 年 都 有 很 多 新 鲜 词 汇 热 门 词 汇 诞 生 并 传 播, 逐 渐 形 成 了 一 种 特 有 的 网 络 语 言 网 络 语 言 也 在 逐 渐 地 影 响 着 平 时 生 活 中 使 用 的 语 言 因 此 研 究 网 络 中 的 语 言 状 况 和 对 生 活 中 语 言 的 影 响 成 为 一 种 迫 切 的 需 求 汉 字 输 入 法 是 汉 语 使 用 者 在 计 算 机 中 输 入 汉 字 的 工 具, 也 是 网 络 中 汉 语 语 言 的 输 入 方 式 汉 字 输 入 法 包 括 拼 音 输 入 法 五 笔 输 入 法 联 想 输 入 法 等 多 种 随 着 技 术 的 发 展, 拼 音 输 入 法 由 于 其 易 学 易 用 性 逐 渐 成 为 主 流 输 入 法 作 为 计 算 机 上 最 常 用 的 输 入 中 文 的 工 具, 其 使 用 情 况 可 以 视 为 计 算 机 上 中 文 使 用 情 况 的 体 现 1.2 研 究 现 状 针 对 汉 语 在 网 络 上 的 使 用, 也 已 经 有 一 些 统 计 分 析 [3], 主 要 针 对 若 干 大 型 网 站 上 的 文 本 进 行 字 词 的 统 计 分 析 也 有 针 对 中 文 搜 索 引 擎 的 用 户 行 为 进 行 研 究 的 工 作 [4] 在 中 文 搜 索 引 擎 用 户 行 为 分 析 的 基 础 之 上, 其 他 工 作 也 得 以 展 开 和 拓 展 [7] 相 比 网 络 文 本, 输 入 法 是 用 户 在 网 络 上 使 用 中 文 更 直 接 的 工 具 而 通 过 输 入 法 研 究 中 文 用 户 行 为 的 工 作 非 常 稀 少, 这 可 能 有 以 下 两 个 原 因 : 一 是 中 国 IT 产 业 发 展 迅 猛, 从 较 薄 弱 的 基 础 迅 速 发 展 为 具 有 巨 大 市 场 价 值 的 产 业, 许 多 工 作 尚 未 跟 进 ; 二 是 关 于 用 户 输 入 法 行 为 的 数 据 非 常 稀 少 2006 年 6 月 搜 狗 公 司 推 出 了 搜 狗 拼 音 输 入 法, 是 第 一 个 问 世 的 互 联 网 输 入 法 互 联 网 输 入 法 即 是 用 户 可 以 通 过 网 络 及 时 更 新 词 库, 并 且 可 以 将 自 己 的 词 库 上 传 到 服 务 器 中 互 联 网 输 入 法 的 诞 生 促 进 了 输 入 法 的 发 展, 并 且 通 过 网 络 收 集 到 大 量 的 用 户 输 入 数 据 ( 搜 狗 拼 音 输 入 法 注 册 用 户 词 库 规 模 已 经 达 到 100 万 用 户 ), 为 输 入 法 中 语 言 情 况 的 研 究 提 供 了 条 件 搜 狗 拼 音 输 入 法 是 第 一 个 1

第 1 章 引 言 问 世 的 互 联 网 输 入 法, 其 用 户 词 库 也 是 第 一 个 基 于 互 联 网 的 输 入 法 用 户 数 据 集 合 用 户 在 用 输 入 法 输 入 中 文 时 会 产 生 各 种 错 误, 对 这 些 输 入 错 误 进 行 分 析 研 究 有 助 于 提 高 输 入 法 的 使 用 效 果 目 前 基 于 英 文 等 字 母 语 言 的 自 动 纠 错 研 究 已 经 有 一 定 历 史,2000 年 就 出 现 了 经 典 的 噪 声 信 道 错 误 模 型 [5], 基 于 大 规 模 语 料 的 自 动 纠 错 也 得 到 了 较 好 的 结 果 [6] 由 于 各 种 原 因, 中 文 输 入 时 的 错 误 研 究 还 非 常 稀 少 1.3 本 文 的 主 要 内 容 与 贡 献 本 文 主 要 可 以 分 为 两 个 部 分 第 一 部 分, 通 过 搜 狗 公 司 提 供 的 输 入 法 用 户 词 库 数 据 搜 索 引 擎 查 询 日 志 和 其 他 现 有 数 据, 对 输 入 法 用 户 使 用 的 语 言 状 况 进 行 统 计 分 析, 并 与 普 通 话 常 用 词 等 数 据 进 行 比 较, 分 析 网 络 中 的 语 言 变 化 发 展 最 后 基 于 Wiki 数 据, 进 行 了 中 文 常 见 词 条 的 选 取 排 序 实 验, 并 对 实 验 结 果 进 行 分 析 第 一 部 分 主 要 包 括 第 二 章 第 三 章 第 四 章 第 二 章 主 要 介 绍 了 用 户 词 库 和 查 询 日 志 中 单 字 使 用 情 况 分 析, 并 与 其 他 数 据 进 行 对 比 第 三 章 主 要 介 绍 了 用 户 词 库 和 查 询 日 志 中 词 的 使 用 情 况 第 四 章 论 述 了 利 用 不 同 数 据 集 寻 找 Wiki 中 文 常 见 词 条 的 方 法 并 分 析 结 果 第 二 部 分 主 要 包 括 第 五 章 和 第 六 章 第 五 章 介 绍 利 用 输 入 法 用 户 输 入 序 列 的 数 据, 尝 试 了 若 干 种 抽 取 常 见 拼 音 错 误 模 式 的 方 法, 并 对 结 果 进 行 了 分 析 第 六 章 介 绍 了 在 对 输 入 法 有 一 定 了 解 的 基 础 上, 实 现 女 书 拼 音 输 入 法 的 原 理 最 后 第 七 章 对 之 前 的 章 节 进 行 总 结, 将 所 得 结 论 进 行 整 理, 并 介 绍 了 将 来 的 研 究 计 划 2

第 2 章 输 入 法 用 户 词 库 和 查 询 日 志 用 字 情 况 分 析 第 2 章 输 入 法 用 户 词 库 和 查 询 日 志 用 字 情 况 分 析 2.1 实 验 概 述 本 章 主 要 研 究 了 输 入 法 用 户 词 库 和 搜 索 引 擎 查 询 日 志 中 的 单 字 使 用 情 况, 以 及 中 文 常 用 七 千 字 在 用 户 词 库 和 查 询 日 志 中 的 分 布, 对 比 了 中 文 传 统 常 用 字 在 网 络 环 境 中 使 用 的 变 化 另 外 对 用 户 词 库 查 询 日 志 媒 体 常 用 字 表 三 个 数 据 做 了 比 较 2.2 数 据 说 明 输 入 法 用 户 词 库 数 据 为 搜 狗 输 入 法 (2006.9.5 推 出 正 式 1.0 版 ) 注 册 用 户 的 输 入 数 据, 记 录 了 所 有 用 户 输 入 的 词 条 和 次 数, 用 户 数 约 90 多 万 本 实 验 使 用 的 是 截 至 2008 年 8 月 21 日 的 用 户 词 库 记 录 方 法 为 用 户 使 用 输 入 法 上 屏 时 的 词 条, 比 如 用 户 输 入 中 国, 则 记 录 中 国 ; 如 果 用 户 输 入 整 句 我 在 哪 里 则 把 我 在 哪 里 作 为 一 个 词 条 记 录 由 于 分 析 常 用 字 分 布 情 况, 因 此 把 所 有 词 条 拆 成 单 字 统 计, 过 滤 了 词 频 过 小 的 词 条 总 字 频 76775392841 搜 狗 输 入 法 可 以 选 择 用 sohu 账 号 登 陆, 注 册 的 用 户 才 会 记 录 词 库, 图 2.1 是 搜 狗 输 入 法 登 陆 界 面 图 2.1 搜 狗 输 入 法 登 陆 界 面 搜 索 引 擎 查 询 日 志 是 sogou 搜 索 引 擎 记 录 的 用 户 查 询 记 录, 经 过 处 理 后 只 3

第 2 章 输 入 法 用 户 词 库 和 查 询 日 志 用 字 情 况 分 析 保 留 了 查 询 词 和 次 数, 每 天 分 别 统 计, 使 用 的 是 2008 年 5 月 21 日 至 2009 年 7 月 2 日 的 查 询 词 同 样 为 了 统 计 字 频 将 词 条 拆 成 单 字, 并 去 掉 了 非 中 文 字 符 总 字 频 5922947983 媒 体 常 用 字 表 是 统 计 三 家 Web 媒 体 的 新 闻 语 料 得 到 的 字 频 数 据, 共 有 单 字 9270 个, 总 字 频 991717782 现 代 汉 语 通 用 字 表 由 国 家 语 言 文 字 工 作 委 员 会 中 华 人 民 共 和 国 新 闻 出 版 署 1988 年 联 合 发 布, 是 根 据 中 文 常 用 字 情 况 对 汉 字 按 级 别 划 分 的 字 表, 没 有 字 频 信 息, 包 括 1 级 字 2500 个,2 级 字 1000 个,3 级 字 2500 个 后 文 中 以 常 用 字 2.3 用 户 词 库 查 询 日 志 媒 体 字 表 单 字 使 用 情 况 2.3.1 输 入 法 用 户 词 库 经 过 统 计 用 户 词 库 中 有 单 字 19679 个, 总 字 频 76775392841 一 般 来 说, 常 用 汉 字 大 约 有 5 6 千 左 右 用 户 词 库 的 19679 个 单 字 中 包 含 了 大 量 繁 体 字 古 字 异 体 字 等, 这 些 字 一 般 字 频 较 低 字 频 最 高 的 20 个 字 如 表 2.1 用 户 词 库 累 计 覆 盖 率 曲 线 如 图 2.2 用 户 词 库 中, 前 87 个 字 覆 盖 了 50% 的 字 频, 前 431 个 字 覆 盖 了 80% 的 字 频, 前 808 个 字 覆 盖 了 90% 的 字 频, 前 1231 个 字 覆 盖 了 95% 的 字 频, 前 2287 个 字 覆 盖 了 99% 的 字 频 常 用 单 字 占 总 数 的 小 部 分 Lg( 字 频 ) 关 于 Lg(Rank) 的 曲 线 如 图 2.3, 线 性 相 关 系 数 -0.9583 并 不 是 很 好 地 符 合 Zipf 定 律 图 2.4 是 每 个 单 字 的 概 率 与 Rank 相 乘 的 曲 线, 发 现 乘 积 变 化 较 大, 不 是 很 符 合 Zipf 定 律 4

第 2 章 输 入 法 用 户 词 库 和 查 询 日 志 用 字 情 况 分 析 图 2.2 用 户 词 库 累 计 覆 盖 率 曲 线 表 2.1 用 户 词 库 字 频 前 20 的 字 字 字 频 累 计 字 频 Rank 覆 盖 率 累 计 覆 盖 率 我 2044570926 2044570926 1 2.66% 2.66% 你 1957197208 4001768134 2 2.55% 5.21% 不 1849362646 5851130780 3 2.41% 7.62% 的 1729427093 7580557873 4 2.25% 9.87% 是 1443644870 9024202743 5 1.88% 11.75% 了 1366191672 10390394415 6 1.78% 13.53% 么 945551856 11335946271 7 1.23% 14.77% 有 914338373 12250284644 8 1.19% 15.96% 好 882177104 13132461748 9 1.15% 17.11% 个 794791091 13927252839 10 1.04% 18.14% 一 786687424 14713940263 11 1.02% 19.16% 没 769939061 15483879324 12 1.00% 20.17% 在 740057079 16223936403 13 0.96% 21.13% 就 692819581 16916755984 14 0.90% 22.03% 呵 660288698 17577044682 15 0.86% 22.89% 那 651385555 18228430237 16 0.85% 23.74% 要 586733172 18815163409 17 0.76% 24.51% 这 549162387 19364325796 18 0.72% 25.22% 来 546331533 19910657329 19 0.71% 25.93% 看 542732193 20453389522 20 0.71% 26.64% 5

第 2 章 输 入 法 用 户 词 库 和 查 询 日 志 用 字 情 况 分 析 图 2.3 用 户 词 库 Lg( 字 频 ) 关 于 Lg( 字 频 Rank) 的 曲 线 图 2.4 用 户 词 库 Rank*Pr 曲 线 通 过 观 察 发 现, 用 户 词 库 中 字 频 较 高 的 字 多 为 口 头 语 中 常 用 字, 比 如 代 词 语 气 词 助 词 等, 有 实 际 意 义 的 较 少 这 与 网 络 应 用 比 如 聊 天 工 具 论 坛 成 为 输 入 法 的 主 要 应 用 渠 道 有 关 6

第 2 章 输 入 法 用 户 词 库 和 查 询 日 志 用 字 情 况 分 析 2.3.2 搜 索 引 擎 查 询 日 志 查 询 日 志 中 有 单 字 17715 个, 总 字 频 5922947983, 同 样 包 含 很 多 繁 体 字 古 字 异 体 字 等 字 频 最 高 的 20 个 字 如 表 2.2 表 2.2 查 询 日 志 字 频 前 20 的 单 字 字 字 频 累 计 字 频 Rank 覆 盖 率 累 计 覆 盖 率 网 88756312 88756312 1 1.50% 1.50% 人 63484646 152240958 2 1.07% 2.57% 的 56817576 209058534 3 0.96% 3.53% 电 56496830 265555364 4 0.95% 4.48% 小 51567707 317123071 5 0.87% 5.35% 天 49460201 366583272 6 0.84% 6.19% 下 48611819 415195091 7 0.82% 7.01% 色 46581866 461776957 8 0.79% 7.80% 图 45773945 507550902 9 0.77% 8.57% 影 43526275 551077177 10 0.73% 9.30% 载 40495981 591573158 11 0.68% 9.99% 大 38612241 630185399 12 0.65% 10.64% 女 37353917 667539316 13 0.63% 11.27% 情 36121742 703661058 14 0.61% 11.88% 片 35055151 738716209 15 0.59% 12.47% 中 32249772 770965981 16 0.54% 13.02% 国 32125245 803091226 17 0.54% 13.56% 美 28335347 831426573 18 0.48% 14.04% 爱 27791941 859218514 19 0.47% 14.51% 学 27522927 886741441 20 0.46% 14.97% 查 询 日 志 累 计 覆 盖 率 曲 线 如 图 2.5, 前 188 个 字 覆 盖 了 50% 字 频, 前 658 个 字 覆 盖 了 80% 字 频, 前 1102 个 字 覆 盖 了 90% 字 频, 前 1577 个 字 覆 盖 了 95% 的 字 频, 前 2842 个 字 覆 盖 了 99% 的 字 频 可 见, 无 论 是 用 户 词 库 还 是 查 询 日 志, 都 含 有 大 量 低 频 字, 而 且 高 频 字 使 用 比 较 集 中, 尤 其 是 用 户 词 库,86 个 字 占 据 了 50% 的 字 频 7

第 2 章 输 入 法 用 户 词 库 和 查 询 日 志 用 字 情 况 分 析 图 2.5 查 询 日 志 累 计 覆 盖 率 曲 线 Lg( 字 频 ) 关 于 Lg(Rank) 的 曲 线 如 图 2.6, 线 性 相 关 系 数 -0.9395 曲 线 形 状 和 用 户 词 库 类 似, 并 不 很 好 地 符 合 Zipf 定 律 图 2.7 是 每 个 单 字 的 概 率 与 Rank 相 乘 的 曲 线, 发 现 乘 积 变 化 较 大, 不 是 很 符 合 Zipf 定 律 图 2.6 查 询 日 志 Lg( 字 频 ) 关 于 Lg(Rank) 的 曲 线 8

第 2 章 输 入 法 用 户 词 库 和 查 询 日 志 用 字 情 况 分 析 图 2.7 查 询 日 志 Rank*Pr 曲 线 由 于 使 用 目 的 不 同, 查 询 日 志 中 有 实 际 意 义 的 字 频 较 高, 虚 词 的 字 频 相 对 用 户 词 库 低 很 多 字 频 较 高 的 字 多 为 名 词 形 容 词 的 组 成 部 分, 这 是 与 搜 索 引 擎 的 功 能 相 符 的 2.3.3 媒 体 常 用 字 表 媒 体 字 表 含 有 单 字 9270 个, 总 字 频 991717782 字 频 最 高 的 前 20 个 字 如 表 2.3 累 计 覆 盖 率 曲 线 如 图 2.8, 前 181 个 字 覆 盖 了 50%, 前 604 个 字 覆 盖 了 80%, 前 970 个 字 覆 盖 了 90%, 前 1372 个 字 覆 盖 了 95%, 前 2381 个 字 覆 盖 了 99% 三 个 数 据 集 对 比 来 看, 用 户 词 库 用 字 最 集 中 Log( 字 频 ) 关 于 Log(Rank) 的 曲 线 如 图 2.9, 线 性 相 关 系 数 -0.8918, 也 不 是 很 好 地 符 合 Zipf 定 律 图 2.10 是 每 个 单 字 的 概 率 与 Rank 相 乘 的 曲 线, 发 现 乘 积 变 化 较 大, 不 是 很 符 合 Zipf 定 律 9

第 2 章 输 入 法 用 户 词 库 和 查 询 日 志 用 字 情 况 分 析 图 2.8 媒 体 字 表 累 计 覆 盖 率 表 2.3 媒 体 字 表 字 频 前 20 的 单 字 字 字 频 累 计 字 频 Rank 覆 盖 率 累 计 覆 盖 率 的 31651968 31651968 1 3.19% 3.19% 一 11018129 42670097 2 1.11% 4.30% 在 9270997 51941094 3 0.93% 5.24% 是 8733942 60675036 4 0.88% 6.12% 了 7937207 68612243 5 0.80% 6.92% 人 7578071 76190314 6 0.76% 7.68% 中 7545770 83736084 7 0.76% 8.44% 有 7214779 90950863 8 0.73% 9.17% 国 7037836 97988699 9 0.71% 9.88% 不 6754475 104743174 10 0.68% 10.56% 大 6493734 111236908 11 0.65% 11.22% 上 5600572 116837480 12 0.56% 11.78% 年 5402142 122239622 13 0.54% 12.33% 为 5251844 127491466 14 0.53% 12.86% 这 4857114 132348580 15 0.49% 13.35% 个 4807773 137156353 16 0.48% 13.83% 和 4752130 141908483 17 0.48% 14.31% 会 4528968 146437451 18 0.46% 14.77% 时 4432377 150869828 19 0.45% 15.21% 到 4293029 155162857 20 0.43% 15.65% 10

第 2 章 输 入 法 用 户 词 库 和 查 询 日 志 用 字 情 况 分 析 图 2.9 媒 体 字 表 Lg( 字 频 ) 关 于 Lg(Rank) 的 曲 线 图 2.10 媒 体 字 表 Rank*Pr 曲 线 三 组 数 据 字 频 覆 盖 情 况 总 结 如 表 2.4 三 组 数 据 的 共 同 特 点 是 高 频 字 使 用 集 中 用 户 词 库 和 查 询 日 志 虽 然 总 字 数 很 大, 但 是 包 含 了 大 量 非 常 用 字, 使 用 相 对 更 集 中 一 些 用 户 词 库 单 字 使 用 最 为 集 中, 少 量 的 单 字 即 可 达 到 很 高 覆 盖 率 11

第 2 章 输 入 法 用 户 词 库 和 查 询 日 志 用 字 情 况 分 析 覆 盖 相 应 覆 盖 率 所 用 字 数 表 2.4 累 计 覆 盖 率 所 用 字 数 对 比 用 户 词 库 查 询 日 志 媒 体 字 表 50% 87 188 181 80% 431 658 604 90% 808 1102 970 95% 1231 1577 1372 99% 2287 2842 2381 总 字 数 19679 17715 9270 2.4 常 用 七 千 字 在 三 个 数 据 集 中 的 分 布 情 况 2.4.1 常 用 七 千 字 在 用 户 词 库 中 的 分 布 常 用 七 千 字 中, 有 6995 个 在 用 户 词 库 中 出 现, 未 出 现 的 常 用 字 如 下 : 轪 韨 饻 绤 鹝 5 个 都 是 3 级 字, 而 且 确 实 在 日 常 生 活 中 很 少 使 用 比 较 1 级 字 2500 个 与 用 户 词 库 中 字 频 前 2500 个 单 字, 共 有 部 分 有 2138 个 字, 非 共 有 部 分 362 个 字, 共 有 部 分 占 85.52% 用 户 词 库 独 有 的 362 个 字 中, 有 很 多 语 气 词, 比 如 呵 嘛 嗯 嘿 哎 咯 哦 哇 等 ; 还 有 一 些 方 言 用 字, 比 如 冇 等 ; 还 有 一 些 网 络 流 行 字 和 火 星 文, 比 如 囧 伱 莪 等 ; 还 有 一 些 侮 辱 性 淫 秽 的 单 字 常 用 字 独 有 的 362 个 字 中, 比 较 多 的 是 一 些 使 用 范 围 较 窄 字 意 比 较 具 体 的 字, 比 如 坝 瓣 鞭 等 比 较 1 2 级 字 3500 个 与 用 户 词 库 前 3500 个 单 字, 共 有 部 分 有 3048 个, 非 共 有 部 分 452 个, 共 有 部 分 占 87.09% 用 户 词 库 独 有 部 分 的 成 分 与 2500 个 字 的 情 况 基 本 一 致 常 用 字 独 有 的 452 个 字 中,1 级 字 56 个,2 级 字 396 个,1 级 字 未 覆 盖 部 分 减 少 很 多 比 较 1 2 3 级 字 7000 个 与 用 户 词 库 前 7000 个 单 字, 共 有 部 分 有 5821 个, 非 共 有 部 分 1179 个, 共 有 部 分 占 83.16% 用 户 词 库 独 有 的 1179 个 字 中, 语 气 词 大 量 减 少, 主 要 组 成 部 分 为 火 星 文, 另 外 有 一 些 繁 体 字 和 粗 俗 淫 秽 字 意 的 字 常 用 字 的 独 有 部 分 中,2 级 字 只 有 两 个 秕 蛉, 其 余 都 是 3 级 字 可 见 在 前 7000 常 用 字 的 范 围 内, 用 户 词 库 和 常 用 七 千 字 的 差 别 主 要 在 于 3 级 字 12

第 2 章 输 入 法 用 户 词 库 和 查 询 日 志 用 字 情 况 分 析 2.4.2 常 用 七 千 字 在 查 询 日 志 中 的 分 布 常 用 七 千 字 中, 有 6995 个 在 查 询 日 志 中 出 现, 未 出 现 的 5 个 字 如 下 : 拚 伋 阘 饻 馌 5 个 都 是 3 级 字, 其 中 饻 也 未 在 用 户 词 库 中 出 现 比 较 1 级 字 2500 个 与 查 询 日 志 中 前 2500 个 字, 共 有 部 分 有 2038 个, 非 共 有 部 分 462 个, 共 有 部 分 占 81.52% 略 低 于 用 户 词 库 查 询 日 志 的 独 有 部 分 中, 与 用 户 词 库 不 同, 多 是 有 实 际 意 义 的 字, 可 能 是 新 兴 高 频 字, 比 如 伦 聊 婷 炫 等, 另 外 还 有 一 些 低 俗 下 流 字 意 的 字 常 用 字 独 有 部 分 主 要 还 是 使 用 面 较 窄 的 字 比 较 1 2 级 字 3500 个 与 查 询 日 志 前 3500 个 字, 共 有 部 分 有 2883 个, 非 共 有 部 分 617 个, 共 有 部 分 占 82.37%, 低 于 用 户 词 库 查 询 日 志 独 有 部 分 情 况 与 前 2500 字 相 似 常 用 字 独 有 部 分 中,1 级 字 154 个,2 级 字 463 个,1 级 字 比 例 相 比 用 户 词 库 较 大 比 较 1 2 3 级 字 7000 个 与 查 询 日 志 前 7000 个 字, 共 有 部 分 有 5682 个, 非 共 有 部 分 1318 个, 共 有 部 分 占 81.17%, 低 于 用 户 词 库 查 询 日 志 的 独 有 部 分 中, 与 用 户 词 库 类 似, 有 较 多 低 俗 下 流 字 意 的 字 和 火 星 文 繁 体 字 常 用 字 独 有 部 分 中,2 级 字 11 个 : 秕 盹 踱 馁 譬 嘁 迄 秫 锨 舀 谆 其 余 都 是 3 级 字 与 用 户 词 库 类 似, 在 前 7000 常 用 字 的 范 围 内, 查 询 日 志 和 常 用 七 千 字 的 差 别 主 要 在 于 3 级 字 与 用 户 词 库 相 比, 查 询 日 志 由 于 其 使 用 目 的 的 倾 向 性, 多 为 有 具 体 意 义 的 查 询 词, 因 此 与 常 用 七 千 字 的 相 关 度 低 于 用 户 词 库 2.4.3 常 用 七 千 字 在 媒 体 字 表 中 的 分 布 常 用 七 千 字 中, 有 6803 个 在 查 询 日 志 中 出 现, 未 出 现 的 197 个 字 全 部 为 3 级 字 出 现 的 常 用 字 较 少 可 能 和 媒 体 字 表 字 数 较 少 只 有 9270 个 有 关 比 较 1 级 字 2500 个 与 媒 体 字 表 中 前 2500 个 字, 共 有 部 分 有 2156 个, 非 共 有 部 分 344 个, 共 有 部 分 占 86.24%, 高 于 用 户 词 库 和 查 询 日 志 媒 体 字 表 的 独 有 部 分 中, 与 用 户 词 库 不 同, 多 是 有 实 际 意 义 的 字, 其 中 有 不 少 是 中 外 人 名 地 名 的 组 成 汉 字, 比 如 萨 诺 迪 菲 廖 等 比 较 1 2 级 字 3500 个 与 媒 体 字 表 前 3500 个 字, 共 有 部 分 有 3103 个, 非 共 有 部 分 397 个, 共 有 部 分 占 88.66%, 高 于 用 户 词 库 和 查 询 日 志 媒 体 字 表 独 13

第 2 章 输 入 法 用 户 词 库 和 查 询 日 志 用 字 情 况 分 析 有 部 分 情 况 与 前 2500 字 相 似 常 用 字 独 有 部 分 中,1 级 字 49 个,2 级 字 348 个, 1 级 字 比 例 相 比 用 户 词 库 和 查 询 日 志 较 小 比 较 1 2 3 级 字 7000 个 与 媒 体 字 表 前 7000 个 字, 共 有 部 分 有 6391 个, 非 共 有 部 分 609 个, 共 有 部 分 占 91.30%, 高 于 用 户 词 库 和 查 询 日 志 媒 体 字 表 的 独 有 部 分 中, 有 较 多 繁 体 字 常 用 字 独 有 部 分 中, 都 是 3 级 字 媒 体 字 表 由 于 来 源 较 正 式, 因 此 和 常 用 七 千 字 的 相 关 程 度 较 高 常 用 七 千 字 在 三 个 数 据 集 中 的 分 布 情 况 总 结 对 比 如 表 2.5 表 2.5 常 用 七 千 字 分 布 情 况 对 比 各 部 分 对 应 共 有 部 分 字 数 用 户 词 库 查 询 日 志 媒 体 字 表 前 2500 2138 2038 2156 前 3500 3048 2883 3103 前 7000 5821 5682 6391 全 部 6995 6995 6803 2.5 不 同 数 据 集 之 间 单 字 分 布 比 较 2.5.1 用 户 词 库 与 查 询 日 志 单 字 分 布 比 较 用 户 词 库 与 查 询 日 志 的 共 有 部 分 共 有 16694 个, 可 见 大 部 分 用 字 相 同 共 有 部 分 Rank 的 Spearman 相 关 系 数 为 0.8214 共 有 部 分 在 两 个 数 据 集 中 Rank 相 差 大 的 几 乎 都 是 非 常 用 字 在 用 户 词 库 的 独 有 部 分 中, 主 要 包 含 各 种 繁 体 字 在 查 询 日 志 的 独 有 部 分 中, 主 要 包 含 生 僻 字 比 较 两 个 数 据 前 2500 个 字, 共 有 部 分 2141 个, 非 共 有 部 分 359 个 共 有 部 分 Rank 的 Spearman 相 关 系 数 为 0.6593 用 户 词 库 的 独 有 部 分 中, 主 要 包 含 语 气 字 和 较 口 语 化 的 字, 以 及 少 量 网 络 流 行 字 等 查 询 日 志 的 独 有 部 分 中, 有 实 际 意 义 的 字 较 多, 还 有 不 少 低 级 下 流 字 意 的 字 比 较 两 个 数 据 前 3500 个 字, 共 有 部 分 有 3038 个 共 有 部 分 Rank 的 Spearman 相 关 系 数 为 0.7568 用 户 词 库 独 有 部 分 中, 还 是 主 要 包 含 语 气 字 网 络 流 行 字 等 查 询 日 志 独 有 部 分 中 多 为 有 实 际 意 义 的 字 比 较 前 7000 个 字, 共 有 部 分 有 5782 个 共 有 部 分 Rank 的 Spearman 相 关 系 数 为 0.8763 用 户 词 库 独 有 部 分 中, 主 要 是 火 星 文 和 繁 体 字 查 询 日 志 独 有 部 分 中, 主 要 是 繁 体 字 等 14

第 2 章 输 入 法 用 户 词 库 和 查 询 日 志 用 字 情 况 分 析 比 较 两 组 数 据 中 覆 盖 80% 字 频 的 集 合, 用 户 词 库 431 字, 查 询 日 志 658 字 共 有 部 分 294 个 字, 用 户 词 库 独 有 部 分 137 字, 查 询 日 志 独 有 部 分 364 字 共 有 部 分 Rank 的 Spearman 相 关 系 数 为 0.1028, 说 明 共 有 部 分 差 异 较 大 与 之 前 类 似, 用 户 词 库 独 有 部 分 中 包 含 较 多 口 语 化 的 字, 比 如 语 气 词 比 较 覆 盖 90% 字 频 的 集 合, 用 户 词 库 808 字, 查 询 日 志 1102 字 共 有 部 分 628 字, 用 户 词 库 独 有 部 分 181 字, 查 询 日 志 独 有 部 分 475 字 共 有 部 分 Rank 的 Spearman 相 关 系 数 为 0.3300, 共 有 部 分 差 异 较 大 独 有 部 分 的 分 布 情 况 和 80% 时 类 似 比 较 覆 盖 99% 字 频 的 集 合, 用 户 词 库 2287 字, 查 询 日 志 2842 字 共 有 部 分 2095 字, 用 户 词 库 独 有 部 分 192 字, 查 询 日 志 独 有 部 分 747 字 共 有 部 分 Rank 的 Spearman 相 关 系 数 为 0.6305, 相 关 性 有 所 提 高 独 有 部 分 分 布 情 况 和 之 前 仍 然 类 似 用 户 词 库 中 高 频 字 有 较 多 网 络 流 行 因 素, 语 气 字 流 行 词 使 用 的 字 火 星 文 等 较 多 查 询 日 志 中 有 实 际 字 意, 有 助 于 查 询 的 字 较 多 两 者 在 高 频 字 段 的 相 关 性 不 高 2.5.2 用 户 词 库 与 媒 体 字 表 比 较 媒 体 字 表 与 用 户 词 库 共 有 部 分 9215 字, 占 媒 体 字 表 绝 大 部 分, 说 明 大 部 分 用 字 相 同 一 些 非 常 用 字 在 两 者 中 的 Rank 相 差 较 大 共 有 部 分 Rank 的 Spearman 相 关 系 数 为 0.9254, 高 于 查 询 日 志 与 用 户 词 库 比 较 用 户 词 库 前 2500 个 字 与 媒 体 字 表, 共 有 部 分 有 2216 个, 独 有 部 分 284 个, 共 有 部 分 数 量 高 于 查 询 日 志 与 用 户 词 库 共 有 部 分 Rank 的 Spearman 相 关 系 数 为 0.7882, 高 于 用 户 词 库 与 查 询 日 志 前 2500 的 相 关 系 数 用 户 词 库 的 独 有 部 分 中, 与 之 前 类 似, 主 要 是 语 气 字 以 及 繁 体 字 火 星 文 等 媒 体 字 表 的 独 有 部 分 中 的 字 相 对 比 较 有 实 际 意 义 比 较 两 者 的 前 3500 个 字, 共 有 部 分 有 3162 个, 独 有 部 分 338 个, 共 有 部 分 数 量 高 于 查 询 日 志 与 用 户 词 库 共 有 部 分 Rank 的 Spearman 相 关 系 数 为 0.8437, 高 于 用 户 词 库 与 查 询 日 志 前 3500 的 相 关 系 数 独 有 部 分 的 组 成 与 前 2500 字 比 较 中 的 情 况 类 似 比 较 两 者 的 前 7000 个 字, 共 有 部 分 有 6013 个, 独 有 部 分 987 个, 共 有 部 分 数 量 高 于 查 询 日 志 与 用 户 词 库 共 有 部 分 Rank 的 Spearman 相 关 系 数 为 15

第 2 章 输 入 法 用 户 词 库 和 查 询 日 志 用 字 情 况 分 析 0.9156, 高 于 用 户 词 库 与 查 询 日 志 前 7000 的 相 关 系 数 独 有 部 分 用 户 词 库 主 要 包 含 火 星 文 等, 媒 体 字 表 主 要 是 非 常 用 的 生 僻 字 比 较 两 者 的 前 80% 部 分, 用 户 词 库 431 字, 媒 体 字 表 604 字 共 有 部 分 有 343 个, 用 户 词 库 独 有 部 分 88 个, 媒 体 字 表 独 有 部 分 261 个 共 有 部 分 数 量 高 于 查 询 日 志 与 用 户 词 库 共 有 部 分 Rank 的 Spearman 相 关 系 数 为 0.4656, 高 于 用 户 词 库 与 查 询 日 志 的 相 关 系 数, 但 是 共 有 部 分 差 异 仍 然 较 大 比 较 两 者 的 前 90% 部 分, 用 户 词 库 808 字, 媒 体 字 表 970 字 共 有 部 分 有 669 个, 用 户 词 库 独 有 部 分 139 个, 媒 体 字 表 独 有 部 分 301 个 共 有 部 分 数 量 高 于 查 询 日 志 与 用 户 词 库 共 有 部 分 Rank 的 Spearman 相 关 系 数 为 0.5644, 高 于 用 户 词 库 与 查 询 日 志 的 相 关 系 数 比 较 两 者 的 前 99% 部 分, 用 户 词 库 2287 字, 媒 体 字 表 2381 字 共 有 部 分 有 2039 个, 用 户 词 库 独 有 部 分 248 个, 媒 体 字 表 独 有 部 分 342 个 共 有 部 分 数 量 略 低 于 查 询 日 志 与 用 户 词 库 共 有 部 分 Rank 的 Spearman 相 关 系 数 为 0.7787, 高 于 用 户 词 库 与 查 询 日 志 的 相 关 系 数 由 于 媒 体 字 表 来 源 比 较 正 式, 相 比 用 户 词 库, 有 实 际 字 意 的 字 频 度 较 高 高 频 字 段 两 者 的 相 关 性 不 高, 相 比 用 户 词 库 与 查 询 日 志 的 相 关 性 要 高 2.5.3 查 询 日 志 与 媒 体 字 表 比 较 媒 体 字 表 与 查 询 日 志 共 有 部 分 8453 字, 占 媒 体 字 表 大 部 分, 说 明 大 部 分 用 字 相 同 一 些 非 常 用 字 在 两 者 中 的 Rank 相 差 较 大 共 有 部 分 Rank 的 Spearman 相 关 系 数 为 0.9145, 高 于 查 询 日 志 与 用 户 词 库 比 较 查 询 日 志 前 2500 个 字 与 媒 体 字 表, 共 有 部 分 有 2147 个, 非 共 有 部 分 353 个, 共 有 部 分 数 量 略 高 于 查 询 日 志 与 用 户 词 库 共 有 部 分 Rank 的 Spearman 相 关 系 数 为 0.6579, 略 低 于 查 询 日 志 与 用 户 词 库 前 2500 的 相 关 系 数 查 询 日 志 的 独 有 部 分 中, 与 之 前 类 似, 包 含 一 些 低 俗 下 流 的 字 等 媒 体 字 表 的 独 有 部 分 中 的 字 相 对 比 较 有 实 际 意 义 比 较 两 者 的 前 3500 个 字, 共 有 部 分 有 3023 个, 非 共 有 部 分 477 个, 共 有 部 分 数 量 略 低 于 查 询 日 志 与 用 户 词 库 共 有 部 分 Rank 的 Spearman 相 关 系 数 为 0.7547, 略 低 于 查 询 日 志 与 用 户 词 库 前 3500 的 相 关 系 数 非 共 有 部 分 部 分 的 组 成 与 前 2500 字 比 较 中 的 情 况 类 似 比 较 两 者 的 前 7000 个 字, 共 有 部 分 有 5781 个, 非 共 有 部 分 1219 个, 共 有 16

第 2 章 输 入 法 用 户 词 库 和 查 询 日 志 用 字 情 况 分 析 部 分 数 量 略 低 于 查 询 日 志 与 用 户 词 库 共 有 部 分 Rank 的 Spearman 相 关 系 数 为 0.8760, 略 低 于 查 询 日 志 与 用 户 词 库 前 7000 的 相 关 系 数 独 有 部 分 查 询 日 志 主 要 包 含 繁 体 字 和 脏 话 等 比 较 两 者 的 前 80% 部 分, 查 询 日 志 658 字, 媒 体 字 表 604 字 共 有 部 分 有 390 个, 查 询 日 志 独 有 部 分 268 个, 媒 体 字 表 独 有 部 分 214 个 共 有 部 分 数 量 高 于 查 询 日 志 与 用 户 词 库 共 有 部 分 Rank 的 Spearman 相 关 系 数 为 0.3129, 高 于 查 询 日 志 与 用 户 词 库 的 相 关 系 数, 但 是 共 有 部 分 差 异 仍 然 较 大 比 较 两 者 的 前 90% 部 分, 查 询 日 志 1102 字, 媒 体 字 表 970 字 共 有 部 分 有 751 个, 查 询 日 志 独 有 部 分 351 个, 媒 体 字 表 独 有 部 分 219 个 共 有 部 分 数 量 高 于 查 询 日 志 与 用 户 词 库 共 有 部 分 Rank 的 Spearman 相 关 系 数 为 0.4160, 高 于 查 询 日 志 与 用 户 词 库 的 相 关 系 数, 但 是 共 有 部 分 差 异 仍 然 较 大 比 较 两 者 的 前 99% 部 分, 查 询 日 志 2842 字, 媒 体 字 表 2381 字 共 有 部 分 有 2177 个, 查 询 日 志 独 有 部 分 665 个, 媒 体 字 表 独 有 部 分 204 个 共 有 部 分 数 量 高 于 查 询 日 志 与 用 户 词 库 共 有 部 分 Rank 的 Spearman 相 关 系 数 为 0.6561, 高 于 查 询 日 志 与 用 户 词 库 的 相 关 系 数 查 询 日 志 与 媒 体 字 表 的 相 关 程 度 也 不 高, 比 用 户 词 库 与 媒 体 字 表 的 相 关 程 度 要 低 将 三 个 数 据 集 比 较 的 结 果 整 理 如 表 2.6 共 有 部 分 字 数 和 相 关 系 数 表 2.6 三 个 数 据 集 比 较 结 果 整 理 用 户 词 库 与 查 询 日 志 用 户 词 库 与 媒 体 字 表 查 询 日 志 与 媒 体 字 表 前 80% 294 0.1028 343 0.4656 390 0.3129 前 90% 628 0.3300 669 0.5644 751 0.4160 前 99% 2095 0.6305 2039 0.7787 2177 0.6561 前 2500 2141 0.6593 2216 0.7882 2147 0.6579 前 3500 3038 0.7568 3162 0.8437 3023 0.7547 前 7000 5782 0.8763 6013 0.9156 5781 0.8760 全 部 16694 0.8214 9215 0.9254 8453 0.9145 2.6 小 结 输 入 法 用 户 词 库 可 以 看 成 中 文 用 户 在 电 脑 中 使 用 语 言 的 较 直 接 体 现, 用 字 17

第 2 章 输 入 法 用 户 词 库 和 查 询 日 志 用 字 情 况 分 析 比 较 生 活 化 口 语 化, 差 别 最 大 的 就 是 语 气 字 的 词 频 往 往 远 高 于 其 他 数 据 一 些 在 网 络 流 行 的 新 词 包 含 的 字 在 输 入 法 中 的 字 频 也 较 高 用 户 词 库 与 七 千 常 用 字 的 相 关 程 度 要 高 于 查 询 日 志 查 询 日 志 记 录 查 询 词, 用 字 也 是 查 询 词 的 组 成 部 分, 虚 词 部 分 较 少, 有 实 际 意 义 字 的 字 频 要 高 于 其 他 数 据 查 询 日 志 与 其 他 数 据 的 相 关 程 度 也 较 差 媒 体 字 表 主 要 是 书 面 语 构 成, 书 面 语 尤 其 是 新 闻 报 道 常 用 字 的 频 度 较 高, 与 前 两 者 的 相 关 程 度 几 乎 相 当 18

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 3.1 实 验 概 述 本 章 通 过 搜 狗 输 入 法 用 户 词 库 数 据 搜 索 引 擎 查 询 日 志 和 其 他 现 有 数 据, 对 输 入 法 用 户 使 用 词 的 语 言 状 况 进 行 统 计 分 析 3.2 数 据 说 明 3.2.1 输 入 法 用 户 词 库 本 实 验 使 用 的 是 搜 狗 输 入 法 2010 年 3 月 15 日 的 用 户 词 库 数 据, 该 数 据 统 计 了 所 有 注 册 用 户 使 用 的 词 条 的 用 户 数 和 词 频 和 第 二 章 使 用 数 据 类 似, 该 词 库 将 用 户 输 入 的 上 屏 词 条 整 体 作 为 一 个 词 条 保 存, 保 存 的 词 条 不 一 定 是 语 言 学 意 义 上 的 词 用 户 词 库 记 录 了 词 条 长 度 不 超 过 7 的 词 条,2010 年 3 月 15 日 的 数 据 共 111659347 个 词 条, 总 词 频 327029776076, 平 均 词 频 2928.817 用 户 数 达 到 百 万 级 3.2.2 搜 索 引 擎 查 询 日 志 本 实 验 使 用 的 查 询 日 志 是 搜 狗 搜 索 引 擎 的 日 志 数 据, 每 日 统 计 在 搜 狗 搜 索 引 擎 上 的 查 询 词 和 查 询 次 数 日 志 数 据 中 只 保 留 了 2 字 词 至 7 字 词, 对 英 文 数 字 等 非 汉 字 字 符 进 行 了 全 角 化 处 理 查 询 日 志 记 录 了 2009 年 全 年 的 查 询 情 况, 有 词 条 81970629 个, 总 词 频 1766113757 3.2.3 其 他 数 据 本 实 验 还 使 用 了 普 通 话 常 用 三 千 词 词 表 [8], 包 括 3815 个 词 该 词 表 发 表 于 1992 年, 可 视 为 传 统 汉 语 常 用 词, 可 以 用 来 与 用 户 词 库 等 较 新 数 据 对 比 该 词 条 包 含 1009 个 单 字 2571 个 双 字 词 204 个 三 字 词 26 个 四 字 词 3 个 五 字 词 2 个 七 字 词 该 词 表 没 有 词 频 信 息 19

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 3.3 输 入 法 用 户 词 库 用 词 情 况 分 析 3.3.1 总 体 情 况 用 户 词 库 词 频 前 20 的 词 条 如 表 3.1 表 3.1 输 入 法 用 户 词 库 词 频 前 20 的 词 条 词 条 词 频 用 户 数 Rank 啊 3990088189 3578525 1 了 3848708636 7437262 2 就 2940184432 4862211 3 在 2564723683 5028618 4 好 2474029080 4981193 5 的 2414096285 5279846 6 我 2382157145 5038798 7 有 2361758812 4993551 8 呵 呵 2234793465 4683200 9 没 2225026282 4937635 10 吧 2168180403 4866926 11 去 2075258235 4857055 12 要 1974892907 4877510 13 都 1964884870 5648914 14 那 1934999163 5344280 15 什 么 1773690404 5271040 16 恩 1762991445 4409577 17 说 1737688923 5107365 18 呢 1701677361 5851196 19 也 1694687752 4835222 20 将 用 户 词 库 的 词 条 按 词 频 排 序 并 计 算 累 计 覆 盖 率, 前 32000 个 词 条 的 累 计 覆 盖 率 曲 线 如 图 3.1 覆 盖 总 词 频 百 分 比 所 需 要 的 词 条 数 和 词 条 数 所 占 比 例 如 表 3.2 可 见 输 入 法 用 户 用 词 相 当 集 中, 不 到 1% 的 词 条 就 可 以 覆 盖 绝 大 多 数 词 频 图 3.2 是 用 户 词 库 Log( 词 频 ) 关 于 Log(Rank) 的 曲 线, 线 性 相 关 系 数 r = -0.9998,Log( 词 频 ) 与 Log(Rank) 负 线 性 相 关, 符 合 Zipf 定 律 20

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 表 3.2 累 计 覆 盖 率 与 所 需 词 条 数 累 计 覆 盖 率 所 需 词 条 数 词 条 数 百 分 比 50% 523 0.0005% 60% 1284 0.0011% 70% 3532 0.0032% 80% 12634 0.0113% 90% 93670 0.0839% 95% 600340 0.5377% 图 3.1 用 户 词 库 累 计 覆 盖 率 曲 线 图 3.2 用 户 词 库 Log( 词 频 ) 关 于 Log(Rank) 的 曲 线 21

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 表 3.3 给 出 了 2010 年 3 月 15 日 的 用 户 词 库 按 不 同 词 长 统 计 的 分 布 情 况 其 中 单 字 有 2 万 多 个, 远 远 超 出 常 用 汉 字 个 数 ( 常 用 汉 字 大 约 2000-7000 个 ) 这 是 因 为 用 户 词 库 中 的 词 条 并 不 标 准, 包 含 大 量 繁 体 字 异 体 字 等 表 3.3 2010-3-15 用 户 词 库 长 短 词 分 布 词 长 词 条 数 总 词 频 1 25775 129393411999 2 4061157 146987428400 3 26841194 34609501910 4 41409430 12332722427 5 24144590 2688079719 6 11761215 820903823 7 3415986 197727798 图 3.3 是 词 条 数 与 词 条 长 度 的 关 系 图 从 图 中 可 以 看 出, 单 字 词 条 数 最 少, 因 为 只 是 单 字 个 数 ; 随 着 词 条 长 度 上 升, 单 字 的 组 合 增 多, 词 条 数 也 相 应 增 多, 但 是 不 同 组 合 能 成 为 词 的 概 率 也 减 少 3 字 时 词 条 数 增 长 迅 速, 在 词 条 长 度 为 4 时 达 到 峰 值, 词 条 长 度 大 于 4 时 词 条 总 数 开 始 下 降 图 3.3 用 户 词 库 词 条 数 关 于 词 条 长 度 的 分 布 图 3.4 是 词 频 与 词 条 长 度 的 关 系 图 双 字 词 词 频 最 高, 单 字 其 次 单 字 词 和 双 字 词 的 词 频 远 大 于 多 字 词 22

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 图 3.4 用 户 词 库 词 频 关 于 词 条 长 度 的 分 布 图 3.5 是 评 价 词 频 与 词 长 的 关 系 图 单 字 的 平 均 输 入 频 度 远 远 大 于 双 字 词 和 多 字 词 双 字 词 和 多 字 词 的 平 均 输 入 频 度 几 乎 不 可 视 图 3.5 用 户 词 库 平 均 词 条 输 入 频 度 关 于 词 条 长 度 的 分 布 以 上 数 据 表 明, 输 入 法 用 户 在 输 入 时 更 偏 向 于 每 次 输 入 较 短 词 条 而 不 是 多 字 的 词 条, 尤 其 以 单 字 双 字 词 为 主 这 可 能 因 为 输 入 时 以 词 为 单 位 的 语 言 习 23

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 惯, 另 外 也 有 输 入 法 在 长 词 条 时 的 组 词 效 果 不 如 短 词 条 的 因 素 影 响 3.3.2 三 千 常 用 词 分 布 情 况 普 通 话 常 用 三 千 词 共 3815 个 词 条 中, 在 用 户 词 库 中 出 现 了 3814 个, 总 词 频 177003381336, 覆 盖 了 用 户 词 库 54.12% 如 表 3.4 所 示 不 在 用 户 词 库 中 出 现 的 词 条 只 有 留 声 片 一 词 留 声 片 由 于 时 代 发 展 已 经 不 是 很 常 用 的 词 表 3.4 普 通 话 三 千 常 用 词 在 用 户 词 库 的 分 布 词 条 长 度 词 频 词 条 数 平 均 词 频 1 114064595361 1009 113047171 2 62000330464 2571 24115258.8 3 930639369 203 4584430.39 4 7367559 26 283367.654 5 423340 3 141113.333 6 0 0 0 7 25243 2 12621.5 图 3.6 是 用 户 词 库 中 出 现 的 三 千 常 用 词 词 频 与 词 条 长 度 的 关 系 图 可 以 看 出, 单 字 词 频 最 高, 双 字 词 其 次, 多 字 词 词 频 较 少 与 用 户 词 库 结 果 不 同 的 是, 双 字 词 词 频 不 再 是 最 高, 多 字 词 词 频 比 例 也 下 降, 这 与 三 千 常 用 词 中 收 录 的 双 字 词 和 多 字 词 不 像 用 户 词 库 数 量 庞 大 有 关 图 3.6 三 千 常 用 词 词 频 关 于 词 条 长 度 的 分 布 24

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 图 3.7 是 用 户 词 库 中 出 现 的 三 千 常 用 词 与 词 长 的 关 系 图 单 字 的 平 均 词 频 要 高 于 其 他 由 于 收 录 的 双 字 词 和 多 字 词 数 量 较 少 且 为 常 用 词, 双 字 词 和 多 字 词 的 评 论 词 频 相 对 用 户 词 库 也 有 所 提 高 相 同 在 用 户 词 库 中, 词 频 较 高 的 前 20 个 三 千 常 用 词 如 表 3.5, 与 用 户 词 库 基 本 词 频 小 于 1000 的 三 千 常 用 词 词 条 如 表 3.6 这 些 词 在 现 在 确 实 不 常 用, 如 理 发 员 一 词 现 在 多 用 其 他 词 代 替 表 3.5 在 用 户 词 库 中 词 频 较 高 的 三 千 常 用 词 词 条 词 条 词 频 用 户 数 啊 3990086631 3578495 了 3775294971 4888705 就 2940163200 4862158 在 2564717059 5028565 好 2474022104 4981139 的 2412153469 5047074 我 2382109773 5038736 有 2361752018 4993452 没 2224023575 4849208 吧 2168168227 4866854 去 2075251508 4856995 要 1974888092 4877470 都 1932930570 4743350 那 1931709047 4883441 什 么 1749444318 4867118 说 1732959146 4832550 也 1694679714 4835188 呢 1669596557 4741654 个 1621582548 4842391 还 1582125638 4773274 25

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 图 3.7 三 千 常 用 词 平 均 词 频 关 于 词 条 长 度 的 分 布 表 3.6 三 千 常 用 词 中 词 频 <1000 的 词 条 词 条 词 频 用 户 数 理 发 员 813 628 铁 甲 车 433 271 人 家 儿 275 245 双 铧 犁 223 87 枝 对 50 43 三 千 常 用 词 的 累 计 覆 盖 率 曲 线 如 图 3.8, 覆 盖 三 千 常 用 词 词 频 相 应 覆 盖 率 所 需 要 的 词 条 数 和 词 条 数 百 分 比 如 表 3.7 表 3.7 覆 盖 三 千 常 用 词 词 频 覆 盖 率 所 需 要 的 词 条 数 和 词 条 数 所 占 比 例 累 计 覆 盖 率 词 条 数 词 条 百 分 比 50% 74 1.94% 60% 124 3.25% 70% 208 5.45% 80% 374 9.81% 90% 753 19.74% 95% 1206 31.62% 三 千 常 用 词 Log( 词 频 ) 关 于 Log(Rank) 的 曲 线 如 图 3.9, 高 频 部 分 基 本 呈 线 性 经 过 计 算 得 线 性 相 关 系 数 r = -0.8797, 整 条 曲 线 并 不 符 合 Zipf 定 律 26

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 三 千 常 用 词 低 频 词 汇 稀 少, 所 以 低 频 部 分 迅 速 下 降 图 3.8 三 千 常 用 词 累 计 覆 盖 率 曲 线 图 3.9 三 千 常 用 词 用 于 验 证 Zipf 定 律 的 曲 线 三 千 常 用 词 在 用 户 词 库 中 的 总 覆 盖 率 为 56.39%, 用 户 词 库 前 3000 词 可 覆 盖 约 70% 的 覆 盖 率 以 上 数 据 说 明 三 千 常 用 词 整 体 在 用 户 词 库 中 也 占 据 了 大 多 数 词 频, 大 多 数 27

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 常 用 词 在 用 户 词 库 中 也 有 较 高 词 频 由 于 时 代 发 展, 三 千 常 用 词 有 些 词 条 已 经 过 时 少 有 使 用 3.4 查 询 日 志 用 词 情 况 分 析 3.4.1 总 体 情 况 查 询 日 志 的 词 条 可 以 分 成 三 类 : 纯 汉 字 词 条 ( 如 百 度 ) 纯 非 汉 字 词 条 ( 如 mp3 ) 混 杂 词 条 ( 如 qq 空 间 ) 下 面 将 就 全 部 词 条 和 分 类 词 条 分 别 进 行 分 析 3.4.1.1 全 部 词 分 布 情 况 经 过 计 算 整 理, 查 询 日 志 有 词 条 81970629 个, 总 词 频 1766113757 排 名 前 20 的 词 如 表 3.8 表 3.8 查 询 日 志 中 排 名 前 20 的 词 条 词 词 频 累 计 词 频 累 计 覆 盖 率 Rank mp3 10309694 10309694 0.58% 1 baidu 8596338 18906032 1.07% 2 http 8370998 27277030 1.54% 3 百 度 6678435 33955465 1.92% 4 nba 5772458 39727923 2.25% 5 视 频 4292585 44020508 2.49% 6 下 载 3688498 47709006 2.70% 7 xiaonei 3592199 51301205 2.90% 8 dnf 3552056 54853261 3.11% 9 电 影 3339722 58192983 3.29% 10 51 3293443 61486426 3.48% 11 com 3144447 64630873 3.66% 12 163 3078896 67709769 3.83% 13 人 体 艺 术 3048060 70757829 4.01% 14 小 说 2886274 73644103 4.17% 15 xixi 2829046 76473149 4.33% 16 site 2727204 79200353 4.48% 17 迅 雷 2718826 81919179 4.64% 18 qq 2711787 84630966 4.79% 19 开 心 网 2667120 87298086 4.94% 20 28

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 由 于 查 询 词 的 特 点, 对 应 具 体 网 站 软 件 物 品 等 查 询 目 标 的 词 条 频 度 较 高, 平 时 语 言 常 用 词 汇 频 度 较 低 覆 盖 率 曲 线 如 图 3.10 图 3.10 查 询 日 志 词 条 累 计 覆 盖 率 曲 线 前 32000 个 词 Log( 词 频 ) 关 于 Log(Rank) 曲 线 如 图 3.11, 线 性 相 关 系 数 -0.9997, 符 合 Zipf 定 律 : 图 3.11 查 询 日 志 词 条 Log( 词 频 ) 关 于 Log(Rank) 的 曲 线 29

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 不 同 词 长 分 布 情 况 如 表 3.9 表 3.9 查 询 日 志 中 词 条 在 不 同 词 长 上 的 分 布 词 长 总 个 数 总 词 频 平 均 词 频 2 1145292 287926299 251.3999 3 5484417 263844297 48.10799 4 13285774 434972152 32.73969 5 16345202 276660392 16.92609 6 25239961 284017166 11.25268 7 20469983 218693451 10.68362 全 部 81970629 1766113757 21.54569 词 条 数 随 词 长 变 化 图 如 图 3.12, 可 见 6 字 词 之 前 递 增,6 字 词 最 多 图 3.12 不 同 词 长 查 询 日 志 词 条 数 分 布 总 词 频 随 词 长 变 化 图 如 图 3.13, 整 体 来 说 比 较 平 均,4 字 词 较 高 并 没 有 出 现 类 似 用 户 词 库 的 双 字 词 频 较 高 的 情 况 可 能 因 为 双 字 的 信 息 有 限, 四 字 词 能 更 好 地 表 达 查 询 目 的 30

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 图 3.13 不 同 词 长 查 询 日 志 词 频 分 布 平 均 词 频 随 词 长 变 化 如 图 3.14,2 字 词 远 高 于 多 字 词, 随 词 长 递 减 这 与 用 户 词 库 的 结 果 相 似 图 3.14 不 同 词 长 查 询 日 志 平 均 词 频 分 布 3.4.1.2 纯 汉 字 词 分 布 情 况 经 过 计 算 整 理, 查 询 日 志 有 纯 汉 字 词 条 67312912 个 (82.12%), 总 词 频 1272261067(72.04%) 排 名 前 20 的 纯 汉 字 词 如 表 3.10 31

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 表 3.10 查 询 日 志 中 排 名 前 20 的 纯 汉 字 词 条 词 词 频 累 计 词 频 累 计 覆 盖 率 Rank 百 度 6678435 6678435 0.52% 1 视 频 4292585 10971020 0.86% 2 下 载 3688498 14659518 1.15% 3 电 影 3339722 17999240 1.41% 4 人 体 艺 术 3048060 21047300 1.65% 5 小 说 2886274 23933574 1.88% 6 迅 雷 2718826 26652400 2.09% 7 开 心 网 2667120 29319520 2.30% 8 色 情 五 月 天 2563187 31882707 2.51% 9 海 阔 天 空 2539768 34422475 2.71% 10 搜 索 2342214 36764689 2.89% 11 盘 龙 2341789 39106478 3.07% 12 优 酷 2290672 41397150 3.25% 13 情 色 五 月 天 2210942 43608092 3.43% 14 校 内 网 2171512 45779604 3.60% 15 酷 狗 2171319 47950923 3.77% 16 火 影 忍 者 2033307 49984230 3.93% 17 妞 妞 基 地 1893763 51877993 4.08% 18 小 沈 阳 1720109 53598102 4.21% 19 淘 宝 网 1665133 55263235 4.34% 20 累 计 覆 盖 率 曲 线 如 图 3.15 图 3.15 查 询 日 志 纯 汉 字 词 条 累 计 覆 盖 率 曲 线 32

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 前 32000 个 词 Log( 词 频 ) 关 于 Log(Rank) 曲 线 如 图 3.16, 线 性 相 关 系 数 -0.9997, 符 合 Zipf 定 律 : 图 3.16 查 询 日 志 纯 汉 字 词 条 Log( 词 频 ) 关 于 Log(Rank) 的 曲 线 不 同 词 长 分 布 情 况 如 表 3.11 表 3.11 查 询 日 志 中 纯 汉 字 词 条 在 不 同 词 长 上 的 分 布 词 长 总 个 数 总 词 频 平 均 词 频 2 1079211 243133760 225.2884 3 5000414 173820734 34.76127 4 11781972 336628872 28.57152 5 13270631 185674260 13.99137 6 20661170 189588074 9.176057 7 15519514 143415367 9.24097 全 部 67312912 1272261067 18.9007 词 条 数 随 词 长 变 化 图 如 图 3.17, 可 见 6 字 词 之 前 递 增,6 字 词 最 多 与 整 体 分 布 结 果 类 似 33

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 图 3.17 不 同 词 长 查 询 日 志 纯 汉 字 词 条 词 条 数 分 布 总 词 频 随 词 长 变 化 图 如 图 3.18, 整 体 来 说 比 较 平 均,2 4 字 词 较 高 相 比 整 体 分 布,2 字 词 词 频 有 所 上 升 图 3.18 不 同 词 长 查 询 日 志 纯 汉 字 词 条 词 频 分 布 平 均 词 频 随 词 长 变 化 图 如 图 3.19,2 字 词 远 高 于 多 字 词 34

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 图 3.19 不 同 词 长 查 询 日 志 纯 汉 字 词 条 平 均 词 频 分 布 3.4.1.3 纯 非 汉 字 词 分 布 情 况 经 过 计 算 整 理, 查 询 日 志 有 纯 非 汉 字 词 条 2635666 个 (3.22%), 总 词 频 308942288 (17.49%) 排 名 前 20 的 词 如 表 3.12 图 3.20 查 询 日 志 纯 非 汉 字 词 条 累 计 覆 盖 率 曲 线 35

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 表 3.12 查 询 日 志 中 排 名 前 20 的 纯 非 汉 字 词 条 词 词 频 累 计 词 频 累 计 覆 盖 率 Rank mp3 10309694 10309694 0.033370938 1 baidu 8596338 18906032 0.061195999 2 http 8370998 27277030 0.088291668 3 nba 5772458 33049488 0.106976252 4 xiaonei 3592199 36641687 0.118603663 5 dnf 3552056 40193743 0.130101137 6 51 3293443 43487186 0.14076152 7 com 3144447 46631633 0.150939625 8 163 3078896 49710529 0.160905551 9 xixi 2829046 52539575 0.17006275 10 site 2727204 55266779 0.178890301 11 qq 2711787 57978566 0.18766795 12 yy 2516175 60494741 0.195812433 13 3gp 2412581 62907322 0.203621597 14 dj 2271002 65178324 0.210972491 15 www 2226115 67404439 0.218178092 16 4399 2113998 69518437 0.225020788 17 youku 2112167 71630604 0.231857557 18 vagaa 1927935 73558539 0.238097994 19 hao123 1898048 75456587 0.244241692 20 累 计 覆 盖 率 曲 线 如 图 3.20 前 32000 个 词 Log( 词 频 ) 关 于 Log(Rank) 曲 线 如 图 3.21, 线 性 相 关 系 数 -0.9991, 符 合 Zipf 定 律 : 图 3.21 查 询 日 志 纯 非 汉 字 词 条 Log( 词 频 ) 关 于 Log(Rank) 的 曲 线 36

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 不 同 词 长 分 布 情 况 如 表 3.13 表 3.13 查 询 日 志 中 纯 非 汉 字 词 条 在 不 同 词 长 上 的 分 布 词 长 总 个 数 总 词 频 平 均 词 频 2 10669 40699000 3814.697 3 73083 79006278 1081.049 4 371010 64376205 173.5161 5 680066 52930138 77.83088 6 812721 46815836 57.60382 7 688117 25114831 36.49791 全 部 2635666 308942288 117.216 词 条 数 随 词 长 变 化 图 如 图 3.22, 可 见 6 字 词 之 前 递 增,6 字 词 最 多 图 3.22 不 同 词 长 查 询 日 志 纯 非 汉 字 词 条 词 条 数 分 布 总 词 频 随 词 长 变 化 图 如 图 3.23, 2 字 词 较 低,3 字 词 最 高 之 后 递 减 这 可 能 因 为 英 文 缩 写 等 因 素, 双 字 词 的 区 分 度 较 差,3 字 词 能 更 好 地 表 达 查 询 目 的 37

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 图 3.23 不 同 词 长 查 询 日 志 纯 非 汉 字 词 条 词 频 分 布 平 均 词 频 随 词 长 变 化 图 如 图 3.24,2 字 词 远 高 于 多 字 词 图 3.24 不 同 词 长 查 询 日 志 纯 非 汉 字 词 条 平 均 词 频 分 布 3.4.1.4 混 杂 词 分 布 情 况 经 过 计 算 整 理, 查 询 日 志 有 词 条 12022051 个 (14.67%), 总 词 频 184910402 (10.47%) 排 名 前 20 的 词 如 表 3.14 38

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 表 3.14 查 询 日 志 中 排 名 前 20 的 混 杂 词 条 词 词 频 累 计 词 频 累 计 覆 盖 率 Rank qq 空 间 1845848 1845848 1.00% 1 qq 头 像 1457836 3303684 1.79% 2 qq 个 性 签 名 1443931 4747615 2.57% 3 qq 网 名 1405206 6152821 3.33% 4 迅 雷 5 1188490 7341311 3.97% 5 qq 空 间 克 隆 931773 8273084 4.47% 6 3gp 电 影 下 载 837652 9110736 4.93% 7 dnf 官 网 702950 9813686 5.31% 8 dnf 外 挂 653123 10466809 5.66% 9 a 片 627655 11094464 6.00% 10 qq 表 情 608989 11703453 6.33% 11 q 吧 583325 12286778 6.64% 12 迅 雷 5 下 载 583211 12869989 6.96% 13 qq 下 载 527978 13397967 7.25% 14 3gp 转 换 器 526247 13924214 7.53% 15 4399 小 游 戏 515634 14439848 7.81% 16 yy 下 载 501030 14940878 8.08% 17 nba 直 播 477798 15418676 8.34% 18 360 安 全 卫 士 474792 15893468 8.60% 19 qq 空 间 代 码 473123 16366591 8.85% 20 累 计 覆 盖 率 曲 线 如 图 3.25 图 3.25 查 询 日 志 混 杂 词 条 累 计 覆 盖 率 曲 线 39

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 前 32000 个 词 Log( 词 频 ) 关 于 Log(Rank) 曲 线 如 图 3.26, 线 性 相 关 系 数 -0.9998: 图 3.26 查 询 日 志 混 杂 词 条 Log( 词 频 ) 关 于 Log(Rank) 的 曲 线 不 同 词 长 分 布 情 况 如 表 3.15: 表 3.15 查 询 日 志 中 混 杂 词 条 在 不 同 词 长 上 的 分 布 词 长 总 个 数 总 词 频 平 均 词 频 2 55412 4093539 73.87459 3 410920 11017285 26.81126 4 1132792 33967075 29.98527 5 2394505 38055994 15.89305 6 3766070 47613256 12.64269 7 4262352 50163253 11.76891 全 部 12022051 184910402 15.38094 词 条 数 随 词 长 变 化 图 如 图 3.27, 可 见 递 增,7 字 词 最 多 40

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 图 3.27 不 同 词 长 查 询 日 志 混 杂 词 条 词 条 数 分 布 总 词 频 随 词 长 变 化 图 如 图 3.28, 随 词 长 递 增 对 混 杂 词 条 来 说, 可 能 长 词 条 更 能 表 达 查 询 目 的 图 3.28 不 同 词 长 查 询 日 志 混 杂 词 条 词 频 分 布 平 均 词 频 随 词 长 变 化 图 如 图 3.29,2 字 词 较 高 41

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 图 3.29 不 同 词 长 查 询 日 志 混 杂 词 条 平 均 词 频 分 布 3.4.2 三 千 常 用 词 分 布 情 况 三 千 常 用 词 在 查 询 日 志 中 的 分 布 情 况 如 表 3.16: 表 3.16 三 千 常 用 词 在 查 询 日 志 中 的 分 布 情 况 词 长 三 千 常 用 词 交 集 词 条 数 词 频 平 均 词 频 非 交 集 词 条 数 1 1009 0 0 0 1009 2 2571 2565 30397746 11850.97 6 3 204 201 959653 4774.393 3 4 26 26 17513 673.5769 0 5 3 3 3529 1176.333 0 6 0 0 0 0 0 7 2 2 361 180.5 0 全 部 3815 2797 31378802 11218.74 1018 由 于 查 询 日 志 没 有 记 录 单 字, 所 以 全 部 单 字 都 没 有 出 现 没 有 出 现 的 二 字 词 有 : 赛 球 惯 于 哪 话 成 万 少 陪 枝 对 没 有 出 现 的 三 字 词 有 : 留 声 片 人 家 儿 那 么 着 交 集 部 分 的 词 条 数 随 词 长 的 分 布 图 如 图 3.30, 基 本 和 三 千 常 用 词 除 单 字 外 的 情 况 相 同 42

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 图 3.30 不 同 词 长 三 千 常 用 词 在 查 询 日 志 中 的 词 条 数 分 布 交 集 部 分 词 频 随 词 长 变 化 图 如 图 3.31,2 字 词 远 远 高 于 其 他, 这 与 多 字 词 太 少 有 关 : 图 3.31 不 同 词 长 三 千 常 用 词 在 查 询 日 志 中 的 词 频 分 布 交 集 部 分 平 均 词 频 随 词 长 变 化 图 如 图 3.32,2 字 词 较 高 : 43

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 图 3.32 不 同 词 长 三 千 常 用 词 在 查 询 日 志 中 的 平 均 词 频 分 布 查 询 日 志 中 词 频 前 20 的 三 千 常 用 词 如 表 3.17, 可 见 多 是 有 具 体 意 义 的 实 词 : 表 3.17 查 询 日 志 中 词 频 前 20 的 三 千 常 用 词 词 词 频 Rank 电 影 3339722 1 小 说 2886274 2 地 图 1431557 3 土 豆 1104685 4 音 乐 695445 5 歌 曲 658019 6 鸭 蛋 545180 7 翻 译 538737 8 游 戏 474880 9 五 月 382888 10 军 事 335856 11 苹 果 275286 12 笑 话 263551 13 同 志 255167 14 萝 卜 235271 15 汽 车 215356 16 电 话 195704 17 英 语 189495 18 火 车 183029 19 新 闻 181657 20 44

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 词 频 在 10 以 下 的 三 千 常 用 词 如 表 3.18 表 3.18 查 询 日 志 中 词 频 小 于 10 的 三 千 常 用 词 词 词 频 词 词 频 暂 且 10 教 给 6 灶 火 10 水 管 子 6 凑 巧 10 划 子 5 为 着 10 受 累 5 动 身 10 筐 子 5 原 先 10 眼 前 的 5 总 归 10 免 不 了 5 板 擦 10 不 好 过 5 好 好 地 10 老 早 4 归 于 9 便 帽 4 免 得 9 撒 开 4 来 着 9 通 讯 处 4 医 务 所 9 农 业 社 4 秆 子 8 有 空 来 玩 4 水 瓢 8 这 会 3 退 掉 8 除 开 3 跟 前 8 这 么 些 3 电 车 站 8 树 林 子 3 向 来 7 沓 子 2 爽 直 7 那 会 2 后 年 7 那 么 些 2 不 可 不 7 手 腕 子 2 对 不 住 7 快 快 地 2 匙 子 6 灵 便 1 想 出 6 这 么 着 1 纸 烟 6 大 前 天 1 外 头 6 铁 甲 车 1 这 些 词 中, 除 了 时 代 发 展 等 原 因 使 用 较 少 的 一 些 词 如 农 业 社 铁 甲 车 等, 还 包 括 一 些 虚 词 口 语 词 汇 等 实 际 意 义 较 少 或 指 代 不 明 确 的 词, 比 如 这 么 着 大 前 天 等 这 也 是 受 查 询 词 用 途 的 影 响 45

第 3 章 输 入 法 用 户 词 库 和 查 询 日 志 用 词 情 况 分 析 3.5 小 结 用 户 词 库 虽 然 包 含 大 量 词 条, 但 是 使 用 非 常 集 中, 不 到 1% 的 词 条 即 可 覆 盖 绝 大 多 数 词 频 因 为 输 入 法 用 于 文 字 交 流 较 多, 和 语 言 常 用 词 有 较 高 的 相 似 性 三 千 常 用 词 可 以 覆 盖 用 户 词 库 大 部 分 词 频 查 询 日 志 的 词 条 由 于 使 用 用 途 的 特 点, 和 平 常 语 言 中 使 用 词 条 情 况 差 别 较 大, 表 示 查 询 目 的 特 征 的 实 词 频 度 较 高, 平 常 语 言 中 常 用 的 虚 词 等 频 度 较 低 46

第 4 章 基 于 输 入 法 用 户 词 库 和 查 询 日 志 的 wiki 中 文 常 用 词 条 第 4 章 基 于 输 入 法 用 户 词 库 和 查 询 日 志 的 wiki 中 文 常 用 词 条 4.1 实 验 概 述 本 实 验 的 目 的 在 于 结 合 不 同 语 料 数 据, 找 到 一 种 衡 量 词 条 常 用 程 度 的 方 法, 进 而 得 到 现 在 网 络 环 境 中 的 常 用 词 表 Wiki( 维 基 ) 是 用 户 产 生 的 百 科 知 识 库, 用 户 编 辑 后 的 词 条 也 要 经 过 审 核 和 公 众 监 督 相 对 输 入 法 用 户 词 库 和 查 询 日 志, Wiki 词 条 更 为 严 谨, 一 些 异 体 字 火 星 文 色 情 词 汇 的 频 度 受 到 遏 制 因 此 以 Wiki 词 条 为 基 础, 结 合 输 入 法 用 户 词 库 和 查 询 日 志 等 其 他 语 料, 可 以 尝 试 得 到 中 文 常 用 词 条 4.2 数 据 介 绍 4.2.1 输 入 法 用 户 词 库 和 查 询 日 志 本 实 验 使 用 的 输 入 法 用 户 词 库 数 据 和 查 询 日 志 数 据 和 第 三 章 使 用 的 相 同 用 户 词 库 数 据 是 2010 年 3 月 15 日 的 词 库 数 据, 记 录 了 词 条 长 度 不 超 过 7 的 词 条, 共 111659347 个 词 条, 总 词 频 327029776076, 平 均 词 频 2928.817 查 询 日 志 数 据 是 2009 年 全 年 数 据, 记 录 了 2-7 字 词, 对 英 文 数 字 等 非 汉 字 字 符 进 行 了 全 角 化 处 理 查 询 日 志 有 词 条 81970629 个, 总 词 频 1766113757 因 为 本 实 验 关 注 中 文 词 条, 因 此 只 选 择 了 查 询 日 志 中 的 纯 汉 字 词, 共 67312912 个, 总 词 频 1272261067 4.2.2 Wiki 链 接 词 数 据 本 实 验 使 用 的 是 中 文 维 基 百 科 页 面 所 有 中 文 链 接 词 的 统 计 词 表 链 接 词 即 是 Wiki 内 容 页 面 中 以 超 链 接 形 式 存 在 的 词 条, 可 以 点 击 进 入 该 词 条 的 Wiki 页 面 但 是 并 非 所 有 链 接 词 都 有 对 应 的 Wiki 页 面, 因 此 链 接 词 数 量 比 Wiki 词 条 要 多 Wiki 中 文 链 接 词 共 有 1314388 个, 总 词 频 314920483 47

第 4 章 基 于 输 入 法 用 户 词 库 和 查 询 日 志 的 wiki 中 文 常 用 词 条 4.2.3 Sogout 网 页 串 频 数 据 Sogout 互 联 网 语 料 库 收 录 了 互 联 网 各 种 类 型 的 1.3 亿 个 网 页 数 据, 有 2000 亿 汉 字, 没 有 分 词, 所 以 无 法 得 到 总 词 条 数 总 词 频 等 信 息 本 实 验 使 用 的 是 Wiki 词 条 在 Sogout 上 的 串 频 数 据, 共 出 现 词 条 947807 个, 总 词 频 245374207469 4.3 Wiki 中 文 链 接 词 条 在 不 同 数 据 集 下 的 分 布 情 况 4.3.1 Wiki 中 文 链 接 词 条 在 输 入 法 用 户 词 库 的 分 布 Wiki 中 文 词 条 在 用 户 词 库 中 出 现 了 530956 个, 总 词 频 189059763501, 覆 盖 率 57.81% 词 频 前 20 的 词 条 如 表 4.1 表 4.1 Wiki 中 文 链 接 词 条 在 用 户 词 库 中 词 频 前 20 的 词 条 词 条 用 户 词 库 词 频 wiki 词 频 啊 3990088189 6940 就 2940184432 215167 在 2564723683 1511811 好 2474029080 127232 的 2414096285 5416612 我 2382157145 225577 有 2361758812 1227785 没 2225026282 161022 去 2075258235 112076 要 1974892907 422094 都 1964884870 299195 那 1934999163 116946 什 么 1773690404 29848 恩 1762991445 78978 说 1737688923 227967 还 1635249977 133837 个 1621634553 736854 看 1533318146 104526 现 在 1489592537 57578 哦 1345621758 836 不 同 词 条 数 累 计 覆 盖 用 户 词 库 的 覆 盖 率 情 况 如 表 4.2 48

第 4 章 基 于 输 入 法 用 户 词 库 和 查 询 日 志 的 wiki 中 文 常 用 词 条 表 4.2 在 用 户 词 库 中 Wiki 中 文 链 接 词 条 不 同 词 条 数 的 覆 盖 率 词 条 数 累 计 覆 盖 率 10000 54.89% 20000 56.34% 30000 56.89% 40000 57.19% 50000 57.36% 100000 57.68% 可 见 前 100000 个 词 条 已 经 覆 盖 了 绝 大 多 数 词 频 累 计 覆 盖 率 曲 线 如 图 4.1, 经 过 计 算,Wiki 中 文 链 接 词 在 用 户 词 库 的 分 布 符 合 Zipf 定 律 图 4.1 在 用 户 词 库 中 Wiki 中 文 链 接 词 条 的 累 计 覆 盖 率 曲 线 4.3.2 Wiki 中 文 链 接 词 条 在 查 询 日 志 的 分 布 Wiki 中 文 链 接 词 在 查 询 日 志 中 出 现 了 494348 个, 总 词 频 412799061, 覆 盖 率 32.45% 词 频 前 20 的 词 条 如 表 4.3 不 同 词 条 数 覆 盖 查 询 日 志 词 频 的 情 况 如 表 4.4 前 100000 个 词 已 经 覆 盖 了 绝 大 多 数 词 频 累 计 覆 盖 率 曲 线 如 图 4.2, 经 过 计 算,Wiki 中 文 链 接 词 在 查 询 日 志 的 分 布 符 合 Zipf 定 律 49

第 4 章 基 于 输 入 法 用 户 词 库 和 查 询 日 志 的 wiki 中 文 常 用 词 条 表 4.3 Wiki 中 文 链 接 词 条 在 查 询 日 志 中 词 频 前 20 的 词 条 词 条 querylog 词 频 wiki 词 频 百 度 6678435 3438 视 频 4292585 7903 下 载 3688498 5058 电 影 3339722 121198 人 体 艺 术 3048060 28 小 说 2886274 40861 迅 雷 2718826 402 开 心 网 2667120 50 海 阔 天 空 2539768 118 搜 索 2342214 7261 盘 龙 2341789 555 优 酷 2290672 76 校 内 网 2171512 72 酷 狗 2171319 40 火 影 忍 者 2033307 1832 小 沈 阳 1720109 33 淘 宝 网 1665133 74 土 豆 网 1515161 100 五 月 天 1452890 604 地 图 1431557 15982 表 4.4 在 查 询 日 志 中 Wiki 中 文 链 接 词 条 不 同 词 条 数 的 覆 盖 率 词 条 数 累 计 覆 盖 率 10000 26.32% 20000 28.59% 30000 29.68% 40000 30.33% 50000 30.77% 100000 31.76% 50

第 4 章 基 于 输 入 法 用 户 词 库 和 查 询 日 志 的 wiki 中 文 常 用 词 条 图 4.2 在 查 询 日 志 中 Wiki 中 文 链 接 词 条 的 累 计 覆 盖 率 曲 线 4.3.3 Wiki 中 文 链 接 词 条 在 Sogout 串 频 数 据 的 分 布 Wiki 中 文 链 接 词 在 Sogout 中 出 现 了 947807 个, 总 词 频 245374207469 词 频 前 20 的 词 条 如 表 4.5 图 4.3 在 Sogout 数 据 中 Wiki 中 文 链 接 词 条 的 累 计 覆 盖 率 曲 线 51

第 4 章 基 于 输 入 法 用 户 词 库 和 查 询 日 志 的 wiki 中 文 常 用 词 条 表 4.5 Wiki 中 文 链 接 词 条 在 Sogout 数 据 中 词 频 前 20 的 词 条 词 条 Sogout 词 频 的 3401650474 网 1313271905 一 1303128036 人 1284674315 中 1198054990 大 1022941757 新 979347248 有 975193257 我 960649164 不 935123534 国 909503868 在 879083071 上 826572077 是 822630228 发 791464908 用 678057514 时 669167484 电 659621330 文 655706509 个 652011076 由 于 Sogout 数 据 没 有 整 体 词 频 信 息, 因 此 只 能 计 算 和 Wiki 共 有 部 分 的 覆 盖 率, 不 同 词 条 数 覆 盖 共 有 部 分 词 频 情 况 如 表 4.6 表 4.6 在 Sogout 串 频 数 据 中 Wiki 中 文 链 接 词 条 不 同 词 条 数 的 覆 盖 率 词 条 数 累 计 覆 盖 率 10000 93.53% 20000 96.45% 30000 97.66% 40000 98.32% 50000 98.74% 100000 99.58% 和 前 两 个 数 据 集 相 同, 前 100000 个 词 已 经 覆 盖 了 绝 大 多 数 词 频 累 计 覆 盖 率 曲 线 如 图 4.3, 经 过 计 算,Wiki 中 文 链 接 词 在 Sogout 数 据 中 的 串 频 符 合 Zipf 定 律 52

第 4 章 基 于 输 入 法 用 户 词 库 和 查 询 日 志 的 wiki 中 文 常 用 词 条 4.3.4 小 结 Wiki 中 文 链 接 词 在 三 个 数 据 中 的 分 布 都 符 合 Zipf 定 律, 而 且 前 10 万 个 词 都 覆 盖 了 绝 大 多 数 词 频, 因 此 考 察 常 用 词 时 可 以 以 这 些 词 为 基 础 从 共 有 词 条 数 量 和 总 覆 盖 率 情 况 来 看,Sogout 数 据 和 Wiki 链 接 词 相 关 性 最 好, 用 户 词 库 其 次, 查 询 日 志 较 差 4.4 基 于 不 同 数 据 集 的 Wiki 常 用 词 条 实 验 的 基 本 思 路 是 利 用 用 户 词 库 查 询 日 志 和 Sogout 数 据 的 常 用 词 条, 综 合 Wiki 数 据 的 信 息, 得 到 Wiki 常 用 词 条 通 过 之 前 的 实 验 可 以 知 道, 在 用 户 词 库 查 询 日 志 和 Sogout 数 据 中 出 现 的 Wiki 词 条, 前 100000 个 即 可 覆 盖 绝 大 部 分 词 频 因 此 对 3 个 数 据 集 中 出 现 的 Wiki 词 条, 只 取 前 100000 个 高 频 词 条, 过 滤 掉 大 部 分 低 频 词 将 三 组 高 频 词 合 并, 首 先 得 到 一 个 高 频 词 条 集 合 合 并 的 结 果, 高 频 词 条 集 合 包 含 154651 个 词 条 这 些 词 条 包 含 4 个 维 度 的 概 率 信 息 : 用 户 词 库 概 率 查 询 日 志 概 率 Sogout 串 频 概 率 Wiki 链 接 词 概 率 用 不 同 方 法 计 算 综 合 概 率 或 平 均 概 率, 可 以 得 到 一 个 综 合 各 个 数 据 集 的 常 用 词 概 率 的 度 量 使 用 算 术 平 均 值 计 算 平 均 概 率, 得 到 的 前 50 个 常 用 词 如 表 4.7 表 4.7 使 用 算 术 平 均 值 计 算 综 合 概 率 的 前 50 个 常 用 词 词 条 用 户 词 库 概 率 查 询 日 志 概 率 Sogout 概 率 Wiki 概 率 算 术 平 均 值 的 0.007382 0 0.013863 0.0172 0.009611 在 0.007842 0 0.003583 0.004801 0.004056 有 0.007222 0 0.003974 0.003899 0.003774 人 0.003492 0 0.005236 0.005699 0.003607 年 0.000783 0 0.002412 0.011186 0.003595 一 0.001424 0 0.005311 0.005762 0.003124 啊 0.012201 0 0.000229 2.20E-05 0.003113 我 0.007284 0 0.003915 0.000716 0.002979 中 0.000659 0 0.004883 0.006124 0.002916 就 0.008991 0 0.001014 0.000683 0.002672 国 6.71E-05 0 0.003707 0.006668 0.00261 个 0.004959 0 0.002657 0.00234 0.002489 大 0.000919 0 0.004169 0.004755 0.002461 好 0.007565 0 0.001694 0.000404 0.002416 53

第 4 章 基 于 输 入 法 用 户 词 库 和 查 询 日 志 的 wiki 中 文 常 用 词 条 续 表 4.7 使 用 算 术 平 均 值 计 算 综 合 概 率 的 前 50 个 常 用 词 词 条 用 户 词 库 概 率 查 询 日 志 概 率 Sogout 概 率 Wiki 概 率 算 术 平 均 值 是 0.001328 0 0.003353 0.004907 0.002397 要 0.006039 0 0.001685 0.00134 0.002266 日 0.000829 0 0.002335 0.005529 0.002173 上 0.002286 0 0.003369 0.002387 0.002011 没 0.006804 0 0.000708 0.000511 0.002006 都 0.006008 0 0.000853 0.00095 0.001953 和 0.003191 0 0.001646 0.00281 0.001912 会 0.002379 0 0.002359 0.002868 0.001901 说 0.005314 0 0.001377 0.000724 0.001854 月 0.000917 0 0.001598 0.004841 0.001839 去 0.006346 0 0.000584 0.000356 0.001821 为 0.000666 0 0.002117 0.004406 0.001797 看 0.004689 0 0.002111 0.000332 0.001783 到 0.003106 0 0.00204 0.001976 0.00178 来 0.003645 0 0.001806 0.001591 0.001761 不 0.000426 0 0.003811 0.002682 0.00173 那 0.005917 0 0.000565 0.000371 0.001713 他 0.003662 0 0.00136 0.001785 0.001701 用 0.001772 0 0.002763 0.002152 0.001672 下 0.002493 0 0.002555 0.001426 0.001619 新 0.000345 0 0.003991 0.002064 0.0016 网 0.000217 0 0.005352 0.000751 0.00158 还 0.005 0 0.000758 0.000425 0.001546 发 0.001243 0 0.003226 0.00161 0.00152 什 么 0.005424 2.35E-05 0.000436 9.48E-05 0.001494 学 0.000395 0 0.001951 0.003595 0.001485 行 0.000977 0 0.002432 0.002325 0.001434 恩 0.005391 0 8.53E-05 0.000251 0.001432 点 0.00266 0 0.002388 0.000639 0.001422 家 0.00106 0 0.002508 0.002005 0.001393 时 0.00034 0 0.002727 0.00246 0.001382 多 0.002269 0 0.001715 0.001464 0.001362 百 度 9.53E-05 0.005249265 9.22E-05 1.09E-05 0.001362 地 0.000306 0 0.002442 0.002629 0.001344 文 7.67E-05 0 0.002672 0.002486 0.001309 小 0.000956 0 0.00246 0.001799 0.001304 54

第 4 章 基 于 输 入 法 用 户 词 库 和 查 询 日 志 的 wiki 中 文 常 用 词 条 观 察 可 以 发 现, 用 算 术 平 均 度 量 的 前 50 个 常 用 词 中, 查 询 日 志 的 影 响 较 小, 大 部 分 概 率 都 为 0 而 且 常 用 词 以 单 字 词 为 主, 这 与 用 户 词 库 Sogout 和 Wiki 的 常 用 词 是 一 致 的 词 条 使 用 调 和 平 均 计 算 平 均 概 率, 前 50 个 常 用 词 如 表 4.8 表 4.8 使 用 调 和 平 均 值 计 算 综 合 概 率 的 前 50 个 常 用 词 用 户 词 库 概 率 查 询 日 志 概 率 Sogout 概 率 Wiki 概 率 调 和 平 均 值 中 国 0.000432 0.000632465 0.001451 0.001519 0.000763 公 司 0.001347 0.000421986 0.001233 0.000582 0.000709 游 戏 0.001076 0.001150368 0.000759 0.00025 0.000562 北 京 0.000575 0.001990898 0.00079 0.000236 0.000517 电 影 0.000367 0.008090271 0.000432 0.000385 0.000515 时 间 0.001678 0.00028751 0.000912 0.000323 0.000484 上 海 0.000461 0.001276267 0.000531 2.26E-04 0.000432 网 站 0.00039 0.0003463 0.000812 0.000227 0.000361 图 片 0.000369 0.003130568 0.000803 0.00014 0.00035 音 乐 0.000162 0.001684673 0.000486 0.000299 0.000328 大 学 2.93E-04 0.000244044 0.000302 0.00068 0.000325 电 视 0.000311 0.000158951 0.000315 0.000543 0.000275 资 料 0.00032 0.000161075 0.00047 0.000303 0.000271 空 间 0.000538 0.00043045 0.000404 0.000112 0.000256 日 本 0.000133 0.000609357 0.000198 0.000726 0.000256 工 作 0.001489 0.0001072 0.000392 0.000207 0.00023 新 闻 0.000116 0.000440053 0.000896 0.000176 0.000226 美 国 0.000128 0.000251713 0.000217 0.000682 0.000224 问 题 0.00157 9.85E-05 0.000343 0.00022 0.000219 有 限 公 司 0.000141 0.000784986 0.000432 0.000128 0.000216 留 言 0.000155 0.000187867 0.000339 0.000253 0.000214 小 说 0.000114 0.006991821 0.000295 0.00013 0.0002 广 州 0.000211 0.000472317 0.000261 0.000104 0.000197 电 脑 0.00088 0.00023995 0.000254 8.78E-05 0.000194 管 理 0.000416 7.58E-05 0.000692 0.000253 0.00019 设 计 0.000292 0.000102287 0.000337 0.00019 0.000187 移 动 0.000183 0.000295567 0.000105 0.000314 0.000186 香 港 9.24E-05 0.000288878 0.000162 0.000915 0.000186 英 语 0.000224 0.00045904 0.000198 0.000101 0.000185 软 件 0.00035 0.000408002 0.000523 6.65E-05 0.00018 学 校 0.000686 0.000115264 0.000112 0.000282 0.000177 55

第 4 章 基 于 输 入 法 用 户 词 库 和 查 询 日 志 的 wiki 中 文 常 用 词 条 续 表 4.8 使 用 调 和 平 均 值 计 算 综 合 概 率 的 前 50 个 常 用 词 词 条 用 户 词 库 概 率 查 询 日 志 概 率 Sogout 概 率 Wiki 概 率 调 和 平 均 值 使 用 0.000275 6.73E-05 0.00042 0.000545 0.000176 中 文 9.48E-05 0.000310019 0.000181 0.000239 0.00017 学 生 0.000249 9.92E-05 0.000207 0.000163 0.00016 生 活 0.000386 7.44E-05 0.000411 0.00014 0.000156 系 统 0.000484 5.89E-05 0.000316 0.000268 0.000154 电 话 0.001478 0.000474081 0.000407 4.74E-05 0.000152 银 行 0.000252 0.000106369 0.000248 0.000112 0.000152 什 么 0.009382 7.24E-05 0.000436 9.48E-05 0.000149 国 家 0.000165 7.03E-05 0.000201 0.000597 0.000148 企 业 0.000206 0.000108072 0.00053 8.77E-05 0.000146 我 们 0.004359 5.56E-05 8.14E-04 0.000125 0.000146 教 育 0.000125 8.15E-05 0.000341 0.00023 0.000145 汽 车 0.000107 0.000521687 0.000445 6.80E-05 0.000142 南 京 0.000142 0.000962205 0.000126 7.96E-05 0.00014 内 容 0.000225 5.09E-05 0.000631 0.000336 0.00014 主 题 7.51E-05 0.000236488 3.07E-04 1.26E-04 0.000139 广 告 0.000201 0.000117924 0.000997 6.92E-05 0.000138 介 绍 3.12E-04 0.000155419 0.000201 6.85E-05 0.000137 天 津 0.000118 0.000457381 0.000158 8.03E-05 0.000136 在 计 算 调 和 平 均 值 之 前, 对 各 个 数 据 的 概 率 值 进 行 了 Good-Turing 平 滑 处 理 由 于 调 和 平 均 值 高 的 条 件 之 一 是 各 个 维 度 上 都 不 能 太 低, 因 此 查 询 日 志 没 有 收 录 的 单 字 词 的 调 和 平 均 值 普 遍 较 低 算 术 平 均 值 排 名 第 一 的 的 字 在 调 和 平 均 值 中 只 能 排 到 5 万 多 通 过 观 察 可 以 发 现 调 和 平 均 值 排 序 的 常 用 词 中 有 实 际 意 义 或 带 有 较 强 查 询 目 的 性 的 词 较 多, 这 与 查 询 日 志 的 特 点 比 较 一 致 用 不 同 数 据 集 的 词 条 数 规 模 进 行 加 权, 计 算 调 和 平 均 值, 排 名 前 50 的 常 用 词 如 表 4.9 在 计 算 之 前 同 样 进 行 了 Good-Turing 平 滑 处 理 观 察 结 果, 与 调 和 平 均 值 的 结 果 类 似, 排 名 较 高 的 多 是 有 实 际 意 义 的 双 字 词 单 字 的 排 名 较 低, 也 是 在 5 万 左 右 才 会 出 现 单 字 56

第 4 章 基 于 输 入 法 用 户 词 库 和 查 询 日 志 的 wiki 中 文 常 用 词 条 表 4.9 使 用 加 权 调 和 平 均 值 计 算 综 合 概 率 的 前 50 个 常 用 词 词 条 用 户 词 库 概 率 查 询 日 志 概 率 Sogout 概 率 Wiki 概 率 加 权 调 和 平 均 值 游 戏 0.001076 0.001150368 0.000759 0.00025 0.001074 北 京 0.000575 0.001990898 0.00079 0.000236 0.000774 公 司 0.001347 0.000421986 0.001233 0.000582 0.000736 手 机 0.000883 0.001565307 0.000697 1.73E-05 0.000734 电 话 0.001478 0.000474081 0.000407 4.74E-05 0.000729 视 频 0.000518 0.010398524 0.001298 2.51E-05 0.00066 下 载 0.000569 0.00893516 0.000801 1.61E-05 0.000632 上 海 0.000461 0.001276267 0.000531 0.000226 0.0006 时 间 0.001678 0.00028751 0.000912 0.000323 0.00059 电 影 0.000367 0.008090271 0.000432 0.000385 0.000572 图 片 3.69E-04 0.003130568 0.000803 0.00014 0.000543 价 格 0.00054 0.000887734 0.000354 2.05E-05 0.000519 中 国 0.000432 0.000632465 0.001451 0.001519 0.000495 美 女 0.000521 0.002569187 0.000431 1.05E-05 0.000492 空 间 0.000538 0.00043045 0.000404 0.000112 0.000479 名 字 0.000551 0.000375543 4.03E-05 0.000112 0.000434 照 片 0.000651 0.000313808 0.00013 5.36E-05 0.000433 电 脑 0.00088 0.00023995 0.000254 8.78E-05 0.000424 女 人 0.000474 3.80E-04 0.000259 2.15E-05 0.000379 网 站 0.00039 0.0003463 0.000812 0.000227 0.000371 软 件 0.00035 0.000408002 0.000523 6.65E-05 0.000359 妈 妈 0.00045 0.00035106 8.42E-05 1.27E-05 0.000326 开 心 0.000419 0.000532997 4.44E-05 7.43E-06 0.000306 地 址 0.000293 0.000379364 0.00034 2.34E-05 0.000294 朋 友 0.001225 1.33E-04 0.000227 5.06E-05 0.000288 英 语 0.000224 0.00045904 0.000198 0.000101 0.000274 大 学 0.000293 0.000244044 0.000302 0.00068 0.000273 意 思 1.23E-03 0.000131185 3.30E-05 4.86E-05 0.000273 论 坛 0.000203 0.000790245 0.000755 2.62E-05 0.000264 广 州 0.000211 0.000472317 0.000261 1.04E-04 0.000264 免 费 0.000207 0.00064924 0.00045 2.82E-05 0.000263 男 人 0.000491 1.74E-04 0.000163 1.81E-05 0.000261 妹 妹 3.15E-04 0.000280354 2.53E-05 1.77E-05 0.000256 工 作 0.001489 1.07E-04 0.000392 0.000207 0.000253 深 圳 0.000192 6.45E-04 0.000307 4.48E-05 0.000253 音 乐 0.000162 1.68E-03 0.000486 0.000299 0.000247 老 师 0.000489 0.000147873 5.96E-05 3.08E-05 0.000243 57

第 4 章 基 于 输 入 法 用 户 词 库 和 查 询 日 志 的 wiki 中 文 常 用 词 条 续 表 4.9 使 用 加 权 调 和 平 均 值 计 算 综 合 概 率 的 前 50 个 常 用 词 词 条 用 户 词 库 概 率 查 询 日 志 概 率 Sogout 概 率 Wiki 概 率 加 权 调 和 平 均 值 密 码 0.000457 0.000162657 0.000224 1.48E-05 0.00024 学 校 0.000686 1.15E-04 0.000112 2.82E-04 0.000237 在 线 0.000224 4.64E-04 0.000732 1.07E-05 0.000236 问 题 0.00157 9.85E-05 0.000343 2.20E-04 0.000236 资 料 0.00032 1.61E-04 4.70E-04 0.000303 0.000234 电 视 0.000311 1.59E-04 0.000315 0.000543 0.00023 任 务 0.001031 0.000105587 4.94E-05 6.43E-05 0.000229 聊 天 0.000439 0.000181751 7.19E-05 7.78E-06 0.000224 百 度 0.000165 1.62E-02 9.22E-05 1.09E-05 0.000224 介 绍 3.12E-04 0.000155419 2.01E-04 6.85E-05 0.000222 地 图 0.000145 0.003467859 0.000229 5.07E-05 0.000222 移 动 1.83E-04 0.000295567 0.000105 3.14E-04 0.000213 幸 福 0.0003 0.00017442 6.10E-05 1.61E-05 0.000211 通 过 之 前 字 词 分 析 等 的 若 干 结 论, 查 询 日 志 往 往 会 有 不 同 于 语 言 学 意 义 上 分 布 的 特 点, 带 有 较 强 的 目 的 性 和 实 用 性 因 此 我 们 考 察 的 用 户 词 库 查 询 日 志 和 Sogout 数 据 出 现 的 Wiki 词 条 分 布 上 的 相 关 性 将 3 个 数 据 集 两 两 求 交 集, 并 计 算 交 集 部 分 词 条 在 不 同 数 据 集 上 排 名 (Rank) 的 Spearman 相 关 系 数, 结 果 整 理 如 表 4.10 表 4.10 三 个 数 据 集 交 集 部 分 Rank 的 相 关 系 数 用 户 词 库 查 询 日 志 sogout 用 户 词 库 - 0.6479 0.7829 查 询 日 志 0.6479-0.6551 sogout 0.7829 0.6551 - 可 见 查 询 日 志 和 其 他 数 据 的 相 关 性 相 对 较 差,Sogout 数 据 的 相 关 性 最 好 接 着 考 察 同 一 词 条 在 不 同 数 据 集 上 Rank 差 的 情 况 用 户 词 库 与 查 询 日 志 的 交 集 中,Rank 差 超 过 Max( 用 户 词 库 Wiki 词 条 数, 查 询 日 志 Wiki 词 条 数 ) 的 20% 的 词 条 共 有 154597 个, 占 交 集 词 条 数 421347 的 36.69% 用 户 词 库 与 Sogout 数 据 的 交 集 中,Rank 差 超 过 Max( 用 户 词 库 Wiki 词 条 数, Sogout 中 Wiki 词 条 数 ) 的 20% 的 词 条 共 有 84282 个, 占 交 集 词 条 数 527406 的 15.98% 查 询 日 志 与 Sogout 数 据 的 交 集 中,Rank 差 超 过 Max( 查 询 日 志 Wiki 词 条 数, Sogout 中 Wiki 词 条 数 ) 的 20% 的 词 条 共 有 123220 个, 占 交 集 词 条 数 486162 的 25.35% 从 交 集 数 量 和 Rank 差 的 角 度 来 看, 查 询 日 志 和 其 他 数 据 的 相 关 性 也 相 对 较 差 58

第 4 章 基 于 输 入 法 用 户 词 库 和 查 询 日 志 的 wiki 中 文 常 用 词 条 在 计 算 调 和 平 均 值 时, 尝 试 不 使 用 所 有 维 度 的 信 息, 而 只 采 用 3 个 维 度 的 信 息, 发 现 不 考 虑 查 询 日 志 时, 结 果 变 化 较 大, 其 他 情 况 结 果 变 化 较 小 不 使 用 查 询 日 志 概 率 信 息 的 调 和 平 均 值, 排 名 前 50 的 常 用 词 如 表 4.11 表 4.11 不 考 虑 查 询 日 志, 使 用 调 和 平 均 值 计 算 综 合 概 率 的 前 50 个 常 用 词 词 条 用 户 词 库 概 率 查 询 日 志 概 率 Sogout 概 率 Wiki 概 率 调 和 平 均 值 的 0.012769 1.76E-10 0.013863 0.0172 0.014382 人 0.00604 1.76E-10 0.005236 0.005699 0.005639 在 0.013566 1.76E-10 0.003583 0.004801 0.005346 有 0.012492 1.76E-10 0.003974 3.90E-03 0.005101 一 0.002463 1.76E-10 0.005311 5.76E-03 0.003907 个 0.008577 1.76E-10 0.002657 2.34E-03 0.00326 是 0.002298 1.76E-10 0.003353 4.91E-03 0.003201 上 0.003955 1.76E-10 0.003369 0.002387 0.003097 会 0.004115 1.76E-10 0.002359 0.002868 0.002954 大 0.00159 1.76E-10 0.004169 0.004755 0.00278 和 5.52E-03 1.76E-10 0.001646 0.00281 0.002622 用 0.003065 1.76E-10 0.002763 2.15E-03 0.002602 到 0.005372 1.76E-10 0.00204 0.001976 0.002537 年 0.001354 1.76E-10 0.002412 1.12E-02 0.002415 中 0.00114 1.76E-10 0.004883 0.006124 0.002409 日 0.001433 1.76E-10 2.33E-03 0.005529 0.002295 下 0.004312 1.76E-10 0.002555 1.43E-03 0.002265 来 0.006305 1.76E-10 0.001806 1.59E-03 0.002237 发 0.002149 1.76E-10 0.003226 1.61E-03 0.002148 行 0.00169 1.76E-10 0.002432 0.002325 0.002094 要 0.010446 1.76E-10 0.001685 1.34E-03 0.00209 家 0.001834 1.76E-10 2.51E-03 2.00E-03 0.002079 他 0.006334 1.76E-10 1.36E-03 1.78E-03 0.002064 月 0.001585 1.76E-10 0.001598 4.84E-03 0.00205 多 0.003925 1.76E-10 0.001715 1.46E-03 0.001972 为 0.001153 1.76E-10 0.002117 0.004406 0.001915 小 0.001653 1.76E-10 0.00246 0.001799 0.001914 这 3.65E-03 1.76E-10 1.54E-03 1.50E-03 0.001884 我 0.0126 1.76E-10 0.003915 7.16E-04 0.001733 出 0.001294 1.76E-10 0.001925 2.14E-03 0.001706 能 0.004078 1.76E-10 0.001507 1.11E-03 0.00166 对 0.002862 1.76E-10 0.001269 1.37E-03 0.001608 59

第 4 章 基 于 输 入 法 用 户 词 库 和 查 询 日 志 的 wiki 中 文 常 用 词 条 续 表 4.11 不 考 虑 查 询 日 志, 使 用 调 和 平 均 值 计 算 综 合 概 率 的 前 50 个 常 用 词 词 条 用 户 词 库 概 率 查 询 日 志 概 率 Sogout 概 率 Wiki 概 率 调 和 平 均 值 开 1.99E-03 1.76E-10 2.07E-03 1.13E-03 0.001607 天 0.00121 1.76E-10 0.002271 0.001386 0.001509 加 0.001533 1.76E-10 0.001601 1.40E-03 0.001507 不 0.000736 1.76E-10 0.003811 0.002682 0.001505 点 0.004601 1.76E-10 2.39E-03 6.39E-04 0.001363 说 0.009191 1.76E-10 0.001377 7.24E-04 0.001354 过 0.002729 1.76E-10 0.001061 1.10E-03 0.001351 后 0.000935 1.76E-10 0.001361 2.31E-03 0.001341 学 0.000683 1.76E-10 0.001951 3.60E-03 0.00133 号 0.002736 1.76E-10 9.67E-04 0.001109 0.001304 都 0.010393 1.76E-10 0.000853 0.00095 0.001293 可 0.000918 1.76E-10 1.55E-03 1.61E-03 0.001274 分 0.000683 1.76E-10 2.26E-03 2.16E-03 0.001267 新 0.000597 1.76E-10 3.99E-03 2.06E-03 0.001245 里 1.51E-03 1.76E-10 9.42E-04 1.40E-03 0.001231 时 0.000587 1.76E-10 0.002727 2.46E-03 0.001212 就 1.56E-02 1.76E-10 0.001014 6.83E-04 0.001193 得 0.002226 1.76E-10 8.86E-04 1.04E-03 0.00118 结 果 和 算 术 平 均 类 似, 单 字 的 排 名 较 高 考 察 加 权 调 和 平 均 值, 排 名 前 50 的 常 用 词 如 表 4.12 表 4.12 不 考 虑 查 询 日 志, 使 用 加 权 调 和 平 均 值 计 算 综 合 概 率 的 前 50 个 常 用 词 词 条 用 户 词 库 概 率 查 询 日 志 概 率 Sogout 概 率 Wiki 概 率 加 权 调 和 平 均 值 在 0.013566 1.76E-10 0.003583 0.004801 0.012985 的 0.012769 1.76E-10 0.013863 0.0172 0.012816 有 0.012492 1.76E-10 0.003974 0.003899 0.011969 就 0.015552 1.76E-10 0.001014 6.83E-04 0.011315 我 0.0126 1.76E-10 0.003915 7.16E-04 0.010394 要 0.010446 1.76E-10 0.001685 1.34E-03 0.009302 好 0.013086 1.76E-10 0.001694 4.04E-04 0.009197 都 0.010393 1.76E-10 0.000853 0.00095 0.008589 没 0.011769 1.76E-10 0.000708 0.000511 0.008477 个 0.008577 1.76E-10 0.002657 0.00234 0.00817 说 9.19E-03 1.76E-10 0.001377 0.000724 0.007762 去 0.010977 1.76E-10 0.000584 3.56E-04 0.007328 那 0.010235 1.76E-10 0.000565 0.000371 0.00704 60

第 4 章 基 于 输 入 法 用 户 词 库 和 查 询 日 志 的 wiki 中 文 常 用 词 条 续 表 4.12 不 考 虑 查 询 日 志, 使 用 加 权 调 和 平 均 值 计 算 综 合 概 率 的 前 50 个 常 用 词 词 条 用 户 词 库 概 率 查 询 日 志 概 率 Sogout 概 率 Wiki 概 率 加 权 调 和 平 均 值 还 0.008649 1.76E-10 0.000758 4.25E-04 0.006586 看 0.00811 1.76E-10 0.002111 0.000332 0.006252 人 0.00604 1.76E-10 5.24E-03 0.005699 0.006028 来 0.006305 1.76E-10 0.001806 1.59E-03 0.005974 他 0.006334 1.76E-10 0.00136 1.78E-03 0.005972 和 0.00552 1.76E-10 0.001646 2.81E-03 0.005354 到 0.005372 1.76E-10 0.00204 0.001976 0.005196 现 在 0.007879 1.84E-05 0.000241 1.83E-04 0.004483 点 0.004601 1.76E-10 2.39E-03 6.39E-04 0.00426 下 0.004312 1.76E-10 2.55E-03 1.43E-03 0.004189 会 0.004115 1.76E-10 0.002359 2.87E-03 0.004069 什 么 0.009382 7.24E-05 0.000436 9.48E-05 0.004051 恩 0.009325 1.76E-10 8.53E-05 0.000251 0.003997 上 0.003955 1.76E-10 0.003369 0.002387 0.003919 能 4.08E-03 1.76E-10 1.51E-03 1.11E-03 0.0039 想 0.004783 1.76E-10 0.000719 2.83E-04 0.003878 多 0.003925 1.76E-10 0.001715 1.46E-03 0.003809 这 个 0.005121 2.27E-06 0.000259 2.94E-04 0.003795 这 0.00365 1.76E-10 0.001537 1.50E-03 0.003549 打 3.94E-03 1.76E-10 7.43E-04 3.50E-04 0.003412 一 个 0.003362 1.02E-05 0.000588 0.000937 0.003143 不 是 0.004453 1.22E-05 0.000217 1.85E-04 0.003108 用 0.003065 1.76E-10 0.002763 0.002152 0.003047 我 们 0.004359 5.56E-05 8.14E-04 1.25E-04 0.003043 做 0.003818 1.76E-10 0.000438 2.07E-04 0.003011 自 己 0.003585 1.24E-05 0.000387 2.36E-04 0.002903 她 0.003327 1.76E-10 0.000453 2.76E-04 0.002813 对 0.002862 1.76E-10 0.001269 1.37E-03 0.002797 号 0.002736 1.76E-10 9.67E-04 0.001109 0.00265 过 0.002729 1.76E-10 0.001061 0.001097 0.002648 又 0.003004 1.76E-10 2.79E-04 3.47E-04 0.002564 知 道 0.004865 5.78E-05 1.91E-04 7.63E-05 0.00251 一 0.002463 1.76E-10 5.31E-03 5.76E-03 0.002491 等 2.53E-03 1.76E-10 7.58E-04 1.12E-03 0.002449 把 0.002904 1.76E-10 0.000367 2.42E-04 0.002447 你 2.63E-03 1.76E-10 0.001728 2.47E-04 0.002357 是 0.002298 1.76E-10 3.35E-03 4.91E-03 0.002318 61

第 4 章 基 于 输 入 法 用 户 词 库 和 查 询 日 志 的 wiki 中 文 常 用 词 条 结 果 类 似, 不 过 在 加 权 调 和 平 均 值 的 结 果 中 双 字 词 排 名 有 所 提 升 综 上 来 看, 查 询 日 志 是 使 用 的 数 据 集 中 最 有 特 点 的 一 个, 因 为 其 使 用 环 境 不 同 于 口 语 或 书 面 语 等 自 然 语 言 使 用 环 境 词 条 分 布 上 也 是 实 际 意 义 较 强 查 询 目 的 性 较 强 的 常 用 词 为 主 但 是 正 是 由 于 其 特 点, 往 往 能 给 予 不 同 的 信 息 在 基 于 不 同 数 据 集 衡 量 Wiki 词 条 常 用 程 度 这 方 面, 可 能 根 据 使 用 目 的 不 同 分 成 不 同 情 况 效 果 较 好 如 果 主 要 目 的 是 得 到 偏 向 于 语 言 学 上 的 常 用 词, 不 使 用 查 询 日 志 会 得 到 较 好 的 结 果, 因 此 查 询 日 志 的 词 频 分 布 与 自 然 语 言 差 别 较 大 如 果 主 要 目 的 是 得 到 有 较 强 实 意 的 常 用 词, 添 加 查 询 日 志 信 息 能 得 到 较 好 的 结 果 4.5 小 结 本 章 主 要 讲 述 了 以 Wiki 中 文 链 接 词 条 为 基 础, 通 过 其 他 数 据 集 配 合 衡 量 Wiki 中 文 链 接 词 条 实 验 中 发 现 查 血 日 志 数 据 和 其 他 数 据 集 相 比 有 较 大 差 异 和 自 身 特 点, 其 词 频 分 布 与 自 然 语 言 有 较 大 差 异 因 此 利 用 这 些 数 据 集 衡 量 Wiki 词 条 的 常 用 程 度 应 从 不 同 目 的 出 发 如 果 主 要 考 察 自 然 语 言 意 义 上 的 常 用 词, 不 使 用 查 询 日 志 信 息 较 好 如 果 主 要 关 注 有 实 际 意 义 和 较 强 目 的 性 的 常 用 词, 使 用 查 询 日 志 能 得 到 更 多 信 息 62

第 5 章 基 于 输 入 法 输 入 数 据 的 常 见 拼 音 错 误 模 式 抽 取 第 5 章 基 于 输 入 法 输 入 数 据 的 常 见 拼 音 错 误 模 式 抽 取 5.1 实 验 背 景 概 述 英 文 的 自 动 查 错 纠 错 研 究 已 经 有 一 定 历 史 很 多 编 辑 软 件 和 网 络 应 用 都 可 以 自 动 对 输 入 错 误 的 英 文 进 行 提 示 或 修 正 中 文 的 查 错 纠 错 如 果 能 在 输 入 工 具 中 进 行, 对 中 文 用 户 来 说 是 很 方 便 的 但 是 通 过 计 算 机 输 入 中 文 的 常 见 错 误 之 前 鲜 有 研 究, 这 是 在 中 文 输 入 工 具 中 进 行 错 误 提 示 和 修 正 的 基 础 本 实 验 主 要 研 究 的 是 用 户 在 用 拼 音 输 入 法 输 入 中 文 过 程 中 的 常 见 错 误 通 过 带 有 输 入 过 程 的 用 户 输 入 数 据 中, 抽 取 常 见 的 错 误 模 式 5.2 数 据 介 绍 5.2.1 小 白 狗 输 入 法 数 据 小 白 狗 输 入 法 是 在 搜 狗 输 入 法 3.0 版 本 的 基 础 上, 为 了 收 集 用 户 输 入 数 据 而 专 门 制 作 的 特 殊 版 本 为 了 保 护 用 户 隐 私, 该 版 本 输 入 法 在 搜 狗 输 入 法 论 坛 中 提 供 下 载, 并 说 明 了 会 记 录 用 户 输 入 行 为 愿 意 下 载 并 使 用 的 用 户, 也 会 进 行 匿 名 处 理 因 为 是 小 范 围 提 供 的 性 质, 小 白 狗 输 入 法 的 用 户 数 相 比 搜 狗 输 入 法 要 少 很 多 小 白 狗 输 入 法 的 记 录 数 据 样 例 如 下 : [1209299276s+582250ms]pk: KeyUp:"Backspace" :POWERPNT.EXE [1209299276s+582942ms]pk: KeyDown:"E" :POWERPNT.EXE [1209299276s+583051ms]pk: KeyUp:"E" :POWERPNT.EXE [1209299276s+583410ms]pk: KeyDown:"N" :POWERPNT.EXE [1209299276s+583500ms]pk: KeyUp:"N" :POWERPNT.EXE [1209299276s+583505ms]pk: KeyDown:"G" :POWERPNT.EXE [1209299276s+583587ms]pk: KeyUp:"G" :POWERPNT.EXE [1209299276s+584023ms]pk: KeyDown:"Space" :POWERPNT.EXE [1209299276s+584023ms]sc: 完 成 :POWERPNT.EXE [1209299276s+584119ms]pk: KeyUp:"Space" :POWERPNT.EXE [1209299276s+588253ms]pk: KeyDown:"W" :POWERPNT.EXE [1209299276s+588368ms]pk: KeyUp:"W" :POWERPNT.EXE [1209299276s+588484ms]pk: KeyDown:"A" :POWERPNT.EXE [1209299276s+588654ms]pk: KeyUp:"A" :POWERPNT.EXE 63

第 5 章 基 于 输 入 法 输 入 数 据 的 常 见 拼 音 错 误 模 式 抽 取 [1209299276s+588655ms]pk: KeyDown:"N" :POWERPNT.EXE [1209299276s+588784ms]pk: KeyUp:"N" :POWERPNT.EXE 数 据 以 行 的 方 式 记 录, 可 以 分 为 两 类, 一 类 是 上 屏 数 据, 记 录 了 输 入 法 输 出 中 文 字 符 的 时 间 字 符 和 输 出 的 应 用 程 序 如 [1209299276s+584023ms]sc: 完 成 :POWERPNT.EXE 另 一 类 是 按 键 数 据, 记 录 了 用 户 在 操 作 输 入 法 时 的 键 盘 按 键 情 况, 记 录 了 时 间 按 下 / 抬 起 按 键 按 键 应 用 程 序 的 信 息 如 [1209299276s+582942ms]pk: KeyDown:"E" :POWERPNT.EXE 5.2.2 大 白 狗 输 入 法 数 据 大 白 狗 输 入 法 和 小 白 狗 输 入 法 类 似, 也 是 记 录 用 户 输 入 数 据 的 搜 狗 输 入 法 特 殊 版 本, 并 面 对 更 多 用 户 记 录 之 前 也 经 过 用 户 同 意 小 白 狗 输 入 法 的 缺 点 是 记 录 了 几 乎 所 有 按 键 信 息, 包 括 了 大 量 与 输 入 法 无 关 的 数 据 当 用 户 量 增 多 的 时 候, 浪 费 也 会 增 多 因 此 大 白 狗 输 入 法 做 了 一 些 改 进, 不 记 录 用 户 输 入 拼 音 过 程 中 的 按 键 信 息, 只 记 录 上 屏 信 息 以 及 上 屏 后 的 按 键 信 息, 不 记 录 按 键 抬 起 的 信 息 按 键 信 息 方 面, 也 只 记 录 了 删 除 数 字 键 等 少 量 按 键 大 白 狗 输 入 法 数 据 样 例 如 下 : [ 2009-03-22 14:38:09 505ms]sc: 0 danyuange 单 元 格 danyuange :WINWORD.EXE [ 2009-03-22 14:38:11 993ms]pk: KeyDown:"," :WINWORD.EXE [ 2009-03-22 14:38:17 590ms]sc: 0 gusuanchu 估 算 出 gusuanchu :WINWORD.EXE [ 2009-03-22 14:38:21 500ms]sc: 0 fafu 发 福 fafu :WINWORD.EXE [ 2009-03-22 14:38:22 407ms]pk: KeyDown:"Backspace" :WINWORD.EXE [ 2009-03-22 14:38:22 589ms]pk: KeyDown:"Backspace" :WINWORD.EXE [ 2009-03-22 14:38:25 360ms]sc: 0 fanfu 反 复 fanfu :WINWORD.EXE [ 2009-03-22 14:38:36 163ms]sc: 0 xuanzhuande 旋 转 的 xuanzhuande :WINWORD.EXE [ 2009-03-22 14:38:45 765ms]sc: 0 zhu 住 zhu :WINWORD.EXE [ 2009-03-22 14:38:46 585ms]pk: KeyDown:"Backspace" :WINWORD.EXE [ 2009-03-22 14:38:54 344ms]sc: 0 zhuluoxuanjiang 主 螺 旋 桨 zhuluoxuanjiang :WINWORD.EXE [ 2009-03-22 14:38:56 12ms]sc: 0 he 和 he :WINWORD.EXE 大 白 狗 数 据 同 样 以 行 为 单 位, 分 为 上 屏 数 据 和 按 键 数 据 两 类 上 屏 数 据 记 录 了 上 屏 时 间 上 屏 词 在 输 入 法 候 选 中 的 位 置 (0 代 表 默 认 词 条 ) 用 户 输 入 拼 音 上 屏 词 条 输 入 法 将 用 户 拼 音 补 全 后 的 拼 音 ( 比 如 用 户 只 打 了 l 输 出 64

第 5 章 基 于 输 入 法 输 入 数 据 的 常 见 拼 音 错 误 模 式 抽 取 了, 输 入 法 记 录 时 会 在 上 屏 词 条 后 记 录 补 全 后 的 拼 音 le ) 应 用 程 序 如 [ 2009-03-22 14:38:25 360ms]sc: 0 fanfu 反 复 fanfu :WINWORD.EXE 按 键 数 据 则 与 小 白 狗 输 入 法 基 本 相 同, 记 录 了 时 间 按 下 的 按 键 应 用 程 序 如 [ 2009-03-22 14:38:46 585ms]pk: KeyDown:"Backspace" :WINWORD.EXE 5.3 错 误 拼 音 模 式 抽 取 方 法 因 为 用 户 输 入 数 据 中 并 没 有 标 明 哪 些 是 错 误 拼 音, 需 要 用 自 动 方 法 来 判 断 因 为 数 据 记 录 的 是 一 系 列 用 户 按 时 间 顺 序 的 操 作, 我 们 可 以 一 定 程 度 上 还 原 用 户 输 入 的 过 程 实 验 中 采 取 的 判 断 输 入 错 误 的 总 体 思 路 是 : 如 果 用 户 输 入 了 一 段 拼 音 序 列 或 词 条 后, 又 在 短 时 间 内 将 拼 音 序 列 或 词 条 进 行 少 量 修 改, 则 可 以 认 为 后 输 入 的 词 条 拼 音 是 前 者 的 一 种 修 正, 可 以 将 两 者 作 为 一 对 错 误 输 入 与 正 确 输 入 的 样 例 我 们 将 一 对 错 误 拼 音 序 列 与 正 确 拼 音 序 列 称 之 为 一 个 错 误 对 实 际 上 判 断 一 段 用 户 输 入 是 否 有 错 误 非 常 困 难, 理 论 上 无 法 区 分 用 户 是 在 对 原 输 入 进 行 改 正, 还 是 输 入 了 一 个 无 关 的 新 词 由 于 小 白 狗 数 据 和 大 白 狗 数 据 的 差 异 性, 我 们 希 望 从 不 同 数 据 中 得 到 不 同 信 息 按 照 修 改 输 入 错 误 的 时 间, 可 以 将 修 改 分 成 两 类 : 在 词 条 上 屏 前 对 拼 音 序 列 进 行 修 改, 在 词 条 上 屏 后 对 词 条 进 行 修 改 小 白 狗 数 据 量 少 且 冗 余 信 息 多, 但 是 记 录 了 词 条 上 屏 前 的 输 入 序 列 因 此 对 小 白 狗 数 据, 只 抽 取 词 条 上 屏 前 在 拼 音 序 列 中 的 错 误 对 对 于 大 白 狗 数 据, 只 抽 取 词 条 上 屏 后 的 错 误 对 抽 取 错 误 对 是 错 误 拼 音 模 式 抽 取 的 第 一 步 在 收 集 了 大 量 错 误 对 后, 将 错 误 对 进 行 简 化 合 并 可 以 得 到 一 系 列 错 误 模 式 5.3.1 小 白 狗 输 入 法 数 据 错 误 对 抽 取 方 法 小 白 狗 数 据 只 抽 取 词 条 上 屏 前 在 拼 音 序 列 中 的 错 误 对 由 于 小 白 狗 数 据 记 录 了 大 量 和 输 入 法 无 关 的 键 盘 操 作, 包 括 操 作 系 统 和 应 用 程 序 的 操 作 等, 因 此 抽 取 小 白 狗 数 据 采 用 的 规 则 是 : 1. 输 入 法 处 于 激 活 状 态 通 过 用 户 按 键 信 息 可 以 还 原 输 入 法 是 否 处 于 关 闭 或 待 机 状 态 65

第 5 章 基 于 输 入 法 输 入 数 据 的 常 见 拼 音 错 误 模 式 抽 取 2. 用 户 对 输 入 法 拼 音 序 列 窗 口 的 拼 音 序 列 进 行 了 修 改, 并 将 修 改 后 的 拼 音 序 列 上 屏 通 过 按 键 信 息 还 原 可 以 判 断 是 否 在 输 入 法 拼 音 序 列 窗 口 中 进 行 操 作 这 条 规 则 说 明 前 后 两 个 拼 音 序 列 很 有 可 能 是 错 误 对 3. 用 户 输 入 修 改 上 屏 过 程 中 没 有 关 闭 或 清 空 输 入 法 拼 音 序 列 窗 口 这 头 规 则 的 目 的 是 尽 量 减 少 另 打 新 词 被 当 成 错 误 对 的 情 况 如 果 满 足 以 上 条 件, 则 将 原 始 拼 音 序 列 和 上 屏 时 的 拼 音 序 列 作 为 一 个 错 误 对 比 如 以 下 数 据 片 段 : [1209437778s+12509475ms]pk: KeyDown:"B" :WINWORD.EXE [1209437778s+12509542ms]pk: KeyUp:"B" :WINWORD.EXE [1209437778s+12509863ms]pk: KeyDown:"A" :WINWORD.EXE [1209437778s+12509921ms]pk: KeyUp:"A" :WINWORD.EXE [1209437778s+12510015ms]pk: KeyDown:"T" :WINWORD.EXE [1209437778s+12510091ms]pk: KeyUp:"T" :WINWORD.EXE [1209437778s+12510246ms]pk: KeyDown:"I" :WINWORD.EXE [1209437778s+12510324ms]pk: KeyUp:"I" :WINWORD.EXE [1209437778s+12510643ms]pk: KeyDown:"Backspace" :WINWORD.EXE [1209437778s+12510702ms]pk: KeyUp:"Backspace" :WINWORD.EXE [1209437778s+12510736ms]pk: KeyDown:"A" :WINWORD.EXE [1209437778s+12510816ms]pk: KeyDown:"I" :WINWORD.EXE [1209437778s+12510858ms]pk: KeyUp:"A" :WINWORD.EXE [1209437778s+12510899ms]pk: KeyUp:"I" :WINWORD.EXE [1209437778s+12511782ms]pk: KeyDown:"Space" :WINWORD.EXE [1209437778s+12511782ms]sc: 吧 台 :WINWORD.EXE 用 户 在 输 入 序 列 bati 后 将 ti 删 除 修 改 为 batai, 并 选 择 吧 台 输 出, 可 以 从 中 抽 取 bati -> batai 作 为 一 个 错 误 对 5.3.2 大 白 狗 输 入 法 数 据 错 误 对 抽 取 方 法 大 白 狗 数 据 无 法 完 全 还 原 用 户 操 作, 因 此 在 判 断 是 否 错 误 对 上 更 加 困 难 虽 然 无 法 还 原 输 入 过 程, 但 是 可 以 利 用 用 户 操 作 序 列 跟 踪 光 标 位 置 实 验 中 采 用 了 三 种 方 法 抽 取 错 误 对 : 方 法 一 : 着 重 于 单 字 的 拼 音 随 时 记 录 最 新 的 10 个 汉 字 的 位 置 字 符 完 整 拼 音 用 户 拼 音 当 用 户 移 动 光 标, 对 记 录 中 的 汉 字 进 行 删 除 并 重 新 输 入 时, 对 比 重 新 输 入 的 汉 字 拼 音 与 原 拼 音, 如 果 相 似 度 大 于 阈 值, 则 将 原 拼 音 与 重 新 输 入 的 66

第 5 章 基 于 输 入 法 输 入 数 据 的 常 见 拼 音 错 误 模 式 抽 取 拼 音 作 为 一 个 错 误 对 比 如 用 户 之 前 输 入 了 塌 秧 能 ( 拼 音 tayangneng), 之 后 删 除 3 个 字 符 重 新 输 入 太 阳 能 ( 拼 音 taiyangneng) 因 为 太 和 塌 的 位 置 匹 配, 对 比 它 们 的 拼 音 ta 和 tai, 如 果 相 似 度 大 于 阈 值,ta -> tai 就 被 抽 取 为 一 个 错 误 对 方 法 二 : 和 方 法 一 较 相 似, 不 同 之 处 在 于, 方 法 二 着 重 于 词 条 整 个 拼 音 而 不 是 单 字 拼 音 记 录 中 记 录 最 新 的 若 干 词 条 的 位 置 字 符 完 整 拼 音 用 户 拼 音 当 用 户 进 行 删 除 修 改 操 作 时, 定 位 到 记 录 中 对 应 位 置 的 原 词 条, 与 新 词 条 整 个 拼 音 进 行 对 比, 如 果 相 似 度 大 于 阈 值, 抽 取 旧 新 词 条 的 拼 音 作 为 一 个 错 误 对 方 法 三 : 和 方 法 二 有 相 似 之 处, 但 是 模 糊 化 了 位 置 对 应 当 用 户 进 行 删 除 修 改 操 作 时, 除 了 对 比 新 词 条 拼 音 与 原 词 条 拼 音, 还 将 原 词 条 相 邻 词 条 的 拼 音 与 新 词 条 拼 音 进 行 对 比, 选 择 相 似 度 最 高 的 一 对, 如 果 相 似 度 大 于 阈 值, 抽 取 为 一 个 错 误 对 实 验 中 计 算 相 似 度 的 公 式 为 : Similarity(s1,s2) = 1 ED(s1,s2)/max(L1, L2) (5-1) 其 中 s1 s2 代 表 两 个 拼 音 串,ED 代 表 编 辑 距 离,L1 L2 分 别 代 表 s1 s2 的 长 度 实 验 中 使 用 的 阈 值 是 0.5 5.3.3 从 错 误 对 抽 取 错 误 模 式 的 方 法 当 抽 取 了 一 定 数 量 的 错 误 对 后, 对 每 个 错 误 对, 利 用 最 小 编 辑 距 离 算 法 计 算 它 们 从 错 误 拼 音 转 换 成 正 确 拼 音 的 最 短 路 径, 将 这 个 转 换 路 径 中 涉 及 到 的 拼 音 作 为 一 个 错 误 模 式 比 如 bati -> batai 这 个 错 误 对, 将 会 抽 取 出 ~ -> a 这 个 错 误 模 式, 其 中 ~ 代 表 空 字 符 如 果 较 长 的 错 误 对 存 在 若 干 不 连 续 的 错 误 模 式, 将 它 们 分 别 抽 取 最 后 将 错 误 模 式 汇 总, 可 以 得 到 一 些 高 频 错 误 模 式 5.4 实 验 结 果 及 分 析 5.4.1 小 白 狗 数 据 从 小 白 狗 数 据 中, 一 共 抽 取 了 519 个 频 度 大 于 10 的 错 误 模 式 这 519 个 错 67

第 5 章 基 于 输 入 法 输 入 数 据 的 常 见 拼 音 错 误 模 式 抽 取 误 模 式 总 频 度 为 36917 表 5.1 列 出 了 最 常 见 的 25 种 错 误 模 式, 这 25 种 错 误 模 式 已 经 覆 盖 了 一 半 以 上 的 频 度 前 25 个 错 误 模 式 中, 删 除 增 加 1 2 个 字 符 占 大 多 数, 打 错 字 符 的 错 误 有 I - U U - I I - O O - I 四 种, 这 四 种 的 共 同 特 点 是 替 换 字 符 在 键 盘 上 相 邻 且 都 是 元 音 字 母, 这 种 错 误 出 现 的 原 因 很 可 能 是 输 入 时 按 到 了 相 邻 按 键 表 5.1 前 25 个 高 频 小 白 狗 数 据 错 误 模 式 original correct frequency ~ I 1894 ~ G 1893 ~ N 1844 G ~ 1733 ~ A 1337 ~ U 1180 ~ H 973 ~ E 913 ~ O 784 I ~ 768 H ~ 691 ~ NG 651 A ~ 553 N ~ 543 U ~ 517 ~ AN 516 E ~ 429 O ~ 377 I U 324 U I 306 ~ Z 257 ~ S 246 I O 243 ~ Y 240 O I 234 Total 19446(52.67%) 将 错 误 模 式 分 类 成 删 除 插 入 替 换 其 他 四 种, 并 汇 总 在 表 5.2 可 以 发 现 删 除 类 错 误 占 据 了 一 半 以 上 的 总 频 度, 说 明 用 户 在 使 用 输 入 法 上 屏 前 发 现 的 输 入 错 误 中, 少 打 某 个 按 键 是 大 多 数 编 辑 距 离 为 1 的 错 误 占 据 了 大 多 数 频 度, 68

第 5 章 基 于 输 入 法 输 入 数 据 的 常 见 拼 音 错 误 模 式 抽 取 说 明 用 户 在 上 屏 前 发 现 的 输 入 错 误 中, 以 小 错 误 为 主, 很 少 出 现 大 错 误 表 5.2 小 白 狗 数 据 中 四 种 错 误 类 型 统 计 total frequency insertion deletion edit distance 1 6893 13539 edit distance 2 922 4569 edit distance 3 235 2171 edit distance 4 25 569 edit distance 5 0 103 total 8075 20951 substitution others 6125 1766 5.4.2 大 白 狗 数 据 对 于 大 白 狗 数 据, 将 三 种 方 法 分 别 实 验 并 观 察 对 比 之 后, 发 现 方 法 三 的 效 果 较 好 分 析 原 因 为 : 1. 方 法 一 只 对 比 字 的 拼 音, 但 是 输 入 法 实 际 输 入 时 是 以 词 为 单 位, 只 对 比 字 不 符 合 需 求 有 些 错 误 会 导 致 前 后 词 条 的 字 数 不 同, 比 如 什 么 shenme 错 打 成 神 恶 魔 shenem, 按 字 匹 配 会 不 准 确 2. 用 户 输 入 的 随 意 性 较 强, 经 常 出 现 多 删 少 删 的 情 况, 这 会 导 致 完 全 匹 配 位 置 信 息 的 方 法 一 方 法 二 匹 配 位 置 不 准, 从 而 无 法 抽 取 错 误 对 3. 方 法 三 的 好 处 是 对 比 词 的 信 息, 又 在 一 定 程 度 上 模 糊 位 置 信 息, 可 以 让 因 为 用 户 误 操 作 而 无 法 在 位 置 上 完 全 对 应 的 错 误 对 被 抽 取 下 面 以 方 法 三 的 抽 取 结 果 进 行 抽 取 结 果 分 析 因 为 大 白 狗 数 据 量 较 大, 只 保 留 了 频 度 大 于 100 的 错 误 模 式, 低 频 的 错 误 模 式 很 可 能 是 符 合 抽 取 规 则 但 不 一 定 是 错 误 的 用 户 修 改 最 终 得 到 了 785 个 错 误 模 式, 总 频 度 6472041 前 25 个 高 频 错 误 模 式 如 表 5.3, 可 以 发 现, 前 25 个 错 误 模 式 已 经 占 据 了 约 一 半 的 总 频 度, 其 中 全 部 是 编 辑 距 离 为 1 的 错 误 模 式 说 明 用 户 常 见 错 误 都 是 小 错 误 将 大 白 狗 数 据 错 误 模 式 汇 总 如 表 5.4, 发 现 和 小 白 狗 数 据 不 同, 删 除 插 入 替 换 三 类 错 误 数 量 相 当, 没 有 明 显 差 别, 其 他 类 的 错 误 只 占 很 少 一 部 分 69

第 5 章 基 于 输 入 法 输 入 数 据 的 常 见 拼 音 错 误 模 式 抽 取 表 5.3 大 白 狗 数 据 中 前 25 个 高 频 错 误 模 式 original correct frequency i ~ 242965 ~ i 225097 n ~ 201022 a ~ 192670 ~ n 180874 ~ e 166864 ~ a 165188 e ~ 160294 ~ g 159664 g ~ 156333 u ~ 150933 ~ u 146135 ~ o 123897 o ~ 109623 ~ h 103219 h ~ 102472 d ~ 89560 b ~ 79410 w ~ 66987 y ~ 63244 s ~ 60446 i o 59168 l ~ 59059 o i 55804 a i 54863 Total 3175791(49.07%) 表 5.4 大 白 狗 数 据 错 误 模 式 分 类 汇 总 total frequency insertion 2050393 deletion 1964394 substitution 2295891 others 161363 total 6472041 70

第 5 章 基 于 输 入 法 输 入 数 据 的 常 见 拼 音 错 误 模 式 抽 取 5.4.3 实 验 结 果 分 析 1. 输 入 错 误 与 选 择 错 误 在 使 用 输 入 法 输 入 汉 字 的 过 程 中, 可 能 出 现 两 种 错 误, 一 种 是 拼 音 拼 写 错 误, 一 种 是 拼 音 正 确 的 情 况 下 选 择 候 选 词 错 误 我 们 把 前 者 称 之 为 输 入 错 误, 后 者 称 之 为 选 择 错 误 在 抽 取 大 白 狗 数 据 错 误 对 的 同 时, 我 们 把 拼 音 没 有 改 变, 汉 字 发 生 变 化 的 前 后 修 改 对 也 抽 取 出 来, 这 些 修 改 对 可 以 视 为 选 择 错 误 实 验 中 抽 取 了 2678837 个 选 择 错 误, 比 输 入 错 误 的 数 量 6472041 少 了 很 多, 说 明 用 户 使 用 输 入 法 时 发 生 的 错 误 大 部 分 还 是 在 输 入 拼 音 时 发 生 原 因 可 能 是 输 入 法 组 词 功 能 越 来 越 完 善, 很 多 情 况 下 默 认 结 果 就 是 所 需 词 条 而 输 入 法 候 选 词 条 一 般 是 5 个, 发 生 错 误 的 机 会 比 用 键 盘 输 入 拼 音 要 少 一 些 2. 语 言 错 误 与 键 盘 错 误 使 用 输 入 法 输 入 汉 字 不 同 于 平 常 语 言 交 流 或 写 字, 要 经 过 计 算 机 这 条 中 间 渠 道, 因 此 因 为 计 算 机 特 点 发 生 的 错 误 也 会 存 在 我 们 可 以 将 错 误 发 生 原 因 分 成 两 类, 一 类 是 拼 音 错 误, 即 用 户 本 身 记 错 拼 音 ; 一 类 是 键 盘 错 误, 即 用 户 在 知 道 正 确 拼 音 的 情 况 下 输 入 时 打 错 因 为 无 法 得 知 用 户 在 输 入 时 的 状 态, 这 两 者 错 误 很 难 通 过 外 界 观 察 完 全 区 分 不 过 通 过 汇 总 的 错 误 模 式 结 果, 可 以 发 现 一 些 规 律 表 5.5 和 表 5.6 分 别 是 两 个 数 据 上 高 频 替 换 错 误 的 信 息 首 先 可 以 发 现, 常 见 错 误 主 要 发 生 在 元 音 的 组 成 字 母 中, 这 与 其 本 身 的 使 用 频 度 较 高 有 关 其 次, 高 频 替 换 错 误 大 多 数 是 相 邻 按 键 ( 如 i-o,m-n,u-i) 或 者 距 离 较 远 需 要 两 手 分 别 输 入 的 按 键 这 些 高 频 错 误 的 发 生, 键 盘 因 素 很 可 能 起 到 了 很 大 影 响, 比 如 输 入 时 错 按 成 相 邻 按 键, 或 者 左 右 手 的 输 入 顺 序 弄 错 表 5.5 大 白 狗 数 据 中 前 20 个 高 频 替 换 错 误 original correct frequency i o 59168 o i 55804 a i 54863 a e 52092 i a 45389 e a 44670 i u 40551 u i 37429 71

第 5 章 基 于 输 入 法 输 入 数 据 的 常 见 拼 音 错 误 模 式 抽 取 续 表 5.5 大 白 狗 数 据 中 前 20 个 高 频 替 换 错 误 original correct frequency i e 33338 e i 24865 u a 24537 n o 22290 n i 22081 a u 22071 i n 21778 d l 20714 b n 20287 o n 19938 h d 19874 m n 19534 表 5.6 小 白 狗 数 据 中 前 20 个 高 频 替 换 错 误 original correct frequency I U 324 U I 306 I O 243 O I 234 A E 212 I N 198 N I 197 E A 179 N O 129 E I 90 I E 88 E U 87 B N 85 O N 84 H G 79 Z C 75 S Z 74 G H 72 M N 67 O U 63 在 汉 语 中,n g 是 鼻 辅 音, 可 以 和 某 些 元 音 组 成 鼻 元 音 在 某 些 方 言 中, 72

第 5 章 基 于 输 入 法 输 入 数 据 的 常 见 拼 音 错 误 模 式 抽 取 有 n g 和 没 有 n g 有 时 候 并 不 区 分, 导 致 输 入 拼 音 时 会 发 生 错 误 汉 语 中 一 共 包 含 39 个 元 音, 其 中 有 16 个 鼻 元 音 10 个 单 元 音 和 13 个 复 合 元 音 有 些 方 言 中 对 这 些 元 音 的 使 用 有 不 同 差 别 表 5.7 和 表 5.8 列 出 了 两 个 数 据 中 前 20 个 高 频 插 入 删 除 错 误 这 些 错 误 中, 由 n g 引 起 的 错 误 占 据 了 一 定 比 例, 这 些 错 误 很 有 可 能 是 由 方 言 等 原 因 引 起 的 语 言 错 误 表 5.7 大 白 狗 数 据 中 前 20 个 高 频 插 入 删 除 错 误 original correct frequency i ~ 242965 ~ i 225097 n ~ 201022 a ~ 192670 ~ n 180874 ~ e 166864 ~ a 165188 e ~ 160294 ~ g 159664 g ~ 156333 u ~ 150933 ~ u 146135 ~ o 123897 o ~ 109623 ~ h 103219 h ~ 102472 d ~ 89560 b ~ 79410 w ~ 66987 y ~ 63244 表 5.8 小 白 狗 数 据 中 前 20 个 高 频 插 入 删 除 错 误 original correct frequency ~ I 1894 ~ G 1893 ~ N 1844 G ~ 1733 ~ A 1337 ~ U 1180 ~ H 973 73

第 5 章 基 于 输 入 法 输 入 数 据 的 常 见 拼 音 错 误 模 式 抽 取 3. 错 误 长 度 续 表 5.8 小 白 狗 数 据 中 前 20 个 高 频 插 入 删 除 错 误 original correct frequency ~ E 913 ~ O 784 I ~ 768 H ~ 691 ~ NG 651 A ~ 553 N ~ 543 U ~ 517 ~ AN 516 E ~ 429 O ~ 377 ~ Z 257 ~ S 246 通 过 实 验 结 果 可 以 看 出, 编 辑 距 离 为 1 的 错 误 模 式 占 据 了 大 多 数 词 频, 编 辑 距 离 大 于 3 的 错 误 模 式 占 据 很 小 比 例, 说 明 用 户 在 输 入 拼 音 时 大 部 分 错 误 都 是 很 小 的 错 误, 很 少 有 长 的 连 续 错 误 发 生 这 是 符 合 常 识 的 用 户 用 输 入 法 输 入 过 程 中, 如 果 发 生 了 编 辑 距 离 大 于 2 的 错 误, 对 输 入 法 组 词 会 有 较 大 影 响, 大 部 分 用 户 都 会 及 时 发 觉 4. 小 白 狗 数 据 与 大 白 狗 数 据 的 结 果 差 异 从 两 个 数 据 的 常 见 错 误 模 式 和 错 误 长 度 来 看, 两 者 还 是 比 较 统 一 的 两 者 结 果 的 最 大 差 别, 就 是 小 白 狗 数 据 中 删 除 错 误 占 据 很 大 比 例, 而 大 白 狗 数 据 中 删 除 错 误 和 插 入 替 换 错 误 数 量 相 当 造 成 这 种 结 果 的 原 因, 可 能 是 用 户 在 输 入 词 条 上 屏 前, 希 望 能 利 用 输 入 法 的 自 动 组 词 功 能 少 输 入 一 些 字 符, 加 快 输 入 速 度 如 果 输 入 短 拼 音 序 列 后 发 现 组 词 效 果 不 理 想, 会 修 改 增 加 序 列 长 度, 就 造 成 了 删 除 类 错 误 这 个 现 象 从 另 一 个 角 度 验 证 了 用 户 在 使 用 输 入 法 时 总 是 倾 向 于 输 入 短 内 容 的 结 论 5.5 小 结 本 实 验 通 过 两 种 输 入 法 用 户 输 入 序 列 数 据, 希 望 能 得 到 用 户 输 入 拼 音 时 的 常 见 错 误 模 式 采 用 的 方 法 是 模 拟 还 原 用 户 的 输 入 过 程, 通 过 用 户 对 输 入 过 的 74

第 5 章 基 于 输 入 法 输 入 数 据 的 常 见 拼 音 错 误 模 式 抽 取 内 容 的 修 改 操 作 寻 找 错 误 - 正 确 的 拼 音 对, 从 而 进 一 步 整 理 成 错 误 模 式 将 输 入 法 输 入 错 误 分 类 成 拼 音 错 误 和 选 择 错 误 两 类, 将 拼 音 错 误 分 类 成 语 言 错 误 和 键 盘 错 误 两 类 通 过 分 析 实 验 结 果, 可 以 得 出 以 下 几 个 结 论 : 1. 输 入 错 误 的 数 量 要 高 于 选 择 错 误 2. 键 盘 错 误 中 的 相 邻 按 键 按 错 和 左 右 手 分 别 按 键 顺 序 错 误 可 能 是 导 致 很 多 替 换 类 错 误 的 主 要 因 素 3. 方 言 中 鼻 辅 音 不 分 等 语 言 错 误 可 能 是 导 致 很 多 插 入 删 除 类 错 误 的 主 要 因 素 4. 大 部 分 错 误 都 是 小 错 误, 很 少 会 出 现 较 长 的 错 误 5. 用 户 总 是 倾 向 于 输 入 较 短 内 容 得 到 想 要 的 结 果 75

第 6 章 女 书 拼 音 输 入 法 的 设 计 与 实 现 第 6 章 女 书 拼 音 输 入 法 的 设 计 与 实 现 6.1 背 景 概 述 在 对 输 入 法 有 了 较 深 的 了 解 和 调 研 之 后, 与 清 华 大 学 中 文 系 合 作, 进 行 了 输 入 法 设 计 与 实 现 的 实 践, 完 成 了 基 于 Win32 平 台 的 女 书 拼 音 输 入 法 女 书 是 流 传 在 中 国 湖 南 省 江 永 县 潇 水 流 域 的 女 性 专 用 文 字, 是 世 界 上 目 前 为 止 发 现 的 唯 一 的 女 性 专 用 文 字, 有 很 高 的 人 文 价 值 女 书 是 湖 南 省 目 前 唯 一 申 请 世 界 非 物 质 文 化 遗 产 项 目, 由 于 旅 游 业 和 文 化 研 究 等 原 因, 近 几 年 逐 渐 受 到 关 注 女 书 字 为 斜 体, 呈 多 字 型, 是 汉 字 楷 体 的 变 体 ( 图 6.1) 女 书 是 记 录 当 地 方 言 的 表 音 文 字, 一 个 女 书 文 字 代 表 的 当 地 发 音 可 能 对 应 若 干 不 同 汉 字, 一 个 汉 字 在 当 地 发 音 可 能 有 多 种 形 式 从 而 对 应 多 个 女 书 文 字, 因 此 女 书 文 字 与 汉 字 之 间 有 多 对 多 映 射 关 系, 如 图 6.2 图 6.1 女 书 文 字 样 例 ( 上 排 为 女 书, 下 排 为 所 参 考 的 汉 字 ) 图 6.2 女 书 文 字 与 对 应 汉 语 拼 音 示 例 清 华 大 学 中 文 系 赵 利 明 教 授 率 领 的 女 书 团 队 经 过 多 年 的 调 研 研 究, 整 理 了 一 系 列 女 书 相 关 研 究 成 果 [9][10], 揭 开 了 女 书 的 神 秘 面 纱 截 止 到 目 前 的 研 究, 女 书 基 本 字 约 有 300 多 个, 不 同 于 汉 字 的 表 意 文 字, 这 些 表 音 的 女 书 基 本 字 足 76

第 6 章 女 书 拼 音 输 入 法 的 设 计 与 实 现 以 覆 盖 当 地 土 话 的 发 音 女 书 研 究 进 一 步 开 展 需 要 对 女 书 进 行 数 字 化 建 设, 如 建 立 字 符 集 合 字 体 电 子 图 书 馆 和 申 请 国 际 标 准 编 码 等 女 书 拼 音 输 入 法 是 女 书 数 字 化 建 设 中 的 重 要 工 作, 是 录 入 女 书 文 字 重 要 的 辅 助 工 具 女 书 拼 音 输 入 法 的 核 心 功 能, 就 是 根 据 用 户 输 入 的 汉 语 拼 音, 生 成 女 书 的 编 码, 并 输 出 到 应 用 程 序 本 输 入 法 是 基 于 Win32 系 统, 使 用 了 Win32 平 台 的 IME 机 制 和 接 口 6.2 Win32 平 台 的 IME 机 制 介 绍 Win32 平 台 的 IME 机 制 是 主 要 面 对 东 亚 用 户 的 一 种 输 入 法 机 制 由 于 女 书 拼 音 输 入 法 的 功 能 特 性 和 中 文 拼 音 输 入 法 相 近, 因 此 也 可 以 采 用 IME 机 制 IME 机 制 的 基 本 原 理, 是 应 用 程 序 Win32 系 统 输 入 法 管 理 器 (Input Method Manager,IMM) 输 入 法 (Input Method Editor,IME) 之 间 的 信 息 传 递 Win32 系 统 监 控 应 用 程 序 中 的 键 盘 事 件, 将 键 盘 事 件 传 递 给 IMM,IMM 根 据 需 要 将 键 盘 事 件 再 传 递 给 IME 调 用 输 入 法 IME 转 换 后 的 文 字 编 码, 再 通 过 IMM 和 Win32 系 统 传 递 给 应 用 程 序, 完 成 输 入 法 的 输 出 IMM 是 Win32 系 统 管 理 输 入 法 的 程 序 IME 实 际 上 是 提 供 给 IMM 调 用 的 一 个 动 态 链 接 库 (DLL) 完 成 IME 机 制 输 入 法 的 核 心, 就 是 实 现 IMM 需 要 调 用 的 接 口 函 数 Win32 系 统 规 定 的 IME 接 口 共 有 19 个 函 数, 列 举 如 下 : 1. ImeInquire 2. CandWndProc 3. CompWndProc 4. StatusWndProc 5. IMEConversionList 6. UIWndProc 7. ImeConfigure 8. ImeDestroy 9. ImeEscape 10. ImeSetActiveContext 11. ImeProcessKey 12. NotifyIME 13. ImeSelect 77

第 6 章 女 书 拼 音 输 入 法 的 设 计 与 实 现 14. ImeSetCompositionString 15. ImeToAsciiEx 16. ImeRegisterWord 17. ImeUnregisterWord 18. ImeGetRegisterWordStyle 19. ImeEnumRegisterWord 这 19 个 接 口 函 数 中, 并 不 是 每 个 函 数 都 需 要 实 现 实 现 一 个 基 本 的 输 入 法, 主 要 需 要 完 成 UI 接 口 和 编 码 转 换 两 个 功 能 输 入 法 的 UI 显 示 主 要 涉 及 到 三 个 窗 口 : Status Window 状 态 窗 口 Composition Window 编 码 窗 口 Candidates Window 候 选 窗 口 如 图 6.3, 状 态 窗 口 用 于 显 示 输 入 法 状 态 ( 模 式 中 / 英 文 标 点 全 角 / 半 角 等 ), 编 码 窗 口 用 于 显 示 当 前 已 完 成 编 码 的 字 符 和 需 要 编 码 的 拼 音 序 列, 候 选 窗 口 用 于 显 示 候 选 词 条 和 对 应 选 择 按 键 19 个 接 口 函 数 中 的 CandWndProc CompWndProc StatusWndProc UIWndProc 主 要 对 应 了 UI 显 示 方 面 的 功 能 图 6.2 女 书 拼 音 输 入 法 19 个 接 口 函 数 中 编 码 转 换 的 核 心 函 数 是 ImeProcessKey 和 ImeToAsciiEx ImeProcessKey 函 数 负 责 处 理 键 盘 事 件, 是 编 码 的 发 动 者 ImeToAsciiEx 函 数 则 负 责 将 输 入 序 列 转 换 78

第 6 章 女 书 拼 音 输 入 法 的 设 计 与 实 现 Win32 系 统 提 供 了 一 些 系 统 函 数 和 数 据 结 构 负 责 不 同 系 统 程 序 函 数 间 的 通 信 调 用 等, 具 体 的 说 明 请 参 考 [11] 等 相 关 资 料, 在 此 不 做 详 细 论 述 6.3 女 书 拼 音 输 入 法 的 实 现 原 理 为 了 正 常 显 示 女 书 文 字, 首 先 需 要 一 个 女 书 字 体 女 书 字 体 由 清 华 大 学 中 文 系 赵 丽 明 教 授 的 女 书 研 究 团 队 提 供, 包 含 457 个 女 书 文 字, 包 含 了 女 书 基 本 字 和 一 些 常 见 变 体 码 表 是 输 入 法 根 据 输 入 序 列 产 生 文 字 编 码 的 根 据 女 书 拼 音 输 入 法 使 用 的 码 表 同 样 是 赵 丽 明 教 授 的 团 队 提 供 码 表 共 包 含 1179 条 拼 音 对 应 关 系, 囊 括 了 所 有 字 体 中 出 现 的 女 书 文 字 每 个 女 书 文 字 平 均 有 2.58 个 对 应 关 系, 也 就 是 平 均 上 说, 很 多 女 书 文 字 在 汉 语 拼 音 意 义 上 是 多 音 字 女 书 文 字 对 应 的 汉 语 拼 音 数 量 如 表 6.1, 只 有 1 个 拼 音 的 女 书 文 字 最 多, 对 应 2 个 拼 音 的 女 书 文 字 数 量 其 次, 他 们 占 据 了 大 部 分 女 书 文 字, 个 别 女 书 文 字 对 应 了 很 多 汉 语 拼 音, 最 多 甚 至 到 15 个 表 6.1 女 书 文 字 对 应 汉 语 拼 音 数 量 汇 总 单 个 女 书 字 对 女 书 字 数 单 个 女 书 字 对 女 书 字 数 应 汉 语 拼 音 数 应 汉 语 拼 音 数 1 171 7 7 2 121 8 9 3 60 9 4 4 34 10 1 5 33 13 1 6 15 15 1 女 书 拼 音 输 入 法 包 括 三 个 文 件 : 输 入 法 文 件 词 库 文 件 和 拼 音 规 则 文 件 词 库 文 件 用 于 记 录 用 户 输 入 过 的 词 条, 用 户 再 次 输 入 时 可 直 接 组 词 拼 音 规 则 文 件 负 责 记 录 女 书 文 字 对 应 的 拼 音 中 合 法 的 拼 音 规 则, 助 于 输 入 法 组 词 女 书 文 字 对 应 的 所 有 拼 音 是 汉 字 对 应 所 有 拼 音 的 子 集, 有 些 拼 音 找 不 到 对 应 的 女 书 文 字, 因 此 拼 音 规 则 文 件 助 于 现 有 女 书 文 字 的 拼 音 组 词 图 6.4 展 示 了 用 户 拼 音 不 符 合 拼 音 规 则 文 件 记 录 时, 会 把 当 前 拼 音 序 列 按 最 大 匹 配 拆 分 成 多 个 拼 音 分 别 寻 找 对 应 文 字 的 情 况 使 用 拼 音 规 则 文 件 的 原 因 是 当 女 书 文 字 拼 音 规 则 的 变 化 时 便 于 扩 展 ; 另 外 编 写 其 他 可 以 参 考 汉 语 拼 音 规 则 的 输 入 法 时, 可 以 方 便 的 完 成 修 改 79

第 6 章 女 书 拼 音 输 入 法 的 设 计 与 实 现 图 6.4 不 符 合 拼 音 规 则 文 件 记 录 时 的 输 入 序 列 处 理 样 例 输 入 法 启 动 开 始 初 始 化 时, 输 入 法 会 初 始 化 各 个 UI 窗 口, 并 读 取 拼 音 规 则 文 件 和 词 库 文 件 IME 接 口 函 数 是 被 动 地 对 系 统 和 IMM 发 出 的 要 求 和 信 息 进 行 处 理 的 一 系 列 函 数, 包 括 输 入 法 初 始 化 / 启 动 / 休 眠 / 关 闭 请 求 反 馈 输 入 法 状 态 请 求 各 种 键 盘 事 件 编 码 开 始 / 结 束 / 输 出 的 请 求 等 等 当 输 入 法 用 户 输 入 拼 音 序 列 时, 每 个 键 盘 事 件 都 会 传 递 给 输 入 法 管 理 器 IMM 输 入 法 管 理 器 调 用 ImeProcessKey 函 数 判 断 键 盘 事 件 的 处 理 方 式 : 不 做 处 理 返 回 给 系 统 改 变 输 入 法 状 态 进 行 编 码 等 等 当 输 入 法 判 断 需 要 进 行 编 码 处 理 时, 会 调 用 ImeToAsciiEx 函 数 进 行 编 码 转 换 对 每 个 拼 音 序 列, 参 考 拼 音 规 则 文 件 的 记 录, 用 最 大 匹 配 原 则 对 拼 音 序 列 进 行 分 割 对 分 割 后 的 每 个 拼 音 串, 查 找 码 表 中 的 对 应 女 书 文 字 并 在 候 选 窗 口 中 显 示 给 用 户, 用 户 原 则 后 即 完 成 了 一 个 拼 音 串 的 编 码 转 换 以 此 类 推 将 用 户 输 入 的 整 个 拼 音 串 转 换 完 毕, 并 转 换 完 毕 后 的 文 字 编 码 发 送 给 输 入 法 管 理 器 输 入 法 管 理 器 将 转 换 后 的 编 码 输 出 给 目 标 应 用 程 序 显 示 以 上 过 程 完 成 了 女 书 拼 音 输 入 法 基 本 的 将 拼 音 转 换 成 女 书 文 字 编 码 的 基 本 功 能, 也 是 女 书 拼 音 输 入 法 实 现 的 基 本 原 理 6.4 小 结 本 章 主 要 介 绍 了 Win32 平 台 下 的 IME 输 入 法 机 制, 介 绍 了 19 个 接 口 函 数 中 若 干 重 要 函 数 的 功 能, 并 介 绍 了 利 用 IME 机 制 实 现 女 书 拼 音 输 入 法 的 原 理 80