基于词语关联度的查询缩略*

Transcription

1 * 基 于 词 语 关 联 度 的 查 询 缩 略 陈 炜 鹏 1, 付 瑞 吉 1, 胡 熠 2, 秦 兵 1, 刘 挺 (1. 哈 尔 滨 工 业 大 学 计 算 机 科 学 与 技 术 学 院 社 会 计 算 与 信 息 检 索 研 究 中 心, 黑 龙 江 省 哈 尔 滨 市,150001; 2. 腾 讯 公 司 搜 索 平 台 部, 广 东 省 深 圳 市,518057) 摘 要 : 冗 长 查 询 指 用 户 提 交 的 句 子 成 份 复 杂 的 查 询 当 前 的 搜 索 引 擎 对 于 关 键 字 的 检 索 取 得 了 较 好 的 结 果 但 是 对 于 冗 长 的 查 询, 如 果 将 所 有 词 作 为 关 键 字 进 行 检 索, 往 往 只 能 返 回 相 当 有 限 的 结 果 在 本 文 中, 我 们 尝 试 利 用 关 键 词 之 间 的 词 语 关 联 度, 发 现 语 义 蕴 含, 删 除 信 息 量 小 的 关 键 词, 提 高 检 索 的 效 果 对 于 实 验 结 果, 我 们 分 别 从 面 向 机 器 和 面 向 用 户 两 个 角 度 进 行 评 价 在 面 向 机 器 的 评 价 部 分, 我 们 根 据 搜 索 引 擎 返 回 结 果 的 标 红 率 和 结 果 数 进 行 自 动 评 价 ; 在 面 向 用 户 的 评 价 部 分, 我 们 对 搜 索 结 果 文 档 进 行 人 工 评 价 实 验 结 果 表 明, 我 们 的 方 法 能 够 明 显 提 高 检 索 结 果 的 数 量 和 质 量 关 键 词 : 查 询 缩 略 ; 词 语 关 联 度 ; 评 价 方 式 中 图 分 类 号 :TP391 文 献 标 识 码 :A Reducng Long Queres Based on Words Assocaton Wepeng Chen 1, Ru Fu 1, Y Hu 2, Bng Qn 1, Tng Lu 1 (1.Research Center for Socal Computng and Informaton Retreval of Computer Scence and Technology School, Harbn Insttute of Technology, Harbn ;2.Mnstry of Search Platform of Tencent Inc., Shenzhen ) Abstract:Long queres refer to complex queres submtted by users. Current search engnes based on keywords can obtan good results. But for a long query, f all of the words are matched as keywords, often only very lmted results are returned. In ths paper, we attempt to mprove the retreval results by usng the assocaton between the words to delete the words whch offer lttle nformaton. In our experments, two aspects of evaluaton, machne-orented and user-orented, are used. In the machne-orented evaluaton, the change of hghlght rato and the result number of related documents s consdered. In the user-orented evaluaton, the retreval results are evaluated by a human udger. The expermental results show that our method can sgnfcantly mprove the quantty and qualty of search results. Key words:query Reducton; Word Assocaton; Evaluaton Methods 1 1 前 言 查 询 优 化 是 信 息 检 索 研 究 中 的 一 个 重 要 的 问 题 本 文 探 索 有 效 地 滤 除 冗 长 查 询 中 冗 余 成 份 的 方 法, 提 高 检 索 效 果 搜 索 引 擎 的 一 般 原 理 是 对 于 用 户 提 交 的 搜 索 关 键 词, 搜 索 引 擎 根 据 关 键 词 在 网 页 索 引 * 收 稿 日 期 : 定 稿 日 期 : 基 金 项 目 : 国 家 自 然 科 学 基 金 面 上 项 目 ( , ); 国 家 自 然 科 学 基 金 重 点 项 目 ( ); 国 家 863 前 沿 技 术 研 究 项 目 (2012AA011102) 作 者 简 介 : 陈 炜 鹏 (1986 ), 男, 硕 士 研 究 生, 主 要 研 究 方 向 为 共 指 消 解 信 息 检 索 ; 付 瑞 吉 (1984 ), 男, 博 士 研 究 生, 主 要 研 究 方 向 为 文 本 挖 掘 自 然 语 言 处 理 ; 胡 熠 (1978 ), 男, 腾 讯 公 司 搜 索 产 品 部 研 究 员, 主 要 研 究 方 向 为 信 息 检 索 自 然 语 言 处 理 数 据 挖 掘 ; 秦 兵 (1968 ), 女, 教 授, 主 要 研 究 方 向 为 自 然 语 言 处 理 信 息 抽 取 信 息 检 索 等 ; 刘 挺 (1972 ), 男, 教 授, 主 要 研 究 方 向 为 自 然 语 言 处 理 信 息 检 索 社 会 计 算 等

2 库 中 进 行 检 索, 最 后 以 一 定 的 排 序 算 法 输 出 相 关 的 文 档 显 然, 用 户 输 入 的 查 询 包 含 的 关 键 词 越 多, 检 索 的 难 度 越 大 在 查 询 中, 用 户 常 常 在 添 加 很 多 对 于 检 索 关 键 词 的 补 充 和 修 饰 成 份, 而 这 些 成 份 对 检 索 效 果 的 提 高 并 没 有 什 么 帮 助, 反 而 增 加 了 搜 索 引 擎 的 检 索 难 度 事 实 上, 对 于 用 户 提 交 给 搜 索 引 擎 的 查 询, 都 是 用 户 对 于 希 望 获 得 的 内 容 的 限 定, 因 此 我 们 可 以 理 解 为 对 于 用 户 查 询 的 任 何 改 动, 在 某 种 程 度 上 都 已 经 改 变 了 用 户 的 原 意 但 我 们 可 以 删 除 查 询 中 给 搜 索 引 擎 提 供 的 信 息 量 很 小 的 词, 尽 可 能 小 地 更 改 用 户 查 询 意 图, 同 时 改 善 检 索 结 果 例 如 东 海 最 新 军 事 新 闻 中 的 最 新 就 是 这 种 小 信 息 量 的 词 而 且 有 的 检 索 关 键 词 的 语 义 可 能 已 经 隐 含 在 查 询 中 其 他 关 键 词 中 了, 对 于 这 类 零 额 外 信 息 的 关 键 词, 我 们 也 可 以 予 以 删 除 例 如 查 询 广 东 广 州 市 气 候 特 点 中 的 广 东 已 经 蕴 含 在 广 州 市 的 信 息 之 中 了 本 文 提 出 了 一 种 基 于 关 键 词 之 间 搭 配 紧 密 度 的 缩 略 方 法, 我 们 首 先 分 析 查 询 关 键 词 之 间 的 依 存 句 法 关 系, 然 后 结 合 关 键 词 之 间 的 搭 配 紧 密 度, 确 定 冗 余 关 键 词, 予 以 删 除 同 时, 我 们 还 将 缩 略 看 成 是 一 个 子 查 询 选 择 的 过 程, 对 于 原 查 询 的 任 去 一 词 组 合, 选 择 与 原 查 询 最 接 近 的 缩 略 为 了 评 价 结 果 的 有 效 性, 我 们 从 面 向 机 器 的 角 度, 评 价 查 询 缩 略 对 于 提 高 检 索 结 果 文 档 召 回 数 量 的 帮 助 ; 从 面 向 用 户 的 角 度, 评 价 查 询 缩 略 对 于 提 高 检 索 质 量 的 帮 助 实 验 结 果 表 明, 我 们 的 方 法 能 够 提 高 检 索 结 果 的 数 量 和 检 索 质 量 2 相 关 研 究 查 询 缩 略 是 查 询 优 化 中 一 项 重 要 的 方 式, 引 起 了 很 多 研 究 者 的 关 注 国 外 的 学 者 [1] [2] Bendersky 等 人 和 Kumaran 等 人 在 TREC 语 料 上 的 实 验 结 果 表 明, 查 询 缩 略 能 够 提 高 检 [3] 索 的 效 果 词 冗 余 和 区 分 查 询 中 补 充 成 份 和 主 要 成 份 的 困 难 [4], 导 致 搜 索 引 擎 不 能 正 确 地 理 解 用 户 提 交 的 自 然 语 言 查 询 的 意 图 [3] 从 关 键 词 发 现 的 角 度,Allan 等 人 利 用 语 言 和 统 计 的 方 法 发 现 查 询 中 的 核 心 概 念 [1] Bendersky 等 人 利 用 adaboost 分 类 器 给 查 询 中 的 词 赋 权, 从 而 确 定 词 的 重 要 性 从 排 序 的 [4] 角 度,Lease 等 人 提 出 利 用 排 序 模 型, 对 查 询 关 键 词 进 行 排 序, 从 而 确 定 词 的 重 要 性 从 [5] 子 查 询 排 序 的 角 度,Jones 等 人 利 用 点 互 信 息 构 建 最 大 生 成 树, 获 得 子 查 询 集 合, 并 且 利 用 用 户 的 点 击 信 息, 从 中 确 定 最 佳 的 子 查 询, 证 实 子 查 询 确 实 能 够 提 高 检 索 的 效 果 [6] Balasubramanan 等 人 选 取 了 一 些 有 效 的 特 征, 包 括 文 档 特 征 和 检 索 分 值 特 征 等, 用 于 三 种 学 习 方 法 对 查 询 进 行 缩 略 以 上 的 方 法 都 是 基 于 语 言 和 统 计 的 一 些 信 息, 而 不 能 很 好 地 融 合 检 索 词 之 间 的 关 联 性, 从 而 确 定 词 的 相 对 重 要 性 [7] [4] 验 证 查 询 缩 略 的 效 果, 也 是 一 个 重 要 的 问 题 Bendersky 等 人 和 Lease 等 人 研 究 都 是 基 于 TREC 语 料, 他 们 分 别 将 缩 略 前 后 的 查 询 在 TREC 语 料 中 检 索, 从 检 索 的 结 果 集 来 判 断 查 询 缩 略 的 有 效 性 但 是, 基 于 特 定 语 料 集 上 面 优 化 的 结 果, 并 不 能 完 全 反 映 在 实 际 [8] [9] 搜 索 引 擎 中 的 效 果 所 以 Samuel 等 人 和 Guo 等 人 利 用 搜 索 引 擎 的 结 果, 人 工 标 注 结 果 文 档, 确 定 优 化 的 效 果 以 上 方 法 代 价 比 较 大 在 本 文 中 我 们 尝 试 从 面 向 机 器 和 面 向 用 户 两 个 角 度 来 评 价 查 询 缩 略 的 结 果 3 基 于 词 语 关 联 度 的 查 询 缩 略 方 法 基 于 词 语 关 联 度 的 查 询 缩 略, 从 两 个 方 面 来 解 决 查 询 缩 略 的 问 题 :1) 基 于 依 存 搭 配 的 查 询 缩 略 根 据 依 存 链 两 端 词 的 紧 密 度, 发 现 冗 余 词 ;2) 基 于 词 语 关 联 度 的 子 查 询 选 择 比 较 子 查 询 与 原 始 查 询 的 紧 密 度, 发 现 与 原 查 询 紧 密 度 最 大 的 子 查 询 3.1 基 于 依 存 搭 配 的 查 询 缩 略 对 于 一 个 冗 长 查 询, 我 们 考 察 的 是 关 键 词 之 间 的 蕴 含 关 联, 即 可 能 存 在 某 个 词 的 语 义

3 已 经 蕴 含 在 其 他 的 词 之 中, 那 么 对 于 这 一 类 词, 予 以 删 除 在 保 证 用 户 的 查 询 意 图 没 有 偏 移 的 前 提 下, 召 回 更 多 的 检 索 结 果, 减 少 零 信 息 词 对 查 询 结 果 的 影 响 我 们 认 为 查 询 词 之 间 的 关 联 关 系 体 现 在 句 法 的 依 存 关 系 之 中 对 于 存 在 依 存 句 法 关 联 的 词, 它 们 存 在 语 义 的 关 联 我 们 需 要 发 现 它 们 之 间 的 语 义 蕴 含 作 为 缩 略 的 依 据, 即 某 个 修 饰 成 份 经 常 只 充 当 另 一 成 份 的 补 充 基 于 搭 配 的 缩 略 主 要 的 方 法 是 利 用 依 存 分 析 的 结 果, 并 且 结 合 词 性 和 命 名 实 体 信 息, 发 现 一 些 频 繁 模 式, 滤 除 查 询 中 的 一 些 冗 余 的 修 饰 关 系 我 们 主 要 考 察 ATT 关 系 ( 定 中 关 系 ) VOB 关 系 ( 动 宾 关 系 ) 和 ADV 关 系 ( 状 中 关 系 ) 例 如 图 1 所 示 的 例 子 中 的 电 视 和 连 续 剧 存 在 ATT 关 系, 结 合 词 性 和 搭 配 关 系, 我 们 删 除 电 视 图 1 依 存 句 法 分 析 例 子 Fg.1 An Example of Dependency Parsng 考 察 两 个 词 之 间 的 搭 配 紧 密 度, 一 共 有 三 种 衡 量 的 方 法 分 别 是 : 1) 点 互 信 息 对 于 搭 配 的 发 现, 一 种 以 信 息 论 为 根 据 的 方 法 是 互 信 息 对 于 我 们 的 情 况, 两 个 具 体 词 同 现 的 点 互 信 息 如 下 : x, a N PMI ( x, (1) ( a b) ( a c) 其 中,N 代 表 句 子 的 数 目,a 代 表 词 w 和 词 w 共 同 出 现 的 句 子 数,b 代 表 词 w 出 现, 词 w 不 出 现 的 句 子 数,c 代 表 词 w 不 出 现, 词 w 出 现 的 句 子 数 互 信 息 是 二 元 组 x, y ) 的 概 率 和 两 单 独 词 的 概 率 乘 积 y ) 的 似 然 对 数 比 考 虑 两 种 极 端 的 情 况 : 两 个 词 的 出 现 是 完 全 互 相 依 赖 的 ( 它 们 是 一 起 出 现 ) 或 完 全 独 立 的 ( 一 个 词 出 现 不 能 给 出 关 于 其 他 词 出 现 的 任 何 信 息 ) 对 于 完 全 的 互 相 依 赖, 有 : x 1 I( x, (2) 也 就 是 说, 在 完 全 依 赖 的 二 元 组 中, 当 它 们 出 现 的 次 数 减 少 时, 它 们 的 互 信 息 是 增 加 的 对 于 完 全 独 立 的 情 况, 有 : x I( x, 1 0 (3) 互 信 息 是 衡 量 独 立 性 的 一 种 很 好 的 方 法, 接 近 0 的 互 信 息 表 明 了 概 率 的 独 立 性 2) 最 大 似 然 比 似 然 比 是 假 设 检 验 的 另 一 种 方 法 我 们 考 察 用 下 面 两 个 可 选 的 假 设 来 解 释 二 元 组 (x, 的 出 现 频 率 假 设 : 假 设 1: x p x (4) 假 设 2: x p1 p2 x (5)

4 假 设 1 是 独 立 性 假 设 的 形 式 (x 的 出 现 和 前 面 y 的 出 现 是 独 立 的 ), 假 设 2 是 非 独 立 性 假 设 的 形 式 化, 对 于 我 们 感 兴 趣 的 搭 配, 是 一 个 很 好 的 证 据 该 方 法 的 形 式 化 描 述 如 下 : a N b N c N d N 2log LLR( x, alog blog clog d log ( a b)( a c) ( a b)( b d) ( c d)( a c) ( c d)( b d) (6) 其 中,N 代 表 句 子 的 数 目,a 表 示 词 w 和 词 w 共 同 出 现 的 句 子 数,b 表 示 词 w 出 现, 词 w 不 出 现 的 句 子 数,c 表 示 词 w 不 出 现, 词 w 出 现 的 句 子 数 d 表 示 两 个 词 都 不 出 现 的 句 子 数 2 3) 卡 方 分 布 卡 方 分 布 又 称 统 计, 可 以 用 于 度 量 词 与 词 独 立 程 度, 卡 方 值 越 大, 独 立 性 越 小, 相 关 性 越 大 令 N 表 示 训 练 语 料 中 的 句 子 总 数,c 为 某 一 个 词,t 表 示 与 其 搭 配 的 词 条,A 表 示 包 含 c 词 条 且 包 含 t 词 条 的 句 子 频 数,B 表 示 不 包 含 c 词 条 但 是 包 含 t 词 条 的 句 子 频 数,C 表 示 包 含 c 词 条 但 是 不 包 含 t 词 条 的 句 子 频 数,D 是 既 不 包 含 c 词 条 也 不 包 含 t 词 条 的 句 子 频 数, 则 t 对 于 c 的 卡 方 值 由 下 式 计 算 : 2 2 N ( AD BC ) ( t, c) (7) ( A C )( B D )( A B )( C D ) 通 过 观 察, 我 们 对 ATT VOB 和 ADV 这 三 种 关 系 制 定 如 下 启 发 式 规 则 : ATT 关 系 首 先 我 们 找 出 句 子 中 存 在 ATT 关 系 的 词 对 (a,b), b 依 存 于 a, 即 b 的 父 亲 是 a, 然 后 计 算 它 们 搭 配 紧 密 度, 如 果 这 个 值 超 过 阈 值 T_att_assocaton, 则 说 明 这 两 个 词 之 间 联 系 非 常 的 紧 密 在 这 种 情 况 下, 我 们 利 用 词 频 比 例 关 系 freq(b)/freq(a) 来 确 定 删 除 哪 一 个 词, 如 果 比 例 超 过 阈 值 T_att_freq, 删 除 词 b, 否 则 删 除 词 a VOB 关 系 首 先 我 们 找 出 句 子 中 存 在 VOB 关 系 的 节 点 对 (a,b), 计 算 它 们 搭 配 紧 密 度, 如 果 这 个 值 超 过 阈 值 T_vob_assocaton, 则 说 明 这 两 个 词 之 间 联 系 非 常 的 紧 密 然 后, 我 们 利 用 词 频 比 例 关 系 freq(a)/freq(b) 来 确 定 删 除 哪 一 个 词, 如 果 比 例 超 过 阈 值 T_vob_freq, 删 除 词 b, 否 则 删 除 词 a ADV 关 系 首 先 我 们 找 出 句 子 中 存 在 ADV 关 系 的 节 点 对 (a,b), b 的 父 节 点 是 a, 如 果 (a,b) 的 搭 配 紧 密 度 超 过 阈 值 T_adv_assocaton, 且 词 a 不 是 不 没 没 有 未 非 莫 未 必 等 否 定 副 词 时, 则 将 其 删 除 值 得 注 意 的 是, 每 个 规 则 使 用 的 阈 值 都 是 不 同 的 通 过 对 关 键 词 依 存 搭 配 的 统 计, 我 们 发 现 并 删 除 语 义 蕴 含 在 其 他 词 中 的 关 键 词, 达 到 查 询 缩 略 的 目 的 3.2 基 于 词 语 关 联 度 的 子 查 询 选 择 查 询 缩 略 的 本 质 在 于 从 查 询 中 发 现 相 对 不 重 要 的 词 对 于 一 个 词, 如 果 这 个 词 和 查 询 中 的 其 他 词 之 间 的 紧 密 度 非 常 小, 可 以 认 为 这 个 词 是 一 个 相 对 不 重 要 的 词 基 于 此, 可 以 将 查 询 缩 略 看 成 是 原 始 查 询 子 查 询 选 择 的 问 题, 即 对 于 原 始 查 询 可 以 扩 展 出 多 个 子 查 询, 在 这 些 候 选 子 查 询 中 选 择 与 原 始 查 询 最 接 近 的 查 询 一 个 好 的 子 查 询 应 该 满 足 : 只 保 留 重 要 的 词 用 户 在 提 交 查 询 时, 出 于 语 言 通 畅 性 的 表 示, 往 往 采 用 口 语 化 表 达, 夹 杂 很 多 不 重 要 的 关 键 词, 理 想 的 搜 索 引 擎 应 该 给 这 一 类 词 赋 予 很 低 的 权 重, 但 是 在 实 际 使 用 中, 删 除 这 一 类 词 往 往 能 够 带 来 更 好 的 检 索 效 果 例 如 查 询 2010 世 界 杯 用 球 的 名 字 叫 什 么, 如 果 只 保 留 其 中 的 关 键 字 2010 世 界 杯 用 球 名 字, 检 索 效 果 更 好 基 于 上 面 的 分 析, 我 们 通 过 一 个 例 子 来 介 绍 具 体 的 方 法 :

5 1) 对 于 原 始 查 询 进 行 名 词 短 语 切 分, 例 如 对 于 查 询 2007 年 云 南 省 曲 靖 市 中 考 考 生 成 绩 查 询 识 别 为 2007 年 云 南 省 曲 靖 市 中 考 考 试 成 绩 查 询 2) 构 造 原 始 查 询 的 子 查 询, 即 任 去 一 词, 构 成 子 查 询 2007 年 云 南 省 曲 靖 市 中 考 考 试 成 绩 查 询, 我 们 构 造 子 查 询 云 南 省 曲 靖 市 中 考 考 试 成 绩 查 询, 2007 年 曲 靖 市 中 考 考 试 成 绩 查 询 等 子 查 询 2 3) 对 于 任 一 查 询, 利 用 统 计 确 定 查 询 词 的 关 联 度 公 式 如 下 : Ch( x ; x ; x ;...; x ) Ch( x ; x ) (8) 1 2, 3 N, {1,2,3,..., N ; } 4) 对 于 任 意 查 询,Ch 最 接 近 原 始 查 询 的 子 查 询, 可 以 认 为 与 原 查 询 最 接 近, 即 是 语 义 含 义 与 原 查 询 最 接 近 的 子 查 询 5) 对 于 获 得 的 与 原 查 询 最 接 近 的 子 查 询, 如 果 与 原 查 询 之 间 的 差 别 : Ch x ; x ; x ;...; x ; x ;...; x ) / Ch( x ; x ; x ;...; x (9) ( 1 2, N 1 2, 3 N ) 我 们 则 认 为 原 查 询 与 子 查 询 的 差 别 非 常 地 小, 只 要 差 别 在 我 们 容 许 的 的 范 围 内, 我 们 可 以 对 子 查 询 继 续 迭 代 上 述 的 子 查 询 选 择 过 程, 对 查 询 进 行 进 一 步 缩 略, 直 到 不 满 足 公 式 (9) 为 止 基 于 以 上 方 法, 我 们 即 可 在 不 改 变 用 户 查 询 意 图 的 条 件 下, 尽 可 能 地 对 冗 长 查 询 进 行 缩 略 优 化, 改 善 检 索 结 果 4 实 验 和 结 果 4.1 实 验 设 置 实 验 部 分, 我 们 使 用 由 腾 讯 公 司 提 供 条 在 SOSO 搜 索 引 擎 中 查 询 效 果 不 佳 的 冗 长 查 询, 从 中 随 机 抽 取 用 作 开 发 和 测 试 另 外, 我 们 使 用 规 模 为 1.1G 的 搜 狗 全 网 新 闻 语 料 库 (SogouCA) 1 作 为 背 景 语 料 库, 用 来 统 计 词 语 频 率 等 信 息 4.2 评 价 方 法 为 了 验 证 基 于 词 关 联 度 的 缩 略 对 于 检 索 结 果 的 帮 助, 我 们 分 别 从 面 向 机 器 和 面 向 用 户 两 个 角 度 进 行 评 价, 前 者 衡 量 检 索 数 量 的 提 高, 后 者 衡 量 检 索 质 量 的 提 高, 结 合 机 器 自 动 评 价 和 人 工 评 价 来 验 证 本 文 方 法 的 有 效 性 面 向 机 器 的 自 动 评 价 面 向 机 器 的 自 动 评 价, 从 提 升 用 户 的 检 索 体 验 出 发, 考 察 对 于 一 个 冗 长 查 询 的 处 理, 能 否 召 回 更 多 相 关 的 结 果, 而 这 些 关 键 词 还 要 尽 量 能 够 包 含 在 检 索 的 效 果 中 因 为 冗 长 的 查 询 容 易 引 起 检 索 结 果 仅 有 寥 寥 几 条 且 没 有 正 确 结 果, 此 时 帮 助 用 户 自 动 裁 剪 查 询, 提 高 返 回 结 果 数 是 有 意 义 的 我 们 主 要 关 注 两 个 因 素 : 1) 返 回 结 果 的 绝 对 数 量 将 处 理 后 的 查 询 输 入 SOSO 中 搜 索, 返 回 的 结 果 数 比 原 始 冗 长 查 询 的 结 果 数 有 所 提 高 2)SOSO 返 回 结 果 标 红 的 比 率 ( 即 返 回 的 结 果 的 包 含 查 询 关 键 词 的 比 率 ) 1

6 具 体 的 计 算 公 式 是 : n 1 l( e ) coverage (10) n l( ) 1 q 其 中 l ( e ) 指 的 是 将 查 询 输 入 SOSO 后, 第 条 ttle 中 标 红 的 关 键 词 去 重 后 的 长 度 ; l(q) 指 的 是 查 询 的 长 度 ; 我 们 考 察 搜 索 结 果 中 前 n 条 ttle 的 数 量, 在 实 验 部 分, 我 们 考 查 前 10 条 例 如 查 询 007 街 机 游 戏 图 片 返 回 的 一 条 ttle 如 图 2 所 示 其 中 标 红 的 关 键 词 为 街 机 游 戏, 对 应 的 l ( e ) 为 4, 而 l (q) 为 9, 假 如 我 们 只 考 虑 第 一 条 检 索 结 果, 则 标 红 率 为 4/9=0.44, 可 见 这 条 查 询 的 这 条 效 果 并 不 好 图 2 搜 索 结 果 标 红 率 示 例 Fg.2 An Example of Hghlght Rato of Search Results 通 过 观 察, 我 们 认 为 应 该 分 两 种 情 况 考 虑 我 们 的 评 测 方 法 首 先, 我 们 认 为 一 个 查 询 返 回 的 结 果 数 不 超 过 一 定 的 阈 值 (countthreshold) 时, 返 回 结 果 数 量 的 提 升 更 为 重 要, 若 处 理 后 的 查 询 能 让 结 果 数 得 到 提 升, 我 们 即 认 为 是 一 个 好 的 处 理 例 如 原 始 长 尾 查 询 6.13 号 临 沂 地 震, 返 回 的 结 果 只 有 127 条, 在 这 种 情 况 下, 我 们 认 为 缩 略 临 沂 地 震, 对 应 搜 索 结 果 为 847,000, 大 大 提 高 了 返 回 数, 是 一 个 好 的 处 理 其 次, 如 果 原 始 查 询 结 果 数 超 过 阈 值 (countthreshold), 那 么 对 于 搜 索 结 果 而 言, 提 升 搜 索 结 果 的 标 红 率 ( 反 映 了 结 果 的 质 量 ) 显 得 更 为 重 要, 在 这 种 情 况 下, 我 们 要 求 处 理 后 的 查 询 在 标 红 率 应 该 有 所 提 高 允 许 返 回 的 结 果 数 有 所 下 降, 但 不 能 下 降 太 多, 保 证 在 原 长 尾 查 询 结 果 数 的 80% 以 上 当 然, 结 果 数 和 标 红 率 同 时 提 高 是 最 理 想 的 面 向 用 户 的 人 工 评 价 面 向 用 户 的 人 工 评 价, 考 察 的 是 缩 略 后 的 查 询 能 够 提 高 检 索 结 果 的 质 量, 即 在 保 证 用 户 查 询 意 图 的 前 提 下, 召 回 更 多 高 质 量 的 检 索 答 案 我 们 比 较 缩 略 前 后 的 查 询 输 入 搜 索 引 擎 后 获 取 的 前 10 条 结 果 文 档 集, 人 工 判 断 缩 略 后 查 询 返 回 的 文 档 集 是 否 更 好 地 符 合 用 户 的 查 询 意 图 两 名 志 愿 者 参 与 人 工 评 价, 将 两 名 志 愿 者 达 成 一 致 的 结 果 作 为 正 确 答 案 4.3 实 验 结 果 实 验 时, 我 们 首 先 进 行 基 于 依 存 搭 配 的 查 询 缩 略, 然 后 串 联 地 进 行 基 于 词 语 关 联 度 的 子 查 询 选 择, 其 中 所 有 的 参 数 都 是 在 开 发 集 上 调 试 获 得 的 经 验 最 优 值 开 发 集 是 从 腾 讯 公 司 提 供 的 冗 长 查 询 集 中 随 机 选 取 并 经 过 人 工 标 注 获 得 的 300 条 查 询 我 们 从 两 个 方 面 展 开 实 验 : 一 是 探 索 不 同 的 搭 配 识 别 方 法 对 查 询 缩 略 的 影 响 ; 二 是 与 其 他 方 法 的 对 比, 验 证 方 法 的 有 效 性

7 4.3.1 搭 配 识 别 方 法 的 影 响 为 了 探 索 不 同 的 搭 配 紧 密 度 衡 量 方 法 对 实 验 结 果 的 影 响, 我 们 比 较 了 互 信 息, 最 大 似 然 比 和 卡 方 分 布 对 结 果 的 影 响, 我 们 分 别 从 面 向 机 器 和 面 向 用 户 两 个 角 度, 对 100 条 冗 长 查 询 的 缩 略 进 行 评 价, 面 向 机 器 的 结 果 如 图 3 所 示, 面 向 用 户 的 结 果 如 表 1 所 示 图 3 不 同 紧 密 度 衡 量 方 法 的 影 响 ( 自 动 评 价 ) Fg.3 The Effect of Dfferent Measure Methods for Word Assocaton (Automatc Evaluaton) 图 3 中, 阈 值 (countthreshold) 为 搜 索 结 果 阈 值, 即 当 搜 索 结 果 数 量 小 于 countthreshold 时, 我 们 更 注 重 结 果 数 的 提 升, 当 大 于 阈 值 时, 我 们 更 注 重 检 索 质 量 ( 标 红 率 ) 的 提 升 从 实 验 结 果 的 比 较 可 以 看 出, 使 用 卡 方 分 布 作 为 衡 量 搭 配 紧 密 度 的 方 法 在 面 向 机 器 的 自 动 评 价 中, 并 没 有 表 现 出 优 势, 与 基 于 互 信 息 和 最 大 似 然 比 的 方 法 相 当 ; 但 在 面 向 用 户 人 工 评 价 中, 得 到 了 比 较 好 的 效 果 表 1 不 同 紧 密 度 衡 量 方 法 的 影 响 ( 人 工 评 价 ) Tab.1 The Effect of Dfferent Measure Methods for Word Assocaton (Manual Evaluaton) 准 确 平 均 准 确 率 (%) 互 信 息 最 大 似 然 比 卡 方 分 布 互 信 息 最 大 似 然 比 卡 方 分 布 对 比 实 验 作 为 参 照, 我 们 以 利 用 大 规 模 查 询 日 志 统 计 df 为 词 权 重 的 方 法, 作 为 Baselne 当 一 个 词 的 df 小 于 某 一 阈 值 时, 则 认 为 该 词 不 重 要, 将 其 删 除 分 别 在 腾 讯 提 供 的 冗 长 查 询 上 进 行 测 试, 实 验 结 果 如 图 4 和 表 2 所 示 我 们 从 腾 讯 公 司 提 供 的 冗 长 查 询 中, 随 机 抽 取 了 1063 条 查 询 进 行 自 动 评 价, 平 均 每 条 长 尾 查 询 提 供 1.67 条 候 选 随 机 抽 取 100 条 冗 长 查 询 进 行 人 工 评 价, 比 较 缩 略 前 后 搜 索 引 擎 返 回 的 前 十 条 结 果 的 质 量 通 过 人 工 查 验 返 回 的 相 关 结 果 集, 来 确 定 是 否 缩 略 后 的 相 关 结 果 更 加 切 合 用 户 的 查 询 意 图

8 图 4 自 动 评 测 结 果 Fg.4 The Results of Automatc Evaluaton 从 对 照 试 验 可 以 看 出, 不 同 的 搜 索 结 果 阈 值 表 现 出 的 结 果 波 动 并 不 是 很 明 显, 但 是 在 左 右, 结 果 比 较 好, 这 可 以 看 出 缩 略 对 于 提 高 检 索 结 果 的 数 量 比 较 明 显 综 上, 基 于 词 关 联 度 的 缩 略 能 够 返 回 更 多 标 红 率 高 的 检 索 结 果, 提 升 用 户 的 检 索 体 验 在 保 证 检 索 数 量 的 情 况 下, 我 们 的 方 法 能 够 明 显 提 高 冗 长 查 询 的 检 索 质 量 表 2 人 工 评 测 结 果 Tab.2 The Results of Manual Evaluaton 5 结 论 准 确 平 均 准 确 率 (%) Baselne Our Method Baselne Our Method 本 文 提 出 了 一 种 基 于 词 语 关 联 的 查 询 缩 略 的 方 法 结 合 依 存 句 法 和 搭 配 识 别, 发 现 查 询 中 的 语 义 蕴 含 关 系, 删 除 冗 余 词 ; 基 于 词 语 关 联 的 子 查 询 选 择, 发 现 信 息 量 小 的 词, 将 其 删 除 为 了 验 证 结 果 的 有 效 性, 我 们 提 出 了 面 向 机 器 的 自 动 评 价 方 法 和 面 向 用 户 的 人 工 评 价 方 法, 从 返 回 结 果 的 数 量 和 质 量 两 个 角 度, 对 缩 略 的 结 果 进 行 评 价 实 验 结 果 表 明, 我 们 的 方 法 能 够 有 效 地 剔 除 查 询 中 冗 余 的 成 份, 提 高 检 索 的 数 量 和 质 量 在 下 一 步 的 工 作 中, 我 们 将 探 索 新 方 法 发 现 更 多 依 存 搭 配 的 频 繁 模 式, 进 一 步 提 高 查 询 缩 略 的 效 果 致 谢 感 谢 国 家 自 然 科 学 基 金 项 目 ( , , ) 和 国 家 863 前 沿 技 术 研 究 项 目 (2012AA011102) 对 本 课 题 的 支 持 感 谢 腾 讯 公 司 为 本 课 题 提 供 资 金 和 数 据 支 持 参 考 文 [1] M. Bendersky and W. B. Croft. Dscoverng key concepts n verbose queres. In Proceedngs of SIGIR 08, 2008.pages ,. [2] G. Kumaran and J. Allan. A case for shorter queres, and helpng user create them. In Proceedngs of 献

9 HLT.2007pages [3] J. Allan, J. Callan, W. B. Croft, L. Ballesteros, J. Broglo, J. Xu, and H. Shu. INQUERY at TREC-5. In Proceedngs of the Ffth Text Retreval Conference TREC pages [4] M. Lease, J. Allan, and W. B. Croft. Regresson Rank: Learnng to Meet the Opportunty of Descrptve Queres. In Proc. of ECIR pages [5] R. Jones and D. C. Fan. Query word deleton predcton. In Proceedngs of 25th Annual Internatonal ACM SIGIR Conference on Research and Development n Informaton Retreval pages [6] N. Balasubramanan, G. Kumaran and V. R. Carvalho. Explorng reductons for long web queres. In Proceedngs of the 33rd nternatonal ACM SIGIR conference on Research and development n nformaton retreval pages [7] G. Kumaran and J. Allan. Adaptng nformaton retreval systems to user queres. Informaton Processng and Management pages [8] S. Huston and W. B. Croft. Evaluatng verbose query processng technques. In Proceedngs of the 33rdnternatonal ACM SIGIR conference on Research and development n nformaton retreval, SIGIR '10, pages , New York, NY, USA, ACM. [9] J. Guo, G. Xu, H. L, and X. Cheng. A unfed and dscrmnatve model for query refnement. In Proceedngs of SIGIR 08, pages , New York, NY, USA, 2008.