基 于 字 幕 内 容 的 课 程 视 频 检 索 这 些 位 置 可 以 是 单 词 的 位 置 也 可 以 是 字 符 的 位 置 在 使 用 倒 排 索 引 技 术 后, 建 立 的 是 单 词 到 文 档 映 射 关 系, 即 关 键 词 对 应 所 有 拥 有 这 个 关 键 词 的 文

Vol. 3 No. / Feb. 009 基 于 字 幕 内 容 的 课 程 视 频 检 索 郭 长 铭 摘 要 随 着 网 上 视 频 信 息 的 发 展, 用 户 对 课 程 视 频 网 站 检 索 的 要 求 也 越 来 越 高, 传 统 的 查 询 技 术 现 在 已 经 不 能 满 足 用 户 日 益 增 长 的 需 求 基 于 字 幕 内 容 的 课 程 视 频 检 索 技 术 是 对 视 频 文 字 内 容 进 行 检 索 来 找 到 对 应 的 视 频 播 放 段, 同 时 引 入 倒 排 索 引 技 术, 使 之 适 应 检 索 技 术 的 发 展 本 文 介 绍 了 基 于 文 本 内 容 的 视 频 检 索 项 目, 包 括 倒 排 索 引 检 索 的 原 理 课 程 视 频 检 索 的 过 程 结 果 排 序 的 评 分 标 准 中 文 分 词 方 法 等 关 键 词 倒 排 索 引 ;Lucene; 中 文 分 词 ; 内 容 检 索 引 言 搜 索 引 擎 正 风 靡 整 个 WEB 开 发 世 界, 尤 其 是 利 用 倒 排 索 引 检 索 是 很 多 搜 索 引 擎 的 基 本 技 术 倒 排 索 引 技 术 是 根 据 属 性 的 值 来 查 找 记 录, 而 不 是 由 记 录 来 确 定 属 性 值 的 传 统 索 引 方 式 在 当 前 大 多 数 的 信 息 检 索 系 统 中 得 到 了 广 泛 的 应 用,GOOGLE 百 度 等 搜 索 引 擎 都 是 在 其 原 理 上 进 行 的 拓 展 开 发 由 于 倒 排 索 引 检 索 的 性 能 比 一 般 的 数 据 库 查 询 优 越 许 多, 因 此 倒 排 索 引 是 目 前 搜 索 引 擎 最 常 用 的 存 储 方 式, 也 是 搜 索 引 擎 的 核 心 内 容 目 前 网 络 视 频 的 检 索 是 检 索 技 术 的 最 新 热 点 和 难 点, 但 现 在 网 络 上 流 行 的 课 程 视 频 网 站 检 索 功 能 大 多 是 通 过 标 签 属 性 作 为 关 键 字, 对 视 频 的 具 体 内 容 无 能 为 力 用 户 的 检 索 范 围 被 限 定 在 标 签 属 性 范 围 内, 并 且 检 索 结 果 只 能 返 回 整 个 视 频 路 径, 每 个 视 频 都 要 从 头 看 起, 如 果 用 户 只 需 要 对 有 关 关 键 字 部 分 进 行 观 看 会 浪 费 用 户 大 量 的 时 间 和 精 力, 影 响 用 户 满 意 度 针 对 以 上 问 题, 各 研 究 机 构 和 公 司 都 在 开 发 适 应 用 户 要 求 的 新 一 代 检 索 技 术, 例 如 :IBM Almaden 研 究 中 心 开 发 的 QBIC 是 基 于 内 容 的 图 像 及 视 频 检 索 系 统, 提 供 了 对 静 止 图 像 及 视 频 信 息 基 于 内 容 的 检 索 手 段, 其 系 统 结 构 及 所 用 技 术 对 后 来 的 视 频 检 索 有 深 远 的 影 响 ; 卡 内 基 梅 隆 大 学 的 informedia 数 字 视 频 图 书 馆 系 统, 结 合 语 音 识 别 视 频 分 析 和 文 本 检 索 技 术, 支 持 000 小 时 的 视 频 广 播 的 检 索, 实 现 全 内 容 的 基 于 知 识 的 查 询 和 检 索 我 们 针 对 课 程 讲 座 视 频 而 研 究 的 基 于 字 幕 内 容 的 视 频 检 索 技 术 将 利 用 课 程 视 频 的 特 点, 开 发 出 符 合 课 程 视 频 网 站 的 检 索 模 块 课 程 视 频 的 播 放 组 件 由 视 频 文 件 字 幕 文 件 讲 解 PPT 文 件 构 成 解 决 方 法 是 以 每 一 张 PPT 开 始 时 间 来 切 分 字 幕 文 件, 提 取 PPT 播 放 开 始 时 间, 字 幕 文 件 中 含 有 每 句 话 的 起 始 时 间 和 内 容 信 息, 将 字 幕 时 间 信 息 与 提 取 的 PPT 开 始 时 间 比 对, 得 出 匹 配 时 间, 做 为 分 割 字 幕 段 落 的 标 记 将 两 个 字 幕 标 记 句 之 间 的 字 幕 内 容 与 标 记 句 中 第 一 句 的 字 幕 合 并 而 只 保 留 标 记 句 第 一 句 的 时 间 信 息, 将 字 幕 分 成 与 讲 解 PPT 时 间 相 对 应 的 段 落 然 后 将 分 好 段 的 信 息 按 时 间 域 内 容 域 路 径 域 导 入, 建 立 单 词 到 时 间 段 再 到 视 频 路 径 映 射 关 系 的 倒 排 索 引, 导 入 的 同 时 对 字 幕 内 容 进 行 分 词 检 索 的 时 候 将 关 键 字 与 分 段 后 的 字 幕 内 容 进 行 匹 配, 返 回 相 应 时 间 段 的 视 频 路 径 该 检 索 功 能 是 将 Lucene [] 与 AJAX 融 合, 通 过 WEB 建 造 B/S 构 架, 在 网 络 上 实 现 更 细 致 的 关 键 字 相 关 视 频 段 检 索 这 种 检 索 是 将 多 种 技 术 相 融 合, 是 JSP XML 语 言 模 型 及 倒 排 索 引 技 术 的 综 [4] 合, 是 信 息 检 索 技 术 的 进 一 步 扩 展 本 文 其 他 章 节 如 下 : 第 章 是 对 索 引 技 术 的 研 究, 包 括 倒 排 索 引 原 理 Lucene 工 具 包 的 介 绍 Lucene 索 引 机 制 简 介 数 据 库 与 Lucene 在 各 方 面 的 比 较 第 3 章 是 是 基 于 字 幕 的 视 频 检 索 设 计, 包 括 对 索 引 建 立 过 程 的 描 述 视 频 检 索 过 程 中 文 分 词 技 术 简 介 结 果 排 序 机 制 性 能 测 试 第 4 章 为 总 结 以 及 项 目 前 景 索 引 技 术 研 究. 倒 排 索 引 的 原 理 倒 排 索 引 是 一 种 面 向 单 词 的 索 引 机 制, 利 用 它 可 以 提 高 检 索 时 的 速 度 对 于 每 一 个 单 词, 都 会 有 一 个 词 汇 列 表 记 录 单 词 在 所 有 文 档 中 出 现 的 位 置, 30

基 于 字 幕 内 容 的 课 程 视 频 检 索 这 些 位 置 可 以 是 单 词 的 位 置 也 可 以 是 字 符 的 位 置 在 使 用 倒 排 索 引 技 术 后, 建 立 的 是 单 词 到 文 档 映 射 关 系, 即 关 键 词 对 应 所 有 拥 有 这 个 关 键 词 的 文 档 编 号 列 表 在 实 际 应 用 中 仅 记 录 关 键 词 在 哪 些 文 章 中 出 现 是 不 够 的, 同 时 还 需 要 记 录 关 键 词 在 文 章 中 出 现 次 数 和 出 现 的 位 置, 这 样 做 可 以 方 便 快 速 获 取 查 询 记 录 的 数 目 和 对 查 询 结 果 进 行 排 序 正 常 的 索 引 结 构 建 立 的 是 文 档 到 单 词 的 映 射 关 系, 倒 排 索 引 技 术 建 立 的 是 单 词 到 文 档 映 射 关 系, 即 关 键 词 对 应 所 有 拥 有 这 个 关 键 词 的 文 档 编 号 列 表 倒 排 索 引 是 描 述 一 个 词 集 合 元 素 和 一 个 文 档 集 合 对 应 关 系 的 数 据 结 构 倒 排 索 引 分 为 两 部 分 : 第 一 部 分 是 由 不 同 词 组 成 的 索 引, 成 为 词 表 ; 第 二 部 分 是 由 每 个 词 出 现 过 的 文 档 集 合 构 成, 称 为 记 录 文 件, 每 个 词 项 对 应 的 部 分 称 为 倒 排 表, 也 称 作 记 录 表, 可 以 通 过 词 表 来 访 问 这 样 根 据 关 键 词 进 行 检 索, 只 需 要 获 取 每 个 关 键 词 所 对 应 文 档 列 表, 然 后 再 对 列 表 进 行 集 合 操 作 就 得 到 了 所 要 查 询 的 文 档, 因 此 检 索 效 率 会 得 到 很 大 提 高. Lucene 简 介 Lucene 是 一 个 用 Java 语 言 实 现 的 开 放 源 代 码 全 文 搜 索 引 擎 开 发 包, 它 可 以 方 便 的 嵌 入 到 各 种 应 用 程 序 中, 这 主 要 得 益 于 其 优 雅 的 面 向 对 象 设 计 和 简 化 的 API Lucene 的 作 者 Doug Cutting 是 一 位 资 深 全 文 索 引 / 检 索 专 家,Lucene 项 目 成 立 后, 得 到 了 开 源 代 码 开 发 各 界 的 积 极 配 合, 很 多 软 件 系 统 都 用 它 作 为 全 文 检 索 引 擎 Lucene 本 身 也 得 以 从 Sourceforge 移 到 Apache, 成 为 了 Apache 的 一 个 子 项 目.3 Lucene 索 引 机 制 [6] Lucene 使 用 各 种 解 析 器 对 各 种 不 同 类 型 的 文 档 进 行 解 析 比 如 对 于 HTML 文 档,HTML 解 析 器 会 做 一 些 预 处 理 的 工 作, 比 如 过 滤 文 档 中 的 HTML 标 签 等 等 解 析 器 输 出 的 是 文 本 内 容, 接 着 Lucene 的 分 词 器 从 文 本 内 容 中 提 取 出 索 引 项 以 及 相 关 信 息, 比 如 索 引 项 的 出 现 频 率 接 着 Lucene 的 分 词 器 把 这 些 信 息 写 到 索 引 文 件 中 Lucene 作 为 一 个 全 文 检 索 引 擎, 其 具 有 如 下 突 出 的 优 点 : ( 索 引 文 件 格 式 独 立 于 应 用 平 台 Lucene 定 义 了 以 8 位 字 节 为 基 础 的 索 引 文 件 格 式, 使 得 兼 容 不 同 平 台 的 应 用 能 够 共 享 建 立 的 索 引 文 件 ( 在 传 统 全 文 检 索 引 擎 的 倒 排 索 引 的 基 础 上, 实 现 了 分 块 索 引, 能 够 针 对 新 的 文 件 建 立 小 文 件 索 引, 提 升 索 引 速 度 然 后 通 过 与 原 有 索 引 的 合 并, 达 到 优 化 的 目 的 这 个 优 点 在 课 程 视 频 检 索 上 得 到 充 分 的 运 用 (3 优 秀 的 面 向 对 象 的 系 统 架 构, 降 低 了 Lucene 扩 展 的 学 习 难 度, 方 便 扩 充 新 功 能 (4 设 计 了 独 立 于 语 言 和 文 件 格 式 的 文 本 分 析 接 口, 索 引 器 通 过 接 受 分 词 流 完 成 索 引 文 件 的 创 立, 用 户 扩 展 新 的 语 言 和 文 件 格 式, 只 需 要 实 现 文 本 分 析 的 接 口 (5 已 经 默 认 实 现 了 一 套 强 大 的 查 询 引 擎, Lucene 的 查 询 实 现 中 默 认 实 现 了 布 尔 操 作 模 糊 查 询 分 组 查 询 等 等.4 Lucene 与 数 据 库 比 较.4. 在 全 文 检 索 问 题 上 的 对 比 传 统 的 关 系 数 据 库 查 询 只 是 面 向 事 务 处 理 和 数 值 分 析, 不 能 满 足 对 各 种 非 结 构 化 信 息 以 及 全 文 检 索 的 需 求 而 Lucene 适 用 于 各 种 全 文 搜 索 的 应 用 程 序, 特 别 是 可 以 实 现 跨 平 台 的 应 用 它 可 以 方 便 地 嵌 入 到 各 种 应 用 中 实 现 全 文 检 索 功 能 ; 能 够 处 理 大 多 数 类 型 的 文 本 数 据, 如 Word Excel PDF 和 HTML 文 档, 通 过 解 析 转 换 器 转 换 成 标 准 的 中 间 格 式 ( 如 XML 进 行 数 据 索 引 ; 可 通 过 对 其 语 言 词 法 分 析 接 口 进 行 扩 展 实 现 对 其 他 语 言 检 索 的 支 持 ; 通 过 建 立 反 向 索 引, 并 可 以 进 行 增 量 的 索 引, 提 高 索 引 效 率 ; 通 过 查 询 分 析 接 口 的 实 现, 可 以 制 定 自 己 的 查 询 语 法 规 则 ; 能 够 支 持 多 用 户 并 发 访 问.4. Lucene 与 数 据 库 索 引 的 对 比 一 般 情 况 下, 数 据 库 在 进 行 查 询 操 作 时 需 要 对 整 个 表 进 行 数 据 搜 索, 造 成 了 服 务 器 的 资 源 浪 费 为 了 提 高 检 索 数 据 的 能 力, 数 据 库 引 入 了 索 引 机 制, 其 索 引, 实 际 上 是 一 个 单 独 的 物 理 的 数 据 库 结 构, 它 是 某 个 表 中 一 列 或 者 若 干 列 值 的 集 合 和 相 3

Vol. 3 No. / Feb. 009 应 的 指 向 表 中 物 理 标 识 这 些 值 的 数 据 页 逻 辑 指 针 清 单 Lucene 采 用 倒 排 索 引 机 制, 从 词 项 来 找 对 应 的 文 档 项.4.3 Lucene 与 数 据 库 模 糊 查 询 的 对 比 数 据 库 在 非 精 确 查 询 的 时 候 使 用 查 询 语 言 like %keyword%, 对 数 据 库 进 行 查 询 是 对 所 有 记 录 遍 历, 并 对 字 段 进 行 %keyword% 匹 配, 在 数 据 库 的 数 据 庞 大 以 及 某 个 字 段 存 储 的 数 据 量 庞 大 的 时 候, 这 种 遍 历 是 致 命 的, 它 需 要 对 所 有 的 记 录 进 行 匹 配 查 询 Lucene 的 检 索 算 法 使 用 倒 排 索 引 检 索, 即 用 空 间 来 换 取 时 间 检 索 过 程 就 是 把 模 糊 查 询 变 成 多 个 可 以 利 用 索 引 的 精 确 查 询 的 逻 辑 组 合 的 过 程 从 而 大 大 提 高 了 多 关 键 词 查 询 的 效 率 因 此,Lucene 主 要 适 用 于 文 档 集 的 全 文 检 索, 以 及 海 量 数 据 库 的 模 糊 检 索, 特 别 是 对 数 据 库 的 xml 或 者 大 数 据 的 字 符 类 型 [7].4.4 LUCENE 与 数 据 库 对 比 的 总 结 结 论 : 在 数 据 量 比 较 大 的 全 文 检 索 情 况 下, LUCENE 无 论 是 在 索 引 源 文 件 格 式 匹 配 度 控 制 定 制 实 现 输 出 设 置 还 是 检 索 效 率 等 各 个 方 面 上 都 要 优 于 传 统 那 个 数 据 库 查 询 方 式 LUCENE 不 仅 使 开 发 人 员 能 更 加 轻 松 的 完 成 设 计, 还 能 随 用 户 需 求 改 变 索 引 规 则 3 基 于 字 幕 的 课 程 视 频 检 索 设 计 由 于 课 程 视 频 网 站 用 户 的 需 求 与 一 般 娱 乐 视 频 网 站 稍 有 不 同, 用 户 希 望 在 尽 量 短 的 时 间 内 找 到 他 们 所 需 要 的 内 容 并 且 有 一 定 的 文 字 或 者 图 形 来 配 合 他 们 学 习 基 于 以 上 的 需 求 分 析, 我 们 设 计 的 课 程 视 频 网 站 中 的 每 个 课 程 视 频 都 有 对 应 的 讲 解 PPT, 以 及 对 应 视 频 字 幕 字 幕 内 容 由 ASR 系 统 解 析 得 出, 通 过 语 音 识 别 技 术 将 字 幕 的 文 字 信 息 时 间 与 视 频 中 的 音 频 时 间 对 应, 这 样 实 现 了 字 幕 与 视 频 同 步 设 定 每 一 张 PPT 的 起 始 时 间, 起 始 时 间 就 是 这 张 PPT 上 的 文 字 以 及 图 形 内 容 对 应 的 视 频 起 始 时 间, 以 这 种 方 式 实 现 PPT 与 视 频 内 容 的 大 体 同 步 在 随 后 构 建 索 引 的 过 程 中, 将 字 幕 文 件 按 照 每 张 PPT 的 起 始 时 间 来 进 行 分 段, 分 好 段 后 的 字 幕 文 件 每 一 段 都 会 对 应 该 字 幕 内 容 的 讲 解 PPT, 播 放 的 时 候 当 时 间 指 向 下 一 个 讲 解 PPT 时 间 段 时, 会 自 动 由 上 一 张 PPT 跳 转 至 下 一 张, 达 到 字 幕 与 讲 解 PPT 的 同 步 在 字 幕 文 件 分 好 段 后, 将 每 一 段 的 内 容 按 对 应 的 域 存 入 到 索 引 中 去, 实 现 分 段 索 引, 随 后 将 各 个 段 逐 段 合 并 索 引, 可 以 进 行 检 索 外 层 应 用 程 序 将 关 键 字 传 输 到 控 制 器, 然 后 遍 历 索 引 与 关 键 字 进 行 匹 配, 将 检 索 结 果 返 回 应 用 程 序 3. 索 引 建 立 过 程 索 引 的 建 立 是 检 索 的 基 础 通 过 与 数 据 库 的 比 较 我 们 选 择 用 Lucene 工 具 包 来 进 行 课 程 视 频 索 引 检 索 的 开 发, 分 析 字 幕 文 件 格 式, 以 空 行 为 每 小 段 的 分 割 标 志, 空 行 后 第 一 行 为 标 记 行, 第 二 行 为 时 间 行, 其 后 为 字 幕 行 直 至 下 一 个 空 行 循 环 读 取 空 行 间 的 每 一 小 段 内 容, 将 信 息 分 类 存 入 对 应 集 合 中 去 然 后 解 析 视 频 文 件 对 应 的 PPT 文 件 [3], 将 PPT 的 开 始 时 间 存 入 对 应 集 合 中 以 毫 秒 为 单 位 转 换 字 幕 文 件 时 间 格 式, 将 字 幕 时 间 和 PPT 时 间 集 合 元 素 进 行 匹 配, 找 出 相 同 元 素, 并 以 这 些 元 素 为 分 割 标 志 将 字 幕 信 息 按 照 比 对 得 出 的 时 间 来 分 段, 将 两 个 标 志 时 间 之 间 的 字 幕 内 容 与 上 一 个 标 志 时 间 对 应 的 字 幕 进 行 合 并, 只 保 留 每 一 段 的 标 志 时 间, 舍 弃 其 余 的 时 间 信 息 然 后 将 分 好 段 的 字 幕 信 息 按 时 间 域, 内 容 域, 路 径 域 导 入 索 引 中 同 时 对 内 容 域 进 行 分 词, 构 建 单 词 到 时 间 段 再 到 视 频 路 径 映 射 关 系 的 倒 排 索 引 这 样 就 使 索 引 中 的 文 档 项 减 少, 使 检 索 结 果 粗 化, 返 回 的 是 关 键 字 所 对 应 PPT 的 时 间, 控 制 检 索 结 果 返 回 数 量, 达 到 了 视 频 段 和 对 应 讲 解 PPT 同 步 呈 现 的 效 果 建 立 索 引 过 程 如 下 图 图 建 立 索 引 过 程 3

基 于 字 幕 内 容 的 课 程 视 频 检 索 字 幕 文 件 原 格 式 以 及 分 析 的 结 构 图 如 下 图, 每 一 个 Document 对 应 字 幕 的 每 一 个 小 段, 其 中 都 含 有 body field,path field,time field 3 个 域 <tree id="p"> <text>000.jpg</text> <target>_blank</target> <begin>0000</begin> <end>6770</end> <link></link> </tree> 00:00:00,000 --> 00:00:03,700 大 家 好 欢 迎 进 入 在 线 商 学 院 00:00:04,50 --> 00:00:06,0 我 是 本 次 主 题 的 讲 师 慧 宇 3 00:00:06,770 --> 00:00:,40 今 天 呢 给 大 家 带 来 的 呢 是 关 于 EAP 的 一 系 列 相 关 课 程 图 字 幕 文 件 格 式 及 结 构 图 例 如 在 字 幕 文 件 中 3 段 的 开 始 时 间 分 别 为 00:00:00,000,00:00:04,50,00:00:06,770 转 换 成 毫 秒 后 为 0000,450,6770 同 时 在 XML 文 件 中 发 现 第 一 个 PPT 开 始 时 间 为 0000, 第 个 PPT 开 始 时 间 为 6770 相 同 的 时 间 为 0000,6770 这 样 就 要 使 字 幕 文 件 的 第 一 和 第 二 段 的 内 容 合 并 存 入 索 引 的 body field 中 同 时 对 存 入 的 内 容 用 交 叉 二 元 分 词 法 进 行 切 分,time field 中 存 入 00:00:00,000 舍 弃 00:00:04,50 再 从 第 3 段 往 后 开 始 对 比 例 如 检 索 关 键 字 讲 师, 会 返 回 第 一 段 的 时 间, 这 个 时 间 同 样 也 是 第 一 个 PPT 的 时 间, 返 回 链 接 的 结 果 就 是 呈 现 给 用 户 对 应 的 讲 解 PPT 以 及 相 关 视 频 内 容 的 粗 略 起 始 时 间 将, 段 整 合 好 后 00:00:00,000 时 间 段 对 应 的 内 容 为 : 大 家 好 欢 迎 进 入 在 线 商 学 院 我 是 本 次 主 题 的 讲 师 慧 宇 字 幕 文 件 的 格 式 是 以 每 一 小 段 都 由 标 记 号, 时 <tree id="p"> <text>000.jpg</text> <target>_blank</target> <begin>6770</begin> <end>55560</end> <link></link> </tree> <tree id="p3"> <text>0003.jpg</text> <target>_blank</target> <begin>55560</begin> <end>6750</end> <link></link> </tree> 图 3 XML 文 件 格 式 间 段 和 文 本 段 组 成 在 添 加 到 Document 中 的 时 候 本 别 将 文 本 文 本 路 径 时 间 段 存 入 body field, path field, time field 中, 每 3 个 field 组 成 一 个 相 应 的 Document, 其 中 body field 中 的 内 容 作 为 倒 排 索 引 树 种 的 叶 子 结 点,time field 作 为 body field 内 容 的 父 节 点,path field 作 为 根 节 点, 这 样 在 检 索 的 时 间 就 形 成 了 倒 排 索 引 3. 基 于 字 幕 内 容 的 视 频 检 索 过 程 首 先 通 过 字 幕 文 件 和 讲 解 PPT 文 件 将 倒 排 索 引 建 立 好, 并 且 通 过 服 务 器 初 始 化 索 引 用 户 在 使 用 搜 索 模 块 的 时 候 将 关 键 字 通 过 WEB 的 servlet 类 传 输 到 后 台, 由 于 body field 中 的 内 容 已 经 在 建 立 索 引 时 切 分 完 毕, 这 时 遍 历 索 引 检 索 与 关 键 字 匹 配 的 段 落, 如 果 没 有 匹 配 内 容 就 提 示 用 户 信 息, 如 果 有 匹 配 信 息, 按 照 评 分 标 准 对 结 果 进 行 排 序, 随 后 将 结 果 返 回 到 页 面 用 户 从 结 果 中 挑 选 自 己 满 意 的 视 频 段 落 进 行 观 看 或 更 改 关 键 字 进 行 下 次 检 索 基 于 字 幕 内 33

Vol. 3 No. / Feb. 009 容 的 视 频 检 索 过 程 如 下 图 3.3 中 文 分 词 技 术 图 4 视 频 检 索 过 程 中 文 与 西 方 文 字 不 同, 西 方 文 字 如 英 文 的 单 词 间 有 空 格 作 为 分 隔, 很 容 易 把 一 个 个 词 分 开 而 中 文 句 子 里 的 之 间 没 有 分 隔, 要 把 中 文 句 子 拆 分 成 词 就 需 要 使 用 中 文 分 词 技 术 由 于 全 文 索 引 采 用 的 是 倒 排 索 引 技 术, 所 以 分 词 的 效 果 直 接 决 定 了 搜 索 的 效 果 [5] 目 前 的 中 文 分 词 技 术 主 要 包 括 :N 元 切 分 最 长 匹 配 最 大 压 缩 统 计 语 言 模 型 等 方 法 N 元 切 分 法 实 现 简 单, 切 分 效 率 高, 但 会 产 生 很 多 无 用 词 最 长 匹 配 法 是 使 用 词 典 来 切 分 的, 分 词 速 度 较 快, 但 准 确 率 比 较 低 采 用 词 典 的 分 词 方 法 效 果 很 大 程 度 上 取 决 于 词 典 的 质 量 同 时, 在 遇 到 词 典 中 没 有 的 词 往 往 就 束 手 无 策 了 统 计 语 言 模 型 方 法 简 单 的 说, 就 是 通 过 从 文 本 库 中 统 计 出 字 与 字 之 间 结 合 和 分 开 的 概 率 来 分 词 的 这 种 方 法 不 依 赖 于 词 库 和 语 法 定 义 但 实 现 复 杂, 分 词 速 度 慢, 在 上 下 文 信 息 较 少 的 情 况 下 效 果 不 够 好 由 于 视 频 字 幕 一 般 没 有 特 殊 用 语, 但 涉 及 方 面 比 较 广 泛, 比 如 集 成 技 术 生 物 医 学 高 性 能 计 算 等, 如 果 采 用 最 长 匹 配 法 会 受 到 字 典 的 影 响 ; 统 计 语 言 模 型 法 的 分 词 速 度 太 慢, 不 能 满 足 WEB 需 求 通 过 各 个 方 法 的 对 比 在 索 引 中 采 用 交 叉 二 元 切 分 法 来 实 现 分 词, 其 实 现 方 式 为 对 一 句 话 中 的 每 两 个 字 进 行 切 分 作 为 分 词 块, 比 如 : 将 字 符 串 中 华 民 族 划 分 为 中 华 / 华 民 / 民 族 一 般 的 WEB 站 内 搜 索 用 户 对 搜 索 耗 时 要 求 较 高, 交 叉 分 割 可 以 保 证 查 询 和 索 引 切 分 的 一 致 性 同 时 在 分 词 速 度 上 满 足 需 求 下 为 N 元 切 分 语 法 模 型 : = = ( = p( ww... w3 p( w p( w w p( w... p( w... w pw n p( wi... wi i= 3 n n 假 设 : 单 词 wi 出 现 的 概 率 只 与 其 前 面 的 i- 个 单 词 有 关 ( tind * idf ( t * boost( t. fieldind score = tf * le tinq 检 索 模 块 中 的 分 词 作 用 是 将 字 幕 内 容 的 一 句 句 话 分 割 成 一 个 个 单 词 与 关 键 字 进 行 比 对, 返 回 对 应 视 频 路 径, 这 样 就 做 到 了 对 视 频 内 容 的 检 索 3.4 检 索 结 果 排 序 机 制 [8] 评 分 机 制 就 是 对 检 索 结 果 按 某 种 标 准 进 行 评 估, 然 后 按 分 值 的 高 低 来 对 结 果 进 行 排 序 文 档 的 得 分 是 在 用 户 进 行 检 索 时 实 时 计 算 出 来 的 Lucene 中 的 得 分 是 某 个 关 键 字 在 某 文 档 中 出 现 的 频 率 pw ( = p( ww... w3 = p( w p( w w p( w3... p( wn... wn 以 下 所 示 的 公 式 就 是 Lucene 用 于 计 算 某 个 关 键 n = 字 p( wi... wi i= 在 对 应 于 某 文 档 的 得 分 score = tf ( tind * idf ( t * boost( t. fieldind * length( t. fieldind tinq 在 Lucene 得 分 公 式 中, 包 含 了 影 响 文 档 评 分 的 各 种 因 素 在 下 表 中 详 细 介 绍 了 每 一 种 因 素 对 搜 索 结 果 评 分 的 影 响 作 用 tf 因 素 ( t ind 表 LUCENE 评 分 公 式 解 释 对 检 索 结 果 排 序 可 以 使 用 户 优 先 挑 选 含 有 关 键 字 比 例 大 的 视 频 段 来 观 看, 因 为 这 样 用 户 会 尽 快 的 找 到 满 足 他 们 要 求 的 视 频 段, 提 高 用 户 满 意 度 3.5 性 能 测 试 在 公 式 中 作 用 的 描 述 词 条 t 在 文 档 d 中 出 现 的 词 频 idf ( t 词 条 t 在 文 档 中 的 倒 排 词 频 b oost ( t. fieldind length( t. fieldind 在 索 引 过 程 中 设 置 的 字 段 参 数 字 段 的 标 准 化 值, 表 明 在 字 段 中 存 储 了 多 少 词 条 34

基 于 字 幕 内 容 的 课 程 视 频 检 索 对 54 个 视 频 字 幕 文 件 进 行 索 引, 文 件 量 大 小 为 0M, 建 立 索 引 共 耗 时 539MS, 索 引 构 建 好 后 占 373KB 在 这 个 索 引 中 搜 索 关 键 字, 耗 时 在 97MS 返 回 对 应 的 视 频 段 落 信 息 构 建 索 引 从 时 间 和 空 间 上 考 虑 都 可 以 接 受, 检 索 效 率 可 以 满 足 一 般 WEB 站 点 用 户 对 搜 索 模 块 需 求 4 总 结 本 文 对 基 于 字 幕 的 课 程 视 频 检 索 模 块 做 了 介 绍, 对 检 索 模 块 中 所 用 到 的 技 术 做 了 简 介, 主 要 技 术 有 倒 排 索 引 Lucene 工 具 包 中 文 分 词 等 提 供 了 一 种 解 决 检 索 课 程 视 频 具 体 定 位 到 关 键 字 区 域 的 方 法 学 工 学 硕 士 学 位 论 文,004,6. [3] 麦 克 劳 林. JAVA 与 XML, 中 国 电 力 出 版 社,004. [4] DOUG CUTTING. Conference Papers, http://lucene.sourceforge. net/publications.html, 008, 9. [5] 刘 群. 计 算 语 言 学 - 统 计 语 言 模 型, 中 国 科 学 院 计 算 技 术 研 究 所,007. [6] 张 滨, 李 文 翔. 基 于 汉 语 句 模 的 中 文 分 词 算 法. 计 算 机 工 程, 004,. 作 者 简 介 郭 长 铭 男, 中 国 科 学 技 术 大 学 在 读 硕 士 研 究 生, 现 为 中 国 科 学 院 深 圳 先 进 技 术 研 究 院 客 座 学 生, 研 究 方 向 为 基 于 文 本 的 视 频 检 索 技 术 近 些 年 来 虽 然 信 息 检 索 技 术 得 到 了 迅 猛 的 发 展, 检 索 在 时 间 和 空 间 上 效 率 在 不 断 的 提 高, 但 在 分 词 切 分 的 效 率 以 及 索 引 结 构 等 问 题 上 仍 有 待 解 决 基 于 字 幕 的 视 频 检 索 虽 然 初 始 设 计 是 用 来 服 务 于 E-Seminar 系 统, 但 也 可 用 于 其 他 教 程 视 频 类 网 站 由 于 现 在 网 络 教 育 的 迅 猛 发 展, 教 程 视 频 会 成 为 娱 乐 视 频 外 网 络 视 频 的 重 要 应 用, 因 此 基 于 字 幕 的 课 程 视 频 检 索 技 术 具 有 广 泛 的 应 用 前 景 参 考 文 献 [] DOUG CUTTING. LUCENE IN ACTION. 电 子 工 业 出 版 社,007. [] Goodman, Andrew E. Winning Results With Google Adwords,McGraw-Hill Osborne Media,005. [3] Tyler, Mary E. Ledford, Jerri L. Google Analytics, John Wiley & Sons Inc, 005. [4] Ricardo Baeza-Yates, Berthier Ribeiro-Neto. Modern Information Retrieval, Addison Wesley Pearson, 005. [5] 叶 鹰. 信 息 检 索 : 理 论 与 方 法, 高 等 教 育 出 版 社,004. [6] 周 登 朋. 深 入 Lucene 索 引 机 制. http://www-8.ibm.com/ developerworks/cn/java/wa-lucene/, 006,7. [7] 吴 众 欣. LUCENE 分 析 与 运 用, 机 械 工 业 出 版 社,005. [8] 李 刚, 宋 伟. 征 服 AJAX+LUCENE 构 建 搜 索 引 擎, 人 民 邮 电 出 版 社,006. [9] 朱 磊. 一 种 Web 文 档 中 文 本 特 征 自 动 提 取 算 法, 计 算 机 与 信 息 技 术,008,. [0] 王 继 成, 萧 嵘, 孙 正 兴 等. Web 信 息 检 索 研 究 进 展. 计 算 机 研 究 与 发 展 00,,vol.38,no.. [] 包 刚, 关 毅, 王 强 等. 基 于 Cover 级 别 的 中 文 信 息 检 索 技 术 的 研 究. 计 算 机 工 程 与 应 用,005 Vol.4 No.5 P.65-67,96. [] 毛 涌 泉. 搜 索 引 擎 的 数 据 索 引 与 检 索 研 究 [D]. 哈 尔 滨 工 业 大 35