对 象 级 别 的 互 联 网 垂 直 搜 索 聂 再 清 文 继 荣 马 维 英 互 联 网 搜 索 与 挖 掘 组 微 软 亚 洲 研 究 院 {znie, jrwen, wyma}@microsoft.com 摘 要 基 于 文 档 级 别 的 排 序 和 检 索 是 信 息 检 索 领 域 几 十 年 来 的 传 统 模 式, 目 前 大 多 数 搜 索 引 擎 也 采 用 了 这 种 模 式 而 把 网 页 作 为 信 息 的 基 本 单 元 但 是 在 网 页 和 互 联 网 数 据 库 中 存 在 着 大 量 的 关 于 真 实 世 界 中 对 象 的 结 构 化 信 息 在 某 些 领 域 中, 对 象 是 一 种 更 为 有 效 的 信 息 表 述 单 元 目 前 我 们 正 在 探 索 一 种 新 的 模 式, 以 实 现 特 定 领 域 中 对 象 级 别 的 互 联 网 搜 索, 从 而 更 好 地 满 足 用 户 的 信 息 需 求 这 种 对 象 级 别 的 搜 索 模 式 由 一 系 列 相 关 技 术 构 成, 包 括 对 象 信 息 的 发 现 和 分 类 对 象 抽 取 对 象 继 承 对 象 排 序 和 检 索 等 在 本 文 中, 我 们 介 绍 对 象 级 搜 索 引 擎 的 系 统 体 系 结 构 和 核 心 技 术, 以 及 两 个 具 体 的 对 象 级 搜 索 引 擎 :Libra 学 术 搜 索 和 Windows Live 商 品 搜 索 1. 引 文 现 在 主 流 的 搜 索 引 擎 都 把 网 页 作 为 信 息 表 示 和 检 索 的 基 本 单 元, 这 一 思 想 是 从 传 统 的 文 本 信 息 检 索 技 术 中 继 承 而 来 的 在 这 一 搜 索 模 式 下, 关 键 词 查 询 用 于 表 达 用 户 的 信 息 需 求, 而 查 询 结 果 是 包 含 关 键 词 并 按 相 关 性 排 序 的 网 页 列 表 用 户 需 要 浏 览 列 表 中 的 网 页 以 找 到 自 己 需 要 的 信 息 这 一 模 式 对 于 某 些 查 询 是 有 效 的, 例 如 查 找 主 页 下 载 软 件 等 但 是 对 于 在 某 一 特 定 领 域 内 的 复 杂 的 信 息 需 求, 这 种 模 式 就 不 是 很 有 效 了 例 如, 我 现 在 需 要 购 买 一 个 数 码 相 机, 我 希 望 搜 索 引 擎 直 接 提 供 给 我 一 个 在 指 定 价 格 范 围 内 的 数 码 相 机 列 表, 而 不 是 网 页 列 表 由 于 现 有 的 搜 索 引 擎 是 所 谓 的 通 用 引 擎, 很 多 时 候 会 反 馈 给 我 们 大 量 与 所 搜 索 的 内 容 毫 无 关 系 的 结 果 同 时, 对 每 种 相 机, 我 还 想 了 解 它 的 主 要 指 标 用 户 评 价 价 格 范 围 出 售 商 店 等 相 关 信 息 可 以 想 象, 这 样 的 搜 索 引 擎 能 极 大 地 方 便 用 户 的 购 物 过 程
( 图 1 注 :Libra 学 术 搜 索 : 当 我 们 在 Libra 学 术 搜 索 引 擎 中 输 入 某 项 技 术 的 名 称 时, 我 们 可 以 选 择 搜 索 其 相 关 的 文 章 作 者 等 所 有 相 关 内 容 如 果 我 们 选 择 搜 索 相 关 作 者, 则 搜 索 引 擎 会 将 这 个 领 域 中 最 著 名 的 人 物 提 供 给 我 们, 同 时 还 会 列 出 他 的 相 关 信 息, 例 如 地 址 学 术 活 动 所 发 表 的 论 文 以 及 个 人 网 页 等 等 ) 对 象 级 别 垂 直 搜 索 技 术 (Object-level Vertical search) 的 出 现, 正 是 为 了 解 决 这 一 问 题 所 谓 垂 直, 是 指 这 一 搜 索 技 术 并 不 包 罗 万 象, 而 是 指 向 某 一 个 特 定 的 领 域, 例 如 学 术 购 物 求 职 等 等, 用 户 将 在 自 己 感 兴 趣 的 领 域 内 进 行 搜 索 而 对 象 的 概 念 指 的 则 是 搜 索 引 擎 在 反 馈 搜 索 结 果 时, 不 再 表 现 为 一 个 个 独 立 的 页 面, 而 是 将 各 个 页 面 中 的 关 于 真 实 世 界 中 对 象 的 结 构 化 信 息 按 照 用 户 的 需 求 集 合 成 一 个 个 完 整 的 信 息 单 元 例 如, 当 我 们 搜 索 某 个 商 品 时, 对 象 级 垂 直 搜 索 技 术 将 把 这 个 商 品 的 图 片 参 数 价 格 商 家 的 位 置 用 户 的 评 价 等 等 相 关 信 息 集 合 在 一 个 页 面 上, 让 用 户 可 以 在 第 一 时 间 得 到 最 需 要 的 内 容 从 这 个 意 义 上 来 说, 垂 直 搜 索 技 术 与 现 有 的 页 面 搜 索 技 术 最 大 的 一 点 不 同 就 在 于, 它 返 回 的 是 一 个 不 存 在 的 网 页, 是 搜 索 引 擎 根 据 用 户 的 需 求 而 将 各 类 相 关 信 息 集 合 到 一 起 所 生 成 的 一 个 新 页 面 对 于 现 有 的 互 联 网 搜 索 技 术 而 言, 要 想 将 搜 索 到 的 全 部 内 容 都 按 照 相 同 的 对 象 集 合 起 来, 几 乎 是 不 可 思 议 的 因 为 搜 索 到 的 内 容 太 多 了, 涉 及 了 多 个 不 同 的 领 域 而 当 我 们 把 搜 索 的 范 围 缩 小 到 一 个 特 定 领 域 时, 由 于 我 们 事 先 已 经 知 道 了 这 个 领 域 中 信 息 发 布 的 大 致 规 律, 因 此 就 可 以 较 为 容 易 地 将 各 种 信 息 归 类 还 是 以 购 物 为 例, 虽 然 现 在 世 界 上 存 在 着 数 不 胜 数 的 电 子 购 物 网 站, 其 编 写 语 言 页 面 风 格 排 列 模 式 等 都 各 不 相 同, 但 是, 购 物 类 型 的 网 站 总 会 有 一 些 相 似 的 地 方, 例 如 他 们 都 会 有 产 品 的 图 片 价 格 介 绍 等 因 此, 对 象 级 垂 直 搜 索 技 术 要 做 的 就 是 从 不 同 的 网 页 中 将 它 们 提 取 出 来 相 对 而 言, 这 个 工 作 就 变 得 简 单 多 了, 是 完 全 可 行 的 为 了 让 大 家 更 具 体 地 了 解 对 象 级 别 垂 直 搜 索 技 术 的 高 效 性 和 可 行 性, 我 们 开 发 了 一 个 对 象 级 别 的 互 联 网 学 术 搜 索 引 擎 叫 做 Libra( 见 图 1. http://libra.msra.cn) 与 传 统 的 页 面 级 别 的 论 文 搜 索 引 擎 如 Google Scholar 和 CiteSeer 相 比,Libra 能 让 用 户 方 便 地 找 到 包 括 论 文 在 内 的 学 术 对 象 信 息, 如 科 学 家 会 议 期 刊 和 学 术 社 区 我 们 把 网 上 的 信 息 以 对 象 为 单 元
进 行 信 息 抽 取 并 集 成 起 来 形 成 一 个 学 术 对 象 信 息 仓 库 这 些 结 构 化 的 对 象 信 息 可 以 用 来 回 答 用 户 的 复 杂 查 询 如 在 数 据 挖 掘 领 域 中 近 五 年 来 最 有 影 响 力 的 科 学 家 都 是 谁? 我 们 通 过 计 算 对 象 与 查 询 的 相 关 度 和 对 象 本 身 的 重 要 性 来 对 对 象 进 行 排 序 这 样 既 相 关 又 重 要 的 对 象 就 会 被 排 在 查 询 结 果 的 前 面 我 们 现 在 正 在 把 对 象 级 别 垂 直 搜 索 的 关 键 技 术 应 用 在 Window Live 商 品 搜 索 引 擎 (http://products.live.com) 的 开 发 中 到 目 前 为 止, 我 们 以 把 商 品 网 页 的 自 动 分 类 和 抽 取 技 术 完 全 应 用 到 了 Window Live 商 品 搜 索 引 擎 测 试 版 中 经 过 第 一 个 月 的 试 运 行, 我 们 已 经 自 动 的 找 到 了 100,000 网 上 商 家 和 31,627,416 个 网 页, 并 从 这 些 网 页 中 抽 取 出 了 800, 000,000 个 商 品 对 象 信 息 我 们 相 信, 利 用 我 们 的 互 联 网 对 象 抽 取 和 集 成 技 术,Window Live 商 品 搜 索 引 擎 可 以 成 为 世 界 上 最 全 的 商 品 目 录 库 2. 系 统 体 系 结 构 在 图 2 中, 我 们 给 出 对 象 级 别 的 垂 直 搜 索 引 擎 的 体 系 结 构 首 先 我 们 需 要 一 个 网 页 爬 虫 来 抓 取 某 一 个 特 定 领 域 中 的 所 有 相 关 网 页, 并 将 这 些 网 页 按 它 们 所 包 含 的 对 象 信 息 类 型 ( 如 论 文, 作 者 主 页, 商 品 信 息 网 页 等 ) 进 行 分 类 对 于 每 一 个 对 象 类 型, 我 们 训 练 一 个 对 象 信 息 抽 取 模 型 用 来 自 动 抽 取 这 类 网 页 中 的 对 象 信 息 这 些 抽 取 出 来 的 结 构 化 的 对 象 信 息 被 集 成 到 其 对 应 的 对 象 信 息 仓 库 垂 直 搜 索 引 擎 就 用 这 些 对 象 信 息 仓 库 来 回 答 用 户 的 查 询 当 然 我 们 可 以 基 于 这 些 结 构 化 的 对 象 信 息 做 各 种 智 能 分 析 和 挖 掘 工 作, 并 用 分 析 出 来 的 知 识 来 更 准 确 地 回 答 用 户 的 高 级 查 询 图 2. 对 象 级 别 的 垂 直 搜 索 引 擎 的 体 系 结 构 在 具 体 地 介 绍 对 象 级 别 垂 直 搜 索 的 关 键 技 术 之 前, 我 们 先 讨 论 对 象 级 别 垂 直 搜 索 的 系 统 要
求 : 1. 信 息 可 靠 性 (Reliability): 高 质 量 的 结 构 化 信 息 是 让 用 户 相 信 我 们 给 出 的 查 询 结 果 的 必 要 条 件, 否 则 用 户 可 能 更 趋 向 于 自 己 从 网 页 中 寻 找 答 案 2. 信 息 全 面 性 (Completeness): 我 们 的 对 象 信 息 必 须 很 全 面 才 能 提 供 值 得 用 户 信 赖 的 答 案 3. 排 序 的 准 确 性 (Ranking Accuracy): 在 数 以 亿 记 的 可 能 答 案 中, 我 们 需 要 准 确 的 对 象 排 序 算 法 以 便 让 用 户 能 够 快 速 检 索 到 所 需 的 内 容 4. 规 模 可 伸 缩 性 (Scalability): 要 包 含 在 一 个 领 域 中 所 有 的 对 象 信 息, 我 们 需 要 存 储 所 有 在 网 上 的 和 在 各 地 离 线 数 据 库 中 的 相 关 对 象 信 息 这 就 意 味 着, 对 象 级 别 垂 直 搜 索 技 术 必 须 拥 有 一 个 能 够 存 储 数 以 十 万 亿 甚 至 百 万 亿 记 的 超 级 数 据 库, 并 且 还 需 要 一 套 足 够 快 的 算 法 来 快 速 检 索 到 这 些 信 息 3. 核 心 技 术 我 们 现 在 介 绍 对 象 级 别 垂 直 搜 索 中 的 关 键 技 术 : 网 页 爬 虫 和 分 类 对 象 信 息 抽 取 对 象 信 息 集 成 和 对 象 排 序 网 页 爬 虫 和 分 类 : 我 们 知 道, 互 联 网 上 的 信 息 浩 如 烟 海, 对 象 级 别 垂 直 搜 索 技 术 如 果 想 为 用 户 反 馈 如 此 精 细 的 结 果, 就 必 须 事 先 对 所 要 查 找 的 内 容 进 行 搜 集 和 整 理 我 们 扩 展 已 有 的 聚 焦 爬 虫 (focused crawler) 技 术 来 在 互 联 网 上 高 效 地 抓 取 含 有 相 关 对 象 信 息 的 网 页 我 们 利 用 对 象 关 系 图 来 指 导 聚 焦 爬 虫 高 效 地 找 到 相 关 网 页 然 后, 通 过 一 个 分 类 器, 将 网 页 按 照 其 所 含 的 对 象 类 别 进 行 分 类, 例 如 学 术 论 文 网 页 购 物 商 品 网 页 作 者 个 人 主 页 等 等 我 们 用 支 持 向 量 机 (Support Vector Machine) 的 方 法 对 这 些 网 页 进 行 分 类 因 为 分 类 器 是 和 聚 焦 爬 虫 捆 绑 在 一 起 的, 分 类 速 度 要 非 常 快 比 如 在 我 们 的 Window Live 商 品 搜 索 中, 分 类 器 的 速 度 小 于 0.1 毫 秒 为 了 达 到 快 速 准 确 地 分 类, 我 们 利 用 很 多 启 发 式 规 则 进 行 筛 选 这 些 启 发 式 规 则 往 往 能 很 快 速 地 过 滤 掉 很 多 无 关 的 网 页 比 如 在 英 文 的 商 品 网 页 中 必 须 出 现 $ 符 号 就 能 排 除 大 量 的 非 商 品 网 页 对 象 信 息 抽 取 : 接 下 来, 就 需 要 对 每 类 不 同 对 象 的 网 页 进 行 对 象 信 息 提 取 了 所 谓 对 象 信 息 提 取, 就 是 按 照 这 一 类 网 页 的 特 色, 将 其 中 的 对 象 信 息 抽 出 来 例 如 购 物 商 品 网 页, 程 序 需 要 抽 出 来 的 就 是 产 品 的 图 片 价 格 参 数 评 价 等 信 息 ; 而 对 于 学 术 论 文 网 页 来 说, 则 需 要 提 取 的 就 是 作 者 名 字 论 文 题 目 文 章 内 容 作 者 信 息 等 等 我 们 的 对 象 信 息 抽 取 技 术 是 一 种 基 于 条 件 随 机 场 (Conditional Random Fields) 的 机 器 学 习 方 法 首 先, 通 过 人 工 将 部 分 网 页 进 行 标 记, 也 就 是 将 这 个 网 页 中 各 个 关 键 部 分 标 记 出 来, 例 如 产 品 的 图 片 价 格 参 数 信 息 等 在 积 累 了 一 定 量 的 数 据 后, 就 开 始 让 电 脑 自 己 对 网 页 中 的 内 容 进 行 抽 取 当 然, 在 一 开 始, 这 个 过 程 难 免 会 出 现 错 误, 因 此 还 需 要 人 工 进 行 纠 正 不 过, 随 着 数 据 量 的 加 大, 其 正 确 率 会 越 来 越 高, 直 到 基 本 上 不 再 需 要 人 工 的 参 与 也 能 够 保 持 很 高 的 准 确 率 需 要 特 别 指 出 的 是, 对 象 级 别 垂 直 搜 索 技 术 中 所 采 用 的 网 页 提 取 技 术, 与 之 前 人 们 进 行 的 类 似 研 究 相 比, 技 术 上 最 大 的 特 色 在 于 其 使 用 了 网 页 的 视 觉 信 息 我 们 认 为, 网 页 之 所 以 比 普 通 文 本 更 加 吸 引 人, 就 在 于 其 有 着 丰 富 的 视 觉 信 息 ( 见 图 3) 这 些 视 觉 信 息 让 我 们 能 够 利 用 网 页 元 素 (HTML elements) 之 间 的 各 种 依 赖 关 系 (dependency) 如 二 维 依 赖 关 系 和 层 次 依 赖 关 系 来 进 行 更 有 效 的 对 象 信 息 抽 取 具 体 的 抽 取 技 术 请 参 见 我 们 已 发 表 的 论 文 [5][6]
( 图 3 注 : 在 提 取 网 页 信 息 时, 对 象 信 息 抽 取 技 术 将 充 分 考 虑 视 觉 对 于 人 们 观 看 网 页 时 的 重 要 性 ) 对 象 信 息 集 成 : 我 们 需 要 把 从 网 上 抽 取 出 来 的 对 象 信 息 和 现 实 世 界 中 的 真 实 对 象 一 一 对 应 起 来, 并 把 同 一 对 象 的 所 有 信 息 ( 包 括 本 地 数 据 库 中 的 已 有 信 息 ) 集 成 起 来 放 入 对 象 信 息 仓 库 中 这 是 一 个 典 型 的 信 息 集 成 问 题, 包 括 两 个 子 问 题 : 不 一 致 的 对 象 属 性 值 的 问 题 : 一 个 对 象 的 某 些 属 性 有 多 个 不 一 致 的 属 性 值 这 些 不 一 致 可 能 是 由 不 同 的 拼 写 方 式 或 表 现 形 式 造 成 的 比 如, WWW 和 World Wide Web Conference 都 可 能 指 同 一 个 国 际 会 议 的 名 字, 一 个 是 缩 写 而 另 一 个 是 全 称 对 象 重 名 问 题 : 现 实 生 活 中 经 常 出 现 不 同 对 象 的 重 名 问 题 比 如 在 微 软 亚 洲 研 究 院 就 有 好 几 个 叫 张 磊 的 员 工 我 们 有 时 会 很 难 区 分 在 一 个 论 文 中 的 作 者 是 指 的 哪 一 个 张 磊 虽 然 这 两 个 子 问 题 都 很 重 要, 对 象 重 名 问 题 更 具 有 挑 战 性 因 为 解 决 重 名 问 题 往 往 需 要 利 用 比 在 对 象 信 息 仓 库 中 已 知 对 象 属 性 值 更 多 的 信 息 现 在 还 没 有 很 好 的 重 名 问 题 解 决 方 案 大 部 分 已 有 工 作 集 中 在 利 用 已 知 文 字 属 性 来 解 决 同 名 问 题, 近 来 也 有 一 些 工 作 开 始 利 用 对 象 之 间 的 关 系 图 来 计 算 两 个 同 名 对 象 信 息 之 间 的 关 系 强 度 但 是 仅 仅 利 用 已 知 的 文 字 属 性 和 对 象 关 系 图 很 难 准 确 地 确 定 两 个 同 名 的 对 象 信 息 是 否 指 向 同 一 个 实 体 因 为 在 实 际 的 应 用 中, 经 常 出 现 信 息 不 全 的 情 况 在 Libra 学 术 搜 索 中 我 们 经 常 发 现 论 文 引 用 连 接 关 系 的 丢 失 在 这 种 情 况 下, 计 算 出 来 的 对 象 关 系 强 度 就 不 会 反 映 真 实 的 强 度 在 开 发 Libra 学 术 搜 索 和 Windows Live 商 品 搜 索 的 过 程 中, 我 们 发 现 含 有 同 一 对 象 的 不 同 表 象 的 上 下 文 信 息 经 常 同 时 出 现 在 同 一 个 网 页 或 网 站 中 比 如, 论 文 作 者 经 常 把 他 的 所 有 论 文 放 在 他 的 个 人 主 页 上 我 们 把 这 种 互 联 网 上 的 不 同 表 象 的 上 下 文 信 息 的 共 同 出 现 关 系 叫 做 互 联 网 关 系 我 们 利 用 上 下 文 在 互 联 网 的 共 同 出 现 情 况 来 计 算 不 同 表 象 的 互 联 网 关 系 强 度 我 们 用 一 种 机 器 学 习 的 方 法 来 自 动 地 计 算 互 联 网 关 系 强 度 当 不 同 表 象 的 上 下 文 信 息 在 同 一 网 站 的 两 个 不 同 网 页 中 出 现 时, 我 们 通 过 考 虑 这 两 个 网 页 的 URL 距 离 来 计 算 互 联 网 关 系 强 度 具 体 的 集 成 技 术 请 参 见 我 们 已 发 表 的 论 文 [2]
对 象 排 序 : 当 收 到 用 户 查 询 后, 我 们 要 计 算 对 象 与 查 询 的 相 关 性 和 对 象 本 身 的 重 要 性 在 计 算 对 象 相 关 性 时 我 们 要 充 分 考 虑 在 对 象 抽 取 时 可 能 带 来 的 错 误 和 网 上 信 息 本 身 的 不 可 靠 性 传 统 的 网 页 相 关 性 计 算 不 用 考 虑 网 页 的 错 误 是 因 为 网 页 搜 索 是 不 考 虑 语 义 的 而 对 象 搜 索 是 有 语 义 因 为 我 们 会 提 供 一 个 对 象 各 种 属 性 信 息 如 商 品 的 名 称, 图 像, 价 格 等 在 我 们 的 论 文 [1] 中, 我 们 提 出 一 种 对 错 误 不 敏 感 的 对 象 相 关 性 计 算 模 型 在 计 算 对 象 的 重 要 性 时, 传 统 的 网 页 重 要 性 计 算 方 法 Pagerank [4] 也 已 不 再 适 用 因 为 在 对 象 仓 库 中, 我 们 能 够 看 到 各 种 不 同 的 对 象 关 系 比 如 在 学 术 对 象 仓 库 中, 有 作 者 和 论 文 的 关 系 论 文 和 会 议 的 关 系 论 文 和 论 文 的 引 用 关 系 等 这 些 关 系 都 能 影 响 一 篇 论 文 的 流 行 度 ( 重 要 性 ) 因 为 一 篇 论 文 的 重 要 性 可 能 会 受 其 作 者 发 表 的 会 议 和 引 用 它 的 论 文 的 重 要 性 的 影 响 在 [3] 中, 我 们 提 出 一 个 叫 PopRank 的 对 象 重 要 性 计 算 模 型 来 考 虑 各 种 关 系 对 对 象 重 要 性 的 影 响 从 以 上 的 描 述 我 们 不 难 看 出, 对 象 级 别 垂 直 搜 索 技 术 具 有 良 好 的 通 用 性 和 学 习 性 对 于 一 个 对 象 级 别 的 互 联 网 垂 直 搜 索 引 擎 来 说, 这 两 点 是 至 关 重 要 的 前 者 可 以 保 证 这 一 引 擎 能 够 被 迅 速 地 应 用 于 各 个 领 域 而 不 需 要 太 大 的 调 整, 当 然, 一 些 必 要 的 设 置 和 资 料 的 收 集 整 理 还 是 不 可 或 缺 的 ; 而 后 者 则 能 够 让 这 一 引 擎 在 进 入 新 的 领 域 时 能 够 在 最 短 的 时 间 内 投 入 使 用, 因 为 整 个 平 台 具 有 完 善 的 自 我 学 习 能 力, 只 需 要 前 期 的 短 暂 调 整, 就 可 以 自 动 而 高 速 地 学 习 新 领 域 中 的 相 关 内 容 4. 结 论 在 这 篇 论 文 中, 我 们 提 出 一 种 新 的 搜 索 模 式 叫 做 对 象 级 别 的 互 联 网 垂 直 搜 索 我 们 介 绍 了 这 种 对 象 搜 索 模 式 的 系 统 体 系 结 构 和 核 心 技 术 其 中 很 多 核 心 技 术 已 经 被 成 功 的 应 用 到 了 两 个 垂 直 搜 索 引 擎 当 中 :Libra 学 术 搜 索 和 Windows Live 商 品 搜 索 我 们 相 信 这 些 技 术 具 有 很 强 的 通 用 性, 可 以 广 泛 地 应 用 到 到 多 数 的 垂 直 搜 索 引 擎 中 如 黄 页 搜 索 博 客 搜 索 人 物 搜 索 工 作 职 位 搜 索 和 饭 馆 搜 索 等 5. 参 考 文 献 [1] Zaiqing Nie, Yunxiao Ma, Shuming Shi, Ji-Rong Wen, Wei-Ying Ma. Web Object Retrieval. To appear in the Proceedings of the 16th international World Wide Web conference (WWW 2007). [2] Zaiqing Nie, Ji-Rong Wen, Wei-Ying Ma. Object-Level Vertical Search. In the Third Biennial Conference on Innovative Data Systems Research (CIDR 2007). [3] Zaiqing Nie, Yuanzhi Zhang, Ji-Rong Wen, and Wei-Ying Ma. Object-level Ranking: Bringing Order to web Objects. In Proc. WWW, 2005. [4] L. Page, S. Brin, R. Motwani, and T. Winograd. The pagerank citation ranking: Bringing order to the web. Technical report, Stanford Digital Libraries, 1998. [5] Jun Zhu, Zaiqing Nie, Ji-Rong Wen, Bo Zhang, and Wei-Ying Ma. 2D Conditional Random Fields for web Information Extraction. In Proc. of ICML, 2005. [6] Jun Zhu, Zaiqing Nie, Ji-Rong Wen, Bo Zhang, and Wei-Ying Ma. Simultaneous Record Detection and Attribute Labeling in web Data Extraction. In Proc. of SIGKDD, 2006