<B7E2C3E62E706466>

Transcription

1

2 学 术 交 流 活 动 超 大 数 据 库 国 际 会 议 (XLDB2012) 在 中 国 人 民 大 学 成 功 召 开, 孟 小 峰 教 授 担 任 大 会 主 席 孟 小 峰 教 授 荣 获 北 京 市 科 学 技 术 奖 二 等 奖 韩 国 釜 山 举 行 的 DASFAA2012 上 实 验 室 取 得 突 出 成 果 美 国 亚 利 桑 那 州 立 大 学 刘 欢 教 授 应 邀 来 校 作 学 术 讲 座 EMC 全 球 高 级 副 总 裁 Jeffrey Nick 先 生 等 一 行 访 问 实 验 室 孟 小 峰 教 授 参 与 翻 译 的 数 据 挖 掘 第 3 版 首 发 孟 小 峰 教 授 在 第 29 届 中 国 数 据 库 学 术 会 议 上 做 特 邀 报 告

3

4 序 言 这 是 一 个 最 美 好 的 时 代, 也 是 最 糟 糕 的 时 代 ; 这 是 智 慧 的 年 代, 也 是 愚 昧 的 年 代 ; 这 是 信 仰 的 时 期, 也 是 怀 疑 的 时 期 ; 这 是 光 明 的 季 节, 也 是 黑 暗 的 季 节 ; 这 是 希 望 的 春 天, 也 是 失 望 的 冬 天 ; 我 们 前 途 无 量, 同 时 又 感 到 希 望 渺 茫 ; 我 们 一 起 奔 向 天 堂, 我 们 全 都 走 向 另 一 个 方 向 这 是 狄 更 斯 在 其 双 城 记 中 开 篇 之 语, 很 耐 人 寻 味 比 照 着, 我 们 可 以 有 : 这 是 大 数 据 (BD) 的 时 代, 也 是 小 数 据 (DB) 的 时 代 ; 这 是 创 新 的 时 期, 也 是 怀 疑 ( 钱 学 森 之 问 ) 的 时 期 ; 这 是 实 干 ( 兴 邦 ) 的 季 节, 也 是 空 谈 ( 误 国 ) 的 季 节 ; 这 是 中 国 的 春 天, 也 是 世 界 的 冬 天 ; 我 们 前 途 无 量, 同 时 又 感 到 希 望 渺 茫 大 数 据 确 实 是 当 下 最 热 的 词 汇, 各 种 概 念 判 断 论 调 纷 争 今 年 暑 期 去 了 一 趟 河 南 安 阳 的 殷 墟 遗 址, 对 大 数 据 的 内 涵 颇 有 感 悟 河 南 安 阳 殷 墟 遗 址 的 最 大 发 现 就 是 青 铜 器 司 母 戊 鼎 和 甲 骨 文 尤 其 是 甲 骨 文, 目 前 已 出 土 了 十 四 万 片, 在 当 年 的 发 掘 中 发 现 了 一 个 甲 骨 文 大 坑, 其 中 散 落 了 一 万 七 千 余 片 的 甲 骨 文 残 片, 这 些 残 片 数 量 众 多, 其 上 所 刻 的 文 字 内 容 繁 杂 由 于 到 目 前 为 止 还 无 法 完 全 了 解 每 个 文 字 所 代 表 的 准 确 含 义, 所 以 整 个 甲 骨 文 的 解 读 仍 处 于 一 个 相 对 初 级 的 阶 段 倘 若 我 们 能 够 发 现 一 种 方 法, 可 以 有 效 的 对 甲 骨 文 大 坑 残 片 上 的 文 字 进 行 解 读, 并 从 中 归 纳 出 不 同 残 片 上 文 字 之 间 的 关 联, 那 么 就 极 有 可 能 在 此 基 础 上 整 理 出 甲 骨 文 的 完 整 体 系, 从 而 最 大 程 度 的 还 原 出 当 时 的 社 会 面 貌, 即 体 现 出 其 价 值 所 在 在 走 出 甲 骨 文 大 坑 展 馆 之 后, 我 回 头 猛 然 感 到 这 就 是 大 数 据 最 好 的 例 证 当 下 对 于 大 数 据 尚 未 有 一 个 公 认 的 定 义 从 目 前 来 看, 在 大 数 据 定 义 问 题 上 很 难 达 成 一 个 完 全 的 共 识 在 面 对 实 际 问 题 时, 不 必 过 度 的 拘 泥 于 具 体 的 定 义 之 中 或 许 甲 骨 文 大 坑 可 能 是 目 前 对 大 数 据 一 个 比 较 恰 当 的 比 拟 试 想 目 前 在 我 们 积 累 的 数 据 中, 有 多 少 个 类 似 甲 骨 文 大 坑 的 大 数 据 等 待 我 们 去 处 理, 但 我 们 并 未 找 到 行 之 有 效 的 方 法 谈 到 大 数 据 (BD), 必 然 要 提 到 小 数 据, 即 数 据 库 (DB) 这 看 似 只 是 一 个 简 单 的 技 术 演 进, 但 细 细 考 究 不 难 发 现 两 者 有 着 本 质 上 的 差 别 大 数 据 的 出 现, 必 将 颠 覆 传 统 的 数 据 管 理 方 式, 同 时 也 为 之 提 供 了 焕 发 青 春 的 机 遇 以 下 是 我 对

5 这 一 问 题 的 归 纳 : DB 和 BD 关 系 的 观 点 方 法 DB BD 问 题 DB 认 为 BD 仍 是 DB 的 问 题, 也 可 以 用 DB 的 方 法 解 决 (1) 认 为 BD 本 质 上 还 是 DB 的 问 题, 但 是 需 要 一 些 BD 的 方 法 来 解 决 (3) BD 认 为 BD 是 一 个 新 问 题, 但 是 可 以 用 DB 的 一 些 方 法 来 解 决 (2) 认 为 BD 是 一 个 新 问 题, 需 要 新 的 方 法 解 决 BD 的 问 题 (4) 其 实 目 前 有 关 DB 和 BD 之 间 关 系 的 一 些 观 点 可 总 结 为 四 类 :(1)DB->DB 论 : 如 SAP Sybase 公 司 的 CTO Irfan Khan 的 观 点 是 大 数 据 是 个 大 谎 言 (The Big Lie About Big Data), 他 认 为 根 本 就 不 存 在 什 么 大 数 据 问 题 过 去 的 几 十 年 我 们 的 数 据 量 一 直 在 不 断 的 增 长 之 中, 但 我 们 总 是 能 够 通 过 计 算 基 础 架 构 的 调 整 来 适 应 新 的 数 据 量 和 类 型 的 变 化 因 此 所 谓 的 大 数 据 问 题 只 是 炒 作, 现 有 的 数 据 库 技 术 通 过 改 进 完 全 可 以 应 对 所 谓 的 大 数 据 问 题 (2)BD->DB 论 :Michael Stonebraker 认 可 大 数 据 是 个 新 的 问 题, 但 是 传 统 的 数 据 库 技 术 能 够 应 对, 他 认 为 其 目 前 领 导 构 建 的 SciDB 就 是 一 个 能 够 用 传 统 数 据 库 技 术 解 决 大 数 据 问 题 的 有 效 工 具 (3)DB->BD 论 :IBM Oracle Teradata 等 传 统 数 据 库 公 司 则 认 为 大 数 据 本 质 上 还 是 数 据 库 问 题, 但 是 在 问 题 的 解 决 中 需 要 引 入 一 些 新 的 大 数 据 处 理 技 术, 比 如 构 建 关 系 数 据 库 和 Hadoop 的 连 接 器 等 (4)BD->BD 论 : 大 多 数 学 者 和 企 业 都 认 为 大 数 据 是 有 别 于 传 统 数 据 库 的 新 问 题, 因 此 需 要 新 的 方 法 解 决 BD 的 问 题, 典 型 代 表 如 Google Facebook 等 公 司 的 解 决 方 案 2012 年 数 据 库 产 业 界 的 两 个 系 统 给 我 们 很 多 启 示, 即 Oracle 的 Exadata 和 Google 的 F1 前 者 将 数 据 库 技 术 DBMS 与 硬 件 相 融 合, 综 合 了 可 扩 展 的 服 务 器 和 存 储 InfiniBand 网 络 PCI 闪 存 智 能 内 存 高 速 缓 存 等, 实 现 了 软 硬 件 一 体 化 的 数 据 管 理 技 术 后 者 融 合 了 BigTable 的 高 扩 展 性 和 SQL 数 据 库 的 可 用 性 和 功 能 性 这 是 DB->BD 论 和 BD->BD 论 的 有 益 尝 试, 也 预 示 了 传 统 的 DBMS 不 死, 并 重 又 焕 发 青 春 另 一 方 面, 我 们 看 到, 在 大 数 据 时 代 数 据 不 再 仅 仅 是 管 理 的 对 象, 而 应 当 转 变 成 一 种 基 础 资 源, 用 数 据 这 种 资 源 来 协 同 解 决 其 他 诸 多 领 域 的 问 题 计 算 社 会 科 学 (Computational Social Science) 基 于 特 定 社 会 需 求, 在 特 定 的 社 会 理 论 指 导 下, 收 集 整 理 和 分 析 数 据 足 迹 (data print), 以 便 进 行 社 会 解 释 监 控 预 测 与 规 划 的 过 程 和 活 动 计 算 社 会 科 学 是 一 种 典 型 的 需 要 采 用 第 四 种 范 式 来 做 指 导 的 科 学

6 研 究 领 域 Duncan J. Watts 在 自 然 杂 志 上 的 文 章 A twenty-first century science 也 指 出 借 助 于 社 交 网 络 和 计 算 机 分 析 技 术,21 世 纪 的 社 会 科 学 有 可 能 实 现 定 量 化 的 研 究, 从 而 成 为 一 门 真 正 的 科 学 这 可 能 是 大 数 据 时 代 带 给 我 们 最 惊 喜 的 结 果 在 移 动 终 端 超 过 PC 终 端 之 后 的 信 息 时 代, 我 们 必 须 做 点 什 么, 或 许 大 数 据 下 的 社 会 计 算 就 是 问 题 所 在 在 此 背 景 下 实 验 室 定 位 于 以 下 三 个 问 题, 着 力 开 展 研 究, 并 取 得 一 定 的 成 果 : Build big data solutions on the Web--ScholarSpace Build big data solutions in the cloud--clouddb Build big data solutions on emerging hardware--flashdb 2012 年 我 们 的 研 究 成 果 网 络 与 移 动 数 据 管 理 获 得 北 京 市 科 学 技 术 奖 二 等 奖, 学 校 校 刊 为 此 在 人 大 之 子 栏 目 以 聚 焦 前 沿 十 年 磨 砺 为 题 报 道 我 们 的 研 究 心 得, 也 算 是 对 过 去 十 年 的 一 个 总 结 过 去 一 年 我 们 在 大 数 据 和 社 会 计 算 方 面 举 办 了 两 场 重 要 的 学 术 会 议 (XLDB Asia2012 和 NCSC2012), 引 起 同 行 的 关 注, 也 算 是 为 这 个 领 域 的 发 展 做 出 自 己 的 贡 献 两 场 学 术 会 议 突 出 的 特 点 是 强 调 多 学 科 交 叉, 社 会 计 算 会 议 请 到 了 信 息 管 理 新 闻 传 播 社 会 学 计 算 物 理 学 等 多 领 域 学 者,XLDB 请 到 了 科 学 界 工 业 界 学 术 界 国 内 外 专 家 以 报 告 +Pannel 的 方 式 头 脑 风 暴 思 想 碰 撞 对 我 来 说, 收 获 颇 大, 这 是 送 到 家 门 口 的 一 次 大 数 据 的 需 求 分 析 面 对 大 数 据, 不 做 需 求 分 析, 肯 定 是 空 谈 误 国 可 喜 的 是, 过 去 一 年 我 们 的 一 些 研 究 成 果 继 续 得 到 企 业 的 关 注 与 支 持, 开 展 相 关 研 究, 并 获 得 2 项 国 家 专 利 授 权 实 验 室 的 文 化 已 形 成 惯 例 暑 期 活 动 继 续 开 展 在 今 年 实 验 室 的 年 终 聚 会 中, 为 已 毕 业 的 博 士 们 举 办 了 一 场 青 年 数 据 库 学 者 发 展 研 讨 会 (DBCareer2012), 意 在 扶 上 马, 送 一 程 今 年 又 有 二 十 多 位 毕 业 生 赶 回 来 聚 会, 其 乐 融 融 孟 小 峰 2013 年 1 月 25 日 于 中 国 人 民 大 学

7 目 录 实 验 室 年 度 亮 点 1 1. 孟 小 峰 教 授 荣 获 2011 年 北 京 市 科 学 技 术 奖 2 2. 人 大 之 子 专 访 : 孟 小 峰 : 聚 焦 前 沿 十 年 磨 砺 2 3. 实 验 室 国 家 自 然 科 学 基 金 重 点 项 目 结 题 3 4. 实 验 室 应 邀 参 加 2012 中 国 计 算 机 大 会 成 果 展 3 5. 实 验 室 推 出 面 向 多 学 科 领 域 的 学 术 空 间 系 统 4 6. 实 验 室 举 办 多 场 高 水 平 学 术 会 议 4 7 孟 小 峰 教 授 应 邀 在 第 29 届 中 国 数 据 库 学 术 会 议 上 做 学 术 报 告 5 8. 孟 小 峰 教 授 应 邀 在 中 国 管 理 科 学 与 工 程 学 会 2012 年 年 会 做 学 术 报 告 5 9. 丰 富 多 彩 的 实 验 室 活 动 6 数 据 管 理 前 沿 技 术 报 告 7 1. 大 数 据 管 理 : 概 念 技 术 与 挑 战 孟 小 峰 慈 祥 8 2. 闪 存 数 据 管 理 关 键 技 术 研 究 王 江 涛 孟 小 峰 云 数 据 管 理 索 引 技 术 研 究 马 友 忠 孟 小 峰 面 向 数 据 发 布 和 分 析 的 差 分 隐 私 保 护 研 究 张 啸 剑 孟 小 峰 A Survey of Online Aggregation in the Cloud Yingjie Shi, Yantao Gan, Xiaofeng Meng Report on the First Extremely Large Databases Conference at Asia(XLDB Asia 2012) Xiaofeng Meng, Fusheng Wang Report on the Second International Workshop on Flash-Based Database Systems

8 (FlashDB 2012) Xiaofeng Meng, Bingsheng He, Wei Cao, Jianliang Xu Report on the Fourth International Workshop on Cloud Data Management (CloudDB2012) Xiaofeng Meng, Fusheng Wang, Adam Silberstein 121 发 表 论 文 精 选 You Can Stop Early with COLA: Online Processing of Aggregate Queries in the Cloud Yingjie Shi, Xiaofeng Meng, Fusheng Wang, Yantao Gan You Can Walk Alone: Trajectory Privacy-Preserving through Significant Stays Protection Zheng Huo, Xiaofeng Meng, Haibo Hu, Yi Huang Co-spatial Searcher: Efficient Tag-Based Collaborative Spatial Search on Geo-social Network Jinzeng Zhang, Xiaofeng Meng, Xuan Zhou1, Dongqi Liu An efficient approach for continuous density queries Jie WEN, Xiaofeng MENG, XingHAO, Jianliang XU 167 科 研 成 果 论 文 列 表 已 授 权 专 利 已 授 权 软 件 著 作 权 软 件 系 统 课 题 项 目 192 学 术 交 流 学 术 活 动 任 职 学 术 交 流 举 办 会 议 中 国 计 算 机 大 会 实 验 室 成 果 展 示 211 附 录 222 实 验 室 研 讨 会 223

9 实 验 室 网 站 实 验 室 成 员 实 验 室 新 生 感 言 实 验 室 毕 业 生 寄 语 实 验 室 近 年 来 毕 业 生 动 态 2012 实 验 室 活 动 集 锦 人 大 之 子 特 别 报 道 : 孟 小 峰 : 聚 焦 前 沿 十 年 磨 砺

10 实 验 室 年 度 亮 点 1

11 孟 小 峰 教 授 荣 获 2011 年 北 京 市 科 学 技 术 奖 2012 年 4 月 13 日,2011 年 北 京 市 科 学 技 术 奖 励 大 会 在 北 京 国 际 饭 店 会 议 中 心 隆 重 举 行 中 国 人 民 大 学 信 息 学 院 孟 小 峰 教 授 荣 获 2011 年 北 京 市 科 学 技 术 奖 二 等 奖, 并 作 为 获 奖 代 表 参 加 了 颁 奖 大 会 孟 小 峰 教 授 获 奖 成 果 网 络 与 移 动 数 据 管 理 研 究 主 要 研 究 了 互 联 网 与 移 动 计 算 环 境 下 数 据 管 理 问 题 孟 小 峰 教 授 曾 于 2001 年 凭 借 研 究 成 果 嵌 入 式 数 据 库 系 统 小 金 灵 获 得 北 京 市 科 技 进 步 二 等 奖, 十 年 后 又 一 次 获 此 殊 荣 自 2001 年 孟 小 峰 教 授 创 建 网 络 与 移 动 数 据 管 理 (Web and Mobile Data Management) 实 验 室 至 今, 取 得 了 国 际 国 内 瞩 目 的 研 究 成 果, 先 后 在 数 据 库 领 域 国 际 顶 级 期 刊 和 重 要 会 议 ( 如 TKDE VLDB SIGMOD ICDE EDBT 等 ) 上 发 表 多 篇 高 水 平 学 术 论 文, 出 版 学 术 专 著 Moving Objects Management:Models, Techniques,and Applications (Springer) XML 数 据 管 理 : 概 念 与 技 术 移 动 数 据 管 理 : 概 念 与 技 术 ( 中 国 计 算 机 学 会 学 术 著 作 丛 书 ) 等, 获 国 家 发 明 专 利 授 权 10 项 本 次 获 奖 凝 聚 了 孟 小 峰 教 授 历 经 十 年 坚 持 不 懈 潜 心 研 究 之 成 果, 体 现 了 孟 小 峰 教 授 始 终 着 眼 前 沿 探 索, 十 年 磨 一 剑 的 研 究 精 神 人 大 之 子 专 访 : 孟 小 峰 : 聚 焦 前 沿 十 年 磨 砺 2012 年 5 月 7 日, 中 国 人 民 大 学 校 报 以 孟 小 峰 : 聚 焦 前 沿 十 年 磨 砺 为 题, 刊 发 了 记 者 杨 默 的 长 篇 报 道 对 孟 小 峰 教 授 近 二 十 年 来 坚 持 科 研 创 新, 坚 持 教 书 育 人 的 感 人 事 迹 做 了 详 细 报 道, 引 起 了 社 会 各 界 广 泛 关 注 6 月 1 日, 中 国 人 民 大 学 新 闻 网 人 大 之 子 专 栏 全 文 转 发 了 报 道 文 章 从 六 个 方 面 报 道 了 孟 小 峰 教 授 从 意 气 风 发 的 青 年 到 稳 重 持 守 的 中 年, 在 两 个 十 年 中, 他 始 终 坚 持 走 在 科 技 的 前 沿, 始 终 坚 持 关 注 学 生 品 高 于 学 的 成 长, 始 终 坚 持 以 系 统 为 重 的 人 大 风 格, 始 终 坚 持 理 论 研 究 与 系 统 开 发 并 重 的 双 轨 制 研 究 方 法, 成 功 践 行 了 一 名 学 者 学 高 为 师, 身 正 为 范 的 学 术 之 路 文 章 主 要 内 容 包 括 :(1) 科 研 道 路 选 择 : 一 名 真 正 的 研 究 者 应 该 具 有 前 瞻 性 的 眼 光 ;(2) 科 研 周 期 理 念 : 十 年 磨 一 剑, 苦 尽 得 甘 甜 ;(3) 科 研 成 就 要 诀 : 肯 下 愚 功 夫, 愿 坐 冷 板 凳 ;(4) 人 才 培 养 方 式 : 实 验 室 是 一 艘 大 船, 载 你 到 达 理 想 的 彼 岸 ;(5) 科 研 报 告 编 撰 : 为 科 研 探 新 路, 给 学 院 留 家 底 ;(6) 下 一 个 十 年 : 我 们 在 路 上 2

12 实 验 室 国 家 自 然 科 学 基 金 重 点 项 目 结 题 2012 年 12 月 18 日, 国 家 自 然 科 学 基 金 委 信 息 科 学 部 组 织 专 家, 对 中 国 人 民 大 学 孟 小 峰 教 授 负 责 的 国 家 自 然 科 学 基 金 重 点 项 目 闪 存 数 据 库 技 术 研 究 ( 批 准 号 : ) 进 行 了 结 题 验 收 项 目 组 对 闪 存 数 据 库 系 统 理 论 体 系 基 础 架 构 和 实 现 技 术 进 行 了 深 入 研 究, 对 混 合 式 存 储 数 据 库 系 统 中 的 能 耗 数 据 放 置 数 据 持 久 性 数 据 迁 移 数 据 存 取 等 问 题 进 行 了 深 入 研 究 并 取 得 了 多 项 研 究 成 果 在 IEEEE Transactions 等 国 际 期 刊 和 本 领 域 重 要 的 国 际 学 术 会 议 上 发 表 论 文 96 篇 ( 含 已 录 用 ), 出 版 专 著 1 本, 其 中 期 刊 论 文 44 篇, 国 际 会 议 论 文 52 篇, 已 发 表 论 文 中 SCI 检 索 12 篇, EI 检 索 59 篇 ; 培 养 博 士 研 究 生 11 名, 硕 士 研 究 生 16 名 ; 申 请 国 家 专 利 10 项, 授 权 国 家 发 明 专 利 8 项, 软 件 注 册 权 4 项 ; 荣 获 北 京 科 学 技 术 奖 二 等 奖 ; 成 功 举 办 了 FlashDB2011 和 FlashDB2012 闪 存 数 据 库 国 际 专 题 研 讨 会 项 目 组 通 过 积 极 参 与 相 关 领 域 主 流 国 际 会 议 邀 请 国 外 专 家 访 问 等 方 式, 与 国 内 外 同 行 进 行 了 深 入 的 学 术 交 流 与 合 作 项 目 组 还 积 极 与 华 为 百 度 等 知 名 IT 企 业 合 作, 针 对 全 SSD 数 据 库 系 统 和 混 合 式 存 储 数 据 库 系 统 进 行 合 作 研 究, 引 起 了 企 业 高 度 关 注, 并 取 得 了 重 大 研 究 成 果 实 验 室 应 邀 参 加 2012 中 国 计 算 机 大 会 成 果 展 由 中 国 计 算 机 学 会 (CCF) 主 办, 大 连 大 学 承 办 的 中 国 计 算 机 领 域 规 模 最 大 级 别 最 高 的 学 术 会 议 2012 中 国 计 算 机 大 会 (CNCC2012) 于 10 月 18 日 至 20 日 在 大 连 世 博 广 场 举 行 本 次 大 会 主 题 为 创 新 平 台, 引 领 未 来, 由 大 会 报 告 专 题 论 坛 以 及 成 果 展 示 等 部 分 组 成, 吸 引 了 来 自 全 国 30 个 省 市 区 港 澳 及 海 外 的 2000 多 名 信 息 技 术 专 家 学 者 参 会 应 大 会 邀 请, 中 国 人 民 大 学 信 息 学 院 孟 小 峰 教 授 领 导 的 网 络 与 移 动 数 据 管 理 实 验 室 (WAMDM) 参 加 了 本 次 展 览, 主 要 展 示 了 云 计 算 与 大 数 据 管 理 方 面 的 研 究 成 果, 包 括 云 环 境 下 的 在 线 聚 集 系 统 COLA 云 数 据 库 管 理 系 统 TaijiDB 多 值 查 询 优 化 云 计 算 环 境 下 针 对 物 联 网 数 据 的 多 维 索 引 技 术 研 究 展 览 期 间, 吸 引 了 众 多 科 研 人 员 前 来 参 观, 并 就 云 计 算 及 大 数 据 管 理 方 面 的 相 关 问 题 进 行 了 深 入 探 讨 和 交 流, 获 得 广 泛 好 评 3

13 推 出 面 向 多 学 科 领 域 的 学 术 空 间 系 统 孟 小 峰 教 授 团 队 ( 中 国 人 民 大 学 信 息 学 院 网 络 与 移 动 数 据 管 理 (Web and Mobile Data Management) 实 验 室 ) 继 2010 年 发 布 计 算 机 领 域 学 术 空 间 C-DBLP 后, 依 据 最 新 的 中 国 人 民 大 学 科 研 考 核 目 录 于 日 前 推 出 了 面 向 计 算 机 经 济 学 法 学 物 理 学 等 共 计 25 个 领 域 的 学 术 空 间 系 统 (ScholarSpace), 收 录 期 刊 增 至 466 本, 收 录 文 章 数 超 172 万, 收 录 作 者 超 96 万 孟 小 峰 教 授 团 队 自 2000 年 开 始 研 究 Web 数 据 集 成 的 相 关 技 术, 先 后 在 Web 数 据 抽 取 数 据 库 选 择 查 询 转 换 等 方 面 积 累 了 丰 富 的 研 究 工 作 和 技 术 成 果, 并 尝 试 利 用 研 究 成 果 去 解 决 人 们 在 Web 数 据 管 理 中 面 临 的 问 题 基 于 数 据 集 成 方 面 的 技 术 积 累, 实 验 室 在 2010 年 发 布 了 面 向 计 算 机 领 域 的 学 术 空 间 系 统 C-DBLP, 自 动 集 成 了 国 内 计 算 机 领 域 权 威 期 刊 和 学 术 会 议 的 十 余 万 文 献 科 研 项 目 信 息 及 数 万 学 者 信 息, 极 大 地 方 便 了 学 者 学 术 成 就 整 理 和 文 献 查 找, 得 到 了 计 算 机 界 同 行 的 高 度 赞 誉, 每 天 系 统 访 问 量 约 5000 人 次, 累 计 超 过 400 万 人 次 访 问 量 实 验 室 举 办 多 场 高 水 平 学 术 会 议 2012 年 实 验 室 举 办 了 多 场 高 水 平 国 际 国 内 学 术 会 议 会 议 内 容 涵 盖 闪 存 数 据 库 超 大 数 据 库 云 数 据 库 社 会 计 算 等 热 点 主 题 4 月 15 日, 第 二 届 闪 存 数 据 库 系 统 国 际 研 讨 会 (FlashDB2012) 在 韩 国 釜 山 成 功 举 行 会 议 由 孟 小 峰 教 授 发 起 并 组 织, 来 自 本 领 域 的 数 十 位 专 家 学 者 参 与 了 研 讨 会 6 月 22 日, 超 大 数 据 库 国 际 会 议 (The Extremely Large Databases Conference at Asia:XLDB Asia 2012) 在 中 国 人 民 大 学 逸 夫 会 议 中 心 成 功 召 开, 会 议 由 孟 小 峰 教 授 担 任 大 会 主 席, 来 自 国 内 外 两 百 余 人 参 加 了 会 议 10 月 29 日, 第 四 届 云 数 据 库 系 统 国 际 研 讨 会 (CloudDB2012) 于 在 美 国 夏 威 夷 毛 伊 岛 成 功 举 行 孟 小 峰 教 授 担 任 大 会 主 席 11 月 15 日 至 16 日, 全 国 社 会 计 算 学 术 会 议 (China National Conference on Social Computing, NCSC2012) 在 中 国 人 民 大 学 逸 夫 会 议 中 心 成 功 召 开, 会 议 由 中 国 计 算 机 学 会 中 国 自 动 化 学 会 中 国 人 民 大 学 等 单 位 承 办, 会 议 由 孟 小 峰 教 授 和 香 港 城 市 大 学 祝 建 华 教 授 共 同 担 任 大 会 主 席, 来 自 国 内 外 三 百 余 人 参 加 了 会 议 4

14 孟 小 峰 教 授 应 邀 在 第 29 届 中 国 数 据 库 学 术 会 议 上 做 学 术 报 告 10 月 13 日 至 14 日, 由 中 国 计 算 机 学 会 数 据 库 专 委 会 主 办 中 国 科 技 大 学 承 办 的 第 29 届 中 国 数 据 库 学 术 会 议 于 在 安 徽 合 肥 召 开, 这 是 中 国 数 据 库 界 的 一 次 盛 会, 来 自 海 外 及 全 国 各 地 的 代 表 400 余 人 参 加 本 次 大 会, 来 自 80 多 所 大 专 院 校 研 究 机 构 和 企 业 孟 小 峰 教 授 应 邀 做 大 会 特 邀 报 告 闪 存 数 据 库 系 统 的 研 究 系 统 介 绍 了 孟 小 峰 教 授 近 四 年 领 导 的 课 题 组 针 对 闪 存 所 做 的 系 统 研 究 工 作, 包 括 闪 存 存 储 管 理 闪 存 数 据 库 索 引 闪 存 数 据 库 缓 冲 区 管 理 闪 存 数 据 库 查 询 处 理 闪 存 数 据 库 事 务 管 理 等 方 面 取 得 的 重 要 创 新 性 研 究 成 果, 并 对 主 要 研 究 热 点 和 发 展 趋 势 进 行 了 分 析 报 告 得 到 与 会 者 的 普 遍 好 评 孟 小 峰 教 授 应 邀 在 中 国 管 理 科 学 与 工 程 学 会 2012 年 年 会 做 学 术 报 告 10 月 21 日, 中 国 管 理 科 学 与 工 程 学 会 2012 年 年 会 暨 第 十 届 中 国 管 理 科 学 与 工 程 论 坛 在 烟 台 大 学 举 行 来 自 国 内 150 所 高 校 科 研 院 所 的 专 家 学 者 博 硕 士 生 等 500 余 人 参 加 本 次 会 议 本 次 年 会 暨 论 坛 由 中 国 管 理 科 学 与 工 程 学 会 和 管 理 科 学 与 工 程 论 坛 组 委 会 主 办, 烟 台 大 学 承 办 会 议 围 绕 应 对 多 质 大 数 据 的 挑 战 的 主 题, 探 讨 十 二 五 时 期 中 国 社 会 与 经 济 发 展 即 将 面 临 的 新 机 遇 和 新 挑 战, 研 究 新 时 期 新 环 境 下 管 理 方 式 方 法 的 创 新, 为 学 科 前 沿 发 展 如 何 服 务 于 社 会 变 革 与 进 步 共 谋 蓝 图 孟 小 峰 教 授 应 邀 做 了 题 为 大 数 据 与 社 会 计 算 的 特 邀 报 告, 着 重 介 绍 了 大 数 据 带 来 的 机 遇 和 挑 战, 分 析 了 目 前 大 数 据 的 四 种 观 点, 特 别 指 出 大 数 据 为 社 会 科 学 的 定 量 分 析 提 供 了 极 为 丰 富 的 数 据 社 会 科 学 因 此 能 测 得 更 准, 计 算 的 更 精 确, 从 而 为 社 会 科 学 提 供 一 种 新 的 数 据 思 维 方 法, 社 会 计 算 因 此 获 得 发 展 机 遇 5

15 丰 富 多 彩 的 实 验 室 活 动 欢 送 毕 业 生 又 是 一 年 丁 香 花 开 时, 一 个 不 想 说 离 别 却 又 不 得 不 离 别 的 季 节 2012 年 实 验 室 有 9 位 硕 士 毕 业, 他 们 分 别 加 入 了 百 度 腾 讯 搜 狗 中 国 移 动 研 究 院 等 著 名 IT 企 业 以 及 研 究 院 所 三 年 实 验 室 时 光, 留 下 了 他 们 辛 勤 工 作 的 汗 水, 留 下 了 他 们 开 心 的 笑 容, 更 留 下 了 他 们 丰 硕 的 研 究 成 果 惜 别 校 园 情, 相 邀 逐 梦 路, 实 验 室 举 办 了 一 系 列 丰 富 多 彩 的 活 动, 制 作 了 专 题 宣 传 栏 和 座 谈 会, 并 举 办 了 毕 业 生 酒 会 暑 期 活 动 一 个 学 年 紧 张 的 学 习 和 科 研 结 束 了, 实 验 室 师 生 于 8 月 1 日 至 8 月 3 日 集 体 前 往 河 北 承 德 避 暑 山 庄 旅 游 同 学 们 被 大 自 然 美 丽 的 风 光 和 丰 富 的 历 史 文 化 遗 迹 陶 醉, 旅 游 期 间 还 开 展 了 丰 富 多 彩 的 团 队 活 动 新 年 聚 会 新 的 一 年 即 将 到 来, 又 是 一 个 充 满 希 望 的 季 节 12 月 23 日, 孟 小 峰 教 授 组 织 实 验 室 历 届 校 友 和 在 读 师 生 举 办 首 届 青 年 数 据 库 研 究 者 发 展 研 讨 会 (DBCareer2012), 并 举 办 实 验 室 2012 年 度 酒 会 9 名 博 士 校 友 19 名 硕 士 校 友 从 全 国 各 地 赶 回 实 验 室 参 加 研 讨 会 和 聚 会, 校 友 们 分 享 了 他 们 在 各 自 工 作 岗 位 上 的 职 业 发 展 和 科 研 心 得, 并 对 在 读 博 硕 士 们 提 出 了 宝 贵 的 学 业 和 职 业 发 展 建 议 期 间, 还 揭 晓 了 实 验 室 年 度 最 佳 服 务 奖 最 佳 科 研 奖 最 佳 系 统 奖 并 颁 奖 新 年 聚 会 旨 在 提 供 一 个 相 互 学 习 和 交 流 的 平 台, 促 进 校 友 之 间 更 好 地 开 展 合 作 工 作 6

16 数 据 管 理 前 沿 技 术 报 告 7

17 大 数 据 管 理 : 概 念 技 术 与 挑 战 孟 小 峰 慈 祥 ( 中 国 人 民 大 学 信 息 学 院 北 京 ) Big Data Management: Concepts, Techniques and Challenges Meng Xiaofeng and Ci Xiang (School of Information, Renmin University of China, Beijing ) Abstract: Data type and amount in human society is growing in amazing speed which caused by emerging new service such as cloud computing, internet of things and social network, the era of Big Data has come. Data has been fundamental resource from simple dealing object, and how to manage and utilize big data better has attracted much attention. Evolution or revolution on database research for big data is a problem. This paper discusses the concept of big data, and surveys its state of the art. The framework of big data is described and key techniques are studied. Finally some new challenges in the future are summarized. Keywords Big Data; Data Analysis; Cloud Computing 摘 要 云 计 算 物 联 网 社 交 网 络 等 新 兴 服 务 促 使 人 类 社 会 的 数 据 种 类 和 规 模 正 以 前 所 未 有 的 速 度 增 长, 大 数 据 时 代 正 式 到 来 数 据 从 简 单 的 处 理 对 象 开 始 转 变 为 一 种 基 础 性 资 源, 如 何 更 好 的 管 理 和 利 用 大 数 据 已 经 成 为 普 遍 关 注 的 话 题 大 数 据 的 规 模 效 应 给 数 据 存 储 管 理 以 及 数 据 分 析 带 来 了 极 大 的 挑 战, 数 据 管 理 方 式 上 的 变 革 正 在 酝 酿 和 发 生 本 文 对 大 数 据 的 基 本 概 念 进 行 剖 析, 并 对 大 数 据 的 主 要 应 用 做 简 单 对 比 在 此 基 础 上, 阐 述 大 数 据 处 理 的 基 本 框 架, 并 就 云 计 算 技 术 对 于 大 数 据 时 代 数 据 管 理 所 产 生 的 作 用 进 行 分 析 最 后 归 纳 总 结 大 数 据 时 代 所 面 临 的 新 挑 战 关 键 字 大 数 据 ; 数 据 分 析 ; 云 计 算 中 图 法 分 类 号 TP311 1 引 言 随 着 以 博 客 社 交 网 络 基 于 位 置 的 服 务 LBS 为 代 表 的 新 型 信 息 发 布 方 式 的 不 断 涌 现, 以 及 云 计 算 物 联 网 等 技 术 的 兴 起, 数 据 正 以 前 所 未 有 的 速 度 在 不 断 的 增 长 和 累 积, 大 数 据 时 代 已 经 来 到 学 术 界 工 业 界 甚 至 于 政 府 机 构 都 已 经 开 始 密 切 关 注 大 数 据 问 题, 并 对 其 产 生 浓 厚 的 兴 趣 就 学 术 界 而 言,Nature 早 在 2008 年 就 推 出 了 Big Data 专 刊 [1] 计 算 社 区 联 盟 (Computing Community Consortium) 在 2008 年 发 表 了 报 告 Big-Data Computing: Creating revolutionary breakthroughs in commerce, science, and society [2], 阐 述 了 在 数 据 驱 动 的 研 究 背 8

18 景 下, 解 决 大 数 据 问 题 所 需 的 技 术 以 及 面 临 的 一 些 挑 战 Science 在 2011 年 2 月 推 出 专 刊 Dealing with Data [3], 主 要 围 绕 着 科 学 研 究 中 大 数 据 的 问 题 展 开 讨 论, 说 明 大 数 据 对 于 科 学 研 究 的 重 要 性 美 国 一 些 知 名 的 数 据 管 理 领 域 的 专 家 学 者 则 从 专 业 的 研 究 角 度 出 发, 联 合 发 布 了 一 份 白 皮 书 Challenges and Opportunities with Big Data [4] 该 白 皮 书 从 学 术 的 角 度 出 发, 介 绍 了 大 数 据 的 产 生, 分 析 了 大 数 据 的 处 理 流 程, 并 提 出 大 数 据 所 面 临 的 若 干 挑 战 全 球 知 名 的 咨 询 公 司 麦 肯 锡 (McKinsey) 去 年 6 月 份 发 布 了 一 份 关 于 大 数 据 的 详 尽 报 告 Big data: The next frontier for innovation, competition, and productivity [5], 对 大 数 据 的 影 响 关 键 技 术 和 应 用 领 域 等 都 进 行 了 详 尽 的 分 析 进 入 2012 年 以 来, 大 数 据 的 关 注 度 与 日 俱 增 1 月 份 的 达 沃 斯 世 界 经 济 论 坛 上, 大 数 据 是 主 题 之 一, 该 次 会 议 还 特 别 针 对 大 数 据 发 布 了 报 告 Big Data, Big Impact: New Possibilities for International Development [6], 探 讨 了 新 的 数 据 产 生 方 式 下, 如 何 更 好 的 利 用 数 据 来 产 生 良 好 的 社 会 效 益 该 报 告 重 点 关 注 了 个 人 产 生 的 移 动 数 据 与 其 他 数 据 的 融 合 与 利 用 3 月 份 美 国 奥 巴 马 政 府 发 布 了 大 数 据 研 究 和 发 展 倡 议 [7] (Big Data Research and Development Initiative), 投 资 2 亿 以 上 美 元, 正 式 启 动 大 数 据 发 展 计 划 计 划 在 科 学 研 究 环 境 生 物 医 学 等 领 域 利 用 大 数 据 技 术 进 行 突 破 奥 巴 马 政 府 的 这 一 计 划 被 视 为 美 国 政 府 继 信 息 高 速 公 路 (Information Highway) 计 划 之 后 在 信 息 科 学 领 域 的 又 一 重 大 举 措 与 此 同 时, 联 合 国 一 个 名 为 Global Pulse 的 倡 议 项 目 在 今 年 5 月 发 布 报 告 Big Data for Development:Challenges & Opportunities [8], 该 报 告 主 要 阐 述 大 数 据 时 代 各 国 特 别 是 发 展 中 国 家 在 面 临 数 据 洪 流 (Data Deluge) 的 情 况 下 所 遇 到 的 机 遇 与 挑 战, 同 时 还 对 大 数 据 的 应 用 进 行 了 初 步 的 解 读 纽 约 时 报 的 文 章 The Age of Big Data [9] 则 通 过 主 流 媒 体 的 宣 传 使 普 通 民 众 开 始 意 识 到 大 数 据 的 存 在, 以 及 大 数 据 对 于 人 们 日 常 生 活 的 影 响 大 数 据 的 火 热 并 不 意 味 着 对 于 大 数 据 的 了 解 深 入, 反 而 表 明 大 数 据 存 在 过 度 炒 作 的 危 险 大 数 据 的 基 本 概 念 关 键 技 术 以 及 对 其 的 利 用 上 均 存 在 很 多 的 疑 问 和 争 议 本 文 从 大 数 据 问 题 背 后 的 本 质 出 发, 对 现 有 的 大 数 据 研 究 资 料 进 行 全 面 的 归 纳 和 总 结 首 先 简 要 介 绍 大 数 据 的 基 本 概 念, 阐 述 其 同 传 统 数 据 库 的 区 别 在 此 基 础 上, 对 大 数 据 处 理 框 架 进 行 详 细 解 析 我 们 认 为 大 数 据 的 发 展 离 不 开 云 计 算 技 术, 云 计 算 支 撑 着 大 数 据 存 储 管 理 以 及 数 据 分 析 等 因 此 本 文 展 开 介 绍 了 大 数 据 时 代 不 可 或 缺 的 云 计 算 技 术 和 工 具 最 后 全 面 阐 述 大 数 据 时 代 面 临 的 新 挑 战 2 大 数 据 的 基 本 概 念 来 源 与 应 用 2.1 大 数 据 的 基 本 概 念 大 数 据 本 身 是 一 个 比 较 抽 象 的 概 念, 单 从 字 面 来 看, 它 表 示 数 据 规 模 的 庞 大 但 是 仅 仅 数 量 上 的 庞 大 显 然 无 法 看 出 大 数 据 这 一 概 念 和 以 往 的 海 量 数 据 (Massive Data) 超 大 规 模 数 据 (Very Large Data) 等 概 念 之 间 有 何 区 别 对 于 大 数 据 尚 未 有 一 个 公 认 的 定 义, 不 同 的 定 义 基 本 是 从 大 数 据 的 特 征 出 发, 通 过 这 些 特 征 的 阐 述 和 归 纳, 试 图 给 出 其 定 义 在 这 些 定 义 中, 比 较 有 代 表 性 的 是 3V 定 义 [10], 即 认 为 大 数 据 需 满 足 3 个 特 点 : 规 模 性 (Volume) 多 样 性 (Variety) 和 高 速 性 (Velocity) 除 此 之 外, 还 有 提 出 4V 定 义 的, 即 尝 试 在 3V 的 基 础 上 增 加 一 个 新 的 特 性 关 于 第 四 个 V 的 说 法 并 不 统 一,IDC 认 为 大 数 据 还 应 当 具 有 价 值 性 (Value) [11], 大 数 据 的 价 值 往 往 呈 现 出 稀 疏 性 的 特 点 而 IBM 认 为 大 数 据 必 然 具 有 真 实 性 (Veracity) [12] [13] 维 基 百 科 对 大 数 据 的 定 义 则 简 单 明 了 : 大 数 据 是 指 利 用 常 用 软 件 工 具 捕 获 管 理 和 处 理 数 据 所 耗 时 间 超 过 可 容 忍 时 间 的 数 据 集 眼 下 在 大 数 据 定 义 问 题 上 很 难 达 成 一 个 完 全 的 共 识, 这 点 和 云 计 算 的 概 念 刚 提 出 时 的 情 况 是 相 似 的 在 面 对 实 际 问 题 时, 不 必 过 度 的 拘 泥 于 具 体 的 定 义 之 中, 把 握 3V 定 义 的 基 础 上, 适 当 的 考 虑 4V 特 性 即 可 9

19 2.2 从 数 据 库 (Database, DB) 到 大 数 据 (Big Data, BD) 从 数 据 库 (DB) 到 大 数 据 (BD), 看 似 只 是 一 个 简 单 的 技 术 演 进, 但 细 细 考 究 不 难 发 现 两 者 有 着 本 质 上 的 差 别 大 数 据 的 出 现, 必 将 颠 覆 传 统 的 数 据 管 理 方 式 在 数 据 来 源 数 据 处 理 方 式 和 数 据 思 维 等 方 面 都 会 对 其 带 来 革 命 性 的 变 化 如 果 要 用 简 单 的 方 式 来 比 较 传 统 的 数 据 库 和 大 数 据 的 区 别 的 话, 我 们 认 为 池 塘 捕 鱼 和 大 海 捕 鱼 是 个 很 好 的 类 比 池 塘 捕 鱼 代 表 着 传 统 数 据 库 时 代 的 数 据 管 理 方 式, 而 大 海 捕 鱼 则 对 应 着 大 数 据 时 代 的 数 据 管 理 方 式, 鱼 是 待 处 理 的 数 据 捕 鱼 环 境 条 件 的 变 化 导 致 了 捕 鱼 方 式 的 根 本 性 差 异 这 些 差 异 主 要 体 现 在 如 下 几 个 方 面 : 1 数 据 规 模 : 池 塘 和 大 海 最 容 易 发 现 的 区 别 就 是 规 模 池 塘 规 模 相 对 较 小, 即 便 是 先 前 认 为 比 较 大 的 池 塘, 譬 如 VLDB(Very Large Database), 和 大 海 XLDB(Extremely Large Database) 相 比 仍 旧 偏 小 池 塘 的 处 理 对 象 通 常 以 MB 为 基 本 单 位, 而 大 海 则 常 常 以 GB, 甚 至 是 TB PB 为 基 本 处 理 单 位 2 数 据 类 型 : 过 去 的 池 塘 中, 数 据 的 种 类 单 一, 往 往 仅 仅 有 一 种 或 少 数 几 种, 这 些 数 据 又 以 结 构 化 数 据 为 主 而 在 大 海 中, 数 据 的 种 类 繁 多, 数 以 千 计, 而 这 些 数 据 又 包 含 着 结 构 化 半 结 构 化 以 及 非 结 构 化 的 数 据, 并 且 半 结 构 化 和 非 结 构 化 数 据 所 占 份 额 越 来 越 大 3 模 式 (Schema) 和 数 据 的 关 系 : 传 统 的 数 据 库 都 是 先 有 模 式, 然 后 才 会 产 生 数 据 这 就 好 比 是 先 选 好 合 适 的 池 塘, 然 后 才 会 向 其 中 投 放 适 合 在 该 池 塘 环 境 生 长 的 鱼 而 大 数 据 时 代 很 多 情 况 下 难 以 预 先 确 定 模 式, 模 式 只 有 在 数 据 出 现 之 后 才 能 确 定, 且 模 式 随 着 数 据 量 的 增 长 处 于 不 断 的 演 变 之 中 这 就 好 比 先 有 少 量 的 鱼 类, 随 着 时 间 推 移, 鱼 的 种 类 和 数 量 都 在 不 断 的 增 长 鱼 的 变 化 会 使 大 海 的 成 分 和 环 境 处 于 不 断 的 变 化 之 中 4 处 理 对 象 : 在 池 塘 中 捕 鱼, 鱼 仅 仅 是 其 捕 捞 对 象 而 在 大 海 中, 鱼 除 了 是 捕 捞 对 象 之 外, 还 可 以 通 过 某 些 鱼 的 存 在 来 判 断 其 他 种 类 的 鱼 是 否 存 在 也 就 是 说 传 统 数 据 库 中 数 据 仅 作 为 处 理 对 象 而 在 大 数 据 时 代, 要 将 数 据 作 为 一 种 资 源 来 辅 助 解 决 其 他 诸 多 领 域 的 问 题 5 处 理 工 具 : 捕 捞 池 塘 中 的 鱼, 一 种 渔 网 或 少 数 几 种 基 本 就 可 以 应 对, 也 就 是 所 谓 的 One Size Fits All 但 是 在 大 海 中, 不 可 能 存 在 一 种 渔 网 能 够 捕 获 所 有 的 鱼 类, 也 就 是 说 No Size Fits All 从 池 塘 到 大 海, 不 仅 仅 是 规 模 的 变 大 传 统 的 数 据 库 代 表 着 数 据 工 程 (Data Engineering) 的 处 理 方 式, 大 数 据 时 代 的 数 据 已 不 仅 仅 只 是 工 程 处 理 的 对 象, 需 要 采 取 新 的 数 据 思 维 来 应 对 图 灵 奖 获 得 者 著 名 数 据 库 专 家 Jim Gray 博 士 观 察 并 总 结 人 类 自 古 以 来, 在 科 学 研 究 上, 先 后 历 经 了 实 验 理 论 和 计 算 三 种 范 式 当 数 据 量 不 断 增 长 和 累 积 到 今 天, 传 统 的 三 种 范 式 在 科 学 研 究, 特 别 是 一 些 新 的 研 究 领 域 已 经 无 法 很 好 的 发 挥 作 用, 需 要 有 一 种 全 新 的 第 四 种 范 式 来 指 导 新 形 势 下 的 科 学 研 究 基 于 这 种 考 虑,Jim Gray 提 出 了 一 种 新 的 数 据 探 索 型 研 究 方 式, 被 他 自 己 称 之 为 科 学 研 究 的 第 四 种 范 式 (The Fourth Paradigm) [14] Table 1 Four Science Paradigms 表 1 科 学 发 现 的 四 种 范 式 Science Paradigms Time Methodology Empirical Thousand years ago Describing natural phenomena Theoretical Last few hundred years Using models, generalizations Computational Last few decades Simulating complex phenomena Data Exploration (escience) Today Data captured by instruments or generated by simulator; Processed by software; Information stored in computer; Scientist analyzes database 10

20 四 种 范 式 的 比 较 如 表 1 [14] 所 示 第 四 种 范 式 的 实 质 就 是 从 以 计 算 为 中 心, 转 变 到 以 数 据 处 理 为 中 心, 也 就 是 我 们 所 说 的 数 据 思 维 这 种 方 式 需 要 我 们 从 根 本 上 转 变 思 维 正 如 前 面 提 到 的 捕 鱼, 在 大 数 据 时 代, 数 据 不 再 仅 仅 是 捕 捞 的 对 象, 而 应 当 转 变 成 一 种 基 础 资 源, 用 数 据 这 种 资 源 来 协 同 解 决 其 他 诸 多 领 域 的 问 题 计 算 社 会 科 学 (Computational Social Science) [15] 基 于 特 定 社 会 需 求, 在 特 定 的 社 会 理 论 指 导 下, 收 集 整 理 和 分 析 数 据 足 迹 (data print), 以 便 进 行 社 会 解 释 监 控 预 测 与 规 划 的 过 程 和 活 动 计 算 社 会 科 学 是 一 种 典 型 的 需 要 采 用 第 四 种 范 式 来 做 指 导 的 科 学 研 究 领 域 Duncan J. Watts 在 自 然 杂 志 上 的 文 章 A twenty-first century science [16] 也 指 出 借 助 于 社 交 网 络 和 计 算 机 分 析 技 术,21 世 纪 的 社 会 科 学 有 可 能 实 现 定 量 化 的 研 究, 从 而 成 为 一 门 真 正 的 自 然 科 学 2.3 大 数 据 的 产 生 和 应 用 人 类 历 史 上 从 未 有 哪 个 时 代 和 今 天 一 样 产 生 如 此 海 量 的 数 据 数 据 的 产 生 已 经 完 全 不 受 时 间 地 点 的 限 制 从 开 始 采 用 数 据 库 作 为 数 据 管 理 的 主 要 方 式 开 始, 人 类 社 会 的 数 据 产 生 方 式 大 致 经 历 了 3 个 阶 段, 而 正 是 数 据 产 生 方 式 的 巨 大 变 化 才 最 终 导 致 大 数 据 的 产 生 1 运 营 式 系 统 阶 段 数 据 库 的 出 现 使 得 数 据 管 理 的 复 杂 度 大 大 降 低, 实 际 中 数 据 库 大 都 为 运 营 系 统 所 采 用, 作 为 运 营 系 统 的 数 据 管 理 子 系 统 比 如 超 市 的 销 售 记 录 系 统, 银 行 的 交 易 记 录 系 统 医 院 病 人 的 医 疗 记 录 等 人 类 社 会 数 据 量 第 一 次 大 的 飞 跃 正 是 建 立 在 运 营 式 系 统 开 始 广 泛 使 用 数 据 库 开 始 这 个 阶 段 最 主 要 特 点 是 数 据 往 往 伴 随 着 一 定 的 运 营 活 动 而 产 生 并 记 录 在 数 据 库 中 的, 比 如 超 市 每 销 售 出 一 件 产 品 就 会 在 数 据 库 中 产 生 相 应 的 一 条 销 售 记 录 这 种 数 据 的 产 生 方 式 是 被 动 的 2 用 户 原 创 内 容 阶 段 互 联 网 的 诞 生 促 使 人 类 社 会 数 据 量 出 现 第 二 次 大 的 飞 跃 但 是 真 正 的 数 据 爆 发 产 生 于 Web 2.0 时 代, 而 Web 2.0 的 最 重 要 标 志 就 是 用 户 原 创 内 容 (UGC, User Generated Content) 这 类 数 据 近 几 年 一 直 呈 现 爆 炸 性 的 增 长, 主 要 有 两 个 方 面 的 原 因 首 先 是 以 博 客 微 博 为 代 表 的 新 型 社 交 网 络 的 出 现 和 快 速 发 展, 使 得 用 户 产 生 数 据 的 意 愿 更 加 强 烈 其 次 就 是 以 智 能 手 机 平 板 电 脑 为 代 表 的 新 型 移 动 设 备 的 出 现, 这 些 易 携 带 全 天 候 接 入 网 络 的 移 动 设 备 使 得 人 们 在 网 上 发 表 自 己 意 见 的 途 径 更 为 便 捷 这 个 阶 段 数 据 的 产 生 方 式 是 主 动 的 3 感 知 式 系 统 阶 段 人 类 社 会 数 据 量 第 三 次 大 的 飞 跃 最 终 导 致 了 大 数 据 的 产 生, 今 天 我 们 正 处 于 这 个 阶 段 这 次 飞 跃 的 根 本 原 因 在 于 感 知 式 系 统 的 广 泛 使 用 随 着 技 术 的 发 展, 人 们 已 经 有 能 力 制 造 极 其 微 小 的 带 有 处 理 功 能 的 传 感 器, 并 开 始 将 这 些 设 备 广 泛 的 布 置 于 社 会 的 各 个 角 落, 通 过 这 些 设 备 来 对 整 个 社 会 的 运 转 进 行 监 控 这 些 设 备 会 源 源 不 断 的 产 生 新 数 据, 这 种 数 据 的 产 生 方 式 是 自 动 的 简 单 来 说, 数 据 产 生 经 历 了 被 动 主 动 和 自 动 三 个 阶 段 这 些 被 动 主 动 和 自 动 的 数 据 共 同 构 成 了 大 数 据 的 数 据 来 源, 但 其 中 自 动 式 的 数 据 才 是 大 数 据 产 生 的 最 根 本 原 因 Table 2 Comparison between Typical Big Data Applications 表 2 典 型 大 数 据 应 用 的 比 较 Applications Examples Number of Users Response Time Data Scale Reliability Accuracy Scientific Bioinformatics Small Slow TB Moderate Very High Computing Finance High-frequency trading Large Very Fast GB Very High Very High Social network Facebook Very Large Fast PB High High Mobile Data Mobile phone Very Large Fast TB High High Internet of Things Sensor network Large Fast TB High High Web Data News website Very Large Fast PB High High Multimedia Video site Very Large Fast PB High Moderate 11

21 正 如 Google 的 首 席 经 济 学 家 Hal Varian 所 说 [17], 数 据 是 广 泛 可 用 的, 所 缺 乏 的 是 从 中 提 取 出 知 识 的 能 力 数 据 收 集 的 根 本 目 的 是 根 据 需 求 从 数 据 中 提 取 有 用 的 知 识, 并 将 其 应 用 到 具 体 的 领 域 之 中 不 同 领 域 的 大 数 据 应 用 有 不 同 的 特 点, 表 2 列 举 了 若 干 具 有 代 表 性 的 大 数 据 应 用 及 其 特 征 正 是 由 于 大 数 据 的 广 泛 存 在, 才 使 得 大 数 据 问 题 的 解 决 很 具 挑 战 性 而 它 的 广 泛 应 用, 则 促 使 越 来 越 多 的 人 开 始 关 注 和 研 究 大 数 据 问 题 3 大 数 据 处 理 框 架 3.1 大 数 据 处 理 模 式 大 数 据 的 应 用 类 型 很 多, 主 要 的 处 理 模 式 可 以 分 为 流 处 理 (Stream Processing) 和 批 处 理 (Batch Processing) 两 种 [18,19] 批 处 理 是 先 存 储 后 处 理 (Store-then-process), 而 流 处 理 则 是 直 接 处 理 (Straight-through processing) 流 处 理 流 处 理 的 基 本 理 念 是 数 据 的 价 值 会 随 着 时 间 的 流 逝 而 不 断 减 少 因 此 尽 可 能 快 的 对 最 新 的 数 据 做 出 分 析 并 给 出 结 果 是 所 有 流 数 据 处 理 模 式 的 共 同 目 标 需 要 采 用 流 数 据 处 理 的 大 数 据 应 用 场 景 主 要 有 网 页 点 击 数 的 实 时 统 计 传 感 器 网 络 金 融 中 的 高 频 交 易 等 流 处 理 的 处 理 模 式 将 数 据 视 为 流, 源 源 不 断 的 数 据 组 成 了 数 据 流 当 新 的 数 据 到 来 时 就 立 刻 处 理 并 返 回 所 需 的 结 果 图 1 [18] 是 流 处 理 中 基 本 的 数 据 流 模 型 : Fig. 1 Basic Data Stream Model 图 1 基 本 的 数 据 流 模 型 数 据 的 实 时 处 理 是 一 个 很 有 挑 战 性 的 工 作, 数 据 流 本 身 具 有 持 续 达 到 速 度 快 且 规 模 巨 大 等 特 点, 因 此 通 常 不 会 对 所 有 的 数 据 进 行 永 久 化 存 储, 而 且 数 据 环 境 处 在 不 断 的 变 化 之 中, 系 统 很 难 准 确 掌 握 整 个 数 据 的 全 貌 由 于 响 应 时 间 的 要 求, 流 处 理 的 过 程 基 本 在 内 存 中 完 成, 其 处 理 方 式 更 多 的 依 赖 于 在 内 存 中 设 计 巧 妙 的 概 要 数 据 结 构 (Synopsis data structure), 内 存 容 量 是 限 制 流 处 理 模 型 的 一 个 主 要 瓶 颈 以 PCM( 相 变 存 储 器 ) 为 代 表 的 SCM(Storage Class Memory, 储 存 级 内 存 ) 设 备 的 出 现 或 许 可 以 使 内 存 未 来 不 再 成 为 流 处 理 模 型 的 制 约 数 据 流 的 理 论 及 技 术 研 究 已 经 有 十 几 年 的 历 史, 目 前 仍 旧 是 研 究 热 点 于 此 同 时 很 多 实 际 系 统 也 已 开 发 和 得 到 广 泛 的 应 用, 比 较 代 表 性 的 开 源 系 统 如 Twitter 的 Storm [20] Yahoo 的 S4 [21] 以 及 Linkedin 的 Kafka [22] 等 批 处 理 Google 公 司 在 2004 年 提 出 的 MapReduce [23] 编 程 模 型 是 最 具 代 表 性 的 批 处 理 模 式 一 个 完 整 的 MapReduce 过 程 如 图 2 [23] 所 示 : 12

22 Fig. 2 Execution Overview of MapReduce 图 2 MapReduce 执 行 流 程 图 MapReduce 模 型 首 先 将 用 户 的 原 始 数 据 源 进 行 分 块, 然 后 分 别 交 给 不 同 的 Map 任 务 区 处 理 Map 任 务 从 输 入 中 解 析 出 Key/Value 对 集 合, 然 后 对 这 些 集 合 执 行 用 户 自 行 定 义 的 Map 函 数 得 到 中 间 结 果, 并 将 该 结 果 写 入 本 地 硬 盘 Reduce 任 务 从 硬 盘 上 读 取 数 据 之 后, 会 根 据 key 值 进 行 排 序, 将 具 有 相 同 key 值 的 组 织 在 一 起 最 后 用 户 自 定 义 的 Reduce 函 数 会 作 用 于 这 些 排 好 序 的 结 果 并 输 出 最 终 结 果 从 MapReduce 的 处 理 过 程 我 们 可 以 看 出,MapReduce 的 核 心 设 计 思 想 在 于 :1) 将 问 题 分 而 治 之 ;2) 把 计 算 推 到 数 据 而 不 是 把 数 据 推 到 计 算, 有 效 的 避 免 数 据 传 输 过 程 中 产 生 的 大 量 通 讯 开 销 MapReduce 模 型 简 单, 且 现 实 中 很 多 问 题 都 可 用 MapReduce 模 型 来 表 示 因 此 该 模 型 公 开 后, 立 刻 受 到 极 大 的 关 注, 并 在 生 物 信 息 学 文 本 挖 掘 等 领 域 得 到 广 泛 的 应 用 无 论 是 流 处 理 还 是 批 处 理, 都 是 大 数 据 处 理 的 可 行 思 路 大 数 据 的 应 用 类 型 很 多, 在 实 际 的 大 数 据 处 理 中, 常 常 并 不 是 简 单 的 只 使 用 其 中 的 某 一 种, 而 是 将 二 者 结 合 起 来 互 联 网 是 大 数 据 最 重 要 的 来 源 之 一, 很 多 互 联 网 公 司 根 据 处 理 时 间 的 要 求 将 自 己 的 业 务 划 分 为 在 线 (Online) 近 线 (Nearline) 和 离 线 (Offline), 比 如 著 名 的 职 业 社 交 网 站 Linkedin [24] 这 种 划 分 方 式 是 按 处 理 所 耗 时 间 来 划 分 的 其 中 在 线 的 处 理 时 间 一 般 在 秒 级, 甚 至 是 毫 秒 级, 因 此 通 常 采 用 上 面 所 说 的 流 处 理 离 线 的 处 理 时 间 可 以 以 天 为 基 本 单 位, 基 本 采 用 批 处 理 方 式, 这 种 方 式 可 以 最 大 限 度 的 利 用 系 统 I/O 近 线 的 处 理 时 间 一 般 在 分 钟 级 或 者 是 小 时 级, 对 其 处 理 模 型 并 没 有 特 别 的 要 求, 可 以 根 据 需 求 灵 活 选 择 但 在 实 际 中 多 采 用 批 处 理 模 式 3.2 大 数 据 处 理 的 基 本 流 程 大 数 据 的 数 据 来 源 广 泛, 应 用 需 求 和 数 据 类 型 都 不 尽 相 同, 但 是 最 基 本 的 处 理 流 程 一 致 海 量 Web 数 据 的 处 理 是 一 类 非 常 典 型 的 大 数 据 应 用, 从 中 可 以 归 纳 出 大 数 据 处 理 的 最 基 本 流 程 ScholarSpace [25] 由 中 国 人 民 大 学 网 络 与 移 动 数 据 管 理 实 验 室 (WAMDM) 开 发, 目 标 是 建 立 一 个 以 人 为 本, 即 以 作 者 为 中 心 来 展 示 多 学 科 中 文 文 献 的 集 成 数 据 库 系 统 该 系 统 已 经 从 最 初 的 计 算 机 领 域 扩 展 到 包 括 经 济 法 律 等 人 文 社 会 科 学 在 内 的 多 领 域 从 数 据 抽 取 和 集 成, 一 直 到 最 终 的 结 果 展 示,ScholarSpace 完 整 的 体 现 出 大 数 据 处 理 的 一 般 流 程 在 其 基 础 上 我 们 归 纳 出 大 数 据 的 基 本 流 程, 如 图 3 所 示 : 13

23 Fig. 3 Basic Framework of Big Data Processing 图 3 大 数 据 处 理 基 本 流 程 整 个 大 数 据 的 处 理 流 程 可 以 定 义 为 在 合 适 工 具 的 辅 助 下, 对 广 泛 异 构 的 数 据 源 进 行 抽 取 和 集 成, 结 果 按 照 一 定 的 标 准 统 一 存 储 利 用 合 适 的 数 据 分 析 技 术 对 存 储 的 数 据 进 行 分 析, 从 中 提 取 有 益 的 知 识 并 利 用 恰 当 的 方 式 将 结 果 展 现 给 终 端 用 户 具 体 来 说 可 以 分 为 数 据 抽 取 与 集 成 数 据 分 析 以 及 数 据 解 释 数 据 抽 取 与 集 成 大 数 据 的 一 个 重 要 特 点 就 是 多 样 性, 这 就 意 味 着 数 据 来 源 极 其 广 泛, 数 据 类 型 极 为 繁 杂 这 种 复 杂 的 数 据 环 境 给 大 数 据 的 处 理 带 来 极 大 的 挑 战 要 想 处 理 大 数 据, 首 先 必 须 对 所 需 数 据 源 的 数 据 进 行 抽 取 和 集 成, 从 中 提 取 出 关 系 和 实 体, 经 过 关 联 和 聚 合 之 后 采 用 统 一 定 义 的 结 构 来 存 储 这 些 数 据 在 数 据 集 成 和 提 取 时 需 要 对 数 据 进 行 清 洗, 保 证 数 据 质 量 及 可 信 性 同 时 还 要 特 别 注 意 前 面 提 及 的 大 数 据 时 代 模 式 和 数 据 的 关 系, 大 数 据 时 代 的 数 据 往 往 是 先 有 数 据 再 有 模 式, 且 模 式 是 在 不 断 的 动 态 演 化 之 中 的 数 据 抽 取 和 集 成 技 术 不 是 一 项 全 新 的 技 术, 传 统 数 据 库 领 域 已 对 此 问 题 有 了 比 较 成 熟 的 研 究 随 着 新 的 数 据 源 的 涌 现, 数 据 集 成 方 法 也 在 不 断 的 发 展 之 中 从 数 据 集 成 模 型 来 看, 现 有 的 数 据 抽 取 与 集 成 方 式 可 以 大 致 分 为 以 下 四 种 类 型 [26] : 基 于 物 化 或 是 ETL 方 法 的 引 擎 (Materialization or ETL engine) 基 于 联 邦 数 据 库 或 中 间 件 方 法 的 引 擎 (Federation engine or Mediator) 基 于 数 据 流 方 法 的 引 擎 (Stream engine) 及 基 于 搜 索 引 擎 的 方 法 (Search engine) 数 据 分 析 数 据 分 析 是 整 个 大 数 据 处 理 流 程 的 核 心, 因 为 大 数 据 的 价 值 产 生 于 分 析 过 程 从 异 构 数 据 源 抽 取 和 集 成 的 数 据 构 成 了 数 据 分 析 的 原 始 数 据 根 据 不 同 应 用 的 需 求 可 以 从 这 些 数 据 中 选 择 全 部 或 部 分 进 行 分 析 传 统 的 分 析 技 术 如 数 据 挖 掘 机 器 学 习 统 计 分 析 等 在 大 数 据 时 代 需 要 做 出 调 整, 因 为 这 些 技 术 在 大 数 据 时 代 面 临 着 一 些 新 的 挑 战, 主 要 有 : 14

24 1 数 据 量 大 并 不 一 定 意 味 着 数 据 价 值 的 增 加, 相 反 这 往 往 意 味 着 数 据 噪 音 的 增 多 因 此 在 数 据 分 析 之 前 必 须 进 行 数 据 清 洗 等 预 处 理 工 作, 但 是 预 处 理 如 此 大 量 的 数 据 对 于 机 器 硬 件 以 及 算 法 都 是 严 峻 的 考 验 2 大 数 据 时 代 的 算 法 需 要 进 行 调 整 首 先 大 数 据 的 应 用 常 常 具 有 实 时 性 的 特 点, 算 法 的 准 确 率 不 再 是 大 数 据 应 用 的 最 主 要 指 标 很 多 场 景 中 算 法 需 要 在 处 理 的 实 时 性 和 准 确 率 之 间 取 得 一 个 平 衡, 比 如 在 线 的 机 器 学 习 算 法 (online machine learning) 其 次 云 计 算 是 进 行 大 数 据 处 理 的 有 力 工 具, 这 就 要 求 很 多 算 法 必 须 做 出 调 整 以 适 应 云 计 算 的 框 架, 算 法 需 要 变 得 具 有 可 扩 展 性 最 后 在 选 择 算 法 处 理 大 数 据 时 必 须 谨 慎, 当 数 据 量 增 长 到 一 定 规 模 以 后, 可 以 从 小 量 数 据 中 挖 掘 出 有 效 信 息 的 算 法 并 一 定 适 用 于 大 数 据 统 计 学 中 的 邦 弗 朗 尼 原 理 (Bonferroni s Principle) [27][ 注 1] 就 是 一 个 典 型 的 例 子 3 数 据 结 果 好 坏 的 衡 量 得 到 分 析 结 果 并 不 难, 但 是 结 果 好 坏 的 衡 量 却 是 大 数 据 时 代 数 据 分 析 的 新 挑 战 大 数 据 时 代 的 数 据 量 大 类 型 庞 杂, 进 行 分 析 的 时 候 往 往 对 整 个 数 据 的 分 布 特 点 掌 握 的 不 太 清 楚, 这 会 导 致 最 后 在 设 计 衡 量 的 方 法 以 及 指 标 的 时 候 遇 到 诸 多 困 难 大 数 据 分 析 已 被 广 泛 应 用 于 诸 多 领 域, 典 型 的 有 推 荐 系 统 商 业 智 能 决 策 支 持 等 数 据 解 释 数 据 分 析 是 大 数 据 处 理 的 核 心, 但 是 用 户 往 往 更 关 心 结 果 的 展 示 如 果 分 析 的 结 果 正 确 但 是 没 有 采 用 适 当 的 解 释 方 法, 则 所 得 到 的 结 果 很 可 能 让 用 户 难 以 理 解, 极 端 情 况 下 甚 至 会 误 导 用 户 数 据 解 释 的 方 法 很 多, 比 较 传 统 的 就 是 以 文 本 形 式 输 出 结 果 或 者 直 接 在 电 脑 终 端 上 显 示 结 果 这 种 方 法 在 面 对 小 数 据 量 时 是 一 种 很 好 的 选 择 但 是 大 数 据 时 代 的 数 据 分 析 结 果 往 往 也 是 海 量 的, 同 时 结 果 之 间 的 关 联 关 系 极 其 复 杂, 采 用 传 统 的 解 释 方 法 基 本 不 可 行 可 以 考 虑 从 下 面 两 个 方 面 提 升 数 据 解 释 能 力 1 引 入 可 视 化 技 术 可 视 化 作 为 解 释 大 量 数 据 最 有 效 的 手 段 之 一 率 先 被 科 学 与 工 程 计 算 领 域 采 用 通 过 对 分 析 结 果 的 可 视 化 用 形 象 的 方 式 向 用 户 展 示 结 果, 而 且 图 形 化 的 方 式 比 文 字 更 易 理 解 和 接 受 常 见 的 可 视 化 技 术 有 标 签 云 (Tag Cloud) 历 史 流 (history flow) 空 间 信 息 流 (Spatial information flow) 等 可 以 根 据 具 体 的 应 用 需 要 选 择 合 适 的 可 视 化 技 术 2 让 用 户 能 够 在 一 定 程 度 上 了 解 和 参 与 具 体 的 分 析 过 程 这 个 既 可 以 采 用 人 机 交 互 技 术, 利 用 交 互 式 的 数 据 分 析 过 程 来 引 导 用 户 逐 步 的 进 行 分 析, 使 得 用 户 在 得 到 结 果 的 同 时 更 好 的 理 解 分 析 结 果 的 由 来 也 可 以 采 用 数 据 起 源 技 术 [28], 通 过 该 技 术 可 以 帮 助 追 溯 整 个 数 据 分 析 的 过 程, 有 助 于 用 户 理 解 结 果 4 关 键 技 术 分 析 大 数 据 价 值 的 完 整 体 现 需 要 多 种 技 术 的 协 同 文 件 系 统 提 供 最 底 层 存 储 能 力 的 支 持 为 了 便 于 数 据 管 理, 需 要 在 文 件 系 统 之 上 建 立 数 据 库 系 统 通 过 索 引 等 的 构 建, 对 外 提 供 高 效 的 数 据 查 询 等 常 用 功 能 最 终 通 过 数 据 分 析 技 术 从 数 据 库 中 的 大 数 据 提 取 出 有 益 的 知 识 4.1 云 计 算 : 大 数 据 的 基 础 平 台 与 支 撑 技 术 如 果 将 各 种 大 数 据 的 应 用 比 作 一 辆 辆 汽 车 的 话, 支 撑 起 这 些 汽 车 运 行 的 高 速 公 路 就 是 云 计 算 正 是 云 计 算 技 术 在 数 据 存 储 管 理 与 分 析 等 方 面 的 支 撑, 才 使 得 大 数 据 有 用 武 之 地 在 所 有 的 高 速 公 路 中,Google 无 疑 是 技 术 最 为 先 进 的 一 个 需 求 推 动 创 新, 面 对 海 量 的 Web 数 据, Google 于 2006 年 首 先 提 出 了 云 计 算 的 概 念 支 撑 Google 内 部 各 种 大 数 注 1 邦 弗 朗 尼 原 理 表 明 了 并 非 给 定 数 据 集 和 挖 掘 任 务, 就 肯 定 能 挖 掘 出 合 理 的 结 果 具 体 内 容 见 参 考 文 献 [27] 15

25 据 应 用 的 正 是 其 自 行 研 发 的 一 系 列 云 计 算 技 术 和 工 具 难 能 可 贵 的 是 Google 并 未 将 这 些 技 术 完 全 封 闭, 而 是 以 论 文 的 形 式 逐 步 公 开 其 实 现 正 是 这 些 公 开 的 论 文, 使 得 以 GFS MapReduce Bigtable 为 代 表 的 一 系 列 大 数 据 处 理 技 术 被 广 泛 了 解 并 得 到 应 用, 同 时 还 催 生 出 以 Hadoop [29] 为 代 表 的 一 系 列 云 计 算 开 源 工 具 云 计 算 技 术 很 多, 但 是 通 过 Google 云 计 算 技 术 的 介 绍 能 够 快 速 完 整 的 把 握 云 计 算 技 术 的 核 心 和 精 髓 本 节 以 Google 的 相 关 技 术 介 绍 为 主 线, 详 细 介 绍 Google 以 及 其 他 众 多 学 者 和 研 究 机 构 在 大 数 据 技 术 方 面 已 有 的 一 些 工 作 根 据 Google 已 公 开 的 论 文 及 相 关 资 料, 结 合 大 数 据 处 理 的 需 求, 我 们 对 Google 的 技 术 演 化 进 行 了 整 理, 如 图 4 [ 注 2] 所 示 : Fig. 4 Technology Evolution in Google 图 4 Google 技 术 演 化 图 文 件 系 统 文 件 系 统 是 支 撑 上 层 应 用 的 基 础 在 Google 之 前, 尚 未 有 哪 个 公 司 面 对 过 如 此 多 的 海 量 数 据 因 此 对 于 Google 而 言 并 没 有 完 全 成 熟 的 存 储 方 案 可 以 直 接 使 用 Google 认 为 系 统 组 件 失 败 是 一 种 常 态 而 不 是 异 常, 基 于 此 思 想 Google 自 行 设 计 开 发 了 Google 文 件 系 统 GFS [30] (Google File System) GFS 是 构 建 在 大 量 廉 价 服 务 器 之 上 的 一 个 可 扩 展 的 分 布 式 文 件 系 统,GFS 主 要 针 对 文 件 较 大, 且 读 远 大 于 写 的 应 用 场 景, 采 用 主 从 (Master-Slave) 结 构 通 过 数 据 分 块 追 加 更 新 (Append-Only) 等 方 式 实 现 了 海 量 数 据 的 高 效 存 储 随 着 时 间 推 移, GFS 的 架 构 逐 渐 开 始 无 法 适 应 需 求 Google 对 GFS 进 行 了 重 新 的 设 计, 该 系 统 正 式 的 名 称 [31] 为 Colosuss, 具 体 实 现 尚 未 公 开, 但 是 从 ACM 对 GFS 团 队 核 心 工 程 师 的 访 谈 可 以 了 解 其 一 些 新 的 特 性 其 中 GFS 的 单 点 故 障 ( 指 仅 有 一 个 主 节 点 容 易 成 为 系 统 的 瓶 颈 ) 海 量 小 文 件 的 存 储 等 问 题 在 Colosuss 中 均 得 到 了 解 决 除 了 Google, 众 多 企 业 和 学 者 也 从 不 同 方 面 对 满 足 大 数 据 存 储 需 求 的 文 件 系 统 进 行 了 详 尽 的 研 究 微 软 自 行 开 发 的 Cosmos [32] 支 撑 着 其 搜 索 广 告 等 业 务 HDFS [33] 和 CloudStore [34] 都 是 模 仿 GFS 的 开 源 实 现 GFS 类 的 文 件 系 统 主 要 是 针 对 较 大 文 件 设 计 的, 而 在 图 片 存 储 等 应 用 场 景, 文 件 系 统 主 要 存 储 海 量 小 文 件, 此 时 GFS 等 文 件 系 统 因 为 频 繁 读 取 元 数 据 等 原 因, 效 率 很 低 针 对 这 种 情 况,Facebook 推 出 了 专 门 针 对 海 量 小 文 件 的 文 件 系 统 Haystack [35], 通 过 多 个 逻 辑 文 件 共 享 同 一 个 物 理 文 件 增 加 缓 存 层 部 分 元 数 据 加 载 到 内 存 等 方 式 有 效 的 解 决 了 Facebook 海 量 图 片 存 储 问 题 淘 宝 推 出 了 类 似 的 文 件 系 统 TFS [36] (Tao File System), 通 过 将 小 文 件 合 并 成 大 文 件 文 件 名 隐 含 部 分 元 数 据 等 方 式 实 现 了 海 量 小 文 件 的 高 效 存 储 FastDFS [37] 针 对 小 文 件 的 优 化 类 似 于 TFS 注 2: 上 面 所 列 的 系 统 绝 大 部 分 都 已 经 有 论 文 公 布 其 大 致 实 现, 虽 然 Colossus 和 Caffeine 系 统 并 没 有 论 文 公 开, 但 是 可 以 确 定 其 存 在 图 中 所 列 时 间 如 无 特 别 标 明, 均 为 论 文 发 表 时 间, 并 不 代 表 其 在 Google 内 部 的 正 式 部 署 和 使 用 时 间 16

26 4.1.2 数 据 库 系 统 原 始 的 数 据 存 储 在 文 件 系 统 之 中, 但 是 用 户 习 惯 通 过 数 据 库 系 统 来 存 取 文 件 因 为 这 样 会 屏 蔽 掉 底 层 的 细 节, 且 方 便 数 据 管 理 直 接 采 用 关 系 模 型 的 分 布 式 数 据 库 并 不 能 适 应 大 数 据 时 代 的 数 据 存 储, 主 要 因 为 : 1) 规 模 效 应 所 带 来 的 压 力 大 数 据 时 代 的 数 据 量 远 远 超 过 单 机 所 能 容 纳 的 数 据 量, 因 此 必 须 采 用 分 布 式 存 储 的 方 式 这 就 需 要 系 统 具 有 很 好 的 扩 展 性, 但 这 恰 恰 是 传 统 数 据 库 的 弱 势 之 一 因 为 传 统 的 数 据 库 产 品 对 于 性 能 的 扩 展 更 倾 向 于 Scale-Up( 纵 向 扩 展 ) 的 方 式, 而 这 种 方 式 对 于 性 能 的 增 加 速 度 远 低 于 需 要 处 理 数 据 的 增 长 速 度, 且 性 能 提 升 存 在 上 限 适 应 大 数 据 的 数 据 库 系 统 应 当 具 有 良 好 的 Scale-Out( 横 向 扩 展 ) 能 力, 而 这 种 性 能 扩 展 方 式 恰 恰 是 传 统 数 据 库 所 不 具 备 的 即 便 是 性 能 最 好 的 并 行 数 据 库 产 品 其 Scale-Out 能 力 也 相 对 有 限 2) 数 据 类 型 的 多 样 化 传 统 的 数 据 库 比 较 适 合 结 构 化 数 据 的 存 储, 但 是 数 据 的 多 样 性 是 大 数 据 时 代 的 显 著 特 征 之 一 这 也 就 是 意 味 着 除 了 结 构 化 数 据, 半 结 构 化 和 非 结 构 化 数 据 也 将 是 大 数 据 时 代 的 重 要 数 据 类 型 组 成 部 分 如 何 高 效 的 处 理 多 种 数 据 类 型 是 大 数 据 时 代 数 据 库 技 术 面 临 的 重 要 挑 战 之 一 3) 设 计 理 念 的 冲 突 关 系 数 据 库 追 求 的 是 One size fits all 的 目 标, 希 望 将 用 户 从 繁 杂 的 数 据 管 理 中 解 脱 出 来, 在 面 对 不 同 的 问 题 时 不 需 要 重 新 考 虑 数 据 管 理 问 题, 从 而 可 以 将 重 心 转 向 其 他 的 部 分 但 在 大 数 据 时 代 不 同 的 应 用 领 域 在 数 据 类 型 数 据 处 理 方 式 以 及 数 据 处 理 时 间 的 要 求 上 有 极 大 的 差 异 在 实 际 的 处 理 中 几 乎 不 可 能 有 一 种 统 一 的 数 据 存 储 方 式 能 够 应 对 所 有 场 景 比 如 对 于 海 量 Web 数 据 的 处 理 就 不 可 能 和 天 文 图 像 数 据 采 取 同 样 的 处 理 方 式 在 这 种 情 况 下, 很 多 公 司 开 始 尝 试 从 One size fits one 和 One size fits domain 的 设 计 理 念 出 发 来 研 究 新 的 数 据 管 理 方 式, 并 产 生 了 一 系 列 非 常 有 代 表 性 的 工 作 4) 数 据 库 事 务 特 性 众 所 周 知 关 系 数 据 库 中 事 务 的 正 确 执 行 必 须 满 足 ACID 特 性, 即 原 子 性 (Atomicity) 一 致 性 (Consistency) 隔 离 性 (Isolation) 和 持 久 性 (Durability) 对 于 数 据 强 一 致 性 的 严 格 要 求 使 其 在 很 多 大 数 据 场 景 中 无 法 应 用 这 种 情 况 下 出 现 了 新 的 BASE 特 性, 即 只 要 求 满 足 Basically Available( 基 本 可 用 ), Soft state( 柔 性 状 态 ) 和 Eventually consistent( 最 [38][ 注 3] 终 一 致 ) 从 分 布 式 领 域 著 名 的 CAP 理 论 的 角 度 来 看,ACID 追 求 一 致 性 C, 而 BASE 更 加 关 注 可 用 性 A 正 是 在 事 务 处 理 过 程 中 对 于 ACID 特 性 的 严 格 要 求, 使 得 关 系 型 数 据 库 的 可 扩 展 性 极 其 有 限 面 对 这 些 挑 战, 以 Google 为 代 表 的 一 批 技 术 公 司 纷 纷 推 出 了 自 己 的 解 决 方 案 Bigtable [39] 是 Google 早 期 开 发 的 数 据 库 系 统, 它 是 一 个 多 维 稀 疏 排 序 表, 由 行 和 列 组 成, 每 个 存 储 单 元 都 有 一 个 时 间 戳, 形 成 三 维 结 构 不 同 的 时 间 对 同 一 个 数 据 单 元 的 多 个 操 作 形 成 的 数 据 的 多 个 版 本 之 间 由 时 间 戳 来 区 分 除 了 Bigtable,Amazon 的 Dynamo [40] 和 Yahoo 的 PNUTS [41] 也 都 是 非 常 具 有 代 表 性 的 系 统 Dynamo 综 合 使 用 了 键 / 值 存 储 改 进 的 分 布 式 哈 希 表 (DHT) 向 量 时 钟 (Vector Clock) 等 技 术 实 现 了 一 个 完 全 的 分 布 式 去 中 心 化 的 高 可 用 系 统 PNUTS 是 一 个 分 布 式 的 数 据 库, 在 设 计 上 使 用 弱 一 致 性 来 达 到 高 可 用 性 的 目 标, 主 要 的 服 务 对 象 是 相 对 较 小 的 记 录, 比 如 在 线 的 大 量 单 个 记 录 或 者 小 范 围 记 录 集 合 的 读 和 写 访 问 不 适 合 存 储 大 文 件 流 媒 体 等 Bigtable Dynamo PNUTS 等 的 成 功 促 使 人 们 开 始 对 关 系 数 据 库 进 行 反 思, 由 此 产 生 了 一 批 未 采 用 关 系 模 型 的 数 据 库, 这 些 方 案 现 在 被 统 一 的 称 为 NoSQL(Not Only SQL) NoSQL 并 没 有 一 个 准 确 的 定 义, 但 一 般 认 为 NoSQL 数 据 库 应 当 具 有 以 下 的 特 征 [42] : 模 式 自 由 (schema-free) 支 持 简 易 备 份 (easy replication support) 简 单 的 应 用 程 序 接 口 (simple API) 最 终 一 致 性 ( 或 者 说 支 持 BASE 特 性, 不 支 持 ACID) 支 持 海 量 数 据 (Huge amount of data) NoSQL 和 关 系 型 数 据 库 的 简 单 比 较 如 表 3 所 示 : 注 3 :CAP 理 论 指 出 : 一 个 分 布 式 系 统 不 可 能 同 时 满 足 一 致 性 (Consistency) 可 用 性 (Availability) 和 分 区 容 错 性 (Partition Tolerance) 最 多 只 能 同 时 满 足 其 中 两 个 17

27 Table 3 Comparison between NoSQL Database and RDBMS 表 3 NoSQL 数 据 库 和 关 系 数 据 库 的 对 比 Objects of RDBMS NoSQL Notes Comparison Rationale Perfect Imperfect RDBMS is based on mathematical model;nosql has no such model Data Scale Large Extremely Large Performance of RDBMS will degrade as the data increase, so it's usually not appropriate for extremely large data;nosql can increase the volume of storage by adding more devices. Schema Fixed Flexible RDBMS must define schema at first;nosql is schema-free Query Fast Simple query is efficient RDBMS will build index,so it can well support point query and range query;nosql has no index,although the query processing can be accelerated by MapReduce, it is still less efficient. Consistency Strong consistency Weak consistency RDBMS obey ACID;NoSQL obey BASE Scalability Moderate Good RDBMS is difficult to scale;nosql can easily scale out by adding new nodes Availability Good Very Good Availability of RDBMS is relatively weak when the volume of data is very large because of its limitation of strong consistency;nosql can achieve better availability by relaxing ACID semantics Standard Yes No RDBMS has standard(sql);nosql has no such standard Technical Support High Low Technical support for RDBMS is high; Technical support for NoSQL is low Maintenance Complex Complex RDBMS should be maintained by DBA;NoSQL is not sophisticated now, so its maintenance is also difficult 典 型 的 NoSQL 数 据 库 分 类 如 表 4 [43] 所 示 : Table 4 Typical NoSQL Databases 表 4 典 型 NoSQL 数 据 库 Category Key-Value Column Matching databases Redis Riak HBase Cassandra Performance Scalability Flexibility Complexity Advantages Disadvantages High High High None Query is efficient Stored data lack structure High High Moderate Low Query is efficient Functionality is minimal Document CouchDB High Variable High Low Little limits on Performance of MongoDB data structure query is low Graph Neo4J Variable Variable High High Graph algorithms Data scale OrientDB are sophisticated is relatively low Bigtable 的 模 型 简 单, 但 是 相 较 传 统 的 关 系 数 据 库 其 支 持 的 功 能 非 常 有 限, 不 支 持 ACID 特 性 因 此 Google 开 发 了 Megastore [44] 系 统, 虽 然 其 底 层 数 据 存 储 依 赖 Bigtable, 但 是 它 实 现 了 类 似 RDBMS 的 数 据 模 型, 同 时 提 供 数 据 的 强 一 致 性 解 决 方 案 Megastore 将 数 据 进 行 细 粒 度 的 分 区, 数 据 更 新 会 在 机 房 间 进 行 同 步 复 制 Spanner [45] 是 已 知 的 Google 的 最 新 的 数 据 库 系 统,Google 在 OSDI2012 上 公 开 了 Spanner 的 实 现 Spanner 是 第 一 个 可 以 实 现 全 球 规 模 扩 展 (Global Scale) 并 且 支 持 外 部 一 致 的 事 务 (support externally-consistent distributed transactions) 的 数 据 库 通 过 GPS 和 原 子 时 钟 (atomic clocks) 技 术,Spanner 实 现 了 一 个 时 间 API 借 助 该 API, 数 据 中 心 之 间 的 时 间 同 步 能 够 精 确 到 10ms 以 内 Spanner 类 似 于 Bigtable, 18

28 但 是 它 具 有 层 次 性 的 目 录 结 构 以 及 细 粒 度 的 数 据 复 制 对 于 数 据 中 心 之 间 不 同 操 作 会 分 别 支 持 强 一 致 性 或 弱 一 致 性, 且 支 持 更 多 的 自 动 操 作 Spanner 的 目 标 是 控 制 一 百 万 到 一 千 万 台 服 务 器, 最 多 包 含 大 约 10 万 亿 目 录 和 一 千 万 亿 字 节 的 存 储 空 间 另 外 在 SIGMOD2012 上, Google 公 开 了 用 于 其 广 告 系 统 的 新 数 据 库 产 品 F1 [46], 作 为 一 种 混 合 型 数 据 库 F1 融 合 兼 有 Bigtable 的 高 扩 展 性 以 及 SQL 数 据 库 的 可 用 性 和 功 能 性 该 产 品 的 底 层 存 储 正 是 采 用 Spanner, 具 有 很 多 新 的 特 性, 包 括 全 局 分 布 式 同 步 跨 数 据 中 心 复 制 可 视 分 片 和 数 据 移 动 常 规 事 务 等 有 些 比 较 激 进 的 观 点 认 为 关 系 数 据 库 已 死, 我 们 认 为 关 系 数 据 库 和 NoSQL 并 不 是 矛 盾 的 对 立 体, 而 是 可 以 相 互 补 充 的 适 用 于 不 同 应 用 场 景 的 技 术 例 如 实 际 的 互 联 网 系 统 往 往 都 是 ACID 和 BASE 两 种 系 统 的 结 合 近 些 年 来, 以 Spanner 为 代 表 的 若 干 新 型 数 据 库 的 出 现, 给 数 据 存 储 带 来 了 SQL NoSQL 之 外 的 新 思 路 这 种 融 合 了 一 致 性 和 可 用 性 的 NewSQL 或 许 会 是 未 来 大 数 据 存 储 新 的 发 展 方 向 索 引 与 查 询 技 术 数 据 查 询 是 数 据 库 最 重 要 的 应 用 之 一 而 索 引 则 是 解 决 数 据 查 询 问 题 的 有 效 方 案 就 Google 自 身 而 言, 索 引 的 构 建 是 提 供 搜 索 服 务 的 关 键 部 分 Google 最 早 的 索 引 系 统 是 利 用 MapReduce 来 更 新 的 根 据 更 新 频 率 进 行 层 次 划 分, 不 同 的 层 次 对 应 不 同 的 更 新 频 率 每 次 需 要 批 量 更 新 索 引, 即 使 有 些 数 据 并 未 改 变 也 需 要 处 理 掉 这 种 索 引 更 新 方 式 效 率 较 低 随 后 Google 提 出 了 Percolator [47], 这 是 一 种 增 量 式 的 索 引 更 新 器, 每 次 更 新 不 需 要 替 换 所 有 的 索 引 数 据, 效 率 大 大 提 高 虽 然 不 是 所 有 的 大 数 据 应 用 都 需 要 索 引, 但 是 这 种 增 量 计 算 的 思 想 非 常 值 得 我 们 借 鉴 Google 当 前 正 在 使 用 的 索 引 系 统 为 Caffeine [48], 其 具 体 实 现 尚 未 公 布 但 是 可 以 确 定 Caffeine 是 构 建 在 Spanner 之 上, 采 用 Percolator 更 新 索 引 效 率 相 较 上 一 代 索 引 系 统 而 言 有 大 幅 度 提 高 关 系 数 据 库 也 是 利 用 对 数 据 构 建 索 引 的 方 式 较 好 的 解 决 了 数 据 查 询 的 问 题 不 同 的 索 引 方 案 使 得 关 系 数 据 库 可 以 满 足 不 同 场 景 的 要 求 索 引 的 建 立 以 及 更 新 都 会 耗 费 较 多 的 时 间, 在 面 对 传 统 数 据 库 的 小 数 据 量 时 这 些 时 间 和 其 所 带 来 的 查 询 便 利 性 相 比 是 可 以 接 受 的, 但 是 这 些 复 杂 的 索 引 方 案 基 本 无 法 直 接 应 用 到 大 数 据 之 上 表 5 [49] 是 对 一 些 索 引 方 案 直 接 应 用 在 Facebook 上 的 性 能 估 计 : Table 5 Query Index Examples 表 5 查 询 索 引 的 案 例 Algorithms Index Size for Facebook Index Time for Facebook Query Time on Facebook(s) Ullmann[Ullmann 76] - - >1000 VF2[CordellaFSV04] - - >1000 RDF-3X[NeumannW10] 1T >20 days >48 BitMat[AtreCZH10] 2.4T >20days >269 Subdue[HolderCD94] - >67 years - SpiderMine[ZhuQLYHY11] - >3 years - R-Join[ChengYDYW08] >175T >10 15 years >200 Distance-Join[ZouCO09] >175T >10 15 years >4000 GraphQL[HeS08] >13T(r=2) >600 years >2000 Zhao[ZhaoH10] >12T(r=2) >600 years >600 GADDI[ZhangLY09] >2*10 5 T(L=4) >4*10 5 years >400 从 上 表 可 以 看 出 不 太 可 能 将 已 有 的 成 熟 索 引 方 案 直 接 应 用 于 大 数 据 NoSQL 数 据 库 针 对 主 键 的 查 询 效 率 一 般 较 高, 因 此 有 关 的 研 究 集 中 在 NoSQL 数 据 库 的 多 值 查 询 优 化 上 针 对 NoSQL 数 据 库 上 的 查 询 优 化 研 究 主 要 有 两 种 思 路 : 19

29 1 采 用 MapReduce 并 行 技 术 优 化 多 值 查 询 : 当 利 用 MapReduce 并 行 查 询 NoSQL 数 据 库 时, 每 个 MapTask 处 理 一 部 分 的 查 询 操 作, 通 过 实 现 多 个 部 分 之 间 的 并 行 查 询 来 提 高 多 值 查 询 的 效 率 此 时 每 个 部 分 的 内 部 仍 旧 需 要 进 行 数 据 的 全 扫 描 2 采 用 索 引 技 术 优 化 多 值 查 询 : 很 多 的 研 究 工 作 尝 试 从 添 加 多 维 索 引 的 角 度 来 加 速 NoSQL 数 据 库 的 查 询 速 度 表 6 列 举 了 已 有 的 一 些 解 决 方 案 的 对 比 Table 6 Comparison between Multiple Fields Query using Index 表 6 采 用 索 引 加 速 多 值 查 询 的 方 案 对 比 Types of indexes Advantages Disadvantages Examples Multiple one-dimensional Indexes Achievement and Less efficient multidimensional query ITHbase maintenance are easy and high space redundancy IHbase CCIndex Asynchronous views Multidimensional Index Good scalability Achievement and maintenance of index are complex RT-CAN QT-Chord EMINC A-Tree Spatial Index High write throughput Consistency maintenance is complex MD-HBase and low cost of maintenance UQE-Index ITHbase [50] IHbase [51] CCIndex [52] 和 Asynchronous views [53] 是 典 型 的 采 用 多 个 一 维 二 级 索 引 来 加 速 多 值 查 询 优 化 的 实 现 方 案 其 中 ITHbase 和 IHbase 是 两 个 开 源 的 实 现 方 案, ITHbase 主 要 关 注 于 数 据 一 致 性, 事 务 性 是 其 重 要 特 性 IHbase 与 ITHbase 类 似, 从 HBase 源 码 级 别 进 行 了 扩 展, 重 新 定 义 和 实 现 了 Server Client 端 处 理 逻 辑 CCIndex (Complemental Clustering Index) 是 中 科 院 提 出 的 另 外 一 种 索 引 结 构, 它 在 索 引 中 既 存 储 索 引 项, 也 存 储 记 录 的 其 他 列 的 数 据, 以 便 在 查 询 的 时 候 直 接 在 索 引 表 中 通 过 顺 序 扫 描 找 到 相 应 的 数 据, 大 幅 度 减 少 查 询 时 间 该 方 法 本 质 是 以 空 间 代 价 来 换 取 查 询 效 率 CCIndex 的 索 引 更 新 代 价 比 较 高, 会 影 响 系 统 的 吞 吐 量 索 引 创 建 以 后, 不 能 够 动 态 增 加 或 修 改 Asynchronous views 以 异 步 视 图 的 方 式 来 实 现 非 主 键 的 查 询, 提 出 了 两 种 视 图 方 案 : 远 端 视 图 表 (Remote View Tables: RVTs) 和 局 部 视 图 表 (Local View Tables: LVTs) RT-CAN [54] 采 用 多 维 索 引 加 速 多 值 查 询 其 局 部 索 引 采 用 R-tree, 全 局 索 引 中 采 用 了 能 够 支 持 多 维 查 询 的 CAN 覆 盖 网 络 QT-Chord [55] 是 另 一 种 双 层 索 引 结 构, 它 的 局 部 索 引 采 用 的 是 改 进 的 四 叉 树 IMX-CIF quad-tree, 全 局 索 引 采 用 的 Chord 覆 盖 网 络 EMINC [56] 针 对 每 个 局 部 节 点 建 立 一 个 KD-tree, 然 后 选 择 KD-tree 的 部 分 节 点 作 为 全 局 索 引 每 一 个 局 部 索 引 节 点 被 看 成 是 一 个 多 个 维 度 组 成 的 立 方 体, 然 后 在 全 局 索 引 中 用 R-tree 对 这 些 立 方 体 进 行 索 引 A-Tree [57] 提 出 了 另 外 一 种 方 案 基 本 思 路 是 : 针 对 每 一 个 存 储 节 点 构 建 R-tree, 同 时 创 建 一 个 Bloom filter( 布 隆 过 滤 器 ) 这 样 在 进 行 点 查 询 的 时 候, 首 先 通 过 Bloom filter 进 行 验 证, 如 果 查 询 点 不 在 其 中, 则 不 再 进 行 R-tree 查 询, 否 则 继 续 进 行 R-tree 查 询 MD-HBase [58] 提 出 一 种 基 于 空 间 目 标 排 序 的 索 引 方 案 基 于 空 间 目 标 排 序 的 索 引 方 法 的 基 本 思 想 是 : 按 照 一 定 规 则 将 覆 盖 整 个 研 究 区 的 范 围 划 分 为 大 小 相 等 的 格 子, 并 给 每 一 格 网 分 配 一 个 编 号, 用 这 些 编 号 为 空 间 目 标 生 成 一 组 具 有 代 表 意 义 的 数 字 其 实 质 是 将 k 维 空 间 的 实 体 映 射 到 一 维 空 间, 因 此 可 以 利 用 现 有 数 据 库 管 理 系 统 中 比 较 成 熟 的 一 维 索 引 技 术 UQE-Index [59] 主 要 针 对 海 量 物 联 网 应 用 场 景 的 时 空 特 性, 在 时 间 维 度 上 把 数 据 分 成 当 前 数 据 和 历 史 数 据, 对 当 前 数 据 和 历 史 数 据 进 行 不 同 粒 度 的 索 引, 对 当 前 数 据, 在 时 间 段 和 子 空 间 上 进 行 索 引, 从 而 减 少 索 引 更 新 的 次 数, 降 低 索 引 维 护 的 代 价, 提 高 系 统 的 吞 吐 量 ; 对 历 史 数 据, 批 量 地 建 立 记 录 级 别 的 索 引 ; 在 建 立 子 空 间 索 引 时, 为 了 确 保 数 据 分 布 均 匀, 采 用 20

30 KD Tree 进 行 动 态 划 分 但 是 如 果 所 有 的 数 据 都 需 要 经 过 KD Tree 来 索 引 的 话, 也 会 带 来 较 高 的 代 价, 会 影 响 数 据 的 插 入 速 度, 因 此, 可 以 对 数 据 进 行 采 样, 对 采 样 得 到 的 数 据 利 用 KD Tree 进 行 索 引, 从 而 得 到 空 间 上 的 划 分 方 案 就 已 有 方 案 来 看, 针 对 NoSQL 数 据 库 上 的 查 询 优 化 技 术 都 并 不 成 熟, 仍 有 很 多 关 键 性 问 题 亟 待 解 决 数 据 分 析 技 术 数 据 分 析 是 Google 最 核 心 业 务, 每 一 次 简 单 的 网 络 点 击 背 后 都 需 要 进 行 复 杂 的 分 析 过 程, 因 此 Google 对 其 分 析 系 统 进 行 不 断 的 升 级 改 造 之 中 MapReduce 是 Google 最 早 采 用 的 计 算 模 型, 适 用 于 批 处 理, 其 具 体 内 容 已 在 上 一 节 介 绍 图 是 真 实 社 会 中 广 泛 存 在 的 事 物 之 间 联 系 的 一 种 有 效 表 示 手 段, 因 此 对 图 的 计 算 是 一 种 常 见 的 计 算 模 式, 而 图 计 算 会 涉 及 到 在 相 同 数 据 上 的 不 断 更 新 以 及 大 量 的 消 息 传 递, 如 果 采 用 MapReduce 去 实 现, 会 产 生 大 量 不 必 要 的 序 列 化 和 反 序 列 化 开 销 现 有 的 图 计 算 系 统 并 不 适 用 于 Google 的 应 用 场 景, 因 此 Google 设 计 并 实 现 了 Pregel 图 计 算 模 型 Pregel [60] 是 Google 继 MapReduce 之 后 提 出 的 又 一 个 计 算 模 型, 与 MapReduce 的 离 线 批 处 理 模 式 不 同, 它 主 要 用 于 图 的 计 算 该 模 型 的 核 心 思 想 源 于 著 名 的 BSP [61] 计 算 模 型 Dremel [62] 是 Google 提 出 的 一 个 适 用 于 Web 数 据 级 别 的 交 互 式 数 据 分 析 系 统, 通 过 结 合 列 存 储 和 多 层 次 的 查 询 树,Dremel 能 够 实 现 极 短 时 间 内 的 海 量 数 据 分 析 Dremel 支 持 着 Google 内 部 的 一 些 重 要 服 务, 比 如 Google 的 云 端 大 数 据 分 析 平 台 Big Query [63] Google 在 VLDB 2012 发 表 的 文 章 [64] 中 介 绍 了 一 个 内 部 名 称 为 PowerDrill 的 分 析 工 具,PowerDrill 同 样 采 用 了 列 存 储, 且 使 用 了 压 缩 技 术 将 尽 可 能 多 的 数 据 装 载 进 内 存 PowerDrill 与 Dremel 均 是 Google 的 大 数 据 分 析 工 具, 但 是 其 关 注 的 应 用 场 景 不 同, 实 现 技 术 也 有 很 大 差 异 Dremel 主 要 用 于 多 数 据 集 的 分 析, 而 PowerDrill 则 主 要 应 用 于 大 数 据 量 的 核 心 数 据 集 分 析, 数 据 集 的 种 类 相 较 于 Dremel 的 应 用 场 景 会 少 很 多 由 于 PowerDrill 是 设 计 用 来 处 理 少 量 的 核 心 数 据 集, 因 此 对 数 据 处 理 速 度 要 求 极 高, 所 以 其 数 据 应 当 尽 可 能 的 驻 留 在 内 存, 而 Dremel 的 数 据 则 存 储 在 磁 盘 中 除 此 之 外,PowerDrill 与 Dremel 在 数 据 模 型 数 据 分 区 等 方 面 都 有 明 显 的 差 别 从 实 际 的 执 行 效 率 来 看, Dremel 可 以 在 几 秒 内 处 理 PB 级 的 数 据 查 询, 而 PowerDrill 则 可 以 在 30 至 40 秒 里 处 理 7820 亿 个 单 元 格 的 数 据, 处 理 速 度 快 于 Dremel 二 者 的 应 用 场 景 不 同, 可 以 相 互 补 充 微 软 提 出 了 一 个 类 似 MapReduce 的 数 据 处 理 模 型, 称 之 为 Dryad [65],Dryad 模 型 主 要 用 来 构 建 支 持 有 向 无 环 图 (Directed Acycline Graph,DAG) 类 型 数 据 流 的 并 行 程 序 Cascading [66] 通 过 对 Hadoop MapReduce API 的 封 装, 支 持 有 向 无 环 图 类 型 的 应 用 Sector/sphere [67] 可 以 视 为 一 种 流 式 的 MapReduce, 它 由 分 布 式 文 件 系 统 Sector 和 并 行 计 算 框 架 sphere 组 成 Nephele/PACTs [68] 则 包 括 PACTs(Parallelization Contracts) 编 程 模 型 和 并 行 计 算 引 擎 Nephele MapReduce 模 型 基 本 成 为 了 批 处 理 类 应 用 的 标 准 处 理 模 型, 很 多 应 用 开 始 尝 试 利 用 MapReduce 加 速 其 数 据 处 理 实 时 数 据 处 理 是 大 数 据 分 析 的 一 个 核 心 需 求 很 多 研 究 工 作 正 是 围 绕 这 一 需 求 展 开 的 前 面 介 绍 了 大 数 据 处 理 的 两 种 基 本 模 式, 而 在 实 时 处 理 的 模 式 选 择 中, 主 要 有 三 种 思 路 : 1) 采 用 流 处 理 模 式 虽 然 流 处 理 模 式 天 然 适 合 实 时 处 理 系 统, 但 其 适 用 领 域 相 对 有 限 流 处 理 模 型 的 应 用 主 要 集 中 在 实 时 统 计 系 统 在 线 状 态 监 控 等 2) 采 用 批 处 理 模 式 近 几 年 来, 利 用 批 处 理 模 型 开 发 实 时 系 统 已 经 成 为 研 究 热 点 并 取 得 了 很 多 成 果 从 增 量 计 算 的 角 度 出 发,Google 提 出 了 增 量 处 理 系 统 Percolator [47], 微 软 则 提 出 了 Nectar [69] 和 DryadInc [70] 三 者 均 实 现 了 大 规 模 数 据 的 增 量 计 算, 但 是 这 些 系 统 和 MapReduce 并 不 兼 容, 因 此 Incoop [71 ] 和 IncMR [72] 实 现 了 MapReduce 框 架 下 的 增 量 计 算 Yahoo 的 Nova [73] 则 支 持 有 状 态 的 增 量 数 据 计 算 模 式 HOP [74] 在 MapReduce 处 理 的 过 程 中 引 入 管 道 (pipeline) 的 概 念 在 保 证 Hadoop 容 错 性 的 前 提 下, 使 数 据 在 各 个 任 务 间 以 管 道 的 方 21

31 式 交 互, 增 加 了 任 务 的 并 发 性, 提 高 了 数 据 处 理 的 实 时 性 中 国 人 民 大 学 WAMDM 实 验 室 [75] 在 HOP 基 础 上 开 发 的 COLA 系 统 在 HOP 系 统 的 基 础 上 增 加 了 数 据 采 样 结 果 估 计 置 信 区 间 计 算 等 功 能 模 块, 一 定 程 度 上 提 高 了 HOP 的 实 时 性 原 位 分 析 可 以 避 免 将 文 件 集 中 传 输 到 分 析 服 务 器 上 的 通 讯 开 销, 大 大 提 高 了 实 时 性 [76] 和 [77] 从 原 位 分 析 的 角 度 出 发, 分 别 实 现 了 针 对 大 规 模 日 志 分 析 的 原 位 MapReduce(In-situ MapReduce) 和 Continuous MapReduce 原 始 的 MapReduce 模 型 并 不 能 很 好 的 支 持 迭 代 计 算, 计 算 代 价 很 大 而 迭 代 计 算 是 图 计 算 数 据 挖 掘 机 器 学 习 等 领 域 常 见 的 运 算 模 式, 不 少 研 究 工 作 通 过 改 进 MapReduce 模 型 迭 代 计 算 的 效 率 来 提 高 其 实 时 性 HaLoop [78] 通 过 在 各 个 task tracker 对 数 据 进 行 缓 存 (cache) 和 创 建 索 引 (index) 的 方 式 来 减 少 磁 盘 IO, 并 提 供 了 一 套 新 的 编 程 接 口 但 是 HaLoop 的 动 静 态 数 据 无 法 分 离, 且 没 有 一 个 客 观 的 停 止 迭 代 的 标 准 Twister [79] 系 统 将 Hadoop 的 全 部 数 据 存 放 在 内 存 中, 采 用 独 立 模 块 传 递 所 有 的 消 息 和 数 据 但 是 数 据 驻 留 内 存 的 限 制 使 其 难 以 实 用, 且 其 计 算 模 型 的 抽 象 度 不 高, 支 持 的 应 用 也 很 有 限 Twister 仍 处 于 初 步 的 研 究 阶 段 imapreduce [80] 介 绍 了 一 种 基 于 MapReduce 的 迭 代 模 型, 但 是 它 的 静 态 调 度 策 略 和 粗 粒 度 的 task 可 能 会 导 致 资 源 利 用 不 佳 和 负 载 不 均 ihadoop [ 81 ] 实 现 了 MapReduce 的 异 步 迭 代, 但 是 在 task 之 间 的 复 用 上 并 无 太 大 改 进 PrIter [82] 是 在 Hadoop 的 基 础 上 开 发 的, 支 持 带 优 先 级 的 迭 代 计 算, 能 够 保 证 迭 代 过 程 的 快 速 收 敛, 适 合 top-k 之 类 的 在 线 查 询 最 新 版 本 的 PrIter 已 经 支 持 基 于 内 存 和 基 于 文 件 的 数 据 存 储 方 式 Spark [83] 将 中 间 结 果 存 放 在 内 存 中, 支 持 除 Map 和 Reduce 之 外 的 多 种 操 作 类 型 但 是 Spark 不 适 用 异 步 细 粒 度 更 新 状 态 的 应 用, 同 时 在 容 错 性 方 面 有 待 提 升 Facebook 结 合 自 己 的 应 用 场 景 构 建 了 实 时 的 Hadoop 系 统 [84], 主 要 是 实 现 了 高 可 用 的 NameNode, 对 并 发 读 和 实 时 负 载 性 能 进 行 了 优 化, 改 造 HBase 使 其 适 合 真 实 的 实 时 生 产 环 境 3) 二 者 的 融 合 有 不 少 研 究 人 员 尝 试 将 流 处 理 和 批 处 理 模 式 进 行 融 合, 主 要 思 路 是 利 用 MapReduce 模 型 实 现 流 处 理 文 献 [85] 着 重 探 讨 了 将 MapReduce 模 型 应 用 到 流 处 理 这 种 单 遍 分 析 (one-pass analytics) 的 应 用 时 在 架 构 上 应 当 进 行 怎 样 的 调 整 在 此 分 析 基 础 上, 文 献 [87] [86] 介 绍 了 一 种 利 用 MapReduce 实 现 的 适 用 于 单 遍 分 析 的 可 扩 展 平 台 DEDUCE 系 统 扩 [88] 展 了 IBM 的 流 处 理 软 件 System S, 使 其 支 持 MapReduce C-MR 系 统 通 过 3 个 方 面 的 工 作 实 现 了 支 持 流 处 理 的 持 续 型 MapReduce( Continuous-MapReduce):a) 将 并 行 流 处 理 中 的 窗 口 概 念 透 明 的 扩 展 到 MapReduce 模 型 中 ;b) 有 效 结 合 了 包 括 CPU GPU 在 内 的 多 种 异 构 计 算 能 力 ;c) 支 持 灵 活 动 态 的 工 作 流 调 度 M 3[89] 在 Hadoop 系 统 基 础 上 进 行 扩 展, 绕 开 HDFS 的 限 制, 实 现 了 一 个 全 内 存 处 理 的 高 效 流 处 理 系 统 StreamMapReduce [90] 结 合 事 件 流 处 理 (Event Stream Processing) 的 特 点, 对 MapReduce 中 的 Mapper 和 Reducer 进 行 重 新 定 义, 增 加 了 持 续 的 低 延 迟 的 数 据 处 理 能 力 文 献 [91] 认 为 大 数 据 时 代 快 速 数 据 (fast data) 的 处 理 是 一 个 非 常 典 型 的 场 景, 比 如 数 据 流 在 充 分 调 研 基 础 上, 作 者 认 为 原 始 的 MapReduce 框 架 不 适 合 处 理 快 速 数 据 结 合 快 速 数 据 的 特 点, 文 中 设 计 了 一 个 类 似 MapReduce 的 框 架 MapUpdate, 并 在 该 框 架 基 础 上 实 现 了 一 个 原 型 系 统 Muppet 和 上 述 这 些 系 统 相 比,SSS [92] 最 大 的 特 点 就 是 在 支 持 快 速 流 处 理 的 同 时 也 能 够 支 持 大 规 模 静 态 数 据 的 处 理, 也 就 是 说 兼 具 流 处 理 和 批 处 理 [93] 中 提 出 名 为 离 散 流 (Discretized Streams) 的 编 程 模 型, 并 在 Spark 基 础 上 实 现 了 一 个 原 型 系 统 Spark Streaming 4.2 大 数 据 处 理 工 具 关 系 数 据 库 在 很 长 的 时 间 里 成 为 数 据 管 理 的 最 佳 选 择, 但 是 在 大 数 据 时 代, 数 据 管 理 分 析 等 的 需 求 多 样 化 使 得 关 系 数 据 库 在 很 多 场 景 不 再 适 用 本 节 将 对 现 今 主 流 的 大 数 据 处 理 工 具 进 行 一 个 简 单 的 归 纳 和 总 结 Hadoop 是 目 前 最 为 流 行 的 大 数 据 处 理 平 台 Hadoop 最 先 是 Doug Cutting 模 仿 GFS MapReduce 实 现 的 一 个 云 计 算 开 源 平 台, 后 贡 献 给 Apache Hadoop 已 经 发 展 成 为 包 括 文 件 22

32 系 统 (HDFS) 数 据 库 (HBase Cassandra) 数 据 处 理 (MapReduce) 等 功 能 模 块 在 内 的 完 整 生 态 系 统 (Ecosystem) 某 种 程 度 上 可 以 说 Hadoop 已 经 成 为 了 大 数 据 处 理 工 具 事 实 上 的 标 准 对 Hadoop 改 进 并 将 其 应 用 于 各 种 场 景 的 大 数 据 处 理 已 经 成 为 新 的 研 究 热 点 主 要 的 研 究 成 果 集 中 在 对 Hadoop 平 台 性 能 的 改 进 [94-97] 高 效 的 查 询 处 理 [98-103] 索 引 构 建 和 使 用 [104][105] 在 Hadoop 之 上 构 建 数 据 仓 库 [ ] Hadoop 和 数 据 库 系 统 的 连 接 [ ] 数 据 挖 掘 [ ] [ ] 推 荐 系 统 等 除 了 Hadoop, 还 有 很 多 针 对 大 数 据 的 处 理 工 具 这 些 工 具 有 些 是 完 整 的 处 理 平 台, 有 些 则 是 专 门 针 对 特 定 的 大 数 据 处 理 应 用 表 7 归 纳 总 结 了 现 今 一 些 主 流 的 处 理 平 台 和 工 具, 这 些 平 台 和 工 具 或 是 已 经 投 入 商 业 使 用, 或 是 开 源 软 件 在 已 经 投 入 商 业 使 用 的 产 品 中, 绝 大 部 分 也 是 在 Hadoop 基 础 上 进 行 功 能 扩 展, 或 者 提 供 与 Hadoop 的 数 据 接 口 Table 7 List of Big Data Tools 表 7 大 数 据 工 具 列 表 Category Examples Platform Local Hadoop MapR Cloudera Hortonworks InfoSphere BigInsights ASTERIX Database Data Warehouse Cloud SQL NoSQL NewSQL AWS Google Compute Engine Azure Greenplum Aster Data Vertica HBase Cassandra MongoDB Redis Spanner Megastore F1 Hive HadoopDB Hadapt Data Processing Batch MapReduce Dryad Stream Storm S4 Kafka Query Language Statistic and Machine Learning Log Processing HiveQL Pig Latin DryadLINQ MRQL SCOPE Mahout Weka R Splunk Loggly 5 大 数 据 时 代 面 临 的 新 挑 战 综 上 所 述, 大 数 据 时 代 的 数 据 存 在 着 如 下 几 个 特 点 : 多 源 异 构 ; 分 布 广 泛 ; 动 态 增 长 ; 先 有 数 据 后 有 模 式 正 是 这 些 与 传 统 数 据 管 理 迥 然 不 同 的 特 点, 使 得 大 数 据 时 代 的 数 据 管 理 面 临 着 新 的 挑 战, 下 面 会 对 其 中 的 主 要 挑 战 进 行 详 细 分 析 5.1 大 数 据 集 成 数 据 的 广 泛 存 在 性 使 得 数 据 越 来 越 多 的 散 布 于 不 同 的 数 据 管 理 系 统 中, 为 了 便 于 进 行 数 据 分 析 需 要 进 行 数 据 的 集 成 数 据 集 成 看 起 来 并 不 是 一 个 新 的 问 题, 但 是 大 数 据 时 代 的 数 据 集 成 却 有 了 新 的 需 求, 因 此 也 面 临 着 新 的 挑 战 1 广 泛 的 异 构 性 传 统 的 数 据 集 成 中 也 会 面 对 数 据 异 构 的 问 题, 但 是 在 大 数 据 时 代 这 种 异 构 性 出 现 了 新 的 变 化 主 要 体 现 在 :1) 数 据 类 型 从 以 结 构 化 数 据 为 主 转 向 结 构 化 半 结 构 化 非 结 构 化 三 者 的 融 合 2) 数 据 产 生 方 式 的 多 样 性 带 来 的 数 据 源 变 化 传 统 的 电 子 数 据 主 要 产 生 于 服 务 器 或 者 是 个 人 电 脑, 这 些 设 备 位 置 相 对 固 定 随 着 移 动 终 端 的 快 速 发 展, 手 机 平 板 电 脑 GPS 等 产 生 的 数 据 量 呈 现 爆 炸 式 增 长, 且 产 生 的 数 据 带 有 很 明 显 的 时 空 特 性 3) 数 据 存 储 方 式 的 变 化 传 统 数 据 主 要 存 储 在 关 系 数 据 库 中, 但 越 来 越 多 的 数 据 开 始 采 用 新 的 数 据 存 储 方 式 来 应 对 数 据 爆 炸, 比 如 存 储 在 Hadoop 的 HDFS 中 这 就 必 然 要 求 在 集 成 的 过 程 中 进 行 数 据 转 换, 而 这 种 转 换 的 过 程 是 非 常 复 杂 和 难 以 管 理 的 2 数 据 质 量 数 据 量 大 不 一 定 就 代 表 信 息 量 或 者 数 据 价 值 的 增 大, 相 反 很 多 时 候 意 味 23

33 着 信 息 垃 圾 的 泛 滥 一 方 面 很 难 有 单 个 系 统 能 够 容 纳 下 从 不 同 数 据 源 集 成 的 海 量 数 据 ; 另 一 方 面 如 果 在 集 成 的 过 程 中 仅 仅 简 单 的 将 所 有 数 据 聚 集 在 一 起 而 不 做 任 何 数 据 清 洗, 会 使 得 过 多 的 无 用 数 据 干 扰 后 续 的 数 据 分 析 过 程 大 数 据 时 代 的 数 据 清 洗 过 程 必 须 更 加 谨 慎, 因 为 相 对 细 微 的 有 用 信 息 混 杂 在 庞 大 的 数 据 量 中 如 果 信 息 清 洗 的 粒 度 过 细, 很 容 易 将 有 用 的 信 息 过 滤 掉 清 洗 粒 度 过 粗, 又 无 法 达 到 真 正 的 清 洗 效 果, 因 此 在 质 与 量 之 间 需 要 进 行 仔 细 的 考 量 和 权 衡 5.2 大 数 据 分 析 (Analytics) 传 统 意 义 上 的 数 据 分 析 (analysis) 主 要 针 对 结 构 化 数 据 展 开, 且 已 经 形 成 了 一 整 套 行 之 有 效 的 分 析 体 系 首 先 利 用 数 据 库 来 存 储 结 构 化 数 据, 在 此 基 础 上 构 建 数 据 仓 库, 根 据 需 要 构 建 数 据 立 方 体 进 行 联 机 分 析 处 理 (OLAP, Online Analytical Processing), 可 以 进 行 多 个 维 度 的 下 钻 (Drill-down) 或 上 卷 (Roll-up) 操 作 对 于 从 数 据 中 提 炼 更 深 层 次 的 知 识 的 需 求 促 使 数 据 挖 掘 技 术 的 产 生, 并 发 明 了 聚 类 关 联 分 析 等 一 系 列 在 实 践 中 行 之 有 效 的 方 法 这 一 整 套 处 理 流 程 在 处 理 相 对 较 少 的 结 构 化 数 据 时 极 为 高 效 但 是 随 着 大 数 据 时 代 的 到 来, 半 结 构 化 和 非 结 构 化 数 据 量 的 迅 猛 增 长, 给 传 统 的 分 析 技 术 带 来 了 巨 大 的 冲 击 和 挑 战, 主 要 体 现 在 : 1 数 据 处 理 的 实 时 性 (Timeliness) 随 着 时 间 的 流 逝 数 据 中 所 蕴 含 的 知 识 价 值 往 往 也 在 衰 减, 因 此 很 多 领 域 对 于 数 据 的 实 时 处 理 有 需 求 随 着 大 数 据 时 代 的 到 来, 更 多 应 用 场 景 的 数 据 分 析 从 离 线 (offline) 转 向 了 在 线 (online), 开 始 出 现 实 时 处 理 的 需 求, 比 如 KDD 2012 最 佳 论 文 [119] 所 探 讨 的 实 时 广 告 竞 价 问 题 大 数 据 时 代 的 数 据 实 时 处 理 面 临 着 一 些 新 的 挑 战, 主 要 体 现 在 数 据 处 理 模 式 的 选 择 及 改 进 在 实 时 处 理 的 模 式 选 择 中, 主 要 有 三 种 思 路 : 即 流 处 理 模 式 批 处 理 模 式 以 及 二 者 的 融 合 相 关 研 究 成 果 在 上 一 节 已 经 有 详 细 介 绍 虽 然 已 有 的 研 究 成 果 很 多, 但 是 仍 未 有 一 个 通 用 的 大 数 据 实 时 处 理 框 架 各 种 工 具 实 现 实 时 处 理 的 方 法 不 一, 支 持 的 应 用 类 型 都 相 对 有 限, 这 导 致 实 际 应 用 中 往 往 需 要 根 据 自 己 的 业 务 需 求 和 应 用 场 景 对 现 有 的 这 些 技 术 和 工 具 进 行 改 造 才 能 满 足 要 求 2 动 态 变 化 环 境 中 索 引 的 设 计 关 系 数 据 库 中 的 索 引 能 够 加 速 查 询 速 率, 但 是 传 统 的 数 据 管 理 中 模 式 基 本 不 会 发 生 变 化, 因 此 在 其 上 构 建 索 引 主 要 考 虑 的 是 索 引 创 建 更 新 等 的 效 率 大 数 据 时 代 的 数 据 模 式 随 着 数 据 量 的 不 断 变 化 可 能 会 处 于 不 断 的 变 化 之 中, 这 就 要 求 索 引 结 构 的 设 计 简 单 高 效, 能 够 在 数 据 模 式 发 生 变 化 时 很 快 的 进 行 调 整 来 适 应 前 面 也 介 绍 了 通 过 在 NoSQL 数 据 库 上 构 建 索 引 来 应 对 大 数 据 挑 战 的 一 些 方 案, 但 总 的 来 说, 这 些 方 案 基 本 都 有 特 定 的 应 用 场 景, 且 这 些 场 景 的 数 据 模 式 不 太 会 发 生 变 化 在 数 据 模 式 变 更 的 假 设 前 提 下 设 计 新 的 索 引 方 案 将 是 大 数 据 时 代 的 主 要 挑 战 之 一 3 先 验 知 识 的 缺 乏 传 统 分 析 主 要 针 对 结 构 化 数 据 展 开, 这 些 数 据 在 以 关 系 模 型 进 行 存 储 的 同 时 就 隐 含 了 这 些 数 据 内 部 关 系 等 先 验 知 识 比 如 我 们 知 道 所 要 分 析 的 对 象 会 有 哪 些 属 性, 通 过 属 性 我 们 又 能 大 致 了 解 其 可 能 的 取 值 范 围 等 这 些 知 识 使 得 我 们 在 数 据 分 析 之 前 就 已 经 对 数 据 有 了 一 定 的 理 解 而 在 面 对 大 数 据 分 析 时, 一 方 面 是 半 结 构 化 和 非 结 构 化 数 据 的 存 在, 这 些 数 据 很 难 以 类 似 结 构 化 数 据 的 方 式 构 建 出 其 内 部 的 正 式 关 系 ; 另 一 方 面 很 多 数 据 以 流 的 形 式 源 源 不 断 的 到 来, 这 些 需 要 实 时 处 理 的 数 据 很 难 有 足 够 的 时 间 去 建 立 先 验 知 识 5.3 大 数 据 隐 私 问 题 隐 私 问 题 由 来 已 久, 计 算 机 的 出 现 使 得 越 来 越 多 的 数 据 以 数 字 化 的 形 式 存 储 在 电 脑 中, 互 联 网 的 发 展 则 使 数 据 更 加 容 易 产 生 和 传 播, 数 据 隐 私 问 题 越 来 越 严 重 1 隐 性 的 数 据 暴 露 很 多 时 候 人 们 有 意 识 的 将 自 己 的 行 为 隐 藏 起 来, 试 图 达 到 隐 私 保 护 的 目 的 但 是 互 联 网, 尤 其 是 社 交 网 络 的 出 现, 使 得 人 们 在 不 同 的 地 点 产 生 越 来 越 多 的 数 据 足 迹 这 种 数 据 具 有 累 积 性 和 关 联 性, 单 个 地 点 的 信 息 可 能 不 会 暴 露 用 户 的 隐 私, 但 是 如 果 有 办 法 将 某 个 人 的 很 多 行 为 从 不 同 的 独 立 地 点 聚 集 在 一 起 时, 他 的 隐 私 就 很 可 能 会 暴 露, 因 为 有 关 他 的 信 息 已 经 足 够 多 了, 这 种 隐 性 的 数 据 暴 露 往 往 是 个 人 无 法 预 知 和 控 制 的 从 技 24

34 术 层 面 来 说, 可 以 通 过 数 据 抽 取 和 集 成 来 实 现 用 户 隐 私 的 获 取 而 在 现 实 中 通 过 所 谓 的 人 肉 搜 索 的 方 式 往 往 能 更 快 速 准 确 的 得 到 结 果, 这 种 人 肉 搜 索 的 方 式 实 质 就 是 众 包 (Crowdsourcing) 大 数 据 时 代 的 隐 私 保 护 面 临 着 技 术 和 人 力 层 面 的 双 重 考 验 2 数 据 公 开 与 隐 私 保 护 的 矛 盾 如 果 仅 仅 为 了 保 护 隐 私 就 将 所 有 的 数 据 都 加 以 隐 藏, 那 么 数 据 的 价 值 根 本 无 法 体 现 数 据 公 开 是 非 常 有 必 要 的, 政 府 可 以 从 公 开 的 数 据 中 来 了 解 整 个 国 民 经 济 社 会 的 运 行, 以 便 更 好 的 指 导 社 会 的 运 转 企 业 则 可 以 从 公 开 的 数 据 中 了 解 客 户 的 行 为, 从 而 推 出 针 对 性 的 产 品 和 服 务, 最 大 化 其 利 益 研 究 者 则 可 以 利 用 公 开 的 数 据, 从 社 会 经 济 技 术 等 不 同 的 角 度 来 进 行 研 究 因 此 大 数 据 时 代 的 隐 私 性 主 要 体 现 在 不 暴 露 用 户 敏 感 信 息 的 前 提 下 进 行 有 效 的 数 据 挖 掘, 这 有 别 于 传 统 的 信 息 安 全 领 域 更 加 关 注 文 件 的 私 密 性 等 安 全 属 性 统 计 数 据 库 数 据 研 究 中 最 早 开 展 数 据 隐 私 性 技 术 方 面 的 研 究, 近 年 来 逐 渐 成 为 相 关 领 域 的 研 究 热 点 文 献 [120] 中 提 出 保 护 隐 私 的 数 据 挖 掘 (privacy preserving data mining) 这 一 概 念, 很 多 学 者 开 始 致 力 于 这 方 面 的 研 究 主 要 集 中 于 研 究 新 型 的 数 据 发 布 技 术, 尝 试 在 尽 可 能 少 损 失 数 据 信 息 的 同 时 最 大 化 的 隐 藏 用 户 隐 私 但 是 数 据 信 息 量 和 隐 私 之 间 是 有 矛 盾 的, 因 此 尚 未 出 现 非 常 好 的 解 决 办 法 Dwork 在 2006 年 提 出 了 新 的 差 分 隐 私 (Differential Privacy) [121] 方 法 差 分 隐 私 保 护 技 术 可 能 是 解 决 大 数 据 中 隐 私 保 护 问 题 的 一 个 方 向, 但 是 这 项 技 术 离 实 际 应 用 还 很 远 3 数 据 动 态 性 大 数 据 时 代 数 据 的 快 速 变 化 除 了 要 求 有 新 的 数 据 处 理 技 术 应 对 之 外, 也 给 隐 私 保 护 带 来 了 新 的 挑 战 现 有 隐 私 保 护 技 术 主 要 基 于 静 态 数 据 集, 而 在 现 实 中 数 据 模 式 和 数 据 内 容 时 刻 都 在 发 生 着 变 化 因 此 在 这 种 更 加 复 杂 的 环 境 下 实 现 对 动 态 数 据 的 利 用 和 隐 私 保 护 将 更 具 挑 战 5.4 大 数 据 能 耗 问 题 在 能 源 价 格 上 涨 数 据 中 心 存 储 规 模 不 断 扩 大 的 今 天, 高 能 耗 已 逐 渐 成 为 制 约 大 数 据 快 速 发 展 的 一 个 主 要 瓶 颈 从 小 型 集 群 到 大 规 模 数 据 中 心 都 面 临 着 降 低 能 耗 的 问 题, 但 是 尚 未 引 起 足 够 多 的 重 视, 相 关 的 研 究 成 果 也 较 少 在 大 数 据 管 理 系 统 中, 能 耗 主 要 由 两 大 部 分 组 成 : 硬 件 能 耗 和 软 件 能 耗, 二 者 之 中 又 以 硬 件 能 耗 为 主 理 想 状 态 下, 整 个 大 数 据 管 理 系 统 的 能 耗 应 该 和 系 统 利 用 率 成 正 比 但 是 实 际 情 况 并 不 像 预 期 情 况, 系 统 利 用 率 为 0 的 时 候 仍 然 有 能 量 消 耗 [122] 针 对 这 个 问 题, 纽 约 时 报 和 麦 肯 锡 经 过 一 年 的 联 合 调 查, 最 终 在 纽 约 时 报 上 发 表 文 章 Power, Pollution and the Internet [123] 调 查 显 示 Google 数 据 中 心 年 耗 电 量 约 为 300 万 瓦, 而 Facebook 则 在 60 万 瓦 左 右 最 令 人 惊 讶 的 是 在 这 些 巨 大 的 能 耗 中, 只 有 6%-12% 的 能 量 被 用 来 响 应 用 户 的 查 询 并 进 行 计 算 绝 大 部 分 的 电 能 用 以 确 保 服 务 器 处 于 闲 置 状 态, 以 应 对 突 如 其 来 的 网 络 流 量 高 峰, 这 种 类 型 的 功 耗 最 高 可 以 占 到 数 据 中 心 所 有 能 耗 的 80% 从 已 有 的 一 些 研 究 成 果 来 看, 可 以 考 虑 以 下 两 个 方 面 来 改 善 大 数 据 能 耗 问 题 : 1 采 用 新 型 低 功 耗 硬 件 从 纽 约 时 报 的 调 查 中 可 以 知 道 绝 大 部 分 的 能 量 都 耗 费 在 磁 盘 上 在 空 闲 的 状 态 下, 传 统 的 磁 盘 仍 然 具 有 很 高 的 能 耗, 并 且 随 着 系 统 利 用 率 的 提 高, 能 耗 也 在 逐 渐 升 高 新 型 非 易 失 存 储 器 件 的 出 现, 给 大 数 据 管 理 系 统 带 来 的 新 的 希 望 闪 存 PCM 等 新 型 存 储 硬 件 具 有 低 能 耗 的 特 性 虽 然 随 着 系 统 利 用 率 的 提 高, 闪 存 PCM 等 的 能 耗 也 有 所 升 高, 但 是 其 总 体 能 耗 仍 远 远 低 于 传 统 磁 盘 2 引 入 可 再 生 的 新 能 源 数 据 中 心 所 使 用 的 电 能 绝 大 部 分 都 是 从 不 可 再 生 的 能 源 中 产 生 的 如 果 能 够 在 大 数 据 存 储 和 处 理 中 引 入 诸 如 太 阳 能 风 能 之 类 的 可 再 生 能 源, 将 在 很 大 程 度 上 缓 解 能 耗 问 题 这 方 面 的 工 作 很 少, 文 章 [124] 探 讨 了 如 何 利 用 太 阳 能 构 建 一 个 绿 色 环 保 的 数 据 库 5.5 大 数 据 处 理 与 硬 件 的 协 同 硬 件 的 快 速 升 级 换 代 有 力 的 促 进 了 大 数 据 的 发 展, 但 是 这 也 在 一 定 程 度 上 造 成 了 大 量 不 同 架 构 硬 件 共 存 的 局 面 日 益 复 杂 的 硬 件 环 境 给 大 数 据 管 理 带 来 的 主 要 挑 战 有 : 25

35 1 硬 件 异 构 性 带 来 的 大 数 据 处 理 难 题 整 个 数 据 中 心 ( 集 群 ) 内 部 不 同 机 器 之 间 的 性 能 会 存 在 着 明 显 的 差 别, 因 为 不 同 时 期 购 入 的 不 同 厂 商 的 服 务 器 在 IOPS CPU 处 理 速 度 等 性 能 方 面 会 有 很 大 的 差 异 这 就 导 致 了 硬 件 环 境 的 异 构 性 (Heterogeneous), 而 这 种 异 构 性 会 给 大 数 据 的 处 理 带 来 诸 多 问 题 一 个 典 型 的 例 子 就 是 MapReduce 任 务 过 程 中, 其 总 的 处 理 时 间 很 大 程 度 上 取 决 于 Map 过 程 中 处 理 时 间 最 长 的 节 点 如 果 集 群 中 硬 件 的 性 能 差 异 过 大, 则 会 导 致 大 量 的 计 算 时 间 浪 费 在 性 能 较 好 的 服 务 器 等 待 性 能 较 差 的 服 务 器 上 这 种 情 况 下 服 务 器 的 线 性 增 长 并 不 一 定 会 带 来 计 算 能 力 的 线 性 增 长, 因 为 木 桶 效 应 制 约 了 整 个 集 群 的 性 能 一 般 的 解 决 方 案 是 考 虑 硬 件 异 构 的 环 境 下 将 不 同 计 算 强 度 的 任 务 智 能 的 分 配 给 计 算 能 力 不 同 的 服 务 器, 但 是 当 这 种 异 构 环 境 的 规 模 扩 展 到 数 以 万 计 的 集 群 时 问 题 将 变 得 极 为 复 杂 2 新 硬 件 给 大 数 据 处 理 带 来 的 变 革 所 有 的 软 件 系 统 都 是 构 建 在 传 统 的 计 算 机 体 系 结 构 之 上, 即 CPU- 内 存 - 硬 盘 三 级 结 构 CPU 的 发 展 一 直 遵 循 着 摩 尔 定 律, 且 其 架 构 已 经 从 单 核 转 入 多 核 因 此 需 要 深 入 研 究 如 何 让 软 件 更 好 的 利 用 CPU 多 核 心 之 间 的 并 发 机 制 由 于 机 械 特 性 的 限 制, 基 于 磁 性 介 质 的 硬 盘 (Hard Disk Drive, HDD) 的 读 写 速 率 在 过 去 几 十 年 中 提 升 不 大, 而 且 未 来 也 不 太 可 能 出 现 革 命 性 的 提 升 基 于 闪 存 的 固 态 硬 盘 (Solid State Disk, SSD) 的 出 现 从 硬 件 层 为 存 储 系 统 结 构 的 革 新 提 供 了 支 持, 为 计 算 机 存 储 技 术 的 发 展 和 存 储 能 效 的 提 高 带 来 了 新 的 契 机 SSD 具 有 很 多 优 良 特 性, 主 要 包 括 极 高 的 读 写 性 能 抗 震 性 低 功 耗 体 积 小 等, 因 此 正 得 到 越 来 越 广 泛 的 应 用 但 是 直 接 将 SSD 应 用 到 现 有 的 软 件 上 并 [125] 不 一 定 会 带 来 软 件 性 能 的 大 幅 提 升 Sang-Won Lee 等 人 的 研 究 表 明 虽 然 SSD 的 读 写 速 率 是 HDD 的 60~150 倍, 基 于 SSD 的 数 据 库 系 统 的 查 询 时 间 却 仅 仅 提 升 了 不 到 10 倍 二 者 之 间 的 巨 大 差 距 主 要 是 由 SSD 的 一 些 特 性 造 成 的, 这 些 特 性 包 括 :SSD 写 前 擦 除 特 性 导 致 的 读 写 操 作 代 价 不 对 称 SSD 存 储 芯 片 的 擦 除 次 数 有 限 等 软 件 设 计 之 时 必 须 仔 细 考 虑 这 些 特 性 才 能 够 充 分 利 用 SSD 的 优 良 特 性 与 大 容 量 磁 盘 和 磁 盘 阵 列 相 比, 固 态 硬 盘 的 存 储 容 量 相 对 较 低, 单 位 容 量 的 价 格 远 高 于 磁 盘 且 不 同 类 型 的 固 态 硬 盘 产 品 性 能 差 异 较 大, 将 固 态 硬 盘 直 接 替 换 磁 盘 应 用 到 现 有 的 存 储 体 系 中 难 以 充 分 发 挥 其 性 能 因 此 现 阶 段 可 以 考 虑 通 过 构 建 HDD 和 SSD 的 混 合 存 储 系 统 来 解 决 大 数 据 处 理 问 题 当 前 混 合 存 储 系 统 的 实 现 主 要 有 三 种 思 路 : HDD 作 为 内 存 的 扩 展 充 当 SSD 写 缓 冲 [126][127] ;HDD 和 SSD 同 做 二 级 存 储 [ ] ;SSD 用 作 内 存 的 扩 展 充 当 HDD 读 写 缓 冲 [ ] 国 外 的 Google Facebook, 国 内 的 百 度 淘 宝 等 公 司 已 经 开 始 在 实 际 运 营 环 境 中 大 规 模 的 使 用 混 合 存 储 系 统 来 提 升 整 体 性 能 在 这 三 级 结 构 之 中, 内 存 的 发 展 处 于 一 个 相 对 缓 慢 的 阶 段, 一 直 没 有 出 现 革 命 性 的 变 化 构 建 任 何 一 个 软 件 系 统 都 会 假 设 内 存 是 一 个 容 量 有 限 的 易 失 结 构 体 随 着 以 PCM 为 代 表 的 SCM 的 出 现, 未 来 的 内 存 极 有 可 能 会 兼 具 现 在 内 存 和 磁 盘 的 双 重 特 性, 即 处 理 速 度 极 快 且 非 易 失 虽 然 PCM 尚 未 有 可 以 大 规 模 量 产 的 产 品 推 出, 但 是 各 大 主 流 厂 商 都 对 其 非 常 重 视, 三 星 电 子 在 2012 年 国 际 固 态 电 路 会 议 (ISSCC 2012) 上 发 表 了 采 用 20nm 工 艺 制 程 的 容 量 为 8G 的 PCM 元 件 一 旦 PCM 能 够 大 规 模 的 投 入 使 用, 必 将 给 现 有 的 大 数 据 处 理 带 来 一 场 根 本 性 的 变 革 譬 如 前 面 提 到 的 流 处 理 模 式 就 可 以 不 再 将 内 存 的 大 小 限 制 作 为 算 法 设 计 过 程 中 的 一 个 主 要 考 虑 因 素 5.6 大 数 据 管 理 易 用 性 (Usability) 问 题 从 数 据 集 成 到 数 据 分 析, 直 到 最 后 的 数 据 解 释, 易 用 性 应 当 贯 穿 整 个 大 数 据 的 流 程 易 用 性 的 挑 战 突 出 体 现 在 两 个 方 面 : 首 先 大 数 据 时 代 的 数 据 量 大, 分 析 更 复 杂, 得 到 的 结 果 形 式 更 加 的 多 样 化 其 复 杂 程 度 已 经 远 远 超 出 传 统 的 关 系 数 据 库 其 次 大 数 据 已 经 广 泛 渗 透 到 人 们 生 活 的 各 个 方 面, 很 多 行 业 都 开 始 有 了 大 数 据 分 析 的 需 求 但 是 这 些 行 业 的 绝 大 部 分 从 业 者 都 不 是 数 据 分 析 的 专 家, 在 复 杂 的 大 数 据 工 具 面 前, 他 们 只 是 初 级 的 使 用 者 (Naïve Users) 复 杂 的 分 析 过 程 和 难 以 理 解 的 分 析 结 果 限 制 了 他 们 从 大 数 据 中 获 取 知 识 的 能 力 这 两 个 原 因 导 致 易 用 性 成 为 大 数 据 时 代 软 件 工 具 设 计 的 一 个 巨 大 挑 战 关 于 大 数 据 易 用 性 的 研 究 仍 处 于 一 个 起 步 阶 段 从 设 计 学 的 角 度 来 看 易 用 性 表 现 为 易 见 (Easy to discover) 易 学 (Easy 26

36 to learn) 和 易 用 (Easy to use) 要 想 达 到 易 用 性, 需 要 关 注 以 下 三 个 基 本 原 则 [138] : 1 可 视 化 原 则 (Visibility) 可 视 性 要 求 用 户 在 见 到 产 品 时 就 能 够 大 致 了 解 其 初 步 的 使 用 方 法, 最 终 的 结 果 也 要 能 够 清 晰 的 展 现 出 来 针 对 MapReduce 使 用 复 杂 的 情 况, 文 献 [ ] 实 现 了 MapReduce 程 序 的 自 动 调 优, 避 免 了 复 杂 参 数 设 置 的 过 程, 大 大 减 轻 了 用 户 调 试 [142] MapReduce 程 序 的 负 担 Starfish 系 统 架 构 Hadoop 之 上, 尝 试 解 决 Hadoop 系 统 性 能 自 动 调 优 的 问 题 未 来 如 何 实 现 更 多 大 数 据 处 理 方 法 和 工 具 的 简 易 化 和 自 动 化 将 是 一 个 很 大 的 挑 战 除 了 功 能 设 计 之 外, 最 终 结 果 的 展 示 也 要 充 分 体 现 可 视 化 的 原 则 可 视 化 技 术 是 最 佳 的 结 果 展 示 方 式 之 一, 通 过 清 晰 的 图 形 图 像 展 示 直 观 的 反 映 出 最 终 结 果 但 是 超 大 规 模 的 可 视 化 却 面 临 着 诸 多 挑 战, 主 要 有 [143] : 原 位 分 析 ; 用 户 界 面 与 交 互 设 计 ; 大 数 据 可 视 化 ; 数 据 库 与 存 储 ; 算 法 ; 数 据 移 动 传 输 和 网 络 架 构 ; 不 确 定 性 的 量 化 ; 并 行 化 ; 面 向 领 域 与 开 发 的 库 框 架 以 及 工 具 ; 社 会 社 区 以 及 政 府 参 与 2 匹 配 原 则 (Mapping) 人 的 认 知 中 会 利 用 现 有 的 经 验 来 考 虑 新 的 工 具 的 使 用 譬 如 一 提 到 数 据 库, 了 解 的 人 都 会 想 到 使 用 SQL 语 言 来 执 行 数 据 查 询 在 新 工 具 的 设 计 过 程 中 尽 可 能 将 人 们 已 有 的 经 验 知 识 考 虑 进 去, 会 使 得 新 工 具 非 常 便 于 使 用, 这 就 是 所 谓 的 匹 配 原 则 MapReduce 模 型 虽 然 将 复 杂 的 大 数 据 处 理 过 程 简 化 为 Map 和 Reduce 的 过 程, 但 是 具 体 的 Map 和 Reduce 函 数 仍 需 要 用 户 自 己 编 写, 这 对 于 绝 大 部 分 没 有 编 程 经 验 的 用 户 而 言 仍 过 于 复 杂 如 何 将 新 的 大 数 据 处 理 技 术 和 人 们 已 经 习 惯 的 处 理 技 术 和 方 法 进 行 匹 配 将 是 未 来 大 数 据 易 用 性 的 一 个 巨 大 挑 战 这 方 面 现 在 已 经 有 了 些 初 步 的 研 究 工 作 针 对 MapReduce 技 术 缺 乏 类 似 SQL 标 准 语 言 的 弱 点, 研 究 人 员 开 发 出 更 高 层 的 语 言 和 系 统 典 型 代 表 有 Hadoop 的 HiveQL [106] 和 Pig Latin [144] Google 的 Sawzall [145] 微 软 的 SCOPE [32] 和 DryadLINQ [146] 以 及 MRQL [147] 等 SQL 查 询 有 自 动 优 化 的 过 程, 而 MapReduce 并 没 有 针 对 这 点,[148] 和 [149] 实 现 了 MapReduce 的 查 询 优 化 器 [150] 通 过 调 研 发 现 系 统 I/O 冗 余 是 由 于 查 询 之 间 的 关 联 (correlations), 为 了 解 决 这 个 问 题, 作 者 引 入 了 BSP(Batched Stream Processing) 模 型, 并 在 DryadLINQ 中 实 现 了 查 询 优 化 系 统 Comet 还 有 部 分 学 者 的 工 作 集 中 在 将 SQL 语 言 自 动 转 化 成 MapReduce 任 务 比 较 代 表 性 的 系 统 有 YSmart [151] Tenzing [152] 等 还 有 一 些 其 他 的 工 作, 比 如 S4Latin [153] 在 S4 的 基 础 上 实 现 了 一 个 新 的 数 据 处 理 框 架, 使 得 用 户 可 以 直 接 用 类 似 查 询 的 方 式 而 不 是 编 程 的 方 式 创 建 新 的 流 应 用 这 在 很 大 程 度 上 改 善 了 大 数 据 流 处 理 平 台 S4 的 易 用 性 3 反 馈 原 则 (Feedback) 带 有 反 馈 的 设 计 使 得 人 们 能 够 随 时 掌 握 自 己 的 操 作 进 程 进 度 条 就 是 一 个 体 现 反 馈 原 则 的 经 典 例 子 大 数 据 领 域 关 于 这 方 面 的 工 作 较 少, 有 部 分 学 者 开 始 关 注 MapReduce 程 序 执 行 进 程 的 估 计 [ ] 传 统 的 软 件 工 程 领 域, 程 序 出 现 问 题 之 后 有 比 较 成 熟 的 调 试 工 具 可 以 对 错 误 的 程 序 进 行 交 互 式 的 调 试, 相 对 容 易 找 到 错 误 的 根 源 但 是 大 数 据 时 代 很 多 工 具 其 内 部 结 构 复 杂, 对 于 普 通 用 户 而 言 这 些 工 具 近 似 于 黑 盒 (black box), 调 试 过 程 复 杂, 缺 少 反 馈 性 文 献 [157] 通 过 可 视 化 MapReduce 程 序 产 生 的 大 量 日 志 文 件, 辅 助 后 期 的 程 序 调 试 过 程 PerfXplain [158] 设 计 并 实 现 了 MapReduce 的 简 便 化 调 试 系 统 为 了 解 决 大 数 据 云 (Big Data Cloud) 中 程 序 部 署 和 调 试 的 问 题,[159] 实 现 了 一 个 可 扩 展 的 轻 量 级 Hadoop 性 能 分 析 器 HiTune 如 果 未 来 能 够 在 大 数 据 的 处 理 中 大 范 围 的 引 入 人 机 交 互 技 术, 使 得 人 们 能 够 较 完 整 的 参 与 整 个 分 析 过 程, 会 有 效 的 提 高 用 户 的 反 馈 感, 在 很 大 程 度 上 提 高 易 用 性 满 足 三 个 基 本 原 则 的 设 计 就 能 够 达 到 良 好 的 易 用 性 从 技 术 层 面 来 看, 可 视 化 人 机 交 互 以 及 数 据 起 源 技 术 都 可 以 有 效 的 提 升 易 用 性 而 在 这 些 技 术 的 背 后, 海 量 元 数 据 管 理 的 问 题 是 需 要 我 们 特 别 关 注 的 一 个 问 题 元 数 据 是 关 于 数 据 的 数 据, 数 据 之 间 的 关 联 关 系 以 及 数 据 本 身 的 一 些 属 性 大 都 是 靠 元 数 据 来 表 示 的 可 视 化 技 术 离 不 开 元 数 据 的 支 持, 因 为 如 果 无 法 准 确 的 表 征 出 数 据 之 间 的 关 系, 就 无 法 对 数 据 进 行 可 视 化 的 展 示 数 据 起 源 技 术 更 是 离 不 27

37 开 元 数 据 管 理 技 术 因 为 数 据 起 源 需 要 利 用 元 数 据 来 记 录 数 据 之 间 包 括 因 果 关 系 在 内 的 各 种 复 杂 关 系, 并 通 过 这 些 信 息 来 进 行 相 关 的 推 断 如 何 在 大 规 模 存 储 系 统 中 实 现 海 量 元 数 据 的 高 效 管 理 将 会 对 大 数 据 的 易 用 性 产 生 重 要 影 响 5.7 性 能 的 测 试 基 准 (Benchmark) 关 系 数 据 库 产 品 的 成 功 离 不 开 以 TPC 系 列 为 代 表 的 测 试 基 准 的 产 生 正 是 有 了 这 些 测 试 基 准, 才 能 够 准 确 的 衡 量 不 同 数 据 库 产 品 的 性 能, 并 对 其 存 在 的 问 题 进 行 改 进 目 前 尚 未 有 针 对 大 数 据 管 理 的 测 试 基 准, 构 建 大 数 据 测 试 基 准 面 临 的 主 要 挑 战 有 [160][161] : 1 系 统 复 杂 度 高 大 数 据 管 理 系 统 的 类 型 非 常 多, 很 多 公 司 针 对 自 己 的 应 用 场 景 设 计 了 相 应 的 数 据 库 产 品 这 些 产 品 的 功 能 模 块 各 异, 很 难 用 一 个 统 一 的 模 型 来 对 所 有 的 大 数 据 产 品 进 行 建 模 2 用 户 案 例 的 多 样 性 测 试 基 准 需 要 定 义 一 系 列 具 有 代 表 性 的 用 户 行 为, 但 是 大 数 据 的 数 据 类 型 广 泛, 应 用 场 景 也 不 尽 相 同, 很 难 从 中 提 取 出 具 有 代 表 性 的 用 户 行 为 3 数 据 规 模 庞 大 这 会 带 来 了 两 方 面 的 挑 战 首 先 数 据 规 模 过 大 使 得 数 据 重 现 非 常 困 难, 代 价 很 大 其 次 在 传 统 的 TPC 系 列 测 试 中, 测 试 系 统 的 规 模 往 往 大 于 实 际 客 户 使 用 的 数 据 集, 因 此 测 试 的 结 果 可 以 准 确 的 代 表 系 统 的 实 际 性 能 但 是 在 大 数 据 时 代, 用 户 实 际 使 用 系 统 的 数 据 规 模 往 往 大 于 测 试 系 统 的 数 据 规 模, 因 此 能 否 用 小 规 模 数 据 的 测 试 基 准 来 代 表 实 际 产 品 的 性 能 是 目 前 面 临 的 一 个 挑 战 数 据 重 现 的 问 题 可 以 尝 试 利 用 一 定 的 方 法 来 去 产 生 测 试 样 例, 而 不 是 选 择 下 载 某 个 实 际 的 测 试 数 据 集 但 是 这 又 涉 及 到 如 何 使 产 生 的 数 据 集 能 真 实 反 映 原 始 数 据 集 的 问 题 4 系 统 的 快 速 演 变 传 统 的 关 系 数 据 库 其 系 统 架 构 一 般 比 较 稳 定, 但 是 大 数 据 时 代 的 系 统 为 了 适 应 数 据 规 模 的 不 断 增 长 和 性 能 要 求 的 不 断 提 升, 必 须 不 断 的 进 行 升 级, 这 使 得 测 试 基 准 得 到 的 测 试 结 果 很 快 就 不 能 反 映 系 统 当 前 的 实 际 性 能 5 重 新 构 建 还 是 复 用 现 有 的 测 试 基 准 如 果 能 够 在 现 有 的 测 试 基 准 中 选 择 合 适 的 进 行 扩 展 的 话, 那 么 将 极 大 减 少 构 建 新 的 大 数 据 测 试 基 准 的 工 作 量 可 能 的 候 选 测 试 标 准 有 SWIM(Statistical Workload Injector for MapReduce) [162] MRBS [163] Hadoop 自 带 的 GridMix [164] TPC-DS [165] YCSB++ [166] 等 现 在 已 经 开 始 有 工 作 尝 试 构 建 大 数 据 的 测 试 基 准, 比 如 一 些 针 对 大 数 据 测 试 基 准 的 会 议 WBDB 2012 TPCTC 2012 等 但 是 也 有 观 点 认 为 当 前 讨 论 大 数 据 测 试 基 准 的 构 建 为 时 尚 早 [161][167] Yanpei Chen 等 通 过 对 7 个 应 用 MapReduce 技 术 的 实 际 产 品 的 负 载 进 行 了 跟 踪 和 分 析, 认 为 现 在 根 本 无 法 确 定 大 数 据 时 代 的 典 型 用 户 案 例 因 此 从 这 个 角 度 来 看 并 不 适 合 构 建 大 数 据 的 测 试 基 准, 还 有 很 多 基 础 性 的 问 题 亟 待 解 决 总 的 来 说, 构 建 大 数 据 的 测 试 基 准 是 有 必 要 的 但 是 面 临 的 挑 战 非 常 多, 要 想 构 建 一 个 类 似 TPC 的 公 认 的 测 试 标 准 难 度 很 大 6 结 论 随 着 云 计 算 物 联 网 等 的 发 展, 数 据 呈 现 爆 炸 式 的 增 长, 人 们 正 被 数 据 洪 流 所 包 围, 大 数 据 的 时 代 已 经 到 来 正 确 利 用 大 数 据 给 人 们 的 生 活 带 来 了 极 大 的 便 利, 但 于 此 同 时 也 给 传 统 的 数 据 管 理 方 式 带 来 了 极 大 的 挑 战 本 文 对 最 近 几 年 国 内 外 大 数 据 相 关 的 研 究 成 果 进 行 了 全 面 的 回 顾 和 总 结, 介 绍 了 大 数 据 的 基 本 概 念, 详 细 分 析 了 大 数 据 管 理 的 关 键 技 术, 主 要 是 阐 述 云 计 算 技 术 对 于 大 数 据 管 理 的 基 础 性 作 用 本 文 还 着 重 介 绍 了 目 前 大 数 据 研 究 面 临 的 新 挑 战 以 及 相 应 的 一 些 研 究 成 果 总 的 来 说, 眼 下 对 于 大 数 据 的 研 究 仍 处 于 一 个 非 常 初 步 的 阶 段, 还 有 很 多 基 础 性 的 问 题 有 待 解 决 大 数 据 的 几 个 特 征 中 究 竟 哪 个 最 重 要? 面 对 大 数 据 管 理 我 们 需 要 的 是 简 单 的 技 术 上 的 演 变 (Evolution) 还 是 彻 底 的 变 革 (Revolution)? 不 同 学 科 的 研 究 者 之 间 怎 样 协 作 才 能 更 有 利 于 大 数 据 问 题 的 解 决? 诸 如 此 类 的 问 题 还 有 许 多, 要 解 28

38 决 大 数 据 问 题 仍 有 很 长 的 路 要 走, 期 望 本 文 的 介 绍 能 给 大 数 据 研 究 同 行 学 者 提 供 一 定 的 参 考 参 考 文 献 1 Nature. Big Data[EB/OL]. [ ]. 2 Randal E. Bryant, Randy H. Katz, Edward D. Lazowska. Big-Data Computing: Creating revolutionary breakthroughs in commerce, science, and society [R]. [ ], 3 Science. Special Online Collection: Dealing with Data [EB/OL]. [ ] D. Agrawal, P. Bernstein, E. Bertino, et al. Challenges and Opportunities with Big Data A community white paper developed by leading researchers across the United States[R]. [ ], 5 James Manyika, Michael Chui, Brad Brown, et al. Big data: The next frontier for innovation, competition, and productivity[r]. 6 World Economic Forum.Big Data, Big Impact:New Possibilities for International Development[R]. WEF_TC_MFS_BigDataBigImpact_Briefing_2012.pdf 7 Big Data Across the Federal Government [EB/OL]. [ ]. big_data_fact_sheet_final_1.pdf 8 UN Global Pulse.Big Data for Development:Challenges & Opportunities[R]. BigDataforDevelopment 9 NY Times.The age of big data [EB/OL]. [ ]. big-datas-impact-in-the-world.html?pagewanted=all 10 Grobelnik, Marko. Big Data Tutorial [EB/OL]. [ ] Hamish Barwick. The 'four Vs' of Big Data. Implementing Information Infrastructure Symposium[EB/OL]. [ ] IBM. What is big data? [EB/OL].[ ], 13 Big data[eb/ol].[ ]. 14 T. Hey, S. Tansley, K. Tolle. The Fourth Paradigm: Data-intensive Scientific Discovery [M/OL]. Microsoft Research, Redmond, Washington (2009) 15 Lazer D, et al. Computational social science[j]. Science. 2009;323: Duncan J. Watts. A twenty-first century science[j].nature,2007,445(7127): The Economist. Data, data, everywhere -A special report on managing information [EB/OL]. [ ] Ravi Kumar. two computational paradigm for big data [EB/OL]. [ ].KDD summer school, InformationWeek Report. The big data management challenge[r]. business-intelligence-and-information-management/research-the-big-data-management-challenge.html 20 Storm [EB/OL]. [ ] Leonardo Neumeyer, Bruce Robbins, Anish Nair, et al. S4: Distributed Stream Computing Platform[C]// Proc of ICDM Workshops Piscataway, NJ: IEEE,2010: Ken Goodhope, Joel Koshy, Jay Kreps, et al. Building LinkedIn s Real-time Activity Data Pipeline [J]. Data Engineering, 2012,35(2): Jeffrey Dean, Sanjay Ghemawat. MapReduce: Simplified Data Processing on Large Clusters[C]// Proc of OSDI 2004.CA:USENIX Association Berkeley,2004: Shirshanka Das. Data Infrastructure at LinkedIn[C]// Proc of 5th Extremely Large Databases Conference ScholarSpace [EB/OL]. [ ] Laura Haas. Integrating Extremely Large Data is Extremely Challenging[C]// Proc of XLDB Asia Anand Rajaraman, Jeff Ullman. Mining of Massive Datasets[M/OL]. ullman/mmds.html. 28 Adriane Chapman, M. David Allen, Barbara Blaustein. It s About the Data: Provenance as a Tool for Assessing Data Fitness[C]// Proc of 4th USENIX Workshop on the Theory and Practice of Provenance.CA:USENIX Association Berkeley, Hadoop [EB/OL]. [ ] Sanjay Ghemawat, Howard Gobioff, Shun-Tak Leung. The Google file system[c]// Proc of SOSP 2003.New York:ACM,2003: Kirk McKusick, Sean Quinlan. GFS: evolution on fast-forward [J]. Communication of ACM,2010,53(3): Ronnie Chaiken, Bob Jenkins, Per-Åke Larson, et al. SCOPE: easy and efficient parallel processing of massive data sets[j].pvldb,2008,1(2): HDFS Architecture Guide [EB/OL]. [ ] CloudStore [EB/OL]. [ ] Doug Beaver, Sanjeev Kumar, Harry C. Li, et al. Finding a Needle in Haystack: Facebook's Photo Storage[C]// Proc of OSDI 2010.CA:USENIX Association Berkeley,2010: TFS [EB/OL]. [ ] FastDFS [EB/OL]. [ ] Eric A. Brewer. Towards robust distributed systems (Invited Talk)[C]//Proc of PODC 2000.New York:ACM, Fay Chang, Jeffrey Dean, Sanjay Ghemawat, et al. Bigtable: A Distributed Storage System for Structured Data[C]// Proc of OSDI 2006.CA:USENIX Association Berkeley,2006: Giuseppe DeCandia, Deniz Hastorun, Madan Jampani, et al. Dynamo: amazon's highly available key-value store[c]// Proc of SOSP 2007.New York:ACM,2007: Brian F. Cooper, Raghu Ramakrishnan, Utkarsh Srivastava, et al. PNUTS: Yahoo!'s hosted data serving platform[j]. PVLDB,2008, 1(2): NOSQL Databases [EB/OL]. [ ] Christof Strauch. NoSQL Databases[EB/OL]. [ ]. 44 Jason Baker, Chris Bond, James Corbett, et al. Megastore: Providing Scalable, Highly Available Storage for Interactive Services[C]// Proc of CIDR 2011: James C. Corbett, Jeffrey Dean, Michael Epstein, et al. Spanner: Google's Globally-Distributed Database[C]//Proc of OSDI 2012.CA:USENIX Association Berkeley,

39 research.google.com/zh-cn//archive/spanner-osdi2012.pdf 46 Jeff Shute, Mircea Oancea, Stephan Ellner, et al.f1: the fault-tolerant distributed RDBMS supporting google's ad business[c]// Proc of SIGMOD 2012.New York:ACM,2012: Daniel Peng, Frank Dabek. Large-scale incremental processing using distributed transactions and notifications[c]// Proc of OSDI 2010.CA:USENIX Association Berkeley,2010: I YER, S., C UTTS, M. Help test some next-generation infrastructure [EB/OL]. [ ]. August Haixun Wang,KDD summer school,2012. Managing and Mining Billion-Node Graphs [EB/OL]. [ ] ITHbase [EB/OL]. [ ] IHbase [EB/OL]. [ ] Yongqiang Zou, Jia Liu, Shicai Wang, et al. CCIndex: A Complemental Clustering Index on Distributed Ordered Tables for Multi-dimensional Range Queries[C]// Proc of NPC 2010.Berlin:Springer,2010: Parag Agrawal, Adam Silberstein, Brian F. Cooper, et al. Asynchronous view maintenance for VLSD databases[c]// Proc of SIGMOD 2009.New York:ACM,2009: Jinbao Wang, Sai Wu, Hong Gao, et al. Indexing multi-dimensional data in a cloud system[c]// Proc of SIGMOD 2010.New York:ACM,2010: LinLin Ding, Baiyou Qiao, Guoren Wang, et al. An Efficient Quad-Tree Based Index Structure for Cloud Data Management[C]// Proc of WAIM 2011.Berlin:Springer,2011: Xiangyu Zhang, Jing Ai, Zhongyuan Wang, et al.an efficient multi-dimensional index for cloud data management[c]// Proc of CloudDB 2009.New York:ACM,2009: Andreas Papadopoulos, Dimitrios Katsaros: A-Tree: Distributed Indexing of Multidimensional Data for Cloud Computing Environments[C]// Proc of CloudCom 2011.Piscataway, NJ: IEEE,2011: Shoji Nishimura, Sudipto Das, Divyakant Agrawal, et al.md-hbase: A Scalable Multi-dimensional Data Infrastructure for Location Aware Services[C]// Proc of MDM 2011.Piscataway, NJ: IEEE,2011: Youzhong Ma, Jia Rao, Weisong Hu, et al.an Efficient Index for Massive IOT Data in Cloud Environment[C]//Proc of CIKM New York:ACM, Grzegorz Malewicz, Matthew H. Austern, Aart J. C. Bik, et al. Pregel: a system for large-scale graph processing[c]// Proc of SIGMOD 2010.New York:ACM,2010: Leslie G. Valiant: A Bridging Model for Parallel Computation [J]. Communication of ACM,1990,33(8): Sergey Melnik, Andrey Gubarev, Jing Jing Long, et al. Dremel: Interactive Analysis of Web-Scale Datasets[J]. PVLDB, 2010,3(1): Google BigQuery [EB/OL]. [ ] Hall A, Bachmann O, Büssow R, et al. Processing a Trillion Cells per Mouse Click [J]. PVLDB,2012, 5(11): Michael Isard, Mihai Budiu, Yuan Yu, et al. Dryad: distributed data-parallel programs from sequential building blocks[c]// Proc of EuroSys 2007.New York:ACM,2007: Cascading [EB/OL]. [ ]. 67 Y. Gu, R. L. Grossman. Sector and Sphere: the design and implementation of a high-performance data cloud [J] Philosophical Transactions of the Royal Society A: Physical, Mathematical and Engineering Sciences,2009,367(1897): Dominic Battré, Stephan Ewen, Fabian Hueske, et al. Nephele/PACTs: a programming model and execution framework for web-scale analytical processing[c]//proc of SoCC 2010.New York:ACM,2010: Pradeep Kumar Gunda, Lenin Ravindranath, Chandramohan A. Thekkath, et al.nectar: Automatic Management of Data and Computation in Datacenters[C]//Proc of OSDI 2010.CA:USENIX Association Berkeley,2010: POPA, L., BUDIU, M., et al. DryadInc: Reusing work in large-scale computations[c]//proc of HotCloud 2009.CA:USENIX Association Berkeley, Pramod Bhatotia, Alexander Wieder, Rodrigo Rodrigues,et al. Incoop: MapReduce for incremental computations[c]//proc of SOCC 2011.New York:ACM, Cairong Yan, Xin Yang, Ze Yu, et al. IncMR: Incremental Data Processing Based on MapReduce[C]// Proc of Cloud Piscataway, NJ: IEEE,2012: Christopher Olston, Greg Chiou, Laukik Chitnis,et al. Nova: continuous Pig/Hadoop workflows[c]//sigmod 2011.New York: ACM,2011: Tyson Condie, Neil Conway, Peter Alvaro, et al.mapreduce Online[C]// Proc of NSDI 2010.CA:USENIX Association Berkeley,2010: Yingjie Shi, Xiaofeng Meng, Fusheng Wang, et al. You Can Stop Early with COLA: Online Processing of Aggregate Queries in the Cloud[C]//Proc of CIKM 2012.New York:ACM, D. Logothetis, C. Trezzo, K. Webb, et al. In-situ mapreduce for log processing[c]//proc of USENIX ATC 2011.CA:USENIX Association Berkeley, Christopher J. Trezzo. Continuous mapreduce: An architecture for large-scale in-situ data processing[d].usa:university of California, San Diego, Yingyi Bu, Bill Howe, Magdalena Balazinska, et al.haloop: Efficient Iterative Data Processing on Large Clusters[J]. PVLDB,2010,3(1): Jaliya Ekanayake, Hui Li, Bingjing Zhang, et al.twister: a runtime for iterative MapReduce.[C]// Proc of HPDC 2010.New York:ACM,2010: Y. Zhang, Q. Gao, L. Gao, et al. Wang. imapreduce: A Distributed Computing Framework for Iterative Computation[C]//Proc of IPDPS 2011 DataCloud Workshop.Piscataway, NJ: IEEE,2011: E. Elnikety, T. Elsayed, H. E. Ramadan. ihadoop: Asynchronous iterations for mapreduce[c]// Proc of CloudCom 2011.Piscataway, NJ: IEEE,2011: Yanfeng Zhang, Qixin Gao, Lixin Gao, et al. PrIter: a distributed framework for prioritized iterative computations[c]// Proc of SoCC 2011.New York:ACM,2011: ZAHARIA, M., CHOWDHURY, M., FRANKLIN, M., SHENKER,S., AND STOICA, I. Spark: Cluster computing with working sets[c]//proc of HotCloud 2010.CA:USENIX Association Berkeley, Dhruba Borthakur, Jonathan Gray, Joydeep Sen Sarma, et al. Apache hadoop goes realtime at Facebook[C]// Proc of SIGMOD 2011.New York:ACM,2011: Edward Mazur, Boduo Li, Yanlei Diao,et al.towards Scalable One-Pass Analytics Using MapReduce[C]// Proc of IPDPS Workshops 2011.Piscataway, NJ: IEEE,2011: Boduo Li, Edward Mazur, Yanlei Diao, et al.a platform for scalable one-pass analytics using MapReduce[C]// Proc of SIGMOD 2011.New York:ACM,2011: Kumar V, Andrade H, Gedik B, et al. DEDUCE: At the intersection of MapReduce and stream processing[c]// Proc of EDBT 2010.New York:ACM,2010:

40 88 N. Backman, K. Pattabiraman, R. Fonseca, et al. C-MR: Continuously Executing MapReduce Workflows on Multi-core Processors[C]//In Proceedings of the 3rd International Workshop on MapReduce and its Applications.New York:ACM,2012: Ahmed M. Aly, Asmaa Sallam, Bala M. Gnanasekaran, et al. M3: Stream Processing on Main-Memory MapReduce[C]// Proc of ICDE Piscataway, NJ: IEEE,2012: Andrey Brito, Andre Martin, Thomas Knauth, et al. Scalable and Low-Latency Data Processing with Stream MapReduce[C]// Proc of CloudCom 2011.Piscataway, NJ: IEEE,2011: Wang Lam, Lu Liu, STS Prasad, et al. Muppet: MapReduce-Style Processing of Fast Data[J]. PVLDB,2012,5(12): Hirotaka Ogawa, Hidemoto Nakada, Ryousei Takano, Tomohiro Kudoh: SSS: An Implementation of Key-Value Store Based MapReduce Framework[C]//Proc of CloudCom Piscataway, NJ: IEEE,2010: M. Zaharia, T. Das, H. Li, et al. Discretized Streams: An Efficient and Fault-Tolerant Model for Stream Processing on Large Clusters[C]// Proc of HotCloud 2012.CA:USENIX Association Berkeley, Sangwon Seo, Ingook Jang, Kyungchang Woo, et al. HPMR: Prefetching and pre-shuffling in shared MapReduce computation environment[c]// Proc of CLUSTER 2009.Piscataway, NJ: IEEE,2009: Jens Dittrich, Jorge-Arnulfo Quiané-Ruiz, Alekh Jindal, Yagiz Kargin,et al.hadoop++: Making a Yellow Elephant Run Like a Cheetah (Without It Even Noticing) [J]. PVLDB,2010,3(1): Shivnath Babu. Towards automatic optimization of MapReduce programs[c]// Proc of SoCC 2010.New York:ACM,2010: Jeffrey Shafer, Scott Rixner, Alan L. Cox. The Hadoop distributed filesystem: Balancing portability and performance[c]// Proc of ISPASS 2010.Piscataway, NJ: IEEE,2010: Wei Lu, Yanyan Shen, Su Chen, et al: Efficient Processing of k Nearest Neighbor Joins using MapReduce[J]. PVLDB,2012, 5(10): Xiaofei Zhang, Lei Chen, Min Wang: Efficient Multi-way Theta-Join Processing Using MapReduce[J].PVLDB,2012,5(11): Niketan Pansare, Vinayak R. Borkar, Chris Jermaine, et al.online Aggregation for Large MapReduce Jobs[J]. PVLDB,2011,4(11): Yasin N. Silva, Jason M. Reed: Exploiting MapReduce-based similarity joins[c]// Proc of SIGMOD 2012.New York:ACM, 2012: lper Okcan, Mirek Riedewald: Processing theta-joins using MapReduce[C]// Proc of SIGMOD 2011.New York:ACM,2011: Foto N. Afrati, Anish Das Sarma, David Menestrina, et al. Fuzzy Joins Using MapReduce[C]//Proc of ICDE Piscataway, NJ: IEEE,2012: Gylfi Þór Gudmundsson, Laurent Amsaleg, Björn Þór Jónsson. Distributed high-dimensional index creation using Hadoop, HDFS and C++[C]// Proc of CBMI 2012.Piscataway, NJ: IEEE,2012: Haojun Liao, Jizhong Han, Jinyun Fang: Multi-dimensional Index on Hadoop Distributed File System[C]//Proc of NAS 2010: Ashish Thusoo, Joydeep Sen Sarma, Namit Jain, et al.hive-a petabyte scale data warehouse using Hadoop[C]// Proc of ICDE Piscataway, NJ: IEEE,2010: Azza Abouzied, Kamil Bajda-Pawlikowski, Jiewen Huang, et al. HadoopDB in action: building real world applications[c]// Proc of SIGMOD 2010.New York:ACM,2010: Songting Chen: Cheetah: A High Performance, Custom Data Warehouse on Top of MapReduce[J]. PVLDB,2010,3(2): Xueyuan Su, Garret Swart: Oracle in-database hadoop: when mapreduce meets RDBMS[C]// Proc of SIGMOD 2012.New York:ACM,2012: Fatma Özcan, David Hoa, Kevin S. Beyer, et al.emerging trends in the enterprise data analytics: connecting Hadoop and DB2 warehouse[c]// Proc of SIGMOD 2011.New York:ACM,2011: Yu Xu, Pekka Kostamaa, Like Gao: Integrating hadoop and parallel DBMs[C]// Proc of SIGMOD 2010.New York:ACM,2010: Yan Yang, Xianhua Ni, Hongjun Wang, et al. Parallel Implementation of Ant-Based Clustering Algorithm Based on Hadoop[C]// Proc of ICSI 2012.Berlin:Springer,2012: Lai Yang, Zhongzhi Shi, Li D. Xu, et al.dh-trie frequent pattern mining on Hadoop using JPA[C]// Proc of GrC 2011.Piscataway, NJ: IEEE,2011: S. Nair, J. Mehta.Clustering with Apache Hadoop[C]// Proc of ICWET 2011.New York:ACM,2011: Lai Yang, Zhongzhi Shi. An Efficient Data Mining Framework on Hadoop using Java Persistence API[C]// Proc of CIT Piscataway, NJ: IEEE,2010: Raja Chiky, Renata Ghisloti, Zakia Kazi-Aoul. Development of a distributed recommender system using the Hadoop Framework[C]// Proc of EGC 2012: Jing Jiang, Jie Lu, Guangquan Zhang, et al.scaling-up Item-Based Collaborative Filtering Recommendation Algorithm Based on Hadoop[C]// Proc of SERVICES 2011.Piscataway, NJ: IEEE,2011: Toon De Pessemier, Kris Vanhecke, Simon Dooms, et al.content-based Recommendation Algorithms on the Hadoop MapReduce Framework[C]// Proc of WEBIST 2011.New York:ACM,2011: Claudia Perlich, Brian Dalessandro, Rod Hook, et al. Bid optimizing and inventory scoring in targeted online advertising[c]// Proc of KDD 2012.New York:ACM,2012: Rakesh Agrawal, Ramakrishnan Srikant. Privacy preserving data mining[c]// Proc of SIGMOD 2000.New York:ACM,2000: Cynthia Dwork: Differential Privacy[C]//Proc of ICALP 2006.Berlin:Springer,2006: Theo Härder, Volker Hudlet, Yi Ou, et al. Energy efficiency is not enough, energy proportionality is needed![c]//proc of DASFAA Berlin: Springer-Verlag,2011: NY Times. Power, Pollution and the Internet [EB/OL]. [ ]. data-centers-waste-vast-amounts-of-energy-belying-industry-image.html?pagewanted=all 124 Cheng Chen, Bingsheng He, Xueyan Tang, et al. Green Databases Through Integration of Renewable Energy[C]// Proc of CIDR Asilomar, California, Sang-Won Lee, Bongki Moon. Design of flash-based DBMS: an in-page logging approach[c]//proc of SIGMOD New York: ACM,2007: Gokul Soundararajan, Vijayan Prabhakaran, Mahesh Balakrishnan, et al. Extending SSD Lifetimes with Disk-Based Write Caches[C]// Proc of FAST 2010, CA:USENIX Association Berkeley, Puyuan Yang, Peiquan Jin, Lihua Yue. Hybrid Storage with Disk Based Write Cache [C]//Proc of FlashDB Berlin: Springer, 2011: I. Koltsidas, S.D. Viglas. Flashing up the storage layer[j]. PVLDB,2008, 1(1): Qing Yang,Jin Ren. I-CASH: Intelligently Coupled Array of SSD and HDD[C]//Proc of HPCA 2011.Piscataway, NJ: IEEE,2011: Feng Chen, David A. Koufaty,Xiaodong Zhang. Hystor: making the best use of solid state drives in high performance storage 31

41 systems[c]//proc of ICS 2011.New York:ACM,2011: H.Payer, M.A.Sanvido, Z.Z.Bandic, et al. Combo Drive: Optimizing cost and performance in a heterogeneous storage device[c]//proc of WISH New York:ACM, Ning Zhang, Junichi Tatemura, Jignesh M. Patel, et al. Towards cost-effective storage provisioning for DBMSs [J]. PVLDB,2011,5(4): Mustafa Canim, George A. Mihaila, Bishwaranjan Bhattacharjee, et al. SSD bufferpool extensions for database systems [J]. PVLDB, 2010,3(1-2): Jaeyoung Do, Donghui Zhang, Jignesh M. Patel,et al. Turbocharging DBMS buffer pool using SSDs [C]//Proc of SIGMOD New York:ACM, Y. Ou, T. Härder. Improving Database Performance Using a Flash-Based Write Cache[C]//Proc of Proc of FlashDB Berlin: Springer,:2012, Tian Luo, Rubao Lee, Michael Mesnier,et al. hstorage-db: heterogeneity-aware data management to exploit the full capability of hybrid storage systems[j].pvldb,2012,5(10): Woon-Hak Kang, Sang-Won Lee, Bongki Moon. Flash-based extended cache for higher throughput and faster recovery [J].PVLDB, 2012,5(11): Donald A. Norman. The design of everyday things [M]. New York: Basic Books, Shivnath Babu. Towards automatic optimization of MapReduce programs[c]// Proc of SoCC 2010.New York:ACM,2010: Eaman Jahani, Michael J. Cafarella, Christopher Ré.Automatic Optimization for MapReduce Programs[J]. PVLDB,2011, 4(6): M.J. Cafarella and C. Ré. Manimal: Relational Optimization for Data-Intensive Programs[C]// Proc of WebDB 2010.New York: ACM, Herodotos Herodotou, Harold Lim, Gang Luo, et al. Starfish: A Self-tuning System for Big Data Analytics[C]// Proc of CIDR 2011: Pak Chung Wong, Han-Wei Shen, Christopher R. Johnson, et al.the Top 10 Challenges in Extreme-Scale Visual Analytics[J]. Computer Graphics and Applications.2012, 32(4): Olston C, Reed B, Srivastava U, et al. Pig Latin: A not-so-foreign language for data processing[c]// Proc of SIGMOD 2008.New York:ACM,2008: Rob Pike, Sean Dorward, Robert Griesemer,et al. Interpreting the data: Parallel analysis with Sawzall[J]. Scientific Programming, 2005,13(4): Michael Isard, Yuan Yu. Distributed data-parallel computing using a high-level programming language[c]// Proc of SIGMOD 2009.New York:ACM,2009: L. Fegaras, C. Li, U. Gupta, J. J. Philip. XML Query Optimization in Map-Reduce[C]//Proc of WebDB 2011.New York:ACM, Ming-Yee Iu,Willy Zwaenepoel. HadoopToSQL: a MapReduce Query Optimizer [C]//Proc of EuroSys 2010.New York: ACM,2010: Leonidas Fegaras, Chengkai Li, Upa Gupta. An optimization framework for map-reduce queries[c]//proc of EDBT 2012.New York: ACM,2012: Bingsheng He, Mao Yang, Zhenyu Guo, et al. Comet: batched stream processing for data intensive distributed computing[c]//proc of SoCC 2010.New York:ACM,2010: Rubao Lee, Tian Luo, Yin Huai, et al. YSmart: Yet another SQL-to-MapReduce Translator. [C]// Proc of ICDCS 2011.Piscataway, NJ: IEEE,2011: Biswapesh Chattopadhyay, Liang Lin, Weiran Liu,et al.tenzing A SQL Implementation On The MapReduce Framework[J]. PVLDB,2011,4(12): Paul Stoellberger. S4Latin: Language-Based Big Data Streaming [D].UK: University of Edinburgh, downloads/msc_bigdatastreams.pdf 154 Kristi Morton, Magdalena Balazinska, Dan Grossman. ParaTimer: a progress indicator for MapReduce DAGs[C]// Proc of SIGMOD 2010.New York:ACM,2010: Kristi Morton, Abram Friesen, Magdalena Balazinska, et al. KAMD: Estimating the progress of MapReduce pipelines[c]// Proc of ICDE Piscataway, NJ: IEEE, 2010: Dachuan Huang, Xuanhua Shi, Shadi Ibrahim,et al. MR-scope: a real-time tracing tool for MapReduce[C]// Proc of HPDC 2010.New York:ACM,2010: Jiaqi Tan, Soila Kavulya, Rajeev Gandhi,et al.visual, Log-Based Causal Tracing for Performance Debugging of MapReduce Systems[C]// Proc of ICDCS Piscataway, NJ: IEEE,2010: Nodira Khoussainova, Magdalena Balazinska, Dan Suciu. PerfXplain: Debugging MapReduce Job Performance[J]. PVLDB,2012, 5(7): Jinquan Dai, Jie Huang, Shengsheng Huang,et al.hitune: dataflow-based performance analysis for big data cloud[c]//proc of USENIX ATC 2011.CA:USENIX Association Berkeley, Chaitan Baru, Milind Bhandarkar, Raghunath Nambiar, et al.introducting the big data benchmarking community[c]// Proc of XLDB Y. Chen. We Don't Know Enough to make a Big Data Benchmark Suite - An Academia-Industry View[R]. EECS Department, University of California, Berkeley Yanpei Chen, Archana Ganapathi, Rean Griffith, et al.the Case for Evaluating MapReduce Performance Using Workload Suites[C]// Proc of MASCOTS 2011.Piscataway, NJ: IEEE,2011: Amit Sangroya, Damian Serrano, Sara Bouchenak. MRBS: A Comprehensive MapReduce Benchmark Suite[R]. Technical Report, LIG Laboratory, University of Grenoble, Feb GridMix [EB/OL]. [ ] TPC-DS [EB/OL]. [ ] S. Patil, M. Polte, K. Ren, et al.ycsb++: Benchmarking and Performance Debugging Advanced Features in Scalable Table Stores[C]//Proc of SoCC New York:ACM, Y. Chen, S. Alspaugh, R. Katz. Interactive Query Processing in Big Data Systems: A Cross-Industry Study of MapReduce Workloads[J]. PVLDB,2012,5(12): 作 者 简 介 MENG Xiaofeng, born in 1964.Professor and PhD supervisor at Renmin University of China. His main research interests include cloud data management, Web data management, flash-based databases, etc. Ci Xiang, born in 1986.PhD candidate at Renmin University of China. His main research interests include cloud data management, big data, etc 32

42 本 课 题 得 到 国 家 自 然 基 金 项 目 ( 课 题 号 : , , , ) 中 国 人 民 大 学 科 学 研 究 基 金 ( 课 题 号 : 11XNL010) 支 持, 国 家 863 计 划 项 目 ( 课 题 号 :2012AA010701) 资 助. 王 江 涛, 男,1978 年 生, 博 士 研 究 生, jiangtaow@ruc.edu.cn, 主 要 研 究 领 域 为 闪 存 数 据 库 系 统. 孟 小 峰, 性 别,1964 年 生, 教 授, 博 士 生 导 师, xfmeng.ruc@gmail.com, 主 要 研 究 领 域 为 网 络 数 据 管 理 云 数 据 管 理 闪 存 数 据 库 系 统 隐 私 保 护 社 会 计 算 等. 闪 存 数 据 管 理 关 键 技 术 研 究 王 江 涛, 孟 小 峰 ( 中 国 人 民 大 学 信 息 学 院, 北 京 市 中 国 ) 摘 要 随 着 闪 存 存 储 技 术 的 发 展, 闪 存 已 经 广 泛 应 用 于 各 种 移 动 设 备 PC 机 和 服 务 器 中 作 为 一 种 完 全 不 同 于 磁 盘 的 新 型 存 储 介 质, 闪 存 具 有 非 易 失 高 速 读 写 抗 震 低 功 耗 高 存 储 密 度 等 物 理 特 性, 这 使 得 基 于 闪 存 的 数 据 管 理 问 题 成 为 新 的 挑 战 数 据 库 系 统 是 数 据 管 理 的 重 要 技 术, 将 现 有 的 数 据 库 系 统 直 接 移 植 到 闪 存 上 并 不 能 充 分 发 挥 其 硬 件 特 性, 设 计 实 现 基 于 闪 存 的 数 据 库 系 统 是 当 前 的 一 个 研 究 热 点 本 文 介 绍 了 闪 存 的 特 性 和 闪 存 转 换 层 ; 总 结 了 缓 冲 区 索 引 查 询 和 事 物 处 理 等 关 键 技 术 ; 讨 论 了 闪 存 在 混 合 存 储 数 据 管 理 中 的 作 用 最 后, 基 于 该 领 域 亟 待 解 决 的 诸 多 问 题, 指 出 了 未 来 的 研 究 方 向 关 键 词 闪 存 ; 缓 冲 区 ; 索 引 ; 查 询 ; 混 合 中 图 法 分 类 号 TP311 Key Technologies Research on Flash-Based Data Management WANG Jiang-Tao,MENG Xiao-Feng (School of Information, Renmin University of China, Beijing ) Abstract With the growing popularity of flash memory, flash has been widely used in various types of applications, such as mobile devices, PC machines, and servers. Flash, as a new type of storage media unlike disk, has its inherent properties which include non-volatility, high access speed, shock resistance, lower power, and high storage density etc. These properties, however, will bring new challenges for data management. Although disk-based database management system has the powerful ability for managing data, its current techniques cannot make full use of high I/O performance of flash memory if we transfer it to flash without modification. Therefore, it is a hot topic to design and implement flash-based database systems. In this survey, the new properties and translation layer of flash is introduced firstly. Secondly, several critical techniques on buffer, index, query optimization, and transaction processing are surveyed and classified. Thirdly, we discuss some research issues on flash-based hybrid storage systems. At last, based on the analyzed problems, suggestions for future research works are put forward. Keywords flash memory; buffer; index; query; hybrid 1 引 言 随 着 社 交 网 络 物 联 网 等 新 技 术 和 应 用 的 快 速 发 展, 数 据 产 生 的 规 模 和 速 度 呈 现 爆 炸 式 增 长, 海 量 数 据 处 理 给 计 算 机 系 统 性 能 带 来 巨 大 挑 战 作 为 数 据 主 要 存 储 介 质 的 磁 盘 已 经 越 来 越 不 能 满 足 实 际 应 用 对 存 储 带 宽 的 需 求 在 过 去 的 几 十 年, CPU 的 处 理 速 度 提 高 近 600 倍, 而 磁 盘 的 读 写 速 度 只 提 升 了 不 足 10 倍, 低 速 的 磁 盘 已 经 成 为 制 约 系 统 性 能 提 升 的 瓶 颈 随 着 多 核 GPU 等 高 性 能 处 理 器 的 出 现, 这 一 现 象 必 然 会 更 加 突 出 磁 盘 自 身 的 机 械 寻 道 特 性 使 得 其 存 储 性 能 很 难 有 较 大 第 1 作 者 联 系 方 式 : , jiangtaow@ruc.edu.cn, 计 算 机 学 会 会 员 (E G) 幅 度 提 升, 数 据 处 理 急 切 需 要 新 型 高 效 的 存 储 设 备 来 提 高 存 储 系 统 的 性 能 诞 生 于 上 世 纪 80 年 代 末 的 闪 存 存 储 器 (Flash Memory) 为 解 决 这 一 问 题 提 供 了 有 效 途 径 闪 存 是 一 种 全 电 设 备, 通 过 电 子 电 路 来 读 取 数 据, 具 有 非 易 失 极 高 的 读 写 速 度 抗 震 低 功 耗 体 积 小 等 特 性, 已 经 广 泛 应 用 [1-2] 于 嵌 入 式 系 统 航 空 航 天 消 费 电 子 等 领 域 闪 存 的 读 写 速 度 超 过 磁 盘 百 倍 以 上, 随 着 闪 存 制 作 工 艺 的 发 展, 闪 存 的 容 量 不 断 增 大, 应 用 领 域 开 始 逐 步 扩 展 到 高 吞 吐 数 据 密 集 访 问 的 企 业 级 应 用 环 境 图 灵 奖 获 得 者 Jim Gray 先 生 就 曾 预 测 : 就 像 磁 盘 取 代 磁 带 一 样, 闪 存 将 会 取 代 磁 盘 [3] 闪 存 最 终 必 将 替 换 磁 盘 成 为 主 流 的 二 级 存 储 设 33

43 备 数 据 库 系 统 是 数 据 管 理 的 重 要 技 术, 许 多 数 据 库 产 品 ( 如,Oracle SQL Server DB2 等 ) 已 经 成 为 企 业 大 规 模 数 据 处 理 的 基 础 现 有 的 数 据 库 系 统 大 都 基 于 磁 盘 存 储 进 行 设 计 和 优 化, 闪 存 表 现 出 与 磁 盘 不 同 的 物 理 特 性, 将 数 据 库 系 统 直 接 运 行 在 闪 存 上 无 法 充 分 发 挥 其 优 良 性 能 探 讨 适 合 闪 存 特 性 的 数 据 管 理 技 术 是 当 前 数 据 管 理 领 域 的 研 究 热 点 本 文 第 2 节 介 绍 闪 存 存 储 特 性 固 态 硬 盘 和 闪 存 转 换 层 ; 第 3 节 对 闪 存 数 据 库 关 键 技 术 进 行 分 析 归 类 ; 第 4 节 介 绍 基 于 闪 存 的 混 合 系 统 数 据 管 理 相 关 研 究 ; 第 5 节 展 望 未 来 研 究 工 作 ; 第 6 节 对 全 文 做 出 总 结 2 闪 存 存 储 2.1 闪 存 类 型 根 据 制 作 工 艺, 闪 存 存 储 器 可 以 分 为 NOR 型 和 NAND 型 两 种 NOR 型 闪 存 是 为 了 替 代 EEPROM 而 设 计, 可 以 按 位 或 者 按 字 节 进 行 访 问, NOR 型 闪 存 芯 片 具 有 可 靠 性 高 随 机 读 取 速 度 快 的 优 势, 但 擦 除 和 编 程 操 作 速 度 较 慢, 主 要 用 于 存 储 可 执 行 的 程 序 代 码 NAND 闪 存 的 容 量 大, 适 合 进 行 数 据 存 储, 目 前 已 广 泛 应 用 于 PDA 移 动 电 话 和 数 码 相 机 等 便 携 式 电 子 设 备 根 据 芯 片 上 每 个 晶 胞 所 能 存 储 的 比 特 位 数,NAND 闪 存 又 可 以 分 为 单 级 晶 胞 (SLC) 和 多 级 晶 胞 (MLC) 两 类,SLC 每 单 元 存 储 1 个 比 特 位,MLC 每 单 元 存 储 多 个 比 特 位 文 中 提 及 的 闪 存 设 备 若 不 是 特 别 注 明 都 是 指 NAND 型 闪 存 2.2 闪 存 特 性 一 个 NAND 型 闪 存 芯 片 通 常 由 若 干 个 块 (Block) 组 成, 每 个 块 又 由 若 干 页 (Page) 组 成 例 如, 容 量 为 1GB 的 三 星 K9WAG08U1A [7] 闪 存 芯 片 包 含 8192 个 块 (Block), 每 个 Block 由 64 个 页 (Page) 组 成, 每 一 个 Page 由 数 据 区 (data area) 和 备 用 区 (spare area) 组 成, 2KB 的 数 据 区 用 于 存 储 用 户 数 据,64B 的 备 用 区 用 来 存 储 校 验 信 息 逻 辑 页 地 址 等 信 息 闪 存 有 读 写 和 擦 除 三 种 操 作, 页 是 闪 存 的 基 本 读 写 单 元, 写 数 据 前 必 须 执 行 擦 除 操 作, 擦 除 比 写 操 作 需 要 花 费 更 多 的 时 间 并 且 以 块 为 单 位 SLC 型 闪 存 支 持 更 小 粒 度 的 写 操 作, 它 允 许 对 同 一 个 数 据 页 在 擦 除 前 多 次 写 入, 支 持 最 小 512B 的 写 操 作 粒 度 闪 存 芯 片 的 读 写 方 式 与 磁 盘 截 然 不 同, 二 者 表 现 出 来 的 读 写 特 性 有 很 大 的 区 别, 磁 盘 和 闪 存 I/O 操 作 性 能 对 比 见 表 1 Table1 Access Speed: Disk vs. NAND Flash [8] [8] 表 1 闪 存 与 磁 盘 I/O 特 性 表 类 型 读 (2KB) 写 (2KB) 擦 除 (128KB) 磁 盘 12.7ms 13.7ms N/A NAND 型 闪 存 80µs 200µs 1.5ms 总 的 来 说, 闪 存 不 同 于 磁 盘 的 特 性 主 要 有 以 下 几 点 : 无 机 器 延 迟 : 作 为 一 种 纯 电 子 设 备, 闪 存 芯 片 通 过 在 晶 体 管 中 的 凹 槽 与 控 栅 之 间 的 浮 栅 捕 获 电 荷 来 存 储 数 据 闪 存 并 没 有 像 磁 头 一 样 的 机 械 部 件, 没 有 机 器 延 迟, 其 随 机 访 问 模 式 和 顺 序 访 问 模 式 的 开 销 是 相 当 的, 因 此 它 具 有 优 越 的 随 机 访 问 性 能 读 写 不 对 称 : 在 闪 存 中, 不 同 类 型 的 访 问 操 作 速 度 差 别 很 大 一 般 来 说, 读 的 速 度 很 快, 写 入 数 据 时, 因 为 需 要 通 过 加 压 的 的 方 式 对 存 储 单 元 进 行 电 子 填 充, 所 以 速 度 略 慢, 擦 除 的 速 度 最 慢 异 位 更 新 : 在 磁 盘 中, 如 果 需 要 更 新 数 据, 新 版 本 数 据 可 以 原 位 覆 盖 旧 版 本 存 储 空 间, 实 行 原 位 更 新 在 闪 存 上 数 据 更 新 相 对 复 杂 的 多, 闪 存 在 数 据 重 写 前 需 要 先 执 行 擦 除 操 作, 即 便 是 只 原 位 更 新 数 据 块 中 某 一 页 的 一 条 数 据 也 需 要 先 把 整 个 块 擦 除 频 繁 的 擦 除 操 作 使 系 统 的 性 能 显 著 降 低 鉴 于 这 个 原 因, 闪 存 设 备 在 更 新 数 据 的 时 候 并 不 会 直 接 在 原 位 进 行 更 新, 而 只 是 将 原 来 的 数 据 页 置 为 无 效, 然 后 把 修 改 后 的 数 据 写 到 一 个 新 的 空 闲 页, 这 一 过 程 称 为 异 位 更 新 闪 存 的 异 位 更 新 自 然 的 保 存 了 多 版 本 历 史 数 据, 合 理 利 用 这 些 历 史 版 本 有 助 于 高 效 解 决 并 发 访 问 数 据 恢 复 等 一 些 列 数 据 管 理 问 题 擦 除 次 数 有 限 : 虽 然 闪 存 中 的 块 是 可 以 进 行 反 复 擦 除 的, 但 每 个 块 的 擦 除 次 数 是 有 限 的 SLC 闪 存 芯 片 上 的 块 支 持 10 万 次 擦 除, 而 MLC 闪 存 芯 片 上 的 块 因 为 数 据 密 集 度 更 高, 只 支 持 1 万 次 擦 除 随 着 闪 存 存 储 密 度 的 增 大, 有 些 闪 存 芯 片 的 块 擦 除 次 数 只 有 5000 次 左 右 超 过 一 定 擦 除 次 数 的 闪 存 单 元 将 不 再 可 用, 这 影 响 闪 存 的 可 靠 性 和 可 用 性 低 能 耗 : 与 磁 盘 相 比, 闪 存 的 能 耗 更 低, 每 GB 读 数 据 消 耗 的 能 量 只 有 磁 盘 的 2% 左 右, 写 操 作 也 不 足 磁 盘 的 30% 能 耗 代 价 是 超 大 数 据 管 理 34

44 需 要 解 决 的 一 个 重 要 问 题, 闪 存 的 出 现 为 建 设 绿 色 数 据 中 心 以 及 低 能 耗 数 据 管 理 系 统 提 供 了 有 力 的 支 持 闪 存 有 比 磁 盘 更 加 复 杂 的 硬 件 特 性, 传 统 的 基 于 磁 盘 的 数 据 管 理 技 术 在 闪 存 上 并 不 适 用, 基 于 闪 存 的 复 杂 数 据 应 用 需 要 解 决 的 最 大 问 题 是 如 何 有 效 地 存 储 组 织 管 理 和 使 用 闪 存 上 的 数 据 2.3 固 态 硬 盘 及 闪 存 转 换 层 固 态 硬 盘 (Solid State Drive,SSD) 的 存 储 性 能 远 超 过 磁 盘, 它 由 闪 存 芯 片 控 制 器 和 闪 存 转 换 层 (Flash Translation Layer,FTL) 组 成, 对 外 提 供 和 磁 盘 相 同 的 I/O 接 口 近 十 年 来 随 着 闪 存 芯 片 容 量 的 增 加 和 价 格 的 下 降, 集 成 了 多 块 闪 存 芯 片 固 态 硬 盘 已 经 被 认 为 是 最 有 可 能 替 代 磁 盘 的 下 一 代 数 据 存 储 载 体 个 人 计 算 机 服 务 器 和 企 业 级 [4-6] 数 据 管 理 中 心 大 量 使 用 固 态 硬 盘 来 提 高 数 据 存 储 性 能 为 了 屏 蔽 闪 存 与 磁 盘 不 同 的 操 作 特 性, 固 态 硬 盘 一 般 都 会 引 入 闪 存 转 换 层 为 上 层 文 件 系 统 提 供 通 用 的 读 写 接 口, 系 统 应 用 不 需 要 任 何 修 改 便 可 直 接 在 固 态 硬 盘 上 运 行 闪 存 转 换 层 是 封 装 在 闪 存 芯 片 和 文 件 系 统 之 间 的 一 个 软 件 层, 它 有 三 个 基 本 功 能 闪 存 转 换 层 在 系 统 中 的 层 次 见 图 1 File Systems(e.g.DOS FAT) Allocator Address Translation/Block Assignment Wear Leveler Cleaner Garbage Collection Flash Translation Layer Memory Technology Device Layer Flash memory 获 得 正 确 的 闪 存 块 页 地 址 磨 损 平 衡 : 闪 存 中 每 个 存 储 块 的 擦 除 次 数 都 有 一 定 的 上 限, 过 多 的 擦 除 操 作 会 使 闪 存 块 成 为 磨 损 块 而 无 法 使 用 数 据 负 载 访 问 不 均 衡 特 性 使 得 闪 存 局 部 存 储 区 因 更 新 频 繁 而 很 快 演 变 成 磨 损 块, 当 磨 损 块 的 比 率 超 过 一 定 的 比 例, 闪 存 设 备 将 不 再 可 用 闪 存 转 换 层 中 的 Wear Leveler 模 块 采 用 数 据 迁 移 的 办 法 平 衡 存 储 单 元 的 擦 除 次 数 实 现 闪 存 整 体 的 损 耗 均 衡 垃 圾 回 收 : 闪 存 每 执 行 一 次 异 位 更 新 都 会 产 生 一 个 旧 数 据 页, 随 着 更 新 数 据 的 不 断 增 加, 垃 圾 数 据 在 闪 存 上 不 断 堆 积 并 占 据 大 量 可 用 的 存 储 空 间 闪 存 转 换 层 的 Cleaner 模 块 负 责 进 行 垃 圾 回 收 垃 圾 回 收 首 先 选 择 待 回 收 的 块, 把 块 中 有 效 的 数 据 写 入 新 的 块, 擦 除 旧 块 实 现 闪 存 空 间 的 循 环 再 利 用 3 闪 存 数 据 库 系 统 关 键 技 术 由 于 闪 存 设 备 表 现 出 与 磁 盘 完 全 不 同 的 物 理 特 性, 因 此, 简 单 地 用 闪 存 替 换 磁 盘 进 行 数 据 库 系 统 管 理 不 能 最 大 化 发 挥 闪 存 的 优 良 性 能, 有 必 要 设 计 基 于 闪 存 的 数 据 库 系 统 本 节 内 容 首 先 阐 述 研 究 闪 存 数 据 库 系 统 的 必 要 性, 然 后 分 别 讨 论 闪 存 数 据 库 系 统 研 究 的 几 个 关 键 技 术 3.1 闪 存 数 据 库 系 统 研 究 的 必 要 性 大 容 量 闪 存 设 备 ( 如 SSD) 的 读 写 性 能 比 磁 盘 有 近 百 倍 的 提 升, 为 此, 我 们 将 PostgreSQL 数 据 库 系 统 迁 移 至 SSD 上 并 进 行 TPC-C 性 能 测 试 测 试 环 境 如 下 配 置 : 操 作 系 统 安 装 在 一 块 80GB Intel SSD 上, 版 本 为 Ubuntu Server; 为 防 止 操 作 系 统 读 写 I/O 与 TPC-C 测 试 I/O 相 互 冲 突,TPC-C 数 据 集 放 置 在 另 外 一 块 80GB Intel SSD 上 ;CPU 采 用 2 Duo CPU E GHz; 内 存 大 小 是 2GB 并 设 定 最 大 缓 冲 区 为 400MB 测 试 结 果 见 表 2 Fig1 The architecture of flash translation layer 图 1 闪 存 转 换 层 结 构 地 址 映 射 : 闪 存 转 换 层 中 的 Allocator 模 块 负 责 为 I/O 请 求 分 配 可 用 的 空 闲 空 间, 并 解 决 闪 存 异 位 更 新 造 成 的 地 址 变 换 问 题 Allocator 维 护 一 张 逻 辑 页 到 物 理 页 的 映 射 表, 通 过 映 射 表 将 I/O 请 求 的 逻 辑 地 址 映 射 到 相 应 的 物 理 地 址, 保 证 系 统 请 求 35

45 并 发 用 户 数 Table2 TPC-C throughput: Disk vs. SSD 表 2 磁 盘 和 固 态 硬 盘 事 物 处 理 性 能 对 比 吞 吐 量 (TPMC) 磁 盘 (HDD) 固 态 (SSD) 性 能 提 升 尽 管 实 验 表 明 PostgreSQL 在 SSD 上 事 物 吞 吐 性 能 提 高 了 近 10 倍, 但 距 离 我 们 所 期 望 的 闪 存 对 数 据 库 系 统 性 能 提 升 幅 度 还 有 不 少 的 差 距 文 献 [8-9] 给 出 的 基 于 闪 存 的 数 据 库 查 询 处 理 性 能 只 提 高 了 3~5 倍, 部 分 查 询 性 能 甚 至 低 于 磁 盘, 造 成 这 一 现 象 的 根 本 原 因 在 于 现 有 的 数 据 库 系 统 都 是 基 于 磁 盘 设 计 和 优 化 的, 直 接 运 行 在 闪 存 上 不 能 充 分 发 挥 闪 存 的 物 理 特 性 以 查 询 优 化 为 例, 磁 盘 随 机 读 代 价 是 顺 序 读 的 130 倍, 查 询 优 化 算 法 优 先 选 择 顺 序 读 写 来 代 替 随 机 读 操 作, 而 闪 存 的 写 操 作 比 读 操 作 有 更 高 的 代 价 并 且 它 的 随 机 读 代 价 只 是 顺 序 读 的 2.5 倍, 将 现 有 的 查 询 优 化 算 法 运 行 在 闪 存 上 不 能 发 挥 其 极 佳 的 随 机 读 性 能 设 计 并 实 现 适 合 闪 存 读 写 特 性 的 数 据 库 系 统 十 分 必 要 目 前 IBM Oracle 和 微 软 等 许 多 知 名 数 据 库 厂 商 都 在 它 们 的 数 据 库 产 品 中 添 加 了 针 对 闪 存 的 应 用 [10-11] 研 究 闪 存 数 据 库 系 统 必 须 分 析 现 有 技 术 在 闪 存 数 据 管 理 上 的 缺 陷, 从 系 统 性 和 通 用 性 等 角 度 设 计 适 合 于 闪 存 特 性 的 算 法 结 构 和 应 用 以 充 分 发 挥 闪 存 的 性 能 优 势 基 于 此, 我 们 提 出 了 闪 存 数 据 库 系 统 框 架, 如 图 2 所 示 查 询 处 理 查 询 优 化 查 询 执 行 索 引 管 理 缓 冲 区 管 理 数 据 库 管 理 系 统 闪 存 独 特 的 硬 件 特 性 全 新 的 评 价 标 准 闪 存 数 据 库 系 统 事 物 处 理 事 物 管 理 日 志 与 恢 复 并 发 控 制 Fig2 Framework of flash-based database management system 图 2 闪 存 数 据 库 系 统 框 架 查 询 处 理 应 该 基 于 闪 存 设 计 新 的 代 价 模 型 对 用 户 请 求 进 行 编 译 生 成 查 询 计 划 执 行 并 返 回 查 询 结 果 ; 存 储 和 索 引 管 理 模 块 针 对 闪 存 写 前 擦 除 特 性 对 数 据 进 行 有 效 地 组 织, 提 高 数 据 检 索 的 效 率 ; 缓 冲 区 管 理 需 要 考 虑 闪 存 读 写 不 对 称 等 特 性, 在 保 证 较 高 缓 存 访 问 命 中 率 的 同 时 尽 量 减 少 I/O 请 求 对 闪 存 带 来 的 擦 除 操 作 ; 事 物 处 理 模 块 可 以 充 分 发 挥 闪 存 高 速 随 机 读 操 作 性 能, 在 日 志 恢 复 和 并 发 控 制 处 理 过 程 中 既 能 保 证 事 务 的 ACID 特 性, 又 能 细 化 并 发 粒 度 提 高 事 物 处 理 的 吞 吐 量 缓 冲 区 管 理 索 引 技 术 查 询 处 理 事 物 处 理 等 是 构 建 闪 存 数 据 库 系 统 的 关 键 技 术 3.1 缓 冲 区 管 理 缓 冲 区 管 理 是 数 据 库 系 统 的 核 心 组 件, 缓 冲 区 位 于 计 算 机 系 统 主 存 这 一 层, 利 用 数 据 访 问 存 在 时 间 和 空 间 局 部 性 特 征 将 最 近 和 经 常 访 问 的 数 据 存 储 在 主 存 以 快 速 响 应 CPU 的 读 写 请 求 CPU 发 出 对 数 据 页 p 的 访 问 请 求, 缓 冲 区 管 理 做 如 下 处 理 : (1) 查 阅 页 表 判 断 p 是 否 在 缓 冲 区, 若 存 在 则 访 问 命 中, 读 取 p 执 行 对 该 页 的 操 作 ; 否 则 访 问 脱 靶 ( 缺 页 ) 执 行 (2); (2) 系 统 检 查 缓 冲 区 当 前 可 用 空 间, 若 有 空 间 则 为 请 求 的 页 分 配 一 个 空 闲 页, 然 后 从 磁 盘 读 入 页 p, 执 行 对 p 的 操 作, 若 无 可 用 空 间 则 执 行 (3); (3) 根 据 页 面 替 换 算 法 选 择 一 个 牺 牲 页 q 置 换 出 去 以 产 生 可 用 的 空 闲 页, 若 q 是 修 改 页 ( 脏 页 ) 则 需 要 写 回 外 存, 从 外 存 读 p 进 缓 冲 区 在 可 用 缓 冲 区 大 小 确 定 的 情 况 下, 置 换 代 价 是 衡 量 缓 冲 区 算 法 性 能 的 首 要 因 素 页 p 的 置 换 代 价 可 由 式 (1) 来 表 示 : Cost( p) P C P P C (1) miss read miss dirty write 其 中 P miss 代 表 p 脱 靶 的 概 率 ;C read 和 C write 分 别 表 示 在 外 存 上 读 取 和 写 入 p 的 时 间 ;P dirty 表 示 p 为 脏 页 的 概 率, 当 p 为 脏 页 时 需 要 执 行 一 次 写 外 存 操 作 为 了 便 于 分 析, 将 式 (1) 等 价 转 换 为 式 (2) Cwrite Cost( p) Pmiss (1 Pdirty ) C (2) P miss (1 P dirty ) 其 中 表 示 外 存 写 和 读 操 作 的 一 个 代 价 比 P miss P dirty 和 是 影 响 置 换 代 价 的 三 个 要 素, 对 于 磁 盘 而 言, 取 值 近 似 等 于 1, 因 此 基 于 磁 盘 的 缓 冲 区 管 理 算 法 主 要 关 注 P miss 对 置 换 代 价 的 影 响, 保 持 read 36

46 高 访 问 命 中 率 是 缓 冲 区 管 理 策 略 的 主 要 目 标 经 [12-15] 典 缓 冲 区 管 理 算 法 根 据 数 据 页 访 问 频 度 和 访 问 最 近 性 设 计 页 面 替 换 策 略 所 谓 访 问 频 度 是 指 缓 冲 区 中 某 一 页 在 一 段 时 间 内 重 复 被 访 问 的 次 数, 最 近 性 反 映 的 是 页 面 最 近 被 访 问 的 时 间 间 隔, 通 常 最 近 被 访 问 的 页 在 将 来 可 能 再 次 被 访 问 闪 存 的 读 写 代 价 是 不 对 称 的, 取 值 受 产 品 类 型 和 访 问 形 式 的 影 响 波 动 比 较 大, 大 小 通 常 超 过 5 闪 存 数 据 库 缓 冲 区 管 理 必 须 同 时 考 虑 P miss 和 P dirty 对 置 换 代 价 的 影 响, 单 纯 追 求 高 命 中 率 的 设 计 原 则 对 闪 存 不 再 有 效, 高 命 中 率 不 一 定 带 来 高 I/O 性 能, 保 持 较 高 的 访 问 命 中 率 和 减 少 脏 页 置 换 是 提 高 闪 存 缓 冲 区 效 率 的 理 想 选 择 一 个 高 效 的 闪 存 缓 冲 区 管 理 策 略 应 该 符 合 三 个 基 本 原 则 : (1) 算 法 应 尽 可 能 减 少 对 闪 存 的 写 操 作, 降 低 I/O 代 价 ; (2) 保 持 一 个 相 对 高 的 命 中 率, 减 少 缺 页 是 提 高 I/O 响 应 性 能 的 基 础 ; (3) 优 化 写 操 作, 尽 量 减 少 大 范 围 的 随 机 写 操 作, 提 高 闪 存 的 使 用 寿 命 根 据 置 换 代 价 粒 度 的 不 同 可 将 现 有 的 闪 存 数 据 库 缓 冲 区 替 换 策 略 分 成 页 级 和 块 级 两 类 基 于 页 级 代 价 页 级 代 价 在 选 择 牺 牲 页 时 考 虑 一 个 数 据 页 的 读 写 开 销, 优 先 选 择 代 价 低 的 数 据 页 进 行 置 换 1. CFLRU CFLRU [16] 是 最 早 提 出 的 基 于 闪 存 的 数 据 库 缓 冲 区 管 理 算 法 CFLRU 在 缓 冲 区 发 生 缺 页 中 断 时 优 先 选 择 干 净 页 (Clean Page) 进 行 替 换, 让 更 多 的 脏 页 (Dirty Page) 留 在 缓 冲 区 以 减 少 置 换 代 价 算 法 基 本 思 想 见 图 3 Fig 3 Example of CFLRU algorithm 图 3 CFLRU 置 换 策 略 示 例 CFLRU 将 缓 冲 区 中 的 数 据 页 以 LRU 方 式 组 织 成 一 个 队 列, 在 LRU 端 选 择 一 定 比 例 的 数 据 页 作 为 优 先 置 换 区, 替 换 算 法 每 次 从 优 先 置 换 区 按 LRU 序 列 选 择 一 干 净 页 作 为 牺 牲 页, 如 果 没 有 干 净 页 则 选 择 位 于 LRU 端 的 脏 页, 优 先 置 换 区 的 尺 寸 由 参 数 来 动 态 控 制 干 净 页 优 先 置 换 的 方 法 在 一 定 程 度 上 减 少 了 脏 页 回 写 的 代 价, 但 缓 冲 区 中 的 冷 脏 页 (Cold Dirty Page) 可 能 会 因 为 长 时 间 占 据 缓 存 空 间 而 造 成 内 存 污 染 这 里 冷 页 是 指 在 较 长 一 段 时 间 内 未 被 访 问 的 数 据 页, 热 页 是 指 近 期 [17-20] 访 问 频 繁 的 数 据 页 此 后, 一 系 列 文 献 优 化 了 对 脏 页 的 选 择, 通 过 设 置 冷 热 识 别 模 块 和 添 加 冷 热 标 识 位 的 方 法 有 选 择 性 的 置 换 冷 的 脏 页, 在 一 定 程 度 上 提 高 了 命 中 率 2. FOR 仅 从 访 问 的 最 近 性 (recency) 或 访 问 频 度 (frequency) 来 区 分 数 据 页 的 冷 热 程 度 不 能 很 好 的 反 映 实 际 应 用 中 数 据 访 问 模 式 的 变 化 FOR [21] 基 于 最 近 性 和 访 问 频 度 提 出 了 数 据 冷 热 模 型 Hotness( p) IOD p (1 ) OR p, IOD p 和 OR p 分 别 表 示 数 据 页 p 的 访 问 频 度 和 最 近 性, 是 一 个 可 控 参 数, 用 于 动 态 调 节 频 度 和 最 近 性 在 热 度 模 型 中 所 占 的 比 重 IOD p 是 指 对 p 最 近 的 两 次 访 问 之 间 不 同 数 据 页 操 作 的 次 数 OR p 是 指 对 p 最 近 的 一 次 访 问 距 离 当 前 访 问 之 间 不 同 数 据 页 操 作 的 次 数 缓 存 区 数 据 访 问 列 表 记 录 了 数 据 访 问 和 替 换 的 全 部 历 史 信 息, 由 列 表 可 以 计 算 IOD p 和 OR p 的 值 FOR 根 据 数 据 页 的 Hotness(p) 将 缓 冲 区 为 两 个 队 列 upper queue 和 lower queue, 二 者 的 尺 寸 比 满 足 C r /C w, 这 里 C r 和 C w 分 别 表 示 在 闪 存 上 读 取 和 写 入 一 个 数 据 页 代 价 置 换 算 法 首 先 从 冷 数 据 区 选 择 牺 牲 页, 为 了 避 免 数 据 在 变 热 前 频 繁 换 出 内 存,FOR 通 过 冷 数 据 阈 值 R cold 来 保 证 最 少 冷 数 据 页 的 数 量, 当 冷 数 据 页 的 数 量 低 于 R cold, 由 尺 寸 比 C r /C w 从 upper queue 中 选 择 较 冷 的 数 据 页 补 充 到 冷 数 据 区 块 级 代 价 闪 存 对 读 写 操 作 是 非 常 敏 感 的, 对 于 负 载 的 不 同 访 问 模 式 表 现 出 来 的 性 能 差 异 非 常 大 我 们 对 5 款 不 同 品 牌 或 型 号 的 SSD 产 品 做 了 性 能 测 试, 得 到 了 相 似 的 测 试 结 果 图 4 给 出 了 其 中 一 款 产 品 的 性 能 对 比 横 轴 代 表 数 据 访 问 粒 度,SR 表 示 顺 序 读 操 作,RR 表 示 随 机 读 操 作,SW 表 示 顺 序 写 操 作,RW 表 示 随 机 写 操 作 37

47 25 Average Response Time IOPS SR RR SW RW SR RR SW RW 0 1K 2K 4K 8K 16K 32K 64K 128K 256K 512K 1M 0 1K 2K 4K 8K 16K 32K 64K 128K 256K 512K 1M (a)average response time performance (b) Input/output operations per second performance Fig 4 Comparison of SSD under various I/O workloads and a range of block sizes. 实 验 结 果 显 示 闪 存 随 机 写 操 作 和 I/O 吞 吐 (IOPS) 性 能 远 不 及 顺 序 写 造 成 这 一 问 题 的 主 要 原 因 有 两 个 :(1) 随 机 写 操 作 会 触 发 更 多 的 块 擦 除 操 作, 擦 除 操 作 的 代 价 昂 贵 ;(2) 闪 存 是 通 过 内 部 FTL 软 件 层 对 块 内 原 数 据 进 行 异 位 更 新, 无 效 旧 数 据 导 致 块 内 产 生 大 量 存 储 碎 片, 这 加 重 了 垃 圾 回 收 的 负 担, 另 外, 存 储 碎 片 使 得 逻 辑 地 址 与 物 理 地 [22] 址 不 再 连 续 进 而 影 响 闪 存 数 据 预 读 性 能 文 献 指 出 存 有 大 量 存 储 碎 片 的 闪 存 其 读 写 性 能 只 有 原 来 的 30% 每 次 选 择 一 个 脏 页 进 行 替 换 的 方 法 可 能 会 造 成 地 址 空 间 内 闪 存 大 范 围 的 随 机 写 操 作 基 于 块 级 代 价 的 替 换 策 略 利 用 闪 存 良 好 的 顺 序 写 性 能 将 缓 冲 区 中 地 址 相 近 的 数 据 页 以 聚 簇 的 方 式 分 组, 然 后 以 组 为 单 位 批 量 将 数 据 换 出 内 存, 这 种 策 略 减 少 了 脏 页 写 回 引 发 的 随 机 写 操 作 1. FAB FAB [23] 基 于 LRU 算 法 以 数 据 块 的 形 式 组 织 缓 冲 区 数 据, 每 一 个 块 结 点 聚 集 属 于 同 一 闪 存 块 的 数 据 页, 当 缓 冲 区 可 用 空 间 低 于 设 定 的 阈 值 时, 聚 集 最 多 数 据 页 的 块 被 置 换 出 内 存 FAB 适 用 于 装 有 闪 存 芯 片 的 PDA 媒 体 播 放 器 移 动 电 话 和 图 4 不 同 访 问 负 载 SSD 性 能 对 比 数 码 相 机 等 设 备, 这 类 设 备 的 数 据 应 用 具 有 典 型 的 顺 序 访 问 比 较 密 集 特 性,FAB 难 以 适 用 随 机 访 问 频 繁 的 负 载 针 对 FAB 存 在 的 问 题,BPLRU [24] 和 REF [25] 在 选 择 牺 牲 块 时 通 过 数 据 页 填 充 和 记 录 脏 页 置 换 历 史 等 方 法 减 少 随 机 写 操 作 的 代 价 2. CFDC CFDC [26] 将 数 据 页 以 簇 的 形 式 组 织 到 一 起, 每 一 个 簇 由 逻 辑 地 址 相 近 的 n 个 数 据 页 构 成 并 赋 予 一 定 的 置 换 权 值, 权 值 低 的 簇 放 置 在 优 先 置 换 区 替 换 算 法 在 优 先 置 换 区 选 择 权 值 最 小 的 簇 替 换 出 主 存 权 值 计 算 如 式 (3): n 1 p p i i i P( c) 2 n Age( c) 1 1 (3) 其 中 n 表 示 簇 内 页 的 数 量,p i -p i-1 的 绝 对 值 表 示 簇 内 相 邻 两 个 页 的 逻 辑 页 号 差, 通 常 逻 辑 上 越 接 近 的 数 据 页 物 理 上 也 相 近,Age(c) 反 映 簇 的 新 旧 程 度 CFDC 不 仅 考 虑 簇 的 访 问 最 近 性 和 访 问 频 度, 而 且 在 聚 集 数 据 页 时 表 现 出 更 强 的 灵 活 性, 避 免 了 对 闪 存 进 行 大 范 围 的 随 机 写 操 作 闪 存 数 据 库 缓 冲 区 管 理 算 法 性 能 对 比 见 表 3 38

48 Table 3 Comparison of buffer management for flash-based DBMS 表 3 闪 存 数 据 库 缓 冲 区 算 法 性 能 对 比 算 法 粒 度 内 存 管 理 主 要 特 性 CF-LRU [16] 页 级 基 于 LRU 算 法, 管 理 简 单 优 点 : 有 效 减 少 对 闪 存 的 写 操 作 缺 点 : 存 在 脏 页 污 染 问 题 命 中 率 有 时 较 低 FOR [21] 页 级 动 态 冷 热 数 据 比 例, 复 杂 度 高 优 点 : 有 效 区 分 冷 热 数 据 页 命 中 率 高 写 代 价 低 缺 点 : 通 过 保 存 置 换 历 史 来 区 分 冷 热 数 据 结 构 复 杂, 维 护 代 价 高, FAB [23] 块 级 以 块 为 单 位 组 织 脏 数 据, 管 理 优 点 : 聚 簇 脏 页 写 回 闪 存, 闪 存 写 代 价 低 相 对 简 单 缺 点 : 对 随 机 访 问 负 载 性 能 差, 存 在 脏 页 污 染 CFDC [26] 块 级 选 择 逻 辑 地 址 相 邻 的 脏 页 聚 优 点 : 根 据 权 值 设 定 优 先 置 换 区, 减 少 脏 页 污 染 簇, 复 杂 度 高 缺 点 : 对 随 机 访 问 访 问 命 中 率 低 AD-LRU [20] 页 级 分 为 冷 热 两 个 队 列, 管 理 相 对 优 点 : 根 据 访 问 负 载 动 态 调 整 冷 热 数 据 队 列, 访 问 命 中 率 高, 复 杂 缺 点 : 算 法 设 计 复 杂, 冷 热 数 据 之 间 迁 移 代 价 高 3.2 索 引 管 理 索 引 记 录 了 数 据 和 其 存 储 地 址 的 映 射 关 系, 利 用 索 引 可 以 快 速 定 位 相 关 数 据, 降 低 表 扫 描 操 作 的 I/O 代 价, 提 高 查 询 效 率 索 引 必 须 能 够 反 映 数 据 存 储 位 置 发 生 的 变 化, 当 数 据 发 生 更 新 时 索 引 需 要 做 及 时 更 新 对 于 n 条 记 录 组 成 的 数 据 集 T, 为 T 创 建 的 索 引 为 T index, 通 过 索 引 对 T 进 行 查 询 节 省 的 I/O 代 价 gain(t) 可 简 单 的 表 示 为 式 (4): gain( T) scan( T) scan( T C read C index write ) updatet ( index ) (4) 式 中 *C read 表 示 扫 描 T 和 T index 的 代 价, 是 查 询 T 所 需 总 I/O 数,C read 是 一 次 读 I/O 代 价, 索 引 维 护 代 价 Update(T index ) 大 小 为 *C write, 其 中 表 示 更 新 索 引 需 要 的 I/O 总 数,C write 是 一 次 写 I/O 代 价 与 磁 盘 相 比, 闪 存 的 C write 远 高 于 C read, 因 此 在 闪 存 上 索 引 更 新 需 要 付 出 相 对 更 大 的 代 价 以 B + -Tree 索 引 为 例,B + -Tree 结 点 更 新 通 常 只 需 修 改 小 部 分 数 据, 由 于 闪 存 最 小 以 页 为 单 位 进 行 读 写, 少 量 数 据 更 新 也 需 要 重 写 整 个 页 面 索 引 更 新 引 发 的 大 量 擦 除 操 作 极 大 降 低 了 索 引 性 能 和 闪 存 可 用 寿 命, 减 少 索 引 更 新 代 价 是 闪 存 数 据 库 索 引 管 理 需 要 解 决 的 主 要 问 题 批 量 延 时 更 新 和 索 引 结 构 优 化 是 目 前 解 决 这 一 问 题 使 用 较 为 广 泛 的 技 术 延 时 更 新 对 于 数 据 更 新 引 发 的 索 引 内 容 的 变 化, 延 时 更 新 不 同 步 将 更 新 传 播 至 已 有 索 引, 而 是 把 更 新 操 作 缓 存 在 内 存, 当 缓 存 的 数 据 满 足 设 定 的 条 件 时 再 一 次 性 执 行 批 量 更 新 操 作 延 迟 更 新 通 过 消 除 冗 余 操 作 和 批 量 提 交 的 方 法 减 少 了 写 传 播 的 代 价 1. LA-Tree [27] Devesh Agrawal 等 提 出 了 一 种 基 于 树 的 索 引 结 构 LA-Tree(Lazy-Adaptive Tree) LA-Tree 以 树 根 为 起 点 逻 辑 上 将 树 划 分 为 一 系 列 高 度 相 同 的 子 树, 每 一 棵 子 树 在 内 存 都 有 专 用 的 缓 冲 区 用 于 记 录 对 该 子 树 所 有 结 点 的 更 新 执 行 查 询 操 作 时,LA-Tree 检 查 结 点 所 在 子 树 的 专 用 缓 冲 区 是 否 满 足 设 定 的 更 新 条 件, 若 满 足 则 清 空 缓 冲 区 并 对 该 子 树 以 及 与 它 关 联 的 后 代 子 树 进 行 批 量 更 新 LA-Tree 优 化 了 对 闪 存 的 写 操 作, 缺 点 是 对 每 一 子 树 都 需 要 特 定 的 内 存 空 间, 这 增 加 了 缓 冲 区 管 理 的 复 杂 性,LA-Tree 同 时 需 要 对 查 询 处 理 和 事 物 检 查 点 设 置 等 机 制 作 出 相 应 的 修 改 2. Lazy-Update B + -Tree [28] 文 献 提 出 的 Lazy-Update B + -Tree 将 缓 冲 区 划 分 为 两 部 分, 一 部 分 用 于 缓 存 B + -Tree 结 点, 另 一 部 分 缓 存 对 B + -Tree 相 应 结 点 的 更 新 请 求 ( 更 新 缓 冲 池 ) 更 新 缓 冲 池 用 十 字 链 表 结 构 组 织 数 据, 结 点 结 构 如 {key,recptr,type}, 其 中 key 存 储 元 组 的 主 键,recptr 指 针 指 向 被 更 新 的 元 组 的 地 址,recptr 为 null 代 表 该 元 组 被 删 除, type 表 示 更 新 操 作 的 类 型 ( 删 除 插 入 和 修 改 ) Lazy-Update B + -Tree 把 对 同 一 结 点 的 更 新 请 求 聚 集 成 一 个 序 列, 聚 集 可 以 消 除 对 B + -Tree 结 点 冗 余 的 更 新 操 作 进 而 减 少 索 引 更 新 的 写 代 价 当 更 新 缓 冲 池 满 时 选 取 代 价 最 小 的 序 列 进 行 更 新, 这 里 的 代 价 指 的 是 在 闪 存 上 执 行 该 更 新 序 列 引 发 的 写 操 作 代 价 最 小 代 价 的 大 小 由 gain(g)=cost(r)+cost(r )-cost(r R ) 来 衡 量,R 表 示 序 列 g 当 前 的 更 新 请 求,R 表 示 延 时 g 到 t 时 刻 时 的 更 新 请 求,cost(R) 和 cost(r ) 代 表 在 39

49 当 前 时 刻 和 t 时 刻 两 次 单 独 提 交 g 的 写 代 价 cost(r R ) 则 是 聚 集 到 t 时 刻 批 量 提 交 的 代 价 简 单 的 说, 代 价 最 小 指 的 就 是 某 一 索 引 结 点 更 新 引 发 B + -Tree 结 点 分 裂 或 合 并 的 数 量 最 少 3. UM-B + - tree [29] 文 献 提 出 了 一 种 基 于 B + -tree 的 索 引 结 构 UM-B + - tree (Update Migration B+- tree) UM-B + - tree 把 B + -tree 索 引 结 点 分 成 两 个 区 域, 数 据 区 存 储 记 录 的 键 值 和 地 址, 另 一 部 分 存 储 对 该 结 点 的 更 新 记 录 当 索 引 结 点 需 要 置 换 出 内 存 时, 算 法 将 对 该 结 点 的 更 新 记 录 迁 移 到 其 父 结 点 暂 存, 当 结 点 再 次 读 入 内 存, 暂 存 在 父 结 点 的 更 新 记 录 回 迁 到 结 点 得 到 最 新 版 本 的 数 据 更 新 记 录 达 到 设 定 的 阈 值 时 将 数 据 写 到 闪 存 中 完 成 数 据 结 点 的 更 改 UM-B + -tree 结 点 更 新 过 程 见 图 5 其 中 (a) 表 示 结 点 进 入 闪 存 并 更 新 的 过 程,(b) 表 示 结 点 换 出 内 存, 更 新 记 录 保 存 至 父 结 点 (a) inserted key 7 on A, deleted key 59 on B 举 例 说 明, 图 5 中 结 点 A 和 B 读 入 内 存 并 分 别 执 行 一 次 插 入 和 删 除 操 作, 更 新 记 录 保 存 在 各 自 的 更 新 区, 换 出 内 存 时 A 和 B 将 更 新 记 录 上 移 至 各 自 的 父 结 点 算 法 通 过 暂 存 更 新 记 录 的 方 式 延 迟 对 闪 存 的 更 新, 一 定 程 度 上 减 少 了 对 闪 存 写 的 次 数 UM-B + - tree 每 一 个 结 点 都 需 要 预 留 保 存 更 新 记 录 的 区 域, 空 间 利 用 率 相 对 较 低 延 迟 更 新 是 牺 牲 读 代 价 来 换 取 写 代 价 的, 因 此 对 数 据 查 询 事 物 恢 复 及 并 发 控 制 等 会 有 一 定 程 度 的 影 响 索 引 结 构 优 化 优 化 索 引 结 构 是 提 高 索 引 性 能 的 另 一 种 有 效 途 径 通 过 优 化 不 仅 可 以 降 低 索 引 更 新 代 价, 还 可 以 提 高 数 据 查 询 效 率 1. µ-tree (b) The updates migrate to A&B s parent node Fig 5 An example of update migration in a UM-B+tree 图 5 UM-B + - tree 结 点 更 新 示 例 闪 存 异 位 更 新 特 性 会 造 成 B + -Tree 索 引 在 闪 存 上 代 价 昂 贵 的 级 联 更 新 所 谓 级 联 更 新 指 的 是 任 何 一 个 索 引 结 点 的 更 新 可 能 都 会 导 致 根 结 点 到 该 结 点 路 径 上 所 有 结 点 的 更 新 级 联 更 新 会 产 生 大 量 的 随 机 写 操 作, 严 重 影 响 索 引 性 能 µ-tree 索 [30] 引 将 根 到 目 标 结 点 路 径 上 的 所 有 结 点 存 储 在 同 一 闪 存 块 内, 发 生 更 新 时 新 路 径 存 储 在 新 的 闪 存 块, 旧 块 中 原 有 路 径 的 结 点 则 无 效 µ-tree 的 结 点 大 小 由 闪 存 页 面 大 小 和 结 点 所 在 层 次 决 定 µ-tree 结 点 更 新 过 程 见 图 6, 举 例 说 明, 结 点 F 发 生 更 新 操 作, 新 路 径 A 到 F 的 所 有 结 点 存 储 在 新 数 据 块, 原 来 的 结 点 A 无 效 40

50 Valid Node A A A Invalid Node B C B C C D E F D E F F Flash Storage A C B F E D A A C B C F E D F µ-tree 每 次 数 据 更 新 都 发 生 在 同 一 闪 存 块, 这 有 利 于 降 低 随 机 写 的 操 作 代 价, 但 这 种 方 式 会 导 致 闪 存 许 多 无 效 的 存 储 结 点, 空 间 利 用 率 低, 需 要 不 断 的 进 行 垃 圾 回 收 µ-tree 结 构 无 法 支 持 范 围 查 询 2. MicroHash 不 同 于 大 容 量 闪 存 设 备 的 准 平 衡 树 索 引 结 构, 在 传 感 器 和 嵌 入 式 数 据 管 理 领 域, 相 关 的 研 究 也 提 出 了 一 些 基 于 闪 存 的 索 引 结 构 MicroHash [31] 是 一 种 基 于 hash 的 闪 存 索 引 结 构 MicroHash 在 内 存 中 建 立 能 有 效 存 取 闪 存 数 据 的 数 据 结 构, 闪 存 中 的 记 录 以 循 环 数 组 方 式 被 组 织 成 堆 结 构, 主 要 包 括 目 录 和 索 引 页 每 个 目 录 包 含 一 系 列 的 桶, 每 个 桶 存 放 映 射 到 该 桶 最 新 的 索 引 页 地 址, 每 个 索 引 页 存 放 数 据 记 录 的 地 址, 这 些 页 存 放 在 闪 存 上, 仅 当 被 请 求 时 才 调 入 内 存 MicroHash 适 合 小 容 量 的 闪 存 设 备, 在 较 小 内 存 开 销 的 情 况 下 实 现 对 闪 存 友 好 的 写 操 作, 既 减 少 了 [32] 传 感 器 能 量 的 消 耗 又 延 长 了 使 用 寿 命 文 献 也 Fig 6 An example of µ-tree update 图 6 µ-tree 索 引 更 新 示 例 HashTree 混 合 了 散 列 和 树 两 种 索 引 结 构 它 选 择 合 适 的 哈 希 函 数 将 数 据 均 匀 的 散 列 到 不 同 的 桶 中, 其 中 哈 希 表 驻 留 内 存, 每 一 个 哈 希 桶 存 储 在 闪 存, 每 个 桶 中 的 数 据 采 用 类 似 于 FD-Tree [33] 树 形 结 构 进 行 组 织 HashTree 将 树 以 哈 希 桶 为 单 位 划 分 成 有 序 的 子 树, 有 效 减 少 了 树 结 点 级 联 更 新 的 代 价 3. PBFilter PBFilter [34] 是 基 于 医 疗 领 域 的 数 据 特 点 设 计 的 一 种 高 效 索 引 结 构 医 疗 USB 卡 记 录 一 般 都 是 插 入 和 查 询, 很 少 存 在 删 除 和 更 新 PBFilter 按 照 时 间 顺 序 将 记 录 顺 序 写 入 闪 存, 然 后 为 这 些 记 录 建 立 (Key, Value) 索 引 项 因 为 索 引 项 是 无 序 存 放 的, 为 了 提 高 查 询 效 率,PBFilter 对 key 值 建 立 Bloom Filter 索 引 查 找 记 录 时, 通 过 查 找 Bloom Filter 获 取 所 需 记 录 Bloom Filter 所 需 空 间 比 索 引 项 要 小 的 多, 因 此 PBFilter 具 有 优 秀 的 查 找 性 能 另 一 方 面, 由 于 记 录 是 无 序 存 放 的, 相 比 于 其 它 索 引 结 构,PBFilter 具 有 更 加 优 秀 的 随 机 查 询 能 提 出 了 一 种 基 于 闪 存 的 新 的 索 引 结 构 HashTree 力 几 种 典 型 索 引 结 构 性 能 对 比 见 表 4 Table 4 Comparison of index for flash-based DBMS 表 4 闪 存 数 据 库 索 引 性 能 对 比 分 析 方 法 类 型 应 用 场 景 主 要 特 性 LA-Tree [27] Tree 通 用 数 据 库 系 统 Lazy-Update B + -Tree [28] B + -Tree 通 用 数 据 库 系 统 µ-tree [30] B + -Tree 通 用 数 据 库 系 统 MicroHash [31] Hash+Queue 传 感 器 数 据 处 理 PBFilter [34] Bloom Filter 嵌 入 式 数 据 库 优 点 : 优 化 闪 存 写 操 作 索 引 更 新 代 价 低 缺 点 : 查 询 性 能 低 传 播 代 价 高 优 点 : 冗 余 更 新 少 优 化 闪 存 写 操 作 缺 点 : 结 构 复 杂, 维 护 代 价 高, 不 利 于 恢 复 优 点 : 级 联 更 新 代 价 低 缺 点 : 存 储 太 多 冗 余 数 据 空 间 利 用 率 低 无 法 进 行 范 围 查 询 优 点 : 结 构 相 对 简 单 维 护 代 价 少 缺 点 : 只 能 适 用 于 小 容 量 闪 存 ( 传 感 器 ) 优 点 : 优 化 更 新, 无 随 机 写 操 作 查 询 性 能 好 缺 点 : 不 支 持 范 围 查 询 只 能 应 用 于 特 定 领 域 41

51 3.3 查 询 处 理 查 询 处 理 是 影 响 数 据 库 系 统 性 能 的 关 键 部 分, 其 中 表 连 接 在 查 询 处 理 中 的 系 统 开 销 最 大, 因 此 优 化 连 接 操 作 是 查 询 处 理 需 要 解 决 的 主 要 问 [35] 题 文 献 用 固 态 硬 盘 替 换 磁 盘 对 循 环 嵌 套 排 序 - 合 并 (sort-merge) 哈 希 和 混 合 哈 希 等 四 种 经 典 连 接 算 法 做 了 性 能 测 试 四 种 连 接 操 作 的 响 应 时 间 都 有 不 同 程 度 的 降 低, 但 性 能 提 升 的 幅 度 都 不 足 2 倍 分 析 实 验 结 果 我 们 认 为 造 成 这 一 现 象 的 主 要 原 因 是 现 有 连 接 算 法 不 符 合 闪 存 的 读 写 特 性 具 体 包 括 两 方 面 :(1) 传 统 连 接 算 法 因 为 产 生 大 量 中 间 结 果 而 引 发 对 闪 存 较 多 的 写 操 作, 这 种 访 问 模 式 对 闪 存 是 极 为 不 利 的, 频 繁 的 随 机 写 操 作 会 使 查 询 性 能 急 剧 恶 化 ;(2) 以 往 的 算 法 重 点 考 虑 磁 盘 I/O 代 价 对 查 询 性 能 的 影 响, 很 少 考 虑 CPU 因 素, 对 闪 存 而 言, 其 I/O 代 价 远 低 于 磁 盘, 因 此 CPU 的 性 能 在 某 种 程 度 上 制 约 了 连 接 性 能 的 进 一 步 提 升 发 挥 闪 存 良 好 的 随 机 读 性 能, 延 迟 物 化 并 减 少 中 间 结 果 的 产 生 是 闪 存 数 据 库 系 统 查 询 处 理 性 能 提 升 的 基 础 1. RARE-join 连 接 查 询 通 常 只 需 要 输 出 连 接 表 的 部 分 属 性 列,Ailamaki 等 为 了 避 免 读 取 与 查 询 不 相 关 的 属 性 列, 提 出 了 一 种 新 的 存 储 模 型 PAX [36] 每 一 个 PAX 数 据 页 存 储 一 定 数 量 的 元 组, 数 据 页 按 元 组 属 性 列 紧 凑 堆 放, 这 种 存 储 模 型 兼 有 按 行 存 储 和 [37-38] 按 列 存 储 的 优 点 文 献 基 于 PAX 提 出 了 RARE-join 连 接 算 法,RARE-join 首 先 根 据 连 接 条 件 创 建 一 个 连 接 结 果 表, 元 组 组 成 如 {id 1,id 2, id i }, 其 中 id i 表 示 第 i 张 表 某 一 元 组 的 存 储 地 址 ; 然 后 对 存 储 在 结 果 表 中 的 元 组 地 址 构 建 索 引, 根 据 索 引 从 原 表 中 读 取 数 据 生 成 查 询 结 果 RARE-join 只 选 择 与 查 询 结 果 相 关 的 属 性 列, 这 减 少 数 据 的 读 取 量 并 避 免 了 大 量 中 间 结 果 的 生 成, 物 化 过 程 放 在 查 询 的 最 后 阶 段 算 法 对 闪 存 的 写 操 作 比 较 少, 物 化 过 程 的 随 机 读 操 作 恰 好 符 合 闪 存 的 读 特 性 RARE-join 存 在 的 主 要 问 题 是 当 记 录 频 繁 修 改 时 维 护 底 层 数 据 存 储 和 索 引 需 要 一 定 的 代 价 2. DigestJoin 为 了 减 少 排 序 - 合 并 和 哈 希 连 接 产 生 的 中 间 结 果,Yu Li [39] 等 提 出 了 针 对 闪 存 特 性 的 DigestJoin 查 询 优 化 算 法 DigestJoin 算 法 将 查 询 过 程 分 为 两 个 阶 段 第 一 阶 段 抽 取 待 连 接 表 元 组 的 键 值 和 连 接 属 性 构 建 Digest 表, 由 Digest 表 根 据 连 接 属 性 通 过 排 序 或 者 哈 希 的 方 式 连 接 产 生 结 果 表, 结 果 表 记 录 了 与 查 询 结 果 关 联 的 每 一 个 元 组 在 原 始 表 中 的 地 址 ; 第 二 阶 段 是 实 体 化 (materializing) 查 询 结 果, 根 据 结 果 表 记 录 的 元 组 地 址 从 闪 存 读 取 原 始 表 的 相 关 属 性 列 生 成 最 终 的 查 询 结 果 实 体 化 过 程 需 要 大 量 的 随 机 读 操 作, 这 是 影 响 查 询 性 能 的 关 键 因 素 为 了 尽 量 避 免 反 复 读 取 某 一 数 据 页, DigestJoin 基 于 图 构 建 数 据 页 之 间 的 连 接 关 系 网 对 实 体 化 的 过 程 进 行 了 优 化, 有 效 解 决 了 反 复 读 取 同 一 数 据 页 产 生 的 内 存 抖 动 问 题 3. Sub-Join [40] 文 献 提 出 的 Sub-Join 首 先 将 执 行 连 接 操 作 的 相 关 数 据 表 在 主 键 和 连 接 列 上 进 行 投 影, 按 连 接 列 进 行 排 序 形 成 连 接 子 表 ; 然 后 在 子 表 上 进 行 连 接 操 作, 连 接 过 程 需 要 的 其 它 结 果 数 据 由 原 始 表 回 取 获 得 Sub-Join 对 子 表 按 列 存 储, 这 有 效 减 少 对 闪 存 大 量 的 随 机 读 操 作 Daniel Myers [41] 提 出 了 基 于 闪 存 的 排 序 - 合 并 连 接 算 法 排 序 - 合 并 通 常 把 连 接 表 读 入 内 存 进 行 分 段 排 序, 然 后 将 排 序 后 的 所 有 元 组 写 回 磁 盘 形 成 有 序 片 段 Daniel Myers 针 对 闪 存 写 性 能 相 对 较 差 和 可 用 寿 命 有 限 的 特 点 对 排 序 产 生 中 间 结 果 的 写 回 操 作 进 行 了 优 化, 只 将 连 接 列 写 入 闪 存, 在 排 序 结 束 后, 再 从 原 始 表 中 获 取 其 它 数 据, 完 [9][42-43] 成 最 初 的 排 序 过 程 文 献 对 运 行 在 闪 存 的 数 据 库 查 询 性 能 进 行 了 测 试, 测 试 结 果 表 明 闪 存 不 对 称 的 读 写 代 价 的 是 影 响 闪 存 数 据 库 查 询 性 能 的 关 键 因 素 在 设 计 基 于 闪 存 的 查 询 优 化 策 略 时 应 当 尽 量 减 少 对 写 操 作 尤 其 是 随 机 写 操 作, 同 时 应 当 充 分 利 用 闪 存 很 好 的 随 机 读 性 能, 牺 牲 读 代 价 以 降 低 写 代 价 是 提 高 查 询 性 能 的 有 效 手 段 典 型 的 闪 存 数 据 库 连 接 算 法 性 能 对 比 分 析 见 表 5 42

52 Table 5 Comparison of query for flash-based DBMS 表 5 闪 存 数 据 库 连 接 算 法 性 能 对 比 分 析 连 接 算 法 连 接 类 型 性 能 优 势 存 在 的 问 题 -Join [37] 索 引 连 接 对 连 接 列 构 建 索 引, 充 分 发 挥 PAX 列 存 储 和 闪 存 随 机 读 性 能 当 记 录 频 繁 更 新 时,PAX 页 和 索 引 维 护 代 价 高 [39] 嵌 套 循 环 避 免 生 成 大 量 的 中 间 结 果, 连 接 过 程 中 闪 存 写 操 作 比 较 少 数 据 回 取 可 能 造 成 数 据 页 的 频 繁 换 进 换 出 内 存, 内 存 开 销 大 -Join [40] 排 序 - 合 并 按 列 存 储 连 接 子 表, 数 据 的 读 取 快 执 行 多 表 查 询 数 据 回 取 的 代 价 高, 中 间 结 果 产 生 一 定 数 量 的 写 操 作 Subset [41] 排 序 - 合 并 大 幅 降 低 了 对 闪 存 的 写 操 作, 充 分 利 用 闪 存 的 高 速 读 性 能 排 序 片 段 连 接 代 价 高, 难 以 执 行 多 表 连 接 3.4 事 务 恢 复 事 物 恢 复 保 障 在 发 生 系 统 异 常 时 将 数 据 库 恢 复 到 之 前 的 稳 定 状 态 现 有 的 恢 复 技 术 包 括 基 于 [44-45] 撤 销 或 重 做 (undo/redo) 日 志 和 影 子 页 (Shadow Page) [46-47] 两 类 基 于 磁 盘 的 数 据 恢 复 采 用 预 写 日 志 的 方 法, 日 志 记 录 了 事 物 对 数 据 的 更 新 并 被 顺 序 追 加 到 日 志 文 件 尾 部, 恢 复 时 根 据 日 志 记 录 的 对 数 据 更 新 前 后 的 值 进 行 撤 销 或 重 做 恢 复 过 程 会 引 发 大 量 小 范 围 的 随 机 写 操 作, 闪 存 对 于 小 范 围 的 随 机 写 操 作 要 付 出 比 磁 盘 更 高 的 代 价, 因 此 现 有 的 日 志 处 理 技 术 不 能 直 接 应 用 于 闪 存 数 据 库 上, 优 化 日 志 结 构 和 恢 复 策 略 是 提 高 闪 存 数 据 库 事 物 处 理 性 能 的 关 键 另 一 方 面, 影 子 页 技 术 采 用 异 地 更 新 模 式, 事 务 对 数 据 库 更 新 产 生 的 新 值 记 录 会 存 储 在 新 的 物 理 页, 原 来 的 页 表 就 被 称 为 影 子 页 影 子 页 不 会 单 独 产 生 日 志 来 记 录 对 数 据 库 的 操 作, 没 有 显 式 的 回 滚 机 制 来 对 数 据 库 的 操 作 进 行 撤 销 系 统 维 护 两 张 页 地 址 映 射 表 来 保 存 逻 辑 页 号 和 物 理 页 号 的 对 应 关 系, 一 张 是 当 前 的 页 表, 另 一 张 是 影 子 页 表 如 果 当 前 事 务 正 确 提 交, 则 可 以 将 当 前 页 表 写 出 到 二 级 存 储 器 中, 并 且 用 一 个 原 子 操 作 替 换 当 前 页 表 和 影 子 页 表 如 果 事 务 未 能 正 常 提 交, 则 当 前 表 丢 弃, 恢 复 到 该 事 务 执 行 前 的 状 态 影 子 页 在 事 物 提 交 或 撤 销 时 要 执 行 修 改 映 射 信 息 垃 圾 回 收 等 操 作, 频 繁 的 随 机 读 写 操 作, 对 于 磁 盘 而 言 代 价 太 大 闪 存 异 位 更 新 的 特 性 天 然 的 保 存 了 事 物 更 新 的 历 史 版 本 数 据 影 子 页 为 提 高 闪 存 数 据 库 事 务 恢 复 性 能 提 供 了 一 种 行 之 有 效 的 途 径 基 于 日 志 方 法 HV-recovery [48] 充 分 利 用 了 闪 存 异 位 更 新 和 良 好 的 随 机 读 性 能 设 计 实 现 了 新 的 适 用 于 闪 存 的 数 据 库 恢 复 方 法 闪 存 数 据 更 新 时 保 存 了 事 物 对 同 一 数 据 页 更 新 的 不 同 版 本,HV-recovery 根 据 闪 存 这 一 特 性 提 出 了 一 种 新 型 的 基 于 地 址 的 日 志 处 理 策 略 HV-Logging HV-Logging 日 志 结 构 如 {Tid,element,PreAddress,PreValue}, 其 中 Tid 唯 一 标 识 某 一 事 物,element 是 事 物 操 作 的 对 象 元 素, PreAddress 指 向 旧 版 本 历 史 数 据 的 地 址,PreValue 记 录 更 改 元 素 的 旧 值 事 务 回 滚 时 恢 复 管 理 模 块 从 日 志 中 读 出 需 要 恢 复 的 各 元 素 的 旧 版 本 地 址, 根 据 地 址 取 出 数 据 并 判 断 是 否 与 日 志 中 存 有 的 旧 值 相 同, 若 相 同, 将 新 的 数 据 页 置 为 无 效 状 态, 恢 复 原 数 据 页 为 有 效 ; 若 不 同, 则 重 新 写 入 新 数 据 HV-Logging 优 化 了 日 志 结 构, 减 少 了 冗 余 日 志 和 垃 圾 数 据 的 存 在, 提 高 了 空 间 利 用 率 利 用 闪 存 快 速 随 机 读 的 特 性 大 幅 减 少 恢 复 时 间 LB-Logging [49] 采 用 链 表 结 构 来 记 录 日 志 它 为 某 一 事 务 更 新 的 各 个 元 素 和 每 个 元 素 的 不 同 版 本 都 建 立 指 针 链, 保 证 事 物 和 该 事 物 修 改 的 元 素 之 间 的 可 达 性, 指 针 链 有 助 于 在 恢 复 过 程 中 能 够 准 确 快 速 地 找 出 该 事 务 所 有 操 作 日 志 数 据 库 事 务 产 生 的 大 量 日 志 始 终 是 影 响 系 统 性 能 的 一 大 瓶 颈, 快 速 有 效 地 对 日 志 进 行 存 储 和 管 理 有 助 于 提 升 事 物 处 理 的 吞 吐 量 FlashLogging [51] 从 系 统 代 价 的 角 度 提 出 了 一 种 性 价 比 较 高 的 日 志 处 理 方 案 FlashLogging 用 价 格 低 廉 的 USB 闪 存 存 储 器 专 门 存 储 记 录 日 志 日 志 通 常 以 顺 序 追 加 的 方 式 写 入 外 存, 这 符 合 闪 存 顺 序 写 带 宽 高 的 存 储 特 性 FlashLogging 将 许 多 USB 闪 存 设 备 以 阵 列 的 形 式 来 组 织, 解 决 了 单 块 设 备 容 量 有 限 的 问 题 IPL [8] 彻 底 改 变 了 数 据 的 存 储 结 构, 它 把 每 个 闪 存 块 分 成 数 据 区 和 日 志 区, 当 对 一 个 块 中 的 数 据 页 进 行 修 改 时, IPL 将 数 据 更 新 部 分 以 日 志 的 形 式 保 存 到 该 块 的 日 志 区, 日 志 区 装 满 则 进 行 日 志 记 录 与 43

53 数 据 的 合 并 产 生 最 新 数 据 IPL 实 现 了 块 内 数 据 更 新, 降 低 了 闪 存 随 机 写 操 作 和 事 物 恢 复 的 代 价 IPL 要 求 每 一 个 存 储 块 都 预 留 日 志 区, 当 数 据 修 改 发 生 倾 斜 时 会 造 成 闪 存 存 储 空 间 的 浪 费 文 献 [52-54] 等 从 FTL 地 址 映 射 文 件 系 统 等 方 面 对 数 据 恢 复 做 了 一 些 研 究 工 作 基 于 影 子 页 方 法 前 面 提 到 的 SLC 固 态 硬 盘 允 许 对 同 一 闪 存 页 在 擦 除 之 前 多 次 写 入 数 据,SLC 比 MLC 有 更 快 的 读 写 速 度 和 更 加 持 久 的 使 用 寿 命 FlagCommit [50] 针 对 SLC 产 品 这 一 特 性 提 出 一 种 基 于 影 子 页 的 事 物 处 理 机 制 FlagCommit 在 数 据 页 的 备 用 区 存 储 和 事 务 相 关 的 元 数 据, 这 些 元 数 据 包 括 事 务 ID 事 务 状 态 事 务 更 新 的 前 一 个 数 据 页 地 址 提 交 标 记 (flag) 等 链 表 指 针 把 同 一 事 物 关 联 的 数 据 页 逻 辑 上 连 在 一 起, 在 事 务 提 交 或 回 滚 时 通 过 这 些 元 数 据 进 行 数 据 更 新 或 回 复 FlagCommit 中 被 更 新 的 数 据 页 可 以 看 作 影 子 页, 备 用 区 中 的 元 数 据 构 成 了 众 多 分 散 地 址 映 射 表 事 物 提 交 协 议 根 据 对 比 分 析 见 表 6 Table 6 Comparison of recovery for flash-based DBMS 表 6 闪 存 数 据 库 恢 复 算 法 性 能 对 比 分 析 存 储 在 备 用 区 的 提 交 标 记 进 行 提 交 或 回 滚 等 操 作 因 为 SLC 闪 存 允 许 对 同 一 数 据 页 多 次 写 入, 当 闪 存 因 为 数 据 更 新 或 垃 圾 回 收 导 致 链 表 断 裂 时, 修 改 提 交 标 记 可 以 保 证 事 物 和 该 事 物 相 关 的 多 个 分 裂 链 表 逻 辑 上 关 联 在 一 起 影 子 页 恢 复 技 术 最 早 在 1977 年 被 提 出 事 务 处 理 因 为 不 需 要 日 志 强 写 而 变 得 更 加 有 效, 并 发 控 制 也 更 加 灵 活, 但 影 子 页 异 位 更 新 方 式 在 事 物 恢 复 和 映 射 表 维 护 过 程 中 会 产 生 较 多 的 随 机 I/O 这 样 的 访 问 模 式 对 磁 盘 来 讲 无 疑 是 一 个 沉 重 的 负 担, 因 此 在 磁 盘 为 主 的 存 储 时 代 影 子 页 技 术 并 没 有 得 到 广 泛 应 用 闪 存 的 物 理 特 性 与 影 子 页 技 术 的 访 问 特 点 十 分 吻 合, 在 闪 存 数 据 库 系 统 中 采 用 影 子 页 技 术 有 利 于 提 升 事 物 处 理 能 力 值 得 注 意 的 是, 在 磁 盘 时 代 未 能 得 到 推 广 的 一 些 算 法 在 新 的 闪 存 时 代 有 可 能 发 挥 巨 大 作 用, 因 此 在 闪 存 数 据 管 理 研 究 中 挖 掘 已 有 的 适 合 闪 存 特 性 的 算 法 和 应 用 是 非 常 有 意 义 的 闪 存 数 据 库 恢 复 算 法 性 能 连 接 算 法 恢 复 技 术 性 能 优 势 存 在 问 题 HV-recovery [48] 日 志 数 据 恢 复 时 避 免 大 量 数 据 重 写 操 作 ; 有 利 于 延 长 闪 存 的 使 用 寿 命 ; 恢 复 操 作 简 单 日 志 文 件 需 要 较 多 闪 存 空 间 ; 检 查 点 机 制 较 复 杂 ; 无 效 数 据 的 回 收 代 价 大 FlagCommit [50] 影 子 页 避 免 写 入 大 量 日 志 ; 有 利 于 实 现 更 细 粒 度 的 并 发 操 作 ; 数 据 恢 复 更 快 元 数 据 管 理 复 杂 ; 垃 圾 回 收 机 制 复 杂 开 销 大 ; 仅 适 用 于 昂 贵 的 SLC 闪 存 LB-Logging [49] 日 志 优 化 事 物 恢 复 的 日 志 读 取 过 程 ; 充 分 发 挥 闪 存 快 速 随 机 读 性 能, 恢 复 所 需 时 间 大 大 减 少 日 志 中 记 录 的 旧 版 本 数 据 链 表 管 理 复 杂 ; 日 志 维 护 开 销 大 FlashLogging [51] 日 志 USB 闪 存 单 独 存 储 日 志, 价 格 低 廉 性 价 比 高 存 ; 日 志 处 理 性 能 高 ; 每 个 USB 设 备 需 要 单 独 工 作 线 程 服 务, 维 护 难 度 高 ; 擦 除 等 操 作 比 较 容 易 引 发 异 常 点, 影 响 稳 定 性 IPL [8] 日 志 数 据 更 新 在 同 一 数 据 块 内, 避 免 大 范 围 随 机 写 操 作, 更 新 代 价 低 ; 读 取 日 志 的 代 价 低, 系 统 恢 复 性 能 高 内 存 开 销 大 ; 闪 存 块 内 空 间 利 用 率 低 ; 需 要 修 改 数 据 库 底 层 的 存 储 模 块 4 基 于 闪 存 的 混 合 存 储 数 据 管 理 尽 管 基 于 闪 存 的 固 态 硬 盘 (SSD) 比 磁 盘 具 有 更 大 的 性 能 优 势, 但 是 短 期 内 SSD 不 会 完 全 取 代 磁 盘 成 为 主 流 存 储 介 质 将 SSD 和 磁 盘 共 存 形 成 混 合 存 储 系 统 是 未 来 一 段 时 期 数 据 管 理 的 研 究 热 点 混 合 存 储 主 要 考 虑 到 以 下 几 个 因 素 : SSD 有 限 的 可 用 寿 命 : 闪 存 存 储 容 量 的 不 断 增 大 是 通 过 牺 牲 可 用 寿 命 的 代 价 来 获 得 的, 部 分 大 容 量 SSD 其 存 储 单 元 的 可 擦 除 次 数 不 足 万 次, 企 业 级 数 据 中 心 频 繁 的 数 据 访 问 会 进 一 步 缩 短 SSD 的 可 用 寿 命, 完 全 取 代 磁 盘 对 系 统 运 行 的 可 靠 性 和 稳 定 性 是 一 大 考 验 价 格 成 本 : 尽 管 SSD 的 价 格 在 不 断 走 低, 但 即 便 是 低 端 产 品 其 单 位 容 量 的 价 格 仍 然 是 磁 盘 的 十 倍 以 上 另 一 方 面, 大 容 量 磁 盘 阵 列 顺 序 访 问 的 性 能 也 相 当 不 错, 混 合 两 种 存 储 介 质 会 获 得 更 高 的 性 价 比 数 据 访 问 的 局 部 性 : 数 据 管 理 在 一 段 时 间 内 通 常 只 有 20% 的 数 据 是 频 繁 被 访 问 的, 大 约 40% 的 数 据 访 问 频 度 较 低, 属 于 冷 数 据 针 对 数 据 访 44

54 问 的 局 部 性 特 征, 根 据 SSD 和 磁 盘 的 物 理 特 性 将 二 者 组 合, 有 选 择 性 的 把 数 据 分 配 到 不 同 的 存 储 介 质 ( 比 如 将 最 热 数 据 或 读 操 作 密 集 的 数 据 交 由 SSD 来 处 理 ), 不 仅 能 满 以 足 大 数 据 高 吞 吐 等 应 用 需 求, 也 可 以 有 效 降 低 企 业 成 本 基 于 SSD 和 磁 盘 混 合 存 储 的 结 构 特 性, 混 合 存 储 数 据 管 理 主 要 的 研 究 点 包 括 :(1) SSD 和 磁 盘 同 作 二 级 存 储 ;(2) SSD 作 为 内 存 的 扩 展 缓 存 4.1SSD 和 磁 盘 同 作 二 级 存 储 结 合 硬 件 和 数 据 集 特 征,SSD 和 磁 盘 在 异 质 的 二 级 存 储 体 系 承 担 不 同 的 存 储 任 务 :(1) 磁 盘 缓 存 上 层 应 用 对 SSD 的 写 操 作 ; (2) SSD 存 储 特 定 类 型 数 据 磁 盘 作 SSD 写 缓 存 为 了 降 低 随 机 写 操 作 对 SSD 寿 命 和 系 统 性 能 [55] 的 影 响,Griffin 系 统 选 择 用 磁 盘 缓 存 内 存 对 SSD 的 写 操 作,Griffin 以 日 志 的 方 式 将 换 出 内 存 的 脏 页 顺 序 写 入 磁 盘, 后 台 进 程 有 条 件 的 将 存 储 在 SSD 上 的 原 始 数 据 和 磁 盘 上 的 日 志 数 据 进 行 合 [56] 并, 生 成 最 新 版 本 的 数 据 写 回 到 SSD 文 献 基 于 页 面 分 类 思 想 实 现 了 将 磁 盘 作 为 SSD 写 缓 冲 的 存 储 管 理 方 法 将 磁 盘 用 作 SSD 写 缓 存 的 存 储 策 略 发 挥 了 磁 盘 或 磁 盘 阵 列 顺 序 访 问 性 能 较 好 的 特 点 在 数 据 合 并 时 利 用 SSD 高 速 随 机 读 性 能, 将 数 据 顺 序 的 写 入 SSD, 避 免 了 随 机 写 引 发 的 高 额 擦 除 代 价, 延 长 闪 存 的 使 用 寿 命, 但 是, 磁 盘 I/O 瓶 颈 和 频 繁 的 数 据 合 并 使 得 这 种 混 合 系 统 难 以 应 对 更 新 操 作 密 集 和 访 问 模 式 多 变 的 负 载 SSD 存 储 特 定 类 型 的 数 据 集 基 于 SSD 优 良 的 随 机 读 性 能, 通 过 分 析 负 载 的 访 问 模 式 和 数 据 类 型, 选 择 把 读 操 作 密 集 的 数 据 索 引 文 件 临 时 表 等 存 储 在 SSD 上 有 利 于 提 高 系 统 的 数 据 处 理 能 力 基 于 负 载 访 问 依 据 负 载 访 问 特 性 将 I/O 请 求 显 著 的 数 据 存 储 在 不 同 的 介 质 可 以 最 大 化 发 挥 介 质 的 物 理 特 [57] 性 文 献 提 出 了 基 于 页 面 I/O 统 计 信 息 的 页 面 迁 移 模 型 该 模 型 根 据 I/O 统 计 信 息 计 算 数 据 存 放 在 SSD 和 磁 盘 的 代 价, 根 据 代 价 对 页 面 进 行 分 类 并 动 态 的 对 SSD 和 磁 盘 数 据 进 行 迁 移 迁 移 的 目 的 是 将 读 操 作 密 集 的 负 载 放 在 SSD 上 存 储, 而 写 操 作 密 集 的 数 据 则 保 留 在 磁 盘 上 I-CASH [58] 提 出 将 SSD 和 磁 盘 成 对 的 组 合 起 来, 采 用 智 能 算 法 将 较 长 时 间 不 做 修 改 的 数 据 和 读 操 作 密 集 的 数 据 存 放 在 SSD 上, 对 SSD 上 数 据 的 修 改 以 日 志 的 方 式 增 量 存 储 在 磁 盘 上, 算 法 尽 量 避 免 对 SSD 产 生 随 机 写 操 作 在 读 取 数 据 时, 充 分 发 挥 SSD 随 机 读 性 能 好 和 多 核 CPU 运 算 速 度 快 的 特 点 通 过 相 似 度 探 测 和 增 量 存 储 获 得 数 据 的 最 新 版 本 基 于 负 载 访 问 的 数 据 管 理 策 略 在 发 挥 SSD 优 良 读 性 能 的 同 时 借 助 磁 盘 来 减 少 对 SSD 的 写 和 擦 除 操 作, 系 统 通 常 采 用 静 态 或 动 态 监 测 的 方 法 对 页 面 访 问 情 况 进 行 统 计, 当 访 问 负 载 变 化 较 为 频 繁 时,I/O 统 计 带 来 的 累 积 效 应 将 会 使 该 模 型 在 访 问 负 载 变 化 时 不 能 快 速 反 应 此 外, 频 繁 的 数 据 迁 移 会 因 占 用 较 多 的 系 统 资 源 而 影 响 数 据 处 理 性 能 存 储 特 定 类 型 的 数 据 数 据 管 理 往 往 呈 现 出 数 据 访 问 不 均 衡 特 性 例 如, 为 了 保 证 数 据 库 的 一 致 性, 事 务 日 志 需 要 在 提 交 之 前 采 用 强 迫 的 方 式 刷 出 内 存, 日 志 强 写 导 致 高 磁 盘 I/O 并 进 一 步 影 响 数 据 库 的 整 体 性 能 ; 查 询 处 理 产 生 的 大 量 中 间 结 果 需 要 快 速 写 入 外 存 ; 另 外, 索 引 和 元 数 据 的 频 繁 更 新 也 会 对 数 据 库 系 统 性 能 产 生 重 大 影 响 用 SSD 存 储 这 些 特 定 类 型 数 据 可 以 解 决 磁 盘 的 I/O 和 存 储 压 力, 在 很 大 程 度 上 提 升 数 据 库 的 性 能 [59] Hystor 系 统 通 过 识 别 算 法 发 现 影 响 系 统 性 能 的 关 键 数 据 块 并 将 它 们 拷 贝 到 高 端 SSD 产 品, 在 SSD 完 成 对 这 些 数 据 块 的 修 改 后 再 将 新 数 据 重 新 写 入 磁 盘 进 行 备 份 Hystor 也 把 频 繁 更 新 [9][60] 的 元 数 据 存 储 在 SSD 上 文 献 用 SSD 存 储 连 接 过 程 中 生 成 的 临 时 表 中 间 结 果 等 数 据, 实 验 表 明 对 循 环 嵌 套 哈 希 排 序 - 合 并 等 连 接 算 法 性 能 提 升 显 著 4.2 SSD 作 为 内 存 的 扩 展 缓 存 随 着 内 存 读 写 速 度 的 不 断 提 升, 内 存 和 磁 盘 之 间 的 性 能 鸿 沟 越 拉 越 大 尽 管 大 型 数 据 中 心 配 置 的 内 存 容 量 越 来 越 大, 但 数 据 的 增 长 远 超 过 内 存 容 量 的 增 长, 简 单 的 扩 充 内 存 尺 寸 不 仅 需 要 昂 贵 的 财 力 支 出, 还 要 消 耗 大 量 能 源 SSD 的 出 现 弥 合 了 内 存 和 磁 盘 之 间 的 性 能 差 距, 在 内 存 和 磁 盘 之 间 添 加 SSD 作 扩 展 缓 存 层 可 以 大 幅 提 升 缓 冲 区 访 问 性 能, 缓 解 磁 盘 I/O 压 力, 缩 短 系 统 恢 复 时 间 SSD 作 内 存 扩 展 的 系 统 架 构 见 图 7 45

55 访 问 命 中 内 存 内 存 换 出 数 据 用 作 扩 展 内 存 的 SSD 访 问 不 命 中 从 磁 盘 读 数 据 磁 盘 脏 数 据 写 回 磁 盘 Fig 7 Flash as cache extension: overview 图 7 闪 存 做 扩 展 缓 存 框 架 图 图 中 SSD 的 作 用 是 暂 存 从 内 存 置 换 出 的 数 据, 当 内 存 缺 页 中 断 时, 系 统 首 先 访 问 SSD 中 的 数 据, 若 命 中 则 将 数 据 读 入 内 存, 否 则 从 磁 盘 读 数 据 系 统 在 SSD 可 用 空 间 不 足 或 设 备 闲 置 的 时 侯 有 选 择 的 把 部 分 脏 数 据 写 回 磁 盘 SSD 向 上 扩 展 内 存 提 升 了 访 问 命 中 率, 向 下 延 缓 对 磁 盘 的 写 操 作 屏 蔽 了 内 存 和 磁 盘 之 间 的 性 能 差 异 SSD 作 扩 展 缓 存 层 最 需 要 解 决 以 下 两 个 核 心 问 题 : 内 存 中 哪 些 数 据 在 何 时 缓 存 至 SSD: 不 同 于 单 一 类 型 介 质 的 缓 冲 区 管 理 策 略, 在 异 质 多 级 缓 存 环 境 下, 缓 冲 区 替 换 必 须 考 虑 数 据 页 的 读 写 状 态 数 据 访 问 形 式 和 硬 件 自 身 特 征 等 因 素 均 衡 访 问 命 中 率 和 不 同 介 质 的 I/O 代 价 是 解 决 上 述 问 题 的 基 本 原 则 SSD 中 的 数 据 怎 样 组 织 并 如 何 换 出 或 写 回 磁 盘 :SSD 暂 存 了 从 内 存 被 驱 逐 出 的 数 据, 合 理 的 组 织 存 储 这 些 数 据 有 助 于 在 内 存 缺 页 时 快 速 识 别 并 读 取 SSD 中 的 数 据 在 SSD 可 用 空 间 低 于 设 定 条 件 时, 需 要 将 部 分 数 据 页 换 出 SSD, 其 中 脏 页 需 要 写 回 磁 盘 适 合 SSD 读 写 特 性 的 替 换 策 略 是 影 响 系 统 性 能 的 关 键 因 素 [62] 文 献 基 于 IBM 的 DB2 数 据 库 系 统 提 出 了 TAC 缓 存 策 略 TAC 考 虑 数 据 访 问 的 冷 热 (hot/cold) 特 性, 以 Segment(32 个 数 据 页 ) 为 热 度 计 算 单 位, 每 次 从 磁 盘 读 数 据 都 会 计 算 该 数 据 所 在 的 Segment 是 否 满 足 一 定 的 热 度 条 件, 若 满 足 则 被 缓 存 在 SSD 中, 如 果 SSD 可 用 空 间 不 足 则 选 择 热 度 最 低 的 数 据 换 出 SSD 对 于 内 存 换 出 的 脏 页,TAC 采 用 直 写 (write-through) 的 方 式 [63] 同 步 写 入 SSD 和 磁 盘 文 献 提 出 的 LC 缓 存 策 略 区 别 对 待 从 内 存 换 出 的 干 净 页 和 脏 页, 分 别 采 用 clean-write (CW) dual-write (DW) lazy-cleaning (LC) 三 种 算 法 对 缓 存 性 能 进 行 了 对 比 实 验 这 里 CW 表 示 SSD 只 缓 存 从 内 存 中 置 换 出 来 的 干 净 页 ; DW 缓 存 内 存 换 出 的 脏 页 和 干 净 页, 对 于 脏 页 采 用 直 写 的 方 式 写 入 SSD 和 磁 盘 ;LC 与 DW 的 区 别 在 于 处 理 脏 页 的 策 略 不 同, LC 采 用 写 回 (write-back) 的 方 式, 对 于 从 内 存 换 出 的 脏 页 先 只 写 到 SSD, 随 后 再 以 一 种 Lazy 的 方 式 批 量 延 时 写 入 磁 盘 对 比 实 验 结 果 可 以 得 到 如 下 结 论 :(1) 对 于 更 新 操 作 密 集 的 负 载, 写 回 的 方 式 可 以 减 少 对 磁 盘 的 写 操 作 因 为 一 段 时 间 内 对 同 一 数 据 页 的 多 次 修 改 可 以 通 过 SSD 的 暂 存 而 变 成 最 终 对 磁 盘 的 一 次 写 操 作,LC 减 少 了 磁 盘 I/O 次 数, 性 能 相 对 较 好 (2) 对 于 读 操 作 密 集 的 负 载, CW 缓 冲 区 命 中 率 较 高,DW 因 为 没 有 写 回 策 略 复 杂 的 管 理 代 价, 所 以 这 两 种 架 构 便 显 出 更 好 的 性 能 文 [63] 献 的 实 验 结 果 与 我 们 前 面 提 到 的 扩 展 缓 存 所 要 解 决 的 核 心 问 题 是 吻 合 的, 系 统 性 能 与 缓 冲 区 替 [64] 换 策 略 和 负 载 访 问 形 式 关 系 密 切 FaCE 系 统 结 合 考 虑 了 SSD 价 格 随 机 写 操 作 性 能 差 等 特 点, 提 出 了 一 种 经 济 有 效 的 异 质 缓 存 管 理 策 略 FaCE 选 择 SSD 作 为 扩 展 缓 存, 利 用 SSD 的 高 速 随 机 读 性 能 和 非 易 失 性 提 高 数 据 访 问 的 吞 吐 量, 降 低 系 统 恢 复 时 间 FaCE 系 统 的 主 要 特 点 包 括 : (1) 对 于 从 内 存 被 驱 逐 进 入 SSD 的 数 据, FaCE 以 顺 序 追 加 的 方 式 写 入 SSD, 对 于 SSD 已 经 存 在 的 旧 版 本 数 据 FaCE 予 以 保 留, 这 避 免 了 对 SSD 的 随 机 写 操 作 ; (2) 为 了 提 高 SSD 访 问 命 中 率,FaCE 对 SSD 中 的 数 据 以 组 为 单 位 采 用 类 似 LRU-K 的 替 换 策 略, 为 将 来 可 能 再 次 被 访 问 的 数 据 提 供 留 在 SSD 的 机 会 ; (3)FaCE 同 时 修 改 了 事 物 检 查 点 和 恢 复 模 块, 以 组 提 交 的 方 式 周 期 性 的 将 缓 存 数 据 的 元 信 息 写 入 SSD, 这 样 在 系 统 恢 复 时 可 以 快 速 定 位 存 46

56 储 在 SSD 中 的 数 据, 缩 短 系 统 恢 复 时 间 QoS(Quality of Service), 这 里 QoS 实 际 上 指 的 此 外,Oracle Exadata [65] 在 读 取 磁 盘 数 据 时 采 是 页 面 进 入 或 换 出 SSD 缓 存 的 优 先 级, 不 同 的 用 统 计 的 方 法 将 数 据 表 索 引 等 热 数 据 缓 存 至 QoS 代 表 不 同 的 缓 存 策 略 存 储 管 理 器 根 据 QoS SSD, 内 存 换 出 的 干 净 页 也 缓 存 在 SSD 以 提 高 命 来 执 行 对 SSD 和 磁 盘 数 据 的 写 入 读 取 迁 移 等 中 率, 数 据 库 系 统 性 能 提 升 较 大 前 面 介 绍 的 几 操 作 hstorage-db 弥 补 了 异 质 存 储 系 统 和 数 据 管 个 缓 存 系 统 从 应 用 的 角 度 分 析 和 设 计 不 同 缓 存 层 理 系 统 I/O 请 求 之 间 语 义 信 息 的 缺 失, 这 使 得 底 层 的 数 据 管 理 办 法,hStorage-DB [66] 则 设 计 实 现 了 一 存 储 设 备 对 上 层 应 用 不 再 是 一 个 黑 盒, 存 储 处 理 个 基 于 混 合 系 统 的 数 据 存 储 管 理 应 用 框 架 更 加 灵 活, 不 受 负 载 访 问 动 态 变 化 的 影 响 hstorage-db 底 层 也 采 用 SSD 和 磁 盘 的 混 合 存 储, hstorage-db 对 数 据 库 系 统 特 别 是 复 杂 的 OLAP 应 SSD 作 为 内 存 的 扩 展 构 成 对 磁 盘 的 二 级 缓 存 用 和 高 并 发 负 载 访 问 性 能 提 升 幅 度 比 较 大, 对 负 hstorage-db 对 每 一 次 I/O 请 求 赋 予 丰 富 的 语 义 信 载 不 同 类 型 的 查 询 性 能 均 有 提 升 ( 顺 序 访 问 随 息, 简 单 的 说 就 是 将 缓 存 策 略 的 权 利 赋 予 每 一 级 机 访 问 和 临 时 数 据 查 询 等 ), 部 分 查 询 性 能 甚 至 与 存 储 管 理 器 ( 磁 盘 或 者 SSD), 存 储 管 理 器 响 应 I/O 全 SSD 存 储 系 统 相 差 无 几 SSD 的 价 格 只 有 内 存 请 求 时 根 据 语 义 信 息 执 行 缓 存 策 略 hstorage-db 的 十 分 之 一, 用 SSD 做 扩 展 缓 存 性 价 比 高, 目 前 为 操 作 系 统 文 件 系 统 以 及 数 据 库 系 统 都 添 加 了 是 混 合 存 储 数 据 管 理 研 究 最 被 关 注 的 一 个 方 向 一 个 访 问 优 先 级 生 成 模 块, 每 次 I/O 优 先 级 生 成 模 当 前 主 要 的 几 个 缓 存 系 统 性 能 对 比 见 表 7 块 提 取 操 作 携 带 的 语 义 信 息 生 成 特 定 的 服 务 质 量 Table 7 Comparison of flash as cache extension 表 7 SSD 作 为 扩 展 缓 存 性 能 对 比 分 析 实 例 页 类 型 数 据 替 换 数 据 同 步 主 要 特 性 [65] Clean LRU Write-through 优 点 : 算 法 简 单 ;SSD 和 磁 盘 数 据 迁 移 代 价 少 缺 点 : 冷 热 数 据 甄 别 准 确 性 低 ; I/O 代 价 大 优 点 : 缓 冲 区 访 问 性 能 提 升 明 显, 同 步 SSD 和 TAC [62] Both 热 度 Write-through 磁 盘 数 据 代 价 低 缺 点 : 针 对 DB2 数 据 库 设 计, 通 用 性 不 强 ; 热 度 模 型 设 计 复 杂, 元 数 据 管 理 复 杂 度 高 优 点 : 适 用 于 多 种 访 问 负 载 ; 有 效 减 少 磁 盘 写 LC [63] Both LRU-2 Write-back 缺 点 :SSD 数 据 替 换 引 发 较 多 随 机 写 操 作 ; 数 据 库 检 查 点 设 置 复 杂, 恢 复 代 价 大 优 点 : 优 化 了 闪 存 的 写 操 作, 高 吞 吐 ; 系 统 恢 FaCE [64] Both FIFO Write-back 复 性 能 提 升 明 显 缺 点 :SSD 中 数 据 采 用 多 版 本 存 储 影 响 缓 冲 区 命 中 率 ; 数 据 写 回 磁 盘 的 代 价 高, 空 间 利 用 率 低 5 未 来 工 作 的 展 望 结 合 新 硬 件 发 展 趋 势 和 现 有 的 闪 存 数 据 管 理 相 关 研 究, 我 们 认 为 以 下 几 个 方 面 是 未 来 的 研 究 方 向 : 5.1 基 于 闪 存 面 向 企 业 级 应 用 的 超 大 数 据 管 理 随 着 越 来 越 多 应 用 技 术 的 出 现 和 发 展, 数 据 的 增 长 已 经 完 全 失 去 控 制, 对 业 务 运 行 也 造 成 了 影 响, 构 建 面 向 企 业 级 应 用 的 超 大 数 据 管 理 系 统 是 解 决 海 量 数 据 存 储 和 管 理 等 问 题 的 有 效 途 径 主 要 研 究 内 容 包 括 如 下 几 个 方 面 : 高 性 能 高 扩 展 : 基 于 闪 存 新 特 性 和 大 数 据 呈 现 的 多 样 性, 合 理 的 数 据 分 布 会 加 快 数 据 的 访 问 性 能 数 据 管 理 体 系 的 各 个 环 节 必 须 相 应 的 调 整 管 理 策 略 以 适 应 新 型 存 储 的 特 性 关 系 数 据 库 技 术 在 可 扩 展 性 方 面 存 在 不 足, 因 此 在 超 大 数 据 管 理 系 统 的 实 现 上, 还 需 要 考 虑 NoSQL 技 术 Key-Value 存 储 列 存 储 等 低 能 耗 高 吞 吐 : 在 能 源 价 格 上 涨 存 储 需 求 不 断 扩 大 环 保 意 识 不 断 增 强 的 今 天, 高 能 耗 已 47

57 逐 渐 成 为 计 算 机 存 储 系 统 的 一 项 关 键 挑 战 据 估 计, 世 界 范 围 内 的 数 据 中 心 每 年 的 电 费 已 经 超 过 300 亿 美 元 在 超 大 规 模 存 储 系 统 中, 磁 盘 是 能 量 的 主 要 消 耗 者, 而 越 来 越 大 的 内 存 也 逐 渐 成 为 高 能 耗 的 主 要 原 因 之 一 因 此, 将 闪 存 作 为 缓 存 引 入 大 规 模 存 储 系 统, 将 非 常 有 助 于 解 决 其 中 节 能 方 面 的 严 峻 挑 战 一 方 面, 引 入 闪 存 使 得 缓 存 空 间 显 著 增 大, 能 获 得 更 高 的 缓 存 命 中 率 从 而 显 著 降 低 对 磁 盘 的 访 问 密 度, 在 存 储 层 内 部 可 以 通 过 倾 斜 的 数 据 分 布, 使 部 分 磁 盘 存 储 冷 门 数 据 来 增 加 空 闲 时 间 达 到 节 能 的 目 的, 另 一 方 面, 引 入 闪 存 可 以 显 著 减 少 内 存 的 使 用, 从 而 降 低 缓 存 层 自 身 的 能 耗 可 靠 性 可 用 性 : 随 着 闪 存 存 储 容 量 增 加 其 可 擦 除 次 数 在 大 幅 下 降, 闪 存 有 限 的 使 用 寿 命 是 构 建 大 数 据 管 理 必 须 要 考 虑 的 问 题 设 计 对 闪 存 友 好 的 算 法 和 应 用 有 利 于 保 证 系 统 的 可 靠 性 和 可 用 性 5.2 混 合 存 储 的 数 据 管 理 系 统 新 型 存 储 介 质 为 构 建 高 性 能 可 扩 展 的 海 量 数 据 管 理 提 供 了 一 个 经 济 有 效 的 途 径 未 来 数 据 存 储 体 系 将 以 多 介 质 混 合 存 储 为 主, 在 超 大 数 据 应 用 中, 将 数 据 集 中 存 储 是 不 可 行 的, 因 为 巨 大 的 数 据 量 将 导 致 性 能 的 低 下 因 此, 必 须 建 立 一 种 新 的 层 次 化 多 介 质 存 储 体 系, 根 据 数 据 和 介 质 特 性 合 理 地 分 配 数 据 存 储 位 置, 数 据 处 理 过 程 中 不 同 的 数 据 在 外 存 的 保 存 时 间 访 问 频 率 修 改 频 率 和 读 写 速 度 等 方 面 均 存 在 差 异, 混 合 存 储 必 须 能 够 动 态 的 调 整 外 存 系 统 中 保 存 的 数 据, 充 分 利 用 各 类 外 存 设 备 的 特 性 以 取 得 在 性 能 和 价 格 上 的 最 佳 比 数 据 分 类 数 据 分 布 数 据 迁 移 元 数 据 管 理 等 是 解 决 上 述 问 题 的 关 键 技 术 数 据 分 类 : 在 混 合 存 储 的 数 据 管 理 系 统, 高 端 闪 存 设 备 常 作 为 内 存 扩 展 以 满 足 大 规 模 数 据 管 理 对 系 统 高 吞 吐 的 需 求 实 现 内 存 扩 展 这 一 功 能 的 核 心 问 题 是 如 何 对 缓 存 数 据 进 行 有 效 分 类 管 理, 过 滤 掉 冷 数 据, 把 对 系 统 性 能 影 响 较 大 的 热 数 据 暂 存 到 闪 存 以 提 高 命 中 率, 数 据 分 类 算 法 必 须 能 够 有 效 地 鉴 别 当 前 访 问 负 载 的 冷 热 程 度 数 据 分 布 : 通 过 性 能 测 试 我 们 不 难 发 现 当 前 不 同 厂 商 生 产 的 SSD 产 品 其 性 能 差 异 比 较 大, 不 同 接 口 的 SSD 产 品 在 读 写 速 度 价 格 等 方 面 的 差 距 也 是 非 常 大, 基 于 上 述 因 素, 大 型 数 据 管 理 中 心 通 常 会 选 择 不 同 类 型 和 性 能 的 SSD 产 品 来 构 建 多 级 异 质 的 混 合 存 储 系 统 充 分 发 挥 各 级 存 储 介 质 的 性 能 特 性, 合 理 的 数 据 布 局 是 实 现 高 性 价 比 系 统 的 重 要 因 素 比 如, 选 用 少 量 高 端 的 SSD 做 扩 展 内 存 减 少 系 统 响 应 时 间, 因 为 高 端 SSD 产 品 其 读 写 操 作 的 性 能 比 较 接 近, 可 用 寿 命 较 长, 适 合 高 速 频 繁 的 读 写 操 作 对 于 中 低 端 产 品 可 以 发 挥 它 们 读 性 能 好 的 特 点, 可 以 选 择 存 放 读 操 作 密 集 的 数 据, 尽 量 减 少 对 这 些 SSD 的 随 机 写 操 作, 保 证 其 使 用 寿 命 和 可 靠 性 数 据 库 管 理 员 (DBA) 和 负 载 访 问 动 态 监 测 机 制 是 目 前 实 现 数 据 有 效 合 理 分 布 的 主 要 途 径 混 合 存 储 复 杂 的 体 系 结 构 和 性 能 特 性 使 得 DBA 面 临 巨 大 的 挑 战, 人 力 因 素 很 难 发 挥 更 大 的 作 用, 如 何 智 能 有 效 地 监 测 访 问 负 载 变 化 是 数 据 合 理 分 布 的 一 大 挑 战 数 据 迁 移 : 在 混 合 存 储 系 统 中, 为 了 完 成 数 据 的 有 效 分 布 数 据 迁 移 是 不 可 避 免 的 所 谓 数 据 迁 移 是 指 数 据 在 不 同 介 质 之 间 移 动 通 常 系 统 会 根 据 实 时 的 负 载 访 问 模 式 选 择 将 读 操 作 密 集 的 数 据 迁 移 到 SSD 上, 以 提 高 数 据 的 查 询 性 能 而 对 于 内 容 修 改 比 较 频 繁 的 数 据 系 统 则 采 用 有 效 的 存 储 策 略 将 其 存 储 到 磁 盘 上 对 于 用 做 Cache 的 SSD 需 要 将 暂 存 的 数 据 迁 移 到 磁 盘 上, 迁 移 策 略 必 须 充 分 考 虑 迁 移 过 程 中 占 用 CPU 总 线 内 存 等 系 统 资 源 而 产 生 的 系 统 代 价 元 数 据 管 理 : 在 混 合 存 储 系 统 中 不 同 存 储 介 质 之 间 信 息 的 传 递 存 储 系 统 与 上 层 操 作 系 统 文 件 系 统 的 通 信 都 会 产 生 大 量 元 数 据 信 息 元 数 据 通 常 需 要 频 繁 的 被 修 改, 随 着 数 据 管 理 规 模 的 不 断 扩 大 其 数 据 量 也 日 渐 庞 大, 合 理 有 效 的 对 元 数 据 进 行 管 理 也 是 影 响 系 统 性 能 的 一 个 重 要 因 素 5.3 新 型 存 储 技 术 对 闪 存 数 据 管 理 的 影 响 近 年 来 一 些 新 兴 的 存 储 技 术 为 计 算 机 存 储 体 系 带 来 了 新 的 机 遇 和 挑 战 相 变 存 储 器 (PCM), 磁 阻 式 随 机 存 储 器 (MRAM), 铁 电 随 机 存 储 器 (FRAM) 和 电 阻 式 随 机 存 储 器 (RRAM) 等 一 系 列 技 术 相 继 从 实 验 阶 段 进 入 产 品 开 发 阶 段 它 们 可 以 基 于 位 进 行 访 问, 读 写 速 度 与 静 态 随 机 存 储 器 (SRAM) 和 动 态 随 机 存 储 器 (DRAM) 相 当, 更 重 要 的 是 它 们 都 是 非 易 失 的, 耗 能 也 明 显 少 于 传 统 存 储 技 术, 存 储 密 度 至 少 有 一 个 数 量 级 的 提 升 这 些 新 型 存 储 技 术 被 称 为 存 储 级 内 存 (Storage Class Memory, SCM) 相 变 存 储 器 (Phase Change Memory, PCM) 是 最 具 市 场 发 展 潜 力 的 SCM 设 备, 48

58 它 是 利 用 材 料 在 不 同 温 度 下 可 逆 转 的 相 变 来 存 储 信 息 PCM 有 与 内 存 相 当 的 读 写 速 度, 它 是 非 易 失 的, 与 闪 存 相 比,PCM 具 有 更 高 的 读 写 性 能 Table 8 Comparison of memory technologies [67] [67] 表 8 各 种 存 储 技 术 性 能 对 比 更 低 的 能 耗 和 更 多 的 耐 写 次 数, 写 入 速 度 比 闪 存 高 近 300 倍, 寿 命 是 闪 存 的 1000 倍 我 们 把 各 种 存 储 技 术 的 性 能 进 行 了 对 比, 对 比 结 果 见 表 8 内 存 (DRAM) PCM NAND 闪 存 磁 盘 访 问 页 大 小 64B 64B 4KB 512B 读 操 作 能 耗 0.8J/GB 1J/GB 1.5J/GB 65J/GB 写 操 作 能 耗 1.2J/GB 6J/GB 17.5J/GB 65J/GB 可 写 入 次 数 读 响 应 时 间 20-50ns ~50ns ~25us ~5ms 写 响 应 时 间 20-50ns ~1us ~500us ~5ms PCM 可 以 按 字 节 寻 址 按 位 进 行 修 改 且 断 电 后 数 据 不 会 丢 失 目 前,PCM 目 前 已 经 在 固 线 和 无 线 通 信 设 备 消 费 电 子 PC 和 其 它 嵌 入 式 应 用 领 域 得 到 应 用 随 着 PCM 技 术 的 飞 速 发 展, 将 PCM 引 入 闪 存 数 据 管 理 也 是 未 来 的 一 个 研 究 热 点, 具 体 可 分 为 以 下 几 个 研 究 点 SSD 和 PCM 混 合 存 储 : 针 对 SSD 小 随 机 写 性 能 差 和 PCM 按 位 写 的 的 特 点 将 PCM 用 作 SSD 的 [68-69] 扩 展 可 以 提 升 数 据 库 系 统 性 能 文 献 将 PCM 和 SSD 组 成 混 合 系 统, 利 用 PCM 做 SSD 的 日 志 存 储 区, 所 有 对 数 据 的 修 改 都 以 日 志 的 方 式 写 入 PCM, 日 志 写 满 后 将 数 据 进 行 合 并 产 生 最 新 版 本 数 据 PCM 有 SSD 千 倍 的 使 用 寿 命 和 更 低 的 能 耗, 这 种 混 合 策 略 可 以 有 效 降 低 系 统 能 耗, 延 长 SSD 的 可 用 寿 命 PCM 作 SSD 的 缓 存 : 利 用 PCM 的 非 易 失 性 和 快 的 读 写 速 度, 缓 存 从 内 存 中 置 换 出 来 的 脏 页 可 以 大 大 减 少 对 SSD 的 写 操 作 PCMLogging [70] 将 PCM 用 做 内 存 的 扩 展, 缓 存 对 SSD 的 写 操 作 PCMLogging 采 用 类 似 于 影 子 页 的 事 物 处 理 办 法, 事 物 在 对 数 据 执 行 更 新 操 作 时, 不 添 加 显 式 的 日 志 记 录, 每 次 更 新 都 会 在 内 存 保 留 数 据 的 旧 版 本, 当 内 存 可 用 空 间 低 于 设 定 的 阈 值, 再 将 数 据 写 到 PCM 元 数 据 记 录 了 数 据 更 新 的 历 史, 在 执 行 事 物 处 理 的 时 候, 通 过 修 改 存 储 在 内 存 和 PCM 中 的 元 数 据 来 保 证 事 物 的 一 致 性 和 原 子 性 PCM 支 持 更 细 粒 度 的 并 发 操 作, 利 用 PCM 实 现 元 组 级 并 发 控 制 会 极 大 提 升 企 业 级 数 据 管 理 的 性 能 5.4 软 硬 件 一 体 化 的 数 据 管 理 传 统 的 数 据 管 理 技 术, 数 据 都 无 一 例 外 的 存 储 于 磁 盘, 数 据 由 操 作 系 统 调 用, 从 磁 盘 读 入 内 存, 进 行 查 询 对 比 或 修 改 等 操 作 随 着 企 业 业 务 数 据 的 爆 炸 性 增 长, 海 量 数 据 访 问 要 求 系 统 同 时 扫 描 几 十 几 百 甚 至 几 千 个 磁 盘, 大 量 数 据 需 要 从 外 存 读 取 到 服 务 器 内 存, 这 已 经 成 为 制 约 系 统 性 能 的 瓶 颈 另 一 方 面, 企 业 数 据 管 理 或 者 大 型 数 据 中 心 搭 建 数 据 业 务 处 理 平 台 的 过 程 也 是 相 当 复 杂, 需 要 将 操 作 系 统 数 据 管 理 软 件 存 储 硬 件 以 及 网 络 等 组 件 优 化 整 合 在 一 起, 来 满 足 用 户 持 续 工 作 的 高 可 用 业 务 支 持 将 数 据 库 存 储 和 服 务 器 集 成 在 一 起 不 仅 能 够 为 企 业 提 供 快 捷 安 装 快 速 部 署 易 于 维 护 的 完 整 业 务 开 发 运 营 平 台, 还 能 以 一 种 优 化 的 方 式 协 调 一 致 的 运 行, 实 现 均 衡 负 载, 有 效 降 低 应 用 的 [71] 复 杂 性, 提 高 数 据 管 理 的 性 能 数 据 库 机 (Database Machine) 的 出 现 为 解 决 上 述 问 题 提 供 了 一 个 理 想 方 案 一 方 面, 数 据 库 机 可 以 显 著 提 升 性 能, 有 效 解 决 数 据 量 持 续 增 长 带 来 的 I/O 压 力 和 存 储 压 力, 另 一 方 面, 数 据 库 机 降 低 了 用 户 机 集 成 的 复 杂 性 和 难 度 数 据 库 机 最 早 出 现 于 上 世 纪 70 年 代 的 System/38 中 它 将 核 心 数 据 库 功 能 转 换 成 为 底 层 硬 件 的 一 个 组 件 通 过 将 虚 拟 内 存 和 机 器 指 令 相 结 合 完 成 数 据 处 理 早 期 的 数 据 库 机 可 以 很 好 的 保 证 数 据 库 系 统 和 操 作 系 统 的 可 靠 性, 但 磁 盘 低 速 的 I/O 性 能 使 得 数 据 库 机 技 术 没 有 得 到 推 广 和 应 用 闪 存 的 出 现 解 决 了 数 据 库 机 I/O 瓶 颈 问 题, 新 一 代 闪 存 存 储 器 容 量 有 数 倍 的 增 加, 响 应 速 度 提 升 40%, 可 实 现 100GB/ 秒 的 数 据 扫 描 速 率, 将 闪 存 引 入 数 据 库 机 存 储 体 系, 采 用 智 能 闪 存 缓 存 技 术 将 经 常 访 问 的 热 数 据 透 明 的 缓 存 在 闪 存 和 随 机 存 储 器 中, 同 时 将 活 动 性 低 的 数 据 保 留 在 低 成 本 的 磁 盘 上, 可 以 有 效 解 决 磁 盘 随 机 I/O 瓶 颈 问 题 目 前 Oracle IBM 和 微 软 相 继 推 出 软 硬 件 集 成 产 品, 可 以 预 见 在 大 数 据 处 理 和 分 析 领 域, 运 用 闪 存 技 术 将 49

59 软 硬 件 融 合 的 数 据 库 机 一 定 会 成 为 未 来 数 据 管 理 的 重 要 技 术 6 结 束 语 硬 件 技 术 的 发 展 驱 动 软 件 技 术 的 革 命, 闪 存 等 新 型 存 储 器 件 的 出 现 为 提 高 数 据 管 理 性 能 带 来 了 机 遇 和 挑 战 应 用 新 型 存 储 介 质 解 决 海 量 数 据 管 理 是 数 据 管 理 技 术 未 来 的 主 要 发 展 方 向 因 此, 针 对 硬 件 特 性, 设 计 数 据 库 体 系 结 构 和 算 法 解 决 数 据 库 技 术 领 域 中 查 询 优 化, 索 引 管 理 事 务 恢 复 与 并 发 控 制 等 关 键 技 术 问 题 是 非 常 必 要 的 本 文 首 先 讨 论 了 闪 存 的 特 性 和 FTL 机 制 ; 对 基 于 闪 存 的 数 据 库 系 统 相 关 研 究 进 行 了 归 类 总 结 ; 详 细 讨 论 了 闪 存 在 混 合 存 储 数 据 管 理 中 的 重 要 作 用 研 究 适 合 闪 存 特 性 的 数 据 管 理 技 术 是 数 据 管 理 研 究 领 域 的 一 个 热 点, 目 前 该 领 域 仍 有 许 多 问 题 需 要 做 深 入 的 研 究 参 考 文 献 [1] Chang L-P, Kuo T-W. Efficient Management for Large-Scale flash-memory storage with resource conservation. IEEE Transaction on Storage, 2005,1(4): [2] Wu C-H, Kuo T-W. An Adaptive Two-Level management for the flash translation layer in embedded systems//proceedings of the International Conference on Computer-Aided Design (ICCAD).San Jose,USA,2006: [3] Gray Jim.Tape is dead disk is tape flash is disk RAM locality is king//pacific Grove: Microsoft, Gong Show Presentation at Third Biennial Conference on Innovative Data Systems Research: 1,2007. [4] Mustafa Canim, Bishwaranjan Bhattacharjee, G. A. Mihaila, C. A. Lang, and K. A. Ross. An Object Placement Advisor for DB2 Using Solid State Storage//Proceedings of the VLDB Endowment, 2009, 2(2): [5] White Paper: MySpace Uses Fusion Powered I/O to Drive Greener and Better Data Centers. [EB/OL], myspace-case-study.pdf. [6] Releasing-Flash-cache,[EB/OL] ook.com/note.php? [7] K9WAG08U1A-Flash-Memory,[EB/OL] ww.alldatasheet.com/datasheet-pdf/pdf/177488/s AMSUNG. [8] Lee S-W, Moon B. Design of Flash-Based DBMS:-An-In-Page-Logging-Approach//Proceed ings-of- the ACM SIGMOD Conference (SIGMOD2007), Beijing,China,2007:55-66 [9] Lee S-W, Moon B, Park C, Kim J-M, Kim S-W: A case for flash memory SSD in enterprise database applications//proceedings of the ACM SIGMOD Conference(SIGMOD 2008), Vancouver, Canada,2008: [10] SolidDB product family. [EB/OL], www-01.ibm.com/software/data/soliddb/ [11] Oracle TimesTen in-memory database. [EB/OL], base/timesten/index.html [12] Peter J. Denning:Working sets past and present. IEEE Transactions on Software Engineering, 1980,6(1):64 84 [13] Elizabeth J. O'Neil, Patrick E. O'Neil, Gerhard Weikum. The LRU-K page replacement algorithm for database disk buffering//proceedings of the ACM SIGMOD Conference-(SIGMOD)Washington,USA,1993: [14] iang S, Zhang X D LIRS: an efficient low inter-reference recency set replacement policy to-improve-buffer-cache-performance//proceedin gs of the ACM SIGMETRICS Conference on Measurements and Modeling of Computer Systems(SIGMETRICS), California, USA. 2002:31-42 [15] Alfred V, Peter J. Denning, Jeffrey D. Principles of optimal page replacement. Journal of the ACM,1971,18(1): [16] Park S-Y, Jung D, Kang J, Kim J-S,Joonwon Lee. CFLRU: A Replacement Algorithm for Flash-Memory//Proceedings-of-the-International Conference on Compilers, Architecture and-synthesis-for-embedded-systems(cases), Seoul, Korea,2006: [17] Jung H, Shim H, Park S, Kang S, Cha J. LRU-WSR: Integration of LRU and Writes Sequence Reordering for Flash Memory. IEEE-Transactions-on-Consumer-Electronics,200 8, 54(3):

60 [18] Jung H, Shim H, Park S, Kang S, Cha J. LIRS-WSR: Integration of LIRS and Writes Sequence Reordering for Flash Memory// Proceedings of International Conference on Computational Science and Its Applications (ICCSA),-Kuala-Lumpur,Malaysia,2007: [19] Li Z,Jin P,Su X,Cui K,Yue L.CCF-LRU: A New Buffer Replacement Algorithm for Flash Memory. IEEE Transactions on Consumer Electronics, (3): [20] Jin P, Ou Y, Theo Härder, Li Z. AD-LRU: An efficient buffer replacement algorithm for flash-based databases. Journal of Data & Knowledge Engineering,2012, 72 (2) : [21] Lv Y, Cui B, He B, Chen X: Operation-aware buffer management in flash-based systems Proceedings of the ACM SIGMOD Conference (SIGMOD), Athens, Greece,2011: [22] Chen F, David A. Koufaty, Zhang X D. Understanding intrinsic characteristics and system implications of flash memory based solid state drives//proceedings-of-the-acm SIGMETRICS Conference on Measurements and-modeling-of-computer-systems(sigmetri CS), Seattle, WA, USA,2009: [23] Jo H, Kang J-U, Park S-Y, Kim J-S, Lee J FAB: Flash-Aware Buffer Management Policy for Portable Media Players. IEEE Transactions on Consumer Electronics, 2006,52(2) : [24] Kim H,Ahn S. BPLRU: A buffer management scheme for improving random writes in flash storage//proceedings of the 7th USENIX Conference on File and Storage Technologies (FAST), San Jose, USA,2008: [25] Seo D,Shin D-K.Recently-evicted-first buffer replacement policy for flash storage devices.ieee Transactions on Consumer Electronics,2008,54(3): [26] Ou Y, Theo Harder, Jin P-Q CFDC: A Flash-Aware Buffer Management Algorithm for Database Systems//Proceedings of the 5th International Workshop on Data Management on New Hardware(DaMoN),Rhode Island, USA,2009: [27] Agrawal D, Ganesan D, Sitaraman R, Diao Y-L,-Singh-S.-Lazy-Adaptive-Tree:An-Optimize d-index-structure-for-flash-devices//proceeding s of the 35th International Conference on Very Large Data Bases(VLDB), Lyon, France, 2009:24-28 [28] On ST, Hu H, Li Y. Flash-optimized B+-tree. Journal-of-computer-science-and-technology,20 10,25(3): [29] Xu C, Shou L, Chen G, Yan C, Tianlei Hu, Update Migration:An Efficient B-Tree for Flash-Storage//Proceedings-of-the-15 th -Internatio nal Conference on Database Systems for Advanced Applications (DASFAA), Tsukuba, Japan, 2010: 1-4 [30] Kang D-W, Jung D,Kang J-U. µ-tree: An Ordered Index Structure for NAND Flash Memory// Proceedings of the 7th ACM & IEEE International conference on Embedded Software Salzburg(EMSOFT) Salzburg, Austria, 2007: [31] Zeinalipour D, Lin S, Kalogeraki V, Gunopulos D. MicroHash: An Efficient Index Structure for Flash-Based Sensor Devices// Proceedings of the 3th USENIX Conference on File and Storage Technologies(FAST), California, USA, 2005: [32] Kai C, Jin P, Yue L-H. HashTree: A New Hybrid Index for Flash Disks.//Proceedings of the 12th Asia-Pacific Web Conference (APWeb) Busan, Korea: 2010: [33] Li Y, He B, Luo Q, Yi K. Tree Indexing on Flash Disks// Proceedings of the 25th International Conference on Data Engineering Shanghai, China, 2009: (ICDE), [34] Yin S, Pucheral P, Meng X-F. PBFilter: Indexing Flash-Resident Data through Partitioned Summaries//Proceeding of the International Conference on Information and Knowledge Management (CIKM). Napa Valley, California, USA, 2008: [35] Do J, Patel J-M.Join processing for flash SSDs:remembering past lessons// Proceedings of the Fifth International Workshop on Data 51

61 Management on New Hardware (DaMoN), Providence, Rhode-Island, 2009: [36] Ailamaki A, DeWitt D-J, Mark D. Hill, Skounakis M. Weaving relations for cache performance//proceedings of the 27th International Conference on Very Large Data Bases(VLDB), Roma, Italy, 2001: [37] Shah M, Harizopoulos S, Janet L. Wiener, Graefe G. Fast scans and joins using flash drives//proceedings of the 4th International Workshop on Data Management on New Hardware(DaMoN),Vancouver,BC,Canada,2008: [38] Tsirogiannis D, Harizopoulos S, Shah M, Janet L. Wiener, Graefe G.Query processing techniques for solid state drives// Proceedings of the ACM SIGMOD Conference (SIGMOD), Rhode Island, USA, 2009:59 72 [39] Li Y, On S-T, Xu J-L, Choi B, Hu H-B. DigestJoin:Exploiting Fast Random Reads for Flash-Based Joins//Proceedings of the 10th International Conference on Mobile Data Management(MDM),Taipei,2009: [40] Liang Z-C, Zhou D, Meng X-F. Sub-Join: Query Optimization Algorithm for Flash-Based Database. Chinese Journal of Frontiers of Computer Science and Technology (in Chinese),2010,4(5): ( 梁 智 超, 周 大, 孟 小 峰. Sub-Join: 面 向 闪 存 数 据 库 的 查 询 优 化 算 法. 计 算 机 科 学 与 探 索,2010,4(5): ) [41] Myers-D.-On-the-Use-of-NAND-Flash Memory in-high-performance-relational Databases[D]. Massachusetts Institute of Technology,2008 [42] Bausch D,Petrov I,Buchmann A.On the performance of database query processing algorithms on flash solid state disks//proceedings of the First International Workshop Conference on IT Service Management and Its Support(ITSMS),Toulouse,2011: [43] Bausch D, Petrov I, Buchmann A. Making Cost-Based Query Optimization Asymmetry -Aware//Proceedings of the 8th International Workshop on Data Management on New Hardware(DaMoN 2012),Scottsdale, AZ, USA, 2012:24 32 [44] Valsangkar A, Panda B. An architecture for making data available ceaselessly during recovery//proceedings of Systems, Man and Cybernetics Society Information Assurance (IAW),New York, USA, 2003: [45] Hector Garcia-Molina H-G, Salem K. Main memory database systems: an overview. Journal of IEEE Transaction on Knowledge and Data Engineering,1992,4(6): [46] Raymond A. Lorie. Physical integrity in a large segmented database. ACM Transactions on Database Systems,1977, 2(1): [47] Jim G, McJones P, Mike B, Bruce L, Raymond Lorie, Tom Price, Franco Putzolu and Irving Traiger.The Recovery Manager of the System R Database Manager.Journal of ACM Computing Surveys, 1981,13( 2): [48] Lu Z, X. Meng X-F, Zhou D.HV-recovery: A High Efficient Recovery Technique for Flashed -based Database. Chinese Journal of Computers,2010,33(12): (inchinese) ( 卢 泽 萍, 孟 小 峰, 周 大. HV-recovery: 一 种 闪 存 数 据 库 的 高 效 恢 复 方 法. 计 算 机 学 报,2010,33(12): ) [49] Lu Z, Qi X-Y, Cao W, Meng X-F.LB-Logging: A Highly Efficient Recovery Technique for Flash-Based Database//Proceedings of the 13th International Conference of Web-Age Information Management (WAIM),Harbin, China,2012: [50] On S-T, Xu J-L, Choi B, Hu H-B, He B.Flag Commit: Supporting Effcient Transaction Recovery in Flash-based DBMSs.IEEE Transaction on Knowledge and Data Engineering,2012,24(9): [51] Chen S. FlashLogging: exploiting flash devices for synchronous logging performance//proceedings of the ACM SIGMOD conference (SIGMOD), Rhode Island, USA, 2009:73-86 [52] Chung T-S, Lee M, Lee K-S.PORCE: an efficient power off recovery scheme for flash memory. Journal of Systems Architecture - Embedded 52

62 Systems Design,2008,54(10): [53] Wu C-H, Kuo T-W, Chang L-P. The design of efficient initialization and crash recovery for log-based file systems over flash memory. ACM Transactions on Storage,2006,2(4): [54] Wu C-H, Kuo T-W, Chang L-P. Efficient initialization and crash recovery for log-based file systems over flash memory.//proceedings of the Symposium on Applied Computing (SAC 2006), New York,USA,2006: [55] Gokul S,Vijayan P,Mahesh B,Ted W. Extending SSD Lifetimes with Disk-Based Write Caches//Proceedings of the 8th USENIX Conference on File and Storage Technologies (FAST), San Jose,, USA, 2010: [56] Yang P-Y, Jin P-Q, Yue L-H. Hybrid Storage with Disk Based Write Cache//Proceedings of the DASFAA2011 Workshop on Flash-based Database Systems (FlashDB2011), Hong Kong,China,2011 : [57] Ioannis K, Stratis V. Flashing up the storage layer. Proceedings of the VLDB Endowment, 2008, 1(1): [58] Yang Q, Ren J. I-CASH:Intelligently Coupled Array of SSD and HDD. //Proceedings of the 17th International Conference on High-Performance Computer Architecture (HPCA), San Antonio,Texas,2011: [59] Chen F, David A,, Zhang X-D.Hystor: making the best use of solid state drives in high performance storage systems//proceedings of the 25th International Conference on Super computing(ics),tucson,usa,2011:22-32 [60] Chen S, Phillip B. Gibbons, Nath S. PR-join: a non-blocking join achieving higher early result rate with statistical guarantees//proceedings of the ACM SIGMOD Conference (SIGMOD),Indiana,USA,2010: [61] Zhang N, Tatemura J, Patel J, Hacigümüs H. Towards Cost-Effective Storage Provisioning for DBMSs. Proceedings of the VLDB Endowment,2012,5(4): [62] Canim M, George A. Mihaila, Bishwaranjan Bhattacharjee, Kenneth A. Ross, Christian A.Lang. SSD Bufferpool Extensions for Database Systems. Proceedings of the VLDB Endowment, 2010,3(2): [63] Jaeyoung Do, Zhang D-H, Patel J, David J, Jeffrey F,Halverson N: Turbocharging DBMS buffer pool using SSDs//Proceedings of the ACM SIGMOD conference,athens, Greece, 2011: [64] Kang W-H, Lee S-W, Moon B. Flash-based Extended Cache for Higher Throughput and Faster Recovery. Proceedings of the VLDB Endowment,2012,5(11): [65] Oracle Corp. Oracle TPC Benchmark C Full Disclosure Report, December [EB/OL],http//: _tpcc_fdr.pdf [66] Luo T, Lee R, Mesnier M, Chen F, Zhang X-D.hStorage-DB: Heterogeneity-aware Data Management to Exploit the Full Capability of Hybrid Storage Systems. Proceedings of the VLDB Endowment,2012,5(10): [67] Chen S.M,Gibbons P, Nath S. Rethinking Database Algorithms for Phase Change Memory//Proceedings of the 5th Biennial Conference on Innovative Data Systems Research (CIDR),Asilomar, California, USA,2011:21-31 [68] Lee S-W, Moon B, Park C, Hwang J-Y, Kim K.Accelerating In-Page Logging with Non-Volatile Memory.IEEE Data Engineering Bulletin,2010,33(4):41-47 [69] Sun G-Y, Joo Y, Chen Y-B, Niu D-M, Xie Y, Chen Y-R,Li H.A Hybrid solid-state storage architecture for the performance,energy consumption,and-lifetime-improvement//pros of The International Conference on High-Performance-Computer-Architecture (HPCA),Bangalore,India,2010:1-12 [70] Gao S, Xu J-L, He B, Choi B, Hu H-B, PCMLogging: Reducing Transaction Logging Overhead with PCM//Proceedings of The 20th Conference on Information and Knowledge Management (CIKM), Glasgow, Scotland, UK, 2011:

63 [71] Hsiao D.K, Madnick S.E. Database Machine Architecture in the Context of Information Technology Evolution// Proceedings of the 3th International Conference on Very Large Data Bases(VLDB), Tokyo, Japan,1977:

64 云 数 据 管 理 索 引 技 术 研 究 马 友 忠 孟 小 峰 ( 中 国 人 民 大 学 信 息 学 院 北 京 ) 摘 要 数 据 的 爆 炸 式 增 长 给 传 统 的 关 系 型 数 据 库 带 来 了 巨 大 的 挑 战, 使 其 在 扩 展 性 容 错 性 等 方 面 遇 到 了 瓶 颈 而 云 计 算 技 术 依 靠 其 高 扩 展 性 高 可 用 性 容 错 性 等 特 点, 成 为 大 规 模 数 据 管 理 的 有 效 方 案 然 而 现 有 的 云 数 据 管 理 系 统 也 存 在 不 足 之 处, 其 只 能 支 持 基 于 主 键 的 快 速 查 询, 因 缺 乏 索 引 视 图 等 机 制, 所 以 不 能 提 供 高 效 的 多 维 查 询 join 等 操 作, 这 限 制 了 云 计 算 在 很 多 方 面 的 应 用 学 术 界 工 业 界 及 各 应 用 领 域 都 对 云 数 据 管 理 中 的 索 引 技 术 进 行 了 深 入 研 究, 提 出 了 很 多 优 秀 的 解 决 方 案, 本 文 主 要 对 云 数 据 管 理 的 索 引 技 术 的 相 关 工 作 进 行 了 深 入 调 研, 并 作 了 对 比 分 析, 指 出 了 其 各 自 的 优 点 及 不 足 ; 对 我 们 在 云 计 算 环 境 下 针 对 海 量 物 联 网 数 据 的 多 维 索 引 技 术 研 究 工 作 进 行 了 简 单 介 绍, 最 后 指 出 了 在 云 计 算 环 境 下 针 对 大 数 据 索 引 技 术 的 若 干 挑 战 性 问 题 关 键 词 云 数 据 管 理 ; 索 引 ; 大 数 据 Indexing for Cloud Data Management MA You-Zhong MENG Xiao-Feng (School of Information, Renmin University of China, Beijing Abstract The explosive growth of the digital data brings great challenges to the relational database management systems, and they have troubles in scalability, fault tolerance etc. The cloud computing techniques have been widely used in many applications and become the standard effective approach to manage large scale data because of its high scalability, high availability and fault tolerance. While the existing cloud-based data management systems can t support complex queries efficiently, such as multi-dimensional queries and join queries because of lacking of index or view techniques, these shortfalls limit the application of cloud computing in many respects. Many research works have been done in literatures, industrial and applications to explore the index techniques for cloud data management. In this paper we made in-depth research about the index techniques for cloud data management and pointed out their strengths and weaknesses. We also introduced our preliminary work on the index for massive IOT data in cloud environment. Finally we pointed out some challenges about the index techniques for big data in cloud environment. Key words cloud data management; index; big data 1 引 言 随 着 信 息 技 术 的 飞 速 发 展, 在 电 子 商 务 物 联 网 社 交 网 络 计 算 机 仿 真 科 学 计 算 移 动 互 联 网 等 众 多 应 用 领 域, 数 据 量 正 在 以 指 数 级 的 速 度 增 加, 人 类 已 经 进 入 了 大 数 据 时 代 55

65 据 统 计, 全 世 界 的 信 息 量 每 两 年 以 超 过 翻 倍 的 速 度 增 长,2011 年 将 产 生 和 复 制 1.8ZB 的 海 量 数 据, 其 增 长 速 度 已 经 超 过 摩 尔 定 律 传 统 的 关 系 型 数 据 库 虽 然 能 够 提 供 十 分 成 熟 的 数 据 存 储 索 引 以 及 查 询 处 理 方 案, 然 而 面 对 不 断 增 长 的 海 量 数 据, 关 系 型 数 据 库 在 扩 展 性 方 面 遇 到 了 严 重 的 瓶 颈, 无 法 实 现 高 效 灵 活 的 扩 展 虽 然 一 些 专 业 的 公 司 能 够 提 供 一 些 针 对 关 系 型 数 据 库 的 扩 展 方 案, 但 是 其 部 署 管 理 的 代 价 非 常 大 自 2004 年 以 来,Google 公 司 先 后 提 出 了 Google File System[1] BigTable[2] 和 MapReduce[3] 等 技 术, 随 着 这 三 大 关 键 性 技 术 的 提 出, 云 计 算 作 为 一 种 新 的 海 量 数 据 存 储 管 理 分 析 模 式 应 运 而 生, 并 得 到 业 界 众 多 大 公 司 的 广 泛 应 用 和 深 入 研 究, 云 计 算 已 经 成 了 海 量 数 据 处 理 的 一 个 标 准 解 决 方 案 同 时 也 产 生 了 很 多 优 秀 的 分 布 式 数 据 存 储 和 管 理 系 统, 如 雅 虎 的 PUNUS[4] Amazon 的 Dynamo[5] 开 源 的 HBase 等 基 于 Key-Value 存 储 的 云 数 据 管 理 技 术 具 有 高 可 扩 展 性 高 可 用 性 和 容 错 性 等 特 点, 能 够 实 现 对 海 量 数 据 的 高 效 存 储 和 处 理 然 而, 现 有 的 基 于 Key-Value 存 储 的 云 数 据 管 理 系 统 在 数 据 访 问 方 面 提 供 的 功 能 比 较 简 单 云 数 据 管 理 系 统 大 都 是 按 照 rowkey 的 顺 序 对 数 据 进 行 组 织, 并 在 rowkey 上 建 立 类 B+tree 的 索 引 结 构, 所 以 在 rowkey 上 能 够 提 供 高 效 的 点 查 询 或 范 围 查 询 然 而 针 对 非 rowkey 的 查 询 只 能 通 过 全 表 扫 描 的 方 式 来 实 现 虽 然 我 们 可 以 利 用 MapRedeuce 技 术 来 实 现 数 据 访 问 的 并 行 化, 在 一 定 程 度 上 提 高 查 询 速 度, 但 是 当 数 据 量 非 常 大 的 时 候, 对 于 时 间 延 迟 要 求 比 较 高 的 应 用 来 说, 全 表 扫 描 所 需 的 时 间 仍 然 比 较 长, 无 法 满 足 实 际 应 用 的 需 求 在 实 际 应 用 中, 除 了 对 rowkey 的 查 询 之 外, 还 有 很 多 针 对 非 rowkey 的 多 维 查 询 需 求 如 在 基 于 位 置 的 服 务 中, 我 们 经 常 需 要 针 对 某 个 对 象 的 经 度 纬 度 时 间 等 属 性 进 行 多 维 查 询 ; 在 图 片 共 享 服 务 中, 我 们 可 以 对 图 片 的 拍 摄 时 间 拍 摄 地 点 图 片 主 题 等 属 性 进 行 查 询 ; 在 电 子 商 务 网 站 中, 商 品 的 数 量 往 往 达 到 数 十 亿 甚 至 上 百 亿, 并 且 每 件 商 品 都 有 几 十 个 甚 至 上 百 个 属 性, 如 名 称 类 别 价 格 上 架 时 间 等 用 户 往 往 需 要 从 多 个 不 同 的 角 度 对 商 品 进 行 查 询, 从 而 对 所 要 购 买 的 商 品 有 更 加 全 面 深 入 的 了 解 然 而 由 于 目 前 云 数 据 管 理 系 统 在 数 据 查 询 方 面 的 局 限 性, 限 制 了 其 在 众 多 领 域 的 广 泛 应 用 索 引 是 实 现 多 维 查 询 的 一 个 有 效 方 案, 因 此 目 前 已 有 很 多 学 者 公 司 针 对 云 数 据 管 理 中 的 索 引 技 术 开 展 了 大 量 研 究 工 作, 并 提 出 了 一 系 列 有 价 值 的 解 决 方 案 比 如 新 加 坡 国 立 大 学 的 epic 项 目 组 创 新 性 地 提 出 了 双 层 索 引 框 架, 并 在 此 基 础 上 给 出 了 一 系 列 解 决 方 案 ; 华 为 公 司 基 于 HBase 的 coprocessor 技 术 设 计 了 新 的 二 级 索 引 方 案, 大 大 提 高 了 查 询 的 效 率 本 文 主 要 对 云 数 据 管 理 索 引 技 术 的 相 关 工 作 进 行 了 深 入 调 研, 分 析 了 各 自 的 优 点 及 不 足 ; 并 对 我 们 在 物 联 网 索 引 方 面 的 研 究 工 作 进 行 了 简 单 介 绍, 最 后 指 出 了 在 云 计 算 环 境 下 针 对 大 数 据 索 引 技 术 的 若 干 挑 战 性 问 题 本 文 主 要 内 容 如 下 : 第 二 节 主 要 对 学 术 界 关 于 云 数 据 管 理 中 的 索 引 技 术 进 行 了 归 纳 总 结, 并 根 据 其 采 用 的 索 引 方 案 不 同 进 行 了 分 类 ; 第 三 节 主 要 对 工 业 界 及 不 同 类 型 应 用 中 的 索 引 技 术 进 行 了 分 析, 包 括 NoSQL 数 据 库 中 的 索 引 技 术 海 量 数 据 处 理 中 的 索 引 技 术 不 同 应 用 领 域 中 的 索 引 技 术 等, 其 中 对 轨 迹 数 据 空 间 数 据 和 图 数 据 中 的 索 引 技 术 进 行 了 详 细 分 析 ; 第 四 节 主 要 是 对 我 们 在 云 计 算 环 境 下 针 对 海 量 物 联 网 数 据 的 多 维 索 引 技 术 的 研 究 工 作 进 行 了 介 绍 ; 第 五 节 指 出 了 云 计 算 环 境 下 针 对 大 数 据 的 索 引 技 术 中 存 在 的 若 干 挑 战 性 问 题 ; 最 后 对 本 文 进 行 了 总 结 56

66 2 云 数 据 管 理 索 引 技 术 - 学 术 界 成 果 2.1 概 述 为 了 丰 富 云 数 据 管 理 系 统 的 查 询 功 能, 很 多 学 者 开 展 了 云 数 据 管 理 系 统 中 索 引 技 术 的 研 究 工 作, 目 前 已 经 提 出 了 很 多 有 价 值 的 实 现 方 案 我 们 对 各 种 索 引 方 案 的 索 引 结 构 实 现 方 式 优 缺 点 进 行 了 深 入 分 析, 并 按 照 实 现 方 式 的 不 同 对 其 进 行 了 分 类, 主 要 有 以 下 五 种 不 同 的 方 案 : 分 别 为 双 层 索 引 方 式 二 级 索 引 方 式 全 局 分 布 式 索 引 基 于 线 性 化 技 术 的 索 引 和 基 于 位 图 的 索 引 表 1 给 出 了 各 种 索 引 方 案 的 优 缺 点 主 要 索 引 结 构 及 代 表 性 技 术 表 1 各 种 索 引 方 案 对 比 索 引 方 案 优 点 缺 点 主 要 索 引 结 构 代 表 技 术 B-tree B-tree + BATON[6] 双 层 索 引 可 以 通 过 全 局 索 引 来 定 位 数 据 所 在 节 点, 避 免 额 外 查 询 开 销 索 引 维 护 代 价 高 ; 实 现 较 复 杂 ; 维 度 较 高 时, 查 询 性 能 急 剧 下 降 R-tree Quad tree RT-CAN[7] A-Tree[8] EMINC[9] QT-Chord[10] Bit map + R-tree TLB-index[11] 二 级 索 引 实 现 简 单 ; 维 护 代 价 低 多 维 查 询 效 率 较 低 索 引 表 ITHbase IHbase Asynchronous View[12] 空 间 冗 余 大 索 引 表 CCIndex[13] 全 局 分 布 式 索 引 实 现 简 单 ; 自 动 负 载 均 衡 客 户 端 负 担 较 重 ; 无 法 满 足 数 据 频 繁 插 入 B-tree Distributed B-tree[14] 基 于 线 性 化 技 术 的 索 引 较 高 的 写 入 吞 吐 量 ; 维 护 代 价 较 低 一 致 性 维 护 复 杂 KD-tree MD-HBase[15] 位 图 索 引 高 并 发 ; 避 免 额 外 检 索 代 价 属 性 值 域 划 分 规 则 复 杂 ; 范 围 查 询 时 会 出 现 很 多 false positives Bitmap RBI[16] 索 引 的 主 要 目 的 是 尽 可 能 避 免 不 必 要 的 数 据 扫 描 和 比 较, 快 速 定 位 到 所 要 查 找 的 数 据 在 云 数 据 管 理 系 统 中, 数 据 一 般 都 是 以 key-value 的 形 式 进 行 存 储 的, 并 且 按 照 rowkey 对 数 据 进 行 组 织 分 块, 在 rowkey 上 建 有 相 应 的 索 引 结 构, 所 以 系 统 能 够 提 供 针 对 rowkey 的 高 效 查 询 而 对 于 非 rowkey 上 的 查 询 则 往 往 需 要 通 过 全 表 扫 描 的 方 式 来 进 行 逐 一 比 较, 效 率 较 低 因 此 索 引 的 主 要 目 的 就 是 提 高 针 对 非 rowkey 的 查 询 速 度 第 一 种 方 案 和 第 二 种 方 案 索 引 的 数 据 对 象 可 以 是 分 布 式 文 件 系 统 (GFS HDFS) 中 的 数 据, 也 可 以 是 key-value store(bigtable HBase) 中 的 数 据, 索 引 只 是 负 责 对 已 经 进 入 到 系 统 中 的 数 据 建 立 索 引, 不 影 响 或 控 制 数 据 的 分 布 及 存 储 而 第 三 种 方 案 和 第 四 种 方 案 略 有 不 同, 这 两 种 方 案 在 建 立 索 引 的 同 时, 也 会 影 响 数 据 的 分 布 其 中, 第 三 种 方 案 是 以 分 布 式 B-Tree 的 方 式 对 数 据 进 行 组 织, 新 来 的 数 据, 根 据 B-Tree 的 插 入 规 则, 找 到 相 应 的 插 入 节 点, 并 根 据 具 体 情 况, 对 节 点 进 行 适 当 分 裂 B-Tree 中 的 节 点 ( 包 括 内 部 节 点 和 叶 子 节 点 ) 分 布 到 各 个 不 同 机 器 上 第 四 种 方 案 主 要 是 采 用 空 间 目 标 排 序 技 术 把 多 维 数 据 映 射 到 一 维 空 间 上, 并 以 一 维 空 间 中 的 数 值 作 为 记 录 的 rowkey 同 时 利 用 KD 树 或 四 叉 树 对 多 维 数 据 空 间 进 行 划 分, 根 据 最 长 公 共 前 缀 的 方 式 计 算 得 到 每 个 子 空 间 的 名 称, 并 以 此 名 称 作 为 索 引 项 对 数 据 各 个 子 空 间 的 数 据 进 行 索 引 57

67 2.2 双 层 索 引 目 前 已 有 的 云 数 据 管 理 索 引 方 案 中 关 于 双 层 索 引 的 研 究 比 较 多, 研 究 人 员 主 要 来 自 新 加 坡 国 立 大 学 中 国 人 民 大 学 东 北 大 学 希 腊 Thessaly 大 学 双 层 索 引 方 案 主 要 是 为 了 满 足 数 据 的 海 量 性 以 及 系 统 的 可 扩 展 性 而 提 出 来 的 伍 赛 等 人 [17] 于 2009 年 提 出 了 一 个 云 数 据 管 理 系 统 中 的 索 引 框 架, 后 续 的 关 于 双 层 索 引 方 案 的 研 究 大 都 是 基 于 该 框 架 进 行 的 该 框 架 的 实 现 方 案 如 图 1 所 示 : 图 1 双 层 索 引 基 本 框 架 由 上 图 可 知, 索 引 部 分 包 括 局 部 索 引 和 全 局 索 引 两 部 分 在 云 数 据 管 理 系 统 中, 有 大 量 的 廉 价 计 算 机 组 成 的 计 算 机 集 群 可 以 为 用 户 提 供 计 算 资 源 和 存 储 资 源 用 户 数 据 按 照 一 定 的 规 则 被 划 分 成 数 据 块, 这 些 数 据 块 按 照 分 布 式 文 件 系 统 的 协 议 被 分 配 到 不 同 的 计 算 机 节 点 存 储 在 双 层 索 引 方 案 中, 对 每 个 计 算 机 节 点 的 数 据 建 立 一 个 本 地 的 局 部 索 引, 该 局 部 索 引 只 负 责 本 地 节 点 上 的 数 据 除 局 部 索 引 外, 每 个 计 算 节 点 还 需 要 共 享 一 部 分 存 储 空 间 用 来 存 储 全 局 索 引 全 局 索 引 是 由 部 分 局 部 索 引 组 成 的, 由 于 存 储 空 间 的 限 制 和 查 询 效 率 的 要 求, 不 可 能 把 所 有 的 局 部 索 引 节 点 全 都 发 布 到 全 局 索 引 中, 所 以 针 对 局 部 索 引 需 要 按 照 一 定 的 规 则 选 择 其 中 的 一 部 分 索 引 节 点 来 进 行 发 布 对 于 被 选 中 的 索 引 节 点, 在 全 局 索 引 中 可 以 有 不 同 的 方 案 对 其 进 行 组 织 在 双 层 索 引 方 案 中, 根 据 局 部 索 引 的 索 引 结 构 以 及 全 局 索 引 的 组 织 方 式 不 同, 又 可 以 分 为 多 种 不 同 的 种 类, 表 2 描 述 了 各 种 方 案 的 局 部 索 引 全 局 索 引 以 及 节 点 选 择 策 略 表 2 双 层 索 引 方 案 对 比 方 案 名 称 局 部 索 引 全 局 索 引 索 引 节 点 选 择 策 略 ( 代 价 模 型 ) Efficient B-tree[6] B + -tree BATON Query cost + Index maintenance cost RT-CAN[7] R-tree CAN Query cost + Index maintenance cost QT-Chord[10] IMX-CIF quad-tree Chord Naming function of block code EMINC[9] KD-tree R-tree Index node volume A-Tree[8] R-tree + Bloom filter Array Based Index node volume TLB-index[11] B + -tree for Bitmap BATON for Bitmap Not explain in detail 58

68 Efficient B-tree[6] 是 一 个 基 于 的 双 层 索 引 方 案, 主 要 支 持 单 个 属 性 上 的 点 查 询 和 范 围 查 询 在 每 个 存 储 节 点 上, 针 对 本 地 数 据 建 立 相 应 的 B + -tree 索 引, 然 后 按 照 特 定 的 索 引 节 点 选 择 策 略 从 每 个 局 部 索 引 中 选 择 一 部 分 节 点 发 布 到 全 局 索 引 中 为 了 提 高 查 询 的 速 度, 保 证 系 统 的 可 扩 展 性, 全 局 索 引 采 用 了 P2P 网 络 BATON[18] 对 全 局 索 引 节 点 进 行 组 织 在 进 行 索 引 节 点 选 择 的 时 候 采 用 了 基 于 代 价 模 型 的 自 适 应 调 整 策 略, 作 者 提 出 了 一 个 代 价 模 型, 每 个 节 点 的 代 价 包 括 查 询 代 价 和 索 引 维 护 代 价, 在 进 行 节 点 选 择 的 时 候 保 证 总 的 代 价 最 小 具 体 调 整 过 程 是 : 最 初 选 择 每 个 局 部 B + -tree 索 引 的 根 节 点 发 布 到 全 局 索 引 中, 然 后 定 期 地 计 算 全 局 索 引 节 点 的 子 节 点 的 代 价 之 和, 如 果 子 节 点 的 代 价 之 和 小 于 原 有 父 节 点 的 代 价, 那 么 就 把 原 有 的 父 节 点 替 换 成 新 的 子 节 点 该 方 案 能 够 对 单 个 属 性 的 查 询 提 供 高 效 的 支 持, 但 是 无 法 实 现 多 维 查 询 RT-CAN[7] 的 基 本 实 现 思 路 与 Efficient B-tree[6] 是 一 样 的, 不 过 RT-CAN[7] 是 针 对 多 维 查 询 而 设 计 的 为 了 支 持 多 维 查 询,RT-CAN[7] 在 局 部 索 引 中 采 用 了 R-tree 结 构, 在 全 局 索 引 中 采 用 了 能 够 支 持 多 维 查 询 的 覆 盖 网 络 CAN 网 络, 节 点 选 择 策 略 和 Efficient B-tree[6] 基 本 一 致 R-tree 是 一 种 类 似 于 B + -tree 的 索 引 结 构, 都 是 一 种 平 衡 树, 并 且 节 点 的 散 度 比 较 大, 树 的 层 次 比 较 少, 所 以 在 查 询 的 时 候 效 率 比 较 高 但 是 为 了 保 持 树 的 平 衡, 在 数 据 插 入 的 过 程 中, 需 要 不 断 地 对 索 引 节 点 进 行 分 裂 调 整, 所 以 索 引 的 维 护 代 价 比 较 高, 尤 其 是 对 数 据 插 入 比 较 频 繁 的 应 用 来 说, 索 引 的 维 护 代 价 过 高, 会 对 系 统 的 吞 吐 量 带 来 一 定 的 影 响 因 此, 文 献 [10] 提 出 了 另 外 一 种 双 层 索 引 结 构 QT-Chord 在 QT-Chord 中, 局 部 索 引 采 用 的 是 改 进 的 四 叉 树 IMX-CIF Quad-tree, 全 局 索 引 采 用 的 Chord 覆 盖 网 络 [19] 在 索 引 节 点 的 选 择 上, QT-Chord 并 没 有 利 用 基 于 代 价 的 模 型, 而 是 基 于 四 叉 树 的 编 码 方 法 对 每 一 个 四 叉 树 节 点 进 行 编 码 由 于 父 节 点 的 编 码 是 子 节 点 编 码 的 前 缀, 所 以 作 者 充 分 利 用 这 一 特 点, 设 计 了 一 个 命 名 函 数, 把 子 节 点 递 归 地 映 射 到 上 层 父 节 点, 然 后 把 最 后 映 射 到 的 节 点 发 布 到 全 局 索 引 中 前 面 三 种 方 案 在 全 局 索 引 中 均 采 用 了 基 于 P2P 结 构 的 覆 盖 网 络, 这 种 方 式 能 够 很 方 便 地 实 现 系 统 的 可 扩 展 性, 使 系 统 能 够 同 时 支 持 大 规 模 的 查 询 但 是 这 种 方 式 也 存 在 一 些 不 足 之 处, 首 先 P2P 网 络 本 身 需 要 一 定 的 维 护 代 价, 在 查 询 的 时 候, 往 往 也 需 要 一 定 的 网 络 传 输 代 价, 这 在 一 定 程 度 上 会 增 加 系 统 的 延 迟 ; 另 外, 由 于 现 有 的 云 数 据 管 理 系 统 一 般 都 是 master-slave 结 构 的, 要 在 这 些 节 点 上 重 新 构 建 一 个 P2P 网 络, 会 对 原 有 的 存 储 系 统 带 来 一 定 的 负 面 影 响 基 于 这 些 原 因,EMINC[9] 和 A-Tree[8] 在 全 局 索 引 中 采 用 了 集 中 式 的 索 引 方 式 EMINC[9] 中 针 对 每 一 个 局 部 节 点 建 立 一 个 KD-tree[20], 然 后 选 择 KD-tree 的 部 分 节 点 作 为 全 局 索 引, 作 者 把 每 一 个 局 部 索 引 节 点 看 成 是 一 个 多 个 维 度 的 立 方 体, 然 后 在 全 局 索 引 中 用 R-tree 对 这 些 立 方 体 进 行 索 引 由 于 R-tree 树 的 各 个 节 点 之 间 会 有 一 定 的 重 叠, 尤 其 是 当 维 度 比 较 高, 或 者 数 据 量 比 较 大 的 时 候, 重 叠 部 分 会 比 较 多, 这 样 在 查 询 的 时 候, 尤 其 点 查 询, 就 会 造 成 大 量 的 false positive 查 询, 从 而 影 响 查 询 的 效 率 为 了 解 决 这 一 问 题,A-Tree[8] 提 出 了 另 外 一 种 方 案 - 带 Bloom filter[21] 的 R-tree 基 本 思 路 是 这 样 的 : 针 对 每 一 个 存 储 节 点 构 建 一 棵 R-tree, 同 时 创 建 一 个 Bloom filer, 这 样, 在 进 行 点 查 询 的 时 候, 首 先 通 过 Bloom filter 进 行 验 证, 如 果 查 询 点 不 在 其 中, 则 不 再 进 行 R-tree 查 询, 否 则 继 续 进 行 R-tree 查 询 这 样 就 减 少 了 false positive 的 机 率, 从 而 提 高 查 询 效 率 TLB-index[11] 采 取 的 索 引 方 案 与 Efficient B-tree[6] 采 用 的 方 案 基 本 一 致, 局 部 索 引 用 的 是 B+-tree, 全 局 索 引 用 BATON 网 络, 不 同 之 处 在 于 TLB-index[11] 对 每 一 个 不 同 的 值 构 造 一 个 bitmap, 然 后 利 用 B+-tree 对 所 有 的 bitmap 进 行 索 引, 这 样 可 以 减 少 存 储 开 销 上 述 各 种 索 引 技 术 方 案 具 有 较 好 的 扩 展 性, 但 是 总 体 来 说 实 现 过 程 比 较 复 杂, 索 引 更 新 维 护 的 代 价 比 较 高, 对 于 数 据 更 新 比 较 频 繁 的 引 用 来 说, 会 影 响 系 统 的 性 能 在 全 局 索 引 中 大 都 采 用 了 基 于 P2P 协 议 的 覆 盖 网 络 来 实 现 并 行 查 询, 但 是 P2P 网 络 本 身 的 维 护 比 较 复 杂, 59

69 查 询 时 的 网 络 开 销 也 比 较 大, 这 会 影 响 到 系 统 的 查 询 性 能 2.3 二 级 索 引 二 级 索 引 (secondary index) 方 案 类 似 于 关 系 数 据 库 中 的 二 级 索 引, 该 方 案 主 要 应 用 于 key-value 存 储 的 云 数 据 库 管 理 系 统 中, 如 BigTbale HBase 等, 目 前 大 多 数 的 二 级 索 引 方 案 都 是 基 于 HBase 实 现 的 在 HBase 中, 数 据 是 以 表 的 形 式 来 存 放 的, 为 了 实 现 对 非 row-key 的 查 询, 需 要 为 每 一 个 索 引 列 构 建 一 个 索 引 表, 以 索 引 列 的 值 ( 其 实 是 索 引 列 与 row-key 的 组 合 ) 作 为 新 的 row-key, 实 现 索 引 列 与 原 有 row-key 的 映 射 查 询 的 时 候, 首 先 通 过 在 索 引 表 中 进 行 查 询, 找 到 相 应 的 原 有 row-key 的 列 表, 然 后 再 根 据 这 些 row-key 信 息 到 原 来 的 数 据 表 中 去 查 找 所 需 要 的 原 始 数 据 信 息 目 前 基 于 二 级 索 引 的 实 现 方 案 主 要 有 ITHBase IHBase CCIndex[13] 和 Asynchronous views[12] 其 中 ITHbase 和 IHBase 是 两 个 开 源 的 实 现 方 案,ITHbase 主 要 关 注 于 数 据 一 致 性, 事 务 性 是 其 重 要 特 性 IHBase 与 ITHBase 比 较 相 似, 从 HBase 源 码 级 别 进 行 了 扩 展, 重 新 定 义 和 实 现 了 一 些 Server,Client 端 处 理 逻 辑, 所 以, 它 是 具 备 强 侵 入 性 的 不 过 IHBase 在 修 改 完 HBase 版 兼 容 bug 以 后 没 有 再 更 新 除 了 ITHBase 和 IHBase 之 外, 中 科 院 提 出 了 另 外 一 种 二 级 索 引 方 案 : 互 补 聚 簇 式 索 引 (Complemental Clustering Index), 简 称 CCIndex[13] 前 面 的 二 级 索 引 方 案 中, 索 引 表 中 仅 仅 存 放 索 引 列 与 原 来 的 row-key 信 息, 在 查 询 的 时 候, 通 过 查 询 索 引 表 得 到 row-key 以 后, 还 需 要 根 据 row-key 到 原 来 的 表 中 去 查 找, 然 而 由 于 得 到 的 row-key 大 都 是 随 机 的, 所 以 需 要 进 行 大 量 的 随 机 读 操 作 才 能 最 终 得 到 所 需 要 的 数 据, 效 率 相 对 比 较 低 为 了 减 少 随 机 查 询 带 来 的 开 销,CCIndex 提 出 了 一 个 新 的 方 案, 把 数 据 的 详 细 信 息 也 存 放 在 索 引 表 中, 这 样 在 查 询 的 时 候 就 可 以 直 接 在 索 引 表 中 通 过 顺 序 扫 描 找 到 相 应 的 数 据, 即 把 随 机 读 变 成 了 顺 序 读, 可 以 大 大 减 少 查 询 时 间 然 而, 把 详 细 信 息 存 储 在 索 引 表 中 会 造 成 存 储 空 间 的 增 加, 为 了 尽 可 能 给 地 减 少 存 储 空 间 的 开 销, 作 者 把 HDFS 文 件 块 备 份 数 设 为 1, 这 样 就 可 以 保 证 存 储 空 间 不 会 增 加 太 多 但 是, 备 份 数 设 为 1 之 后, 数 据 的 容 错 性 又 成 了 新 的 问 题, 为 了 解 决 这 一 问 题, 作 者 又 提 出 了 新 的 容 错 方 案, 通 过 创 建 clustering check table, 再 配 合 原 有 的 索 引 表, 能 够 实 现 快 速 恢 复 同 时,CCIndex 还 提 出 了 一 种 查 询 优 化 机 制, 用 以 支 持 多 维 查 询 该 优 化 机 制 主 要 是 利 用 HBase 中 的 一 些 元 数 据 信 息 (region-to-server information) 来 估 算 每 个 子 查 询 结 果 的 大 小, 根 据 查 询 结 果 来 生 成 合 适 的 查 询 计 划, 从 而 降 低 查 询 时 间 CCIndex 方 案 实 现 起 来 相 对 比 较 简 单, 但 是 也 存 在 一 些 不 足 之 处, 如 存 储 开 销 比 较 大, 尤 其 是 当 索 引 列 比 较 多 的 时 候, 空 间 开 销 会 更 大 ; 索 引 更 新 代 价 比 较 高, 会 影 响 系 统 的 吞 吐 量 ; 索 引 创 建 以 后, 不 能 够 动 态 增 加 或 修 改 Asynchronous View[12] 提 出 了 一 种 异 步 视 图 的 方 式 来 实 现 非 row-key 的 查 询, 视 图 的 方 式 类 似 于 二 级 索 引, 因 为 视 图 物 化 以 后 就 相 当 于 索 引 作 者 提 出 了 两 种 视 图 方 案 : 远 端 视 图 表 (Remote View Tables: RVTs) 和 局 部 视 图 表 (Local View Tables: LVTs) RVTs 是 指 针 对 某 个 查 询 列 建 立 一 个 视 图, 视 图 与 原 始 表 一 样, 可 能 会 被 分 散 存 储 到 各 个 不 同 的 节 点 上, 这 样 视 图 中 索 引 的 数 据 与 视 图 所 在 节 点 的 数 据 可 能 不 一 致, 当 节 点 中 的 数 据 发 生 改 变 的 时 候, 就 需 要 对 其 他 节 点 上 的 视 图 进 行 更 新 维 护, 代 价 较 高 这 种 方 式 对 于 查 询 来 说 效 率 比 较 高, 同 时 维 护 代 价 也 比 较 大 LVTs 是 针 对 每 个 节 点 的 数 据 分 别 建 立 一 个 局 部 的 视 图, 这 样 节 点 数 据 发 生 改 变 的 时 候 就 可 以 直 接 在 本 地 对 局 部 视 图 进 行 更 新, 维 护 代 价 较 低 但 是 在 查 询 的 时 候, 就 需 要 对 所 有 节 点 的 视 图 进 行 查 询, 然 后 再 进 行 汇 总, 所 以 查 询 效 率 比 较 低 一 般 来 说, 对 于 聚 集 查 询, 可 以 用 LVTs, 其 他 查 询 可 以 用 RVTs, 针 对 一 些 特 殊 的 查 询, 还 可 以 采 用 两 者 相 结 合 的 方 式 总 的 来 说, 二 级 索 引 方 案 实 现 起 来 相 对 比 较 简 单, 但 是 会 带 来 一 定 的 存 储 开 销, 并 且 对 60

70 多 维 查 询 的 支 持 不 够 理 想 2.4 全 局 分 布 式 索 引 为 了 支 持 大 规 模 数 据 存 储, 并 保 证 系 统 具 有 较 高 的 吞 吐 量,Distributed B-tree[14] 提 出 了 一 种 容 错 的 高 可 扩 展 的 分 布 式 B-tree 结 构 该 方 案 除 了 具 有 传 统 B-tree 的 一 般 特 点 之 外, 还 具 有 一 些 新 的 特 性 : 自 动 负 载 均 衡 操 作 的 原 子 性 和 存 储 节 点 的 动 态 增 加 或 删 除 其 基 本 思 想 如 图 2 所 示 : 图 2 分 布 式 B-tree 所 有 数 据 以 B-tree 结 构 进 行 组 织,B-tree 的 节 点 ( 包 括 内 部 节 点 和 叶 子 节 点 ) 分 散 存 储 在 不 同 的 节 点 上 为 了 实 现 数 据 的 一 致 性, 作 者 引 入 了 version table, 用 以 记 录 节 点 的 最 新 版 本 为 了 提 高 查 询 的 效 率,B-tree 的 索 引 内 部 节 点 都 会 缓 存 在 客 户 端, 并 采 用 lazy replica 的 方 式 进 行 更 新 这 种 方 法 主 要 有 两 个 缺 点 : 一 是 该 方 法 对 于 简 单 的 点 查 询 具 有 较 高 的 效 率, 但 是 对 于 复 杂 的 范 围 查 询 和 多 维 查 询 效 率 较 低 ; 第 二 个 缺 点 是 服 务 器 端 的 维 护 代 价 较 高 客 户 端 需 要 消 耗 大 量 的 内 存 空 间 去 缓 存 B-tree 的 内 部 节 点 2.5 基 于 线 性 化 技 术 的 索 引 上 述 几 种 索 引 方 案 均 需 要 维 护 一 种 特 定 的 索 引 结 构, 如 R-tree 或 B-tree, 当 数 据 更 新 十 分 频 繁 的 时 候, 索 引 更 新 维 护 的 代 价 就 非 常 高, 所 以 为 了 降 低 索 引 更 新 维 护 的 代 价, 同 时 又 能 保 证 系 统 的 性 能,MD-HBase[15] 提 出 了 一 种 基 于 线 性 化 技 术 的 索 引 方 案 MD-HBase[15] 的 基 本 思 想 是 : 按 照 一 定 的 规 则 将 整 个 空 间 范 围 划 分 为 大 小 相 等 的 格 子, 并 给 每 一 格 网 分 配 一 个 编 号, 用 这 些 编 号 为 空 间 目 标 生 成 一 组 具 有 代 表 意 义 的 数 字 其 实 质 是 通 过 某 种 特 定 的 方 式 将 k 维 空 间 的 实 体 映 射 到 一 维 空 间, 从 而 可 以 利 用 现 有 数 据 库 管 理 系 统 中 比 较 成 熟 的 一 维 索 引 技 术 来 组 织 数 据 用 一 维 的 数 值 对 多 维 的 空 间 目 标 进 行 排 序 的 方 法 有 很 多, 常 见 的 方 法 有 Z-order 排 序 [22] Hilbert 曲 线 等 这 些 技 术 的 思 路 基 本 相 同, 都 是 利 用 一 个 线 性 序 列 来 填 充 空 间, 构 造 一 种 空 间 填 充 曲 线, 把 多 维 空 间 的 数 据 转 换 成 一 维 数 据 这 种 转 换 关 系 必 须 能 够 较 好 地 保 持 原 多 维 空 间 目 标 之 间 的 临 近 关 系, 从 而 提 供 较 好 的 多 维 查 询 性 能 61

71 图 3 基 于 最 长 公 共 前 缀 的 索 引 MD-HBase[15] 以 HBase 作 为 数 据 存 储 方 案, 用 Z-ordering 技 术 对 数 据 进 行 排 序, 并 以 Z-value 作 为 每 条 记 录 的 row-key 值 但 是 单 纯 的 Z-ordering 排 序 方 法 在 搜 索 的 过 程 中 会 带 来 一 些 额 外 的 不 必 要 的 搜 索 空 间 (false positive search), 所 以, 作 者 在 此 基 础 上 利 用 KD 树 或 四 叉 树 对 多 维 数 据 空 间 进 行 划 分, 根 据 最 长 公 共 前 缀 的 方 式 计 算 得 到 每 个 子 空 间 的 名 称, 并 以 此 名 称 作 为 索 引 项 对 数 据 各 个 子 空 间 的 数 据 进 行 索 引, 从 而 减 少 不 必 要 的 检 索, 大 大 提 高 了 查 询 效 率 基 本 思 路 如 图 3 所 示 但 是, 该 方 法 在 进 行 空 间 划 分 的 过 程 中, 会 带 来 数 据 的 一 致 性 问 题, 虽 然 目 前 有 相 应 的 解 决 方 案, 但 是 实 现 起 来 仍 比 较 复 杂, 也 会 带 来 一 定 的 额 外 负 担 2.6 分 片 位 图 索 引 分 片 位 图 索 引 [23] 是 在 结 合 集 中 式 索 引 和 分 布 索 引 各 自 优 点 的 基 础 上 提 出 的 一 种 新 的 混 合 式 索 引 方 案 表 3 给 出 了 集 中 式 索 引 分 布 式 索 引 扩 展 分 布 式 索 引 以 及 混 合 式 索 引 各 自 的 优 缺 点 集 中 式 索 引 的 索 引 项 一 般 由 索 引 字 段 和 原 数 据 记 录 的 主 键 组 合 而 成, 索 引 项 按 照 索 引 字 段 值 排 序, 同 时 索 引 项 也 采 用 key-value store 来 管 理 索 引 集 中 式 方 案 往 往 具 有 高 可 靠 性 可 扩 展 性 和 易 管 理 性 但 是 由 于 查 询 以 集 中 式 方 处 理, 因 此 无 法 通 过 并 行 化 来 充 分 利 用 分 布 式 资 源 的 优 势 分 布 式 方 案 是 在 各 个 节 点 建 立 局 部 索 引, 节 点 之 间 相 互 独 立, 因 此 局 部 索 引 的 结 构 比 较 灵 活, 可 以 实 现 高 度 并 发 查 询 ; 但 是 由 于 每 次 查 询 都 需 要 查 询 所 有 的 节 点, 所 以 往 往 会 带 来 额 外 的 不 必 要 的 查 询 开 销, 特 别 是 对 选 择 率 很 低 的 等 值 查 询, 会 访 问 很 多 无 用 节 点 扩 展 的 分 布 式 索 引 方 案 是 在 局 部 索 引 的 基 础 上 增 加 了 一 层 全 局 索 引, 当 一 个 查 询 来 的 时 候, 先 通 过 全 局 索 引 来 确 定 对 应 的 局 部 索 引, 然 后 再 到 各 个 局 部 节 点 去 查 询, 从 而 避 免 了 不 必 要 节 点 的 查 询 但 是 全 局 索 引 往 往 采 用 一 些 P2P 网 络 如 BATON CAN[24] 网 络 来 实 现, 结 构 比 较 复 杂, 网 络 开 销 往 往 比 较 大 分 片 位 图 索 引 [23] 中 作 者 也 采 用 了 全 局 索 引 和 局 部 索 引 相 结 合 的 方 式 来 实 现, 但 是 全 局 索 引 采 用 了 一 种 比 较 新 颖 和 有 效 的 方 式 相 比 以 往 扩 展 分 布 式 方 案 中 使 用 复 杂 P2P 网 络 所 实 现 的 全 局 索 引 相 比, 分 片 位 图 索 引 采 用 基 于 属 性 值 的 全 局 排 序 机 制, 通 过 一 个 全 局 位 图 来 表 示 局 部 数 据 在 全 局 值 域 中 得 分 布 情 况, 从 而 为 各 数 据 节 点 提 供 一 定 的 全 局 信 息, 并 且 该 全 局 位 图 直 接 存 储 在 各 个 节 点 上, 因 此 不 需 要 特 殊 的 全 局 索 引 结 构 来 实 现, 因 此 可 以 避 免 不 同 数 据 节 点 之 间 的 网 络 通 信 开 销 除 全 局 索 引 之 外, [23] 还 引 入 了 位 图 索 引 的 分 片 机 制, 即 各 局 部 节 点 也 都 有 各 自 的 局 部 索 引, 从 而 使 得 各 数 据 节 点 的 查 询 任 务 相 互 独 立, 便 于 并 发 执 行, 从 而 提 高 查 询 效 率 但 是 该 方 案 存 在 的 一 个 问 题 在 于, 进 行 全 局 排 序 的 时 候, 各 属 性 值 域 的 划 分 规 则 比 较 难 以 确 定, 因 为 不 同 的 划 分 规 则, 对 查 询 的 性 能 会 产 生 比 较 大 的 影 响 除 此 之 外, 在 实 际 应 用 当 中, 业 务 类 型 经 常 会 发 生 改 变, 因 此 需 要 增 加 新 的 索 引 列, 而 要 增 加 新 的 索 引 列, 上 述 索 引 方 案 就 需 要 对 全 部 数 据 进 行 重 新 处 理 索 引, 代 价 往 往 会 非 常 大 62

72 表 3 集 中 式 索 引 vs. 分 布 式 索 引 索 引 类 型 实 现 方 式 优 点 缺 点 代 表 技 术 集 中 式 索 引 索 引 项 = 索 引 字 段 + 主 键 ; 索 引 项 按 照 索 引 字 段 值 排 序 ; 索 引 项 也 用 key-value store (e.g.,hbase) 来 管 理 高 可 靠 性 ; 可 扩 展 性 ; 易 管 理 性 ; 查 询 以 集 中 式 方 式 处 理 ; 无 法 通 过 并 行 化 来 充 分 利 用 分 布 式 资 源 的 优 势 ; 响 应 时 间 较 长 ; 二 级 索 引 基 于 线 性 化 技 术 的 索 引 ITHbase CCIndex[13] MD-HBase[15] 分 布 式 索 引 各 数 据 节 点 各 自 建 立 局 部 索 引 ; 没 有 索 引 值 的 全 局 排 序 信 息, 各 节 点 相 互 独 立 ; 可 以 实 现 高 度 并 发 查 询 ; 局 部 索 引 结 构 灵 活 ; 对 选 择 率 很 低 的 等 值 查 询, 会 访 问 很 多 无 用 节 点 ; 降 低 系 统 的 吞 吐 量 ; 二 级 索 引 全 局 分 布 式 索 引 IHbase Distributed B-Tree[14] 扩 展 分 布 式 索 引 各 数 据 节 点 各 自 建 立 维 护 局 部 索 引 ; 全 局 索 引 用 于 管 理 各 局 部 索 引 ; 可 以 在 充 分 保 证 并 行 化 的 同 时, 减 少 不 必 要 的 检 索 代 价 全 局 索 引 结 构 比 较 复 杂 ; 全 局 索 引 的 网 络 通 信 开 销 比 较 大 ; 双 层 索 引 B-tree + BATON[6] RT-CAN[7] QT-Chord[10] EMINC[9] 混 合 索 引 全 局 索 引 : 索 引 字 段 上 的 全 局 排 序 ; 局 部 索 引 : 分 片 位 图 索 引 既 能 充 分 发 挥 高 度 并 行 的 优 势, 又 能 避 免 不 必 要 的 检 索 代 价 各 属 性 值 域 的 划 分 规 则 比 较 难 以 确 定 ; 分 片 位 图 索 引 RBI[23] 3 云 数 据 管 理 索 引 技 术 - 工 业 界 及 应 用 领 域 文 章 第 二 部 分 主 要 介 绍 了 目 前 学 术 界 关 于 云 数 据 管 理 中 索 引 技 术 的 研 究 成 果, 并 对 相 关 成 果 进 行 了 分 类 比 较 和 分 析 除 了 学 术 界 的 研 究 之 外, 工 业 界 云 数 据 管 理 系 统 开 发 团 队 以 及 各 个 具 体 的 应 用 领 域, 也 针 对 云 数 据 的 索 引 问 题 进 行 了 相 应 的 研 究 按 照 在 数 据 管 理 中 所 处 的 层 次 不 同, 可 以 分 为 数 据 存 储 层 数 据 处 理 层 和 具 体 应 用, 如 图 4 所 示 在 存 储 层 主 要 包 括 分 布 式 文 件 系 统 和 NoSQL 数 据 库 中 的 索 引 技 术, 应 用 层 主 要 包 括 在 轨 迹 数 据 空 间 数 据 文 本 数 据 图 数 据 以 及 浮 动 车 数 据 中 的 索 引 技 术 下 面 将 就 这 些 问 题 详 细 介 绍 图 4 索 引 在 不 同 层 次 中 的 应 用 3.1 云 数 据 管 理 系 统 中 的 索 引 技 术 随 着 云 计 算 技 术 的 不 断 升 温, 云 数 据 库 也 得 到 迅 速 发 展, 目 前 已 经 出 现 了 很 多 云 数 据 库 管 理 系 统, 如 HBase Cassandra MongoDB 以 及 Hadoop++[25] HugeTable[26] 等 这 些 云 数 据 库 系 统 都 具 有 较 好 的 可 扩 展 性, 为 海 量 数 据 的 存 储 和 管 理 提 供 了 一 个 行 之 有 效 的 方 案 但 是 现 有 的 云 数 据 库 管 理 系 统 只 能 提 供 比 较 简 单 的 基 于 row-key 的 查 询, 缺 乏 索 引 支 持, 无 法 提 供 复 杂 的 多 维 查 询 join 等 操 作, 从 而 限 制 了 其 在 某 些 方 面 的 应 用 针 对 现 有 系 统 存 在 63

73 的 上 述 问 题, 一 些 企 业 科 研 人 员 以 及 各 开 源 社 区 团 队 都 进 行 了 一 些 研 究, 设 计 了 不 同 的 索 引 方 案, 表 4 列 出 了 几 种 常 见 的 云 数 据 库 管 理 系 统 的 索 引 方 案, 下 面 将 详 细 介 绍 表 4 云 数 据 库 系 统 汇 总 名 称 索 引 方 案 体 系 结 构 备 注 HBase Secondary Index Master/Slave 分 布 式 的 面 向 列 的 开 源 数 据 库 Cassandra Secondary Index Peer to Peer 非 关 系 型 数 据 库 MongoDB Support many index Master/Slave 分 布 式 文 档 数 据 库 HugeTable Dense index, Sparse index and Block index Master/Slave 海 量 结 构 化 数 据 存 储 系 统 HBase HBase 初 始 版 本 对 索 引 并 不 支 持, 后 来 逐 步 增 加 了 索 引 模 版, 主 要 采 用 的 是 二 级 索 引 方 案 二 级 索 引 方 案 的 主 要 缺 点 是 不 能 直 接 支 持 多 维 查 询 在 HBase 的 基 础 上 曾 经 有 两 个 开 源 的 解 决 方 案 ITHBase IHBase, 都 可 以 提 供 索 引 支 持, 但 是 由 于 数 据 安 全 性 一 致 性 等 问 题, 后 来 两 种 解 决 方 案 都 停 止 了 版 本 更 新, 也 没 有 得 到 广 泛 的 应 用 Coprocessor 技 术 出 现 以 后, 在 HBase 中 就 可 以 利 用 coprocessor 所 提 供 的 一 些 特 性, 来 安 全 地 实 现 二 级 索 引 的 功 能, 所 以, 现 在 HBase 的 版 本 中 已 经 可 以 直 接 支 持 二 级 索 引 的 创 建 但 是 之 前 在 HBase 中 实 现 的 二 级 索 引 方 案 效 率 比 价 低, 主 要 的 原 因 在 于 存 在 大 量 的 随 机 读, 具 体 流 程 如 下 : 当 一 个 针 对 非 row-key 的 范 围 查 询 来 的 时 候, 首 先 需 要 去 查 询 对 应 的 二 级 索 引 表, 找 到 相 应 的 row-key 列 表, 返 回 到 客 户 端, 然 后 客 户 端 再 根 据 查 到 的 row-key 再 到 原 来 的 数 据 表 中 去 查 找 原 始 数 据 由 于 查 询 到 的 row-key 往 往 是 随 机 不 连 续 的, 所 以 客 户 端 就 需 要 向 服 务 端 发 送 多 个 查 询 请 求, 这 样 就 会 带 来 比 较 大 的 开 销 为 了 解 决 这 一 问 题, 一 些 研 究 机 构 基 于 coprocessor 机 制 对 HBase 的 二 级 索 引 进 行 了 创 新 性 的 修 改, 如 华 为 公 司, 其 改 进 的 重 点 在 于 减 少 由 随 机 查 询 带 来 的 大 量 网 络 开 销 下 面 以 scan 操 作 来 描 述 其 具 体 的 实 现 机 制 图 5 scan 操 作 流 程 如 图 5 所 示,R1 表 示 原 用 户 表 的 一 个 region,r2 是 索 引 表 的 一 个 region, 并 且 R2 中 的 索 引 的 数 据 跟 R1 中 的 数 据 是 相 互 对 应 的, 即 R2 中 只 索 引 R1 中 的 数 据, 这 是 跟 原 有 二 级 索 引 的 一 个 主 要 区 别 当 客 户 端 发 起 一 个 scan 操 作 的 时 候,coprocessor 会 去 查 询 各 个 region 对 应 的 索 引 表 的 region, 通 过 索 引 表 可 以 查 到 原 有 数 据 的 row-key 列 表, 然 后 再 根 据 得 到 的 row-key 列 表 去 R1 中 查 询 原 始 数 据 的 详 细 信 息, 最 后 再 把 结 果 返 回 到 客 户 端 64

74 图 6 region 分 裂 机 制 由 图 6 可 以 看 出, 在 最 终 结 果 返 回 之 前, 所 有 的 操 作 都 是 在 服 务 端 完 成 的, 所 以 就 减 少 了 大 量 的 网 络 开 销, 从 而 提 高 了 查 询 效 率 为 了 达 到 上 述 目 的, 在 建 立 索 引 表 的 时 候, 必 须 采 取 特 殊 的 机 制 由 于 要 保 证 索 引 表 的 region 要 与 原 数 据 表 的 region 一 一 对 应, 所 以 索 引 表 不 能 够 自 动 分 裂, 其 分 裂 必 须 由 原 数 据 表 来 控 制 如 图 6 所 示 : 当 原 数 据 表 的 一 个 region 分 裂 成 两 个 子 region 的 时 候, 其 对 应 的 索 引 表 的 region 也 分 成 两 个 新 的 子 region, 并 且 和 数 据 表 的 两 个 子 region 一 一 对 应 上 述 实 现 方 案 具 有 很 多 优 点, 如 可 以 在 多 个 列 上 建 立 索 引, 并 且 可 以 动 态 地 增 加 或 减 少 索 引, 同 时 不 需 要 对 HBase 的 核 心 代 码 做 太 多 的 修 改, 便 于 HBase 的 升 级 和 维 护 该 索 引 实 现 方 案 应 该 是 目 前 为 止 扩 展 性 和 实 用 性 都 比 较 好 的 一 种 方 案 Cassandra Apache Cassandra 是 一 套 开 源 分 布 式 Key-Value 存 储 系 统 它 最 初 由 Facebook 开 发, 用 于 储 存 特 别 大 的 数 据 Facebook 目 前 在 使 用 此 系 统 Cassandra 也 可 以 在 非 row-key 上 实 现 二 级 索 引, 并 且 可 以 由 多 种 实 现 方 式, 如 Wide Row Super Column 和 Composite Column 三 种 方 式 二 级 索 引 可 以 提 供 在 索 引 列 上 的 简 单 查 询, 但 还 不 支 持 范 围 查 询 MongoDB MongoDB 是 一 个 基 于 分 布 式 文 件 存 储 的 数 据 库, 由 C++ 语 言 编 写 而 成, 旨 在 为 WEB 应 用 提 供 可 扩 展 的 高 性 能 数 据 存 储 解 决 方 案 MongoDB 是 一 个 介 于 关 系 数 据 库 和 非 关 系 数 据 库 之 间 的 产 品, 是 非 关 系 数 据 库 当 中 功 能 最 丰 富, 最 像 关 系 数 据 库 的 他 支 持 的 数 据 结 构 非 常 松 散, 是 类 似 json 的 bjson 格 式, 因 此 可 以 存 储 比 较 复 杂 的 数 据 类 型 MongoDB 最 大 的 特 点 是 他 支 持 的 查 询 语 言 非 常 强 大, 其 语 法 有 点 类 似 于 面 向 对 象 的 查 询 语 言, 几 乎 可 以 实 现 类 似 关 系 数 据 库 单 表 查 询 的 绝 大 部 分 功 能, 而 且 还 支 持 对 数 据 建 立 索 引 MongoDB 可 以 支 持 多 种 不 同 类 型 的 索 引, 详 细 信 息 如 表 5 所 示 : 65

75 表 5 MongoDB 支 持 的 索 引 类 型 序 号 索 引 类 型 特 点 1 唯 一 索 引 索 引 值 不 能 重 复 2 稀 疏 索 引 索 引 值 可 以 重 复 3 复 合 索 引 可 以 在 多 个 字 段 上 建 立 索 引 4 地 理 空 间 索 引 可 以 对 空 间 对 象 进 行 索 引 HugeTable 大 云 计 划 是 中 国 移 动 研 究 院 为 打 造 中 国 移 动 云 计 算 基 础 设 施 实 施 的 关 键 技 术, 目 前 可 实 现 分 布 式 文 件 系 统 分 布 式 海 量 数 据 仓 库 分 布 式 计 算 框 架 集 群 管 理 云 存 储 系 统 弹 性 计 算 系 统 并 行 数 据 挖 掘 工 具 等 关 键 功 能 其 中,HugeTable 是 一 种 高 可 靠, 可 伸 缩, 高 性 能 的 海 量 结 构 化 信 息 存 储 系 统, 能 够 实 现 分 布 式 海 量 数 据 仓 库 图 7 是 HugeTable 的 系 统 架 构, 其 中 Index Store 主 要 用 来 提 供 索 引 支 持, 基 于 不 同 的 存 储 引 擎 和 查 询 要 求,HugeTable 设 计 了 密 集 索 引 稀 疏 索 引 和 块 索 引 三 种 索 引 方 案 其 中, 在 密 集 索 引 中, 针 对 每 条 数 据 记 录 都 会 建 立 一 条 索 引 项, B+-tree 树 是 一 种 常 用 的 密 集 索 引 结 构 密 集 索 引 的 主 要 优 势 是 能 够 在 索 引 列 上 提 供 高 效 的 点 查 询 和 范 围 查 询 为 了 减 少 索 引 空 间 开 销,HugeTable 又 提 供 了 另 外 一 种 索 引 结 构 - 稀 疏 索 引, 稀 疏 索 引 用 来 记 录 每 个 数 据 块 中 所 包 含 的 索 引 列 的 最 大 值 和 最 小 值, 在 查 询 的 时 候, 通 过 将 待 查 询 值 与 索 引 项 中 的 最 大 值 和 最 小 值 的 比 较 确 定 候 选 索 引 项 如 果 索 引 列 的 值 分 布 比 较 均 匀 且 顺 序 存 储 的 情 况 下, 稀 疏 索 引 的 性 能 较 好, 但 是 如 果 索 引 列 的 值 随 机 分 布, 则 稀 疏 索 引 效 率 较 低 针 对 电 信 应 用 的 具 体 特 点,HugeTable 又 提 出 了 块 索 引 方 案 块 索 引 的 基 本 格 式 为 <key, fileid,blockid>, 表 示 在 blockid 块 中 包 含 可 某 个 key 与 密 集 索 引 相 比, 块 索 引 具 有 索 引 速 度 快, 查 询 性 能 高 和 装 载 速 度 快 等 优 点 图 7 HugeTable 系 统 架 构 针 对 不 同 索 引 方 案 的 特 点,HugeTable 设 计 了 如 下 的 查 询 框 架, 如 图 8 所 示 : 当 提 交 一 个 新 的 查 询 时,HugeTable 会 首 先 分 析 查 询 列 的 索 引 情 况 : 如 果 查 询 列 有 索 引, 则 可 以 直 接 通 过 索 引 来 查 找 所 需 数 据 ; 如 果 查 询 列 上 没 有 建 索 引, 则 根 据 应 用 和 数 据 量 本 身 的 特 点 来 确 定 不 通 的 查 询 方 式 如 果 数 据 量 比 较 少, 则 可 以 直 接 采 取 顺 序 扫 描 的 方 式 来 查 询, 如 果 数 据 量 比 较 大, 则 可 以 利 用 MapReduce 方 式 来 并 行 查 询, 从 而 提 高 查 询 性 能 66

76 图 8 HugeTable 查 询 框 架 3.2 海 量 数 据 处 理 中 的 索 引 技 术 目 前 Hadoop 经 逐 渐 成 为 海 量 数 据 存 储 与 处 理 的 标 准 平 台, 通 过 HDFS 可 以 实 现 海 量 数 据 高 效 存 储 管 理, 通 过 MapReduce 可 以 实 现 海 量 数 据 的 并 行 查 询 与 处 理 但 是 由 于 缺 乏 索 引 技 术 的 支 持, 使 得 某 些 复 杂 查 询 ( 如 针 对 非 row-key 的 单 维 或 多 维 查 询 ) 的 执 行 效 率 比 较 低 为 了 提 高 海 量 数 据 的 复 杂 查 询 处 理 的 效 率, 很 多 学 者 在 已 有 的 Hadoop 相 关 技 术 的 基 础 上, 进 行 了 索 引 技 术 的 研 究, 期 待 基 于 这 些 索 引 技 术, 能 够 提 高 利 用 MapReduce 对 海 量 数 据 的 查 询 处 理 效 率 表 6 给 出 了 各 种 索 引 方 案 的 详 细 信 息 表 6 MapReduce 中 的 索 引 技 术 方 案 名 称 优 点 缺 点 HadoopDB Trojan Index HAIL 将 Hadoop 框 架 与 并 行 数 据 库 进 行 有 机 结 合 ; 可 以 利 用 并 行 数 据 库 提 供 的 索 引 功 能 及 高 效 的 查 询 性 能 对 Hadoop 进 行 了 非 入 侵 式 的 优 化, 便 于 和 新 的 Hadoop 框 架 兼 容 ; 针 对 每 一 个 数 据 块 的 物 理 副 本 建 立 不 同 的 索 引 ; 索 引 是 在 数 据 上 传 的 时 候 建 立 的, 所 以 创 建 的 代 价 比 较 小 需 要 对 Hadoop 框 架 进 行 大 量 修 改 创 建 索 引 的 代 价 比 较 大 需 要 修 改 Hadoop 框 架 中 的 部 分 接 HadoopDB[27] 首 次 尝 试 将 Hadoop 框 架 与 并 行 数 据 库 结 合 起 来 :Hadoop 中 的 HDFS 能 够 实 现 大 规 模 数 据 的 分 布 式 存 储,MapReduce 可 以 支 持 大 规 模 数 据 的 高 度 并 行 处 理 ; 并 行 数 据 库 则 支 持 索 引 视 图 等 功 能, 具 有 丰 富 的 查 询 功 能 HadoopDB 将 两 者 的 优 势 有 机 地 结 合 在 了 一 起, 大 大 提 高 了 复 杂 查 询 的 性 能 但 是 为 了 能 够 与 并 行 数 据 库 有 机 结 合, 需 要 对 Hadoop 框 架 进 行 相 应 的 修 改, 如 果 有 新 版 本 的 Hadoop 出 现, 则 无 法 兼 容, 需 要 对 新 版 本 的 Hadoop 框 架 重 新 进 行 修 改 Hadoop++[25] 则 对 Hadoop Map Reduce 进 行 了 非 入 侵 式 优 化, 即 不 需 要 对 Hadoop 框 架 本 身 做 任 何 修 改, 这 主 要 是 通 过 自 定 义 函 数 (UDF) 来 实 现 的, 如 split map reduce 等 Hadoop++ 对 Hadoop 的 优 化 主 要 包 括 Trojan Index Trojan Join 和 Trojan Layout 三 个 方 面 其 中 Trojan index 的 核 心 是 针 对 HDFS 中 的 每 一 个 逻 辑 块 (logical block) 创 建 一 个 块 级 别 的 索 引 通 过 用 户 自 定 义 函 数, 将 每 一 个 逻 辑 块 中 得 数 据 进 行 重 新 组 织, 组 成 一 个 新 的 依 次 由 数 据 索 引 Header 和 Footer 四 部 分 构 成 的 block, 其 中 Footer 是 split 的 分 界 符, 最 后 一 个 Footer 一 定 位 于 文 件 末 尾 索 引 构 建 时 由 MapReduce 完 成 排 序 查 询 时 split 函 数 从 文 件 末 尾 开 始 根 据 Footer 信 息 解 析 出 各 个 split,itemize 函 数 根 据 搜 索 范 围 条 件 快 速 定 位 满 足 条 件 的 内 容, 这 样 就 可 以 大 大 提 高 查 询 的 性 能 但 是 Hadoop++ 创 建 索 引 的 代 价 比 较 大, 原 因 是 当 数 据 上 传 到 HDFS 以 后, 需 要 用 一 个 新 的 MapReduce job 来 对 每 一 个 逻 辑 块 建 立 索 引, 其 开 销 甚 至 比 对 数 据 进 行 全 表 扫 描 的 代 价 还 要 高 67

77 为 了 降 低 创 建 索 引 的 额 外 开 销,HAIL[28] 提 出 了 一 种 入 侵 式 的 索 引 库 方 案 (Hadoop Aggressive Indexing Library) 其 主 要 思 想 是 针 对 HDFS 中 每 一 个 block 的 每 一 个 物 理 备 份 分 别 建 立 不 同 的 聚 簇 索 引, 这 样 每 一 个 备 份 就 可 以 在 不 同 的 属 性 上 建 立 索 引, 从 而 可 以 支 持 多 个 属 性 的 查 询 为 了 降 低 建 立 索 引 的 开 销,HAIL 是 在 上 传 数 据 的 过 程 中 来 建 立 索 引 的, 主 要 是 对 原 有 的 HDFS client 进 行 修 改 得 到 HAIL client, 通 过 HAIL client 来 上 传 数 据, 在 上 传 数 据 的 过 程 中, 对 每 一 个 副 本 分 别 建 立 聚 簇 索 引, 并 且 索 引 建 立 的 过 程 是 在 内 存 中 完 成 的, 索 引 开 销 比 较 小 同 时 HAIL 还 对 MapReduce JobClient 进 行 了 修 改, 使 得 在 执 行 MapReduce Job 之 前 首 先 对 已 经 建 立 的 索 引 进 行 选 择, 然 后 再 选 择 相 应 的 物 理 备 份 进 行 处 理, 从 而 就 可 以 使 用 已 有 的 索 引, 大 大 提 高 查 询 的 效 率 除 了 针 对 HDFS 和 MapReduce 的 通 用 索 引 方 案 之 外, 在 某 些 具 体 问 题 的 处 理 中 也 用 到 了 一 些 特 定 的 索 引 技 术 如 李 飞 飞 等 人 [29] 在 MapReduce 环 境 下, 利 用 基 于 z-order 划 分 的 方 法 来 解 决 KNN Join 的 问 题, 其 中 在 reduce 任 务 中 执 行 连 接 操 作 的 时 候, 利 用 R-tree 对 局 部 数 据 进 行 了 索 引, 从 而 提 高 连 接 的 速 度 Rares Vernica[30] 等 人 利 用 MapReduce 技 术 来 解 决 集 合 相 似 性 连 接 的 问 题, 作 者 利 用 prefix-filtering[31] 技 术 对 所 有 的 集 合 建 立 倒 排 索 引, 然 后 在 倒 排 索 引 的 基 础 上 进 行 比 较, 从 而 大 大 减 少 了 比 较 的 次 数, 提 高 了 执 行 效 率 3.3 不 同 应 用 中 的 索 引 技 术 随 着 云 计 算 技 术 的 不 断 发 展 和 广 泛 应 用, 云 计 算 和 云 数 据 管 理 技 术 在 不 同 应 用 领 域 中 都 得 到 了 尝 试 和 应 用, 如 海 量 轨 迹 数 据 管 理 空 间 数 据 文 本 数 据 以 及 图 数 据 管 理 本 文 主 要 对 上 述 几 种 不 同 应 用 领 域 中 的 涉 及 到 的 索 引 相 关 技 术 进 行 分 析 总 结 轨 迹 数 据 随 着 物 联 网 技 术 GPS 定 位 技 术 智 能 手 机 和 基 于 位 置 的 服 务 等 相 关 技 术 的 快 速 发 展 和 广 泛 应 用, 产 生 了 越 来 越 多 的 移 动 数 据, 传 统 的 集 中 式 处 理 技 术 已 经 无 法 高 效 处 理 如 此 大 规 模 的 移 动 数 据, 因 此 有 部 分 学 者 开 始 研 究 基 于 云 计 算 的 海 量 移 动 数 据 处 理 技 术 希 望 通 过 对 海 量 轨 迹 数 据 的 高 效 存 储 和 处 理, 为 智 能 交 通 提 供 决 策 支 持 文 献 [32] 主 要 对 海 量 轨 迹 数 据 的 存 储 与 检 索 进 行 了 研 究, 作 者 采 用 HDFS 来 对 轨 迹 数 据 进 行 存 储, 利 用 MapReduce 提 供 查 询 作 者 以 线 段 模 型 来 表 示 轨 迹 数 据, 并 设 计 了 一 种 静 态 - 动 态 相 结 合 的 轨 迹 数 据 划 分 方 案, 实 现 了 轨 迹 数 据 的 高 效 存 储, 如 图 9 所 示 在 划 分 的 过 程 中, 首 先 利 用 四 叉 树 技 术 对 轨 迹 数 据 在 空 间 上 进 行 划 分, 然 后 在 每 个 划 分 区 间 内 再 根 据 时 间 维 度 进 行 划 分, 在 时 间 区 间 的 选 择 上 是 可 以 动 态 变 化 的, 如 果 某 个 空 间 区 域 内 的 轨 迹 数 据 比 稠 密, 则 时 间 间 隔 可 以 小 一 些, 否 则 时 间 间 隔 可 以 大 一 些, 从 而 实 现 轨 迹 数 据 的 有 效 划 分, 尽 可 能 保 证 在 空 间 时 间 上 相 邻 的 轨 迹 数 据 存 放 在 相 同 的 分 块 中 每 一 块 中 的 轨 迹 存 储 在 HDFS 中 得 一 个 block 中 图 9 数 据 划 分 策 略 68

78 为 了 实 现 轨 迹 数 据 的 快 速 查 询, 作 者 提 出 了 两 种 不 同 的 索 引 方 案 针 对 空 间 - 时 间 的 范 围 查 询, 作 者 提 出 了 Partition based Multilevel Index(PMI), 针 对 轨 迹 查 询, 作 者 提 出 了 Object Inverted Index(OII) 图 10 描 述 了 其 处 理 框 架 图 10 轨 迹 数 据 处 理 框 架 PMI 主 要 是 依 据 前 面 描 述 的 划 分 方 案, 把 处 于 同 一 划 分 中 的 轨 迹 线 段 存 储 在 同 一 个 数 据 块 中, 并 以 <PartitionID, S k > 的 形 式 记 录 下 来, 这 样 在 进 行 空 间 - 时 间 范 围 查 询 的 时 候, 就 可 以 首 先 根 据 划 分 方 案, 计 算 出 需 要 查 询 的 轨 迹 可 能 位 于 那 些 块 中, 然 后 直 接 到 相 应 的 块 中 去 查 询, 这 样 就 可 以 大 大 节 省 查 询 的 开 销 OII 主 要 是 为 了 查 询 某 个 车 辆 的 轨 迹 而 设 计 的, 通 过 搜 集 某 个 车 辆 的 所 有 轨 迹 线 段, 并 以 <OID, { PartitionID, T}> 的 形 式 记 录 下 来, 实 际 上 相 当 于 是 建 立 了 一 个 倒 排 索 引 表 这 样 当 需 要 查 询 某 个 特 定 车 辆 的 轨 迹 的 时 候, 就 可 以 直 接 利 用 OII 找 到 相 应 的 车 辆, 从 中 即 可 查 出 其 对 应 的 轨 迹 为 了 提 高 大 规 模 轨 迹 查 询 的 效 率, 文 献 [33] 在 HBase 的 基 础 上 提 出 了 一 种 可 扩 展 的 轨 迹 索 引 方 案 根 据 轨 迹 数 据 的 特 点, 作 者 主 要 设 计 了 两 种 表 结 构 来 实 现 轨 迹 数 据 的 存 储 和 索 引, 主 表 (main table) 主 要 是 用 来 存 储 原 始 轨 迹 数 据, 包 括 GPS 坐 标 及 其 他 轨 迹 相 关 数 据 ; 轨 迹 索 引 表 (trail indices table) 主 要 是 对 空 间 维 度 进 行 不 同 粒 度 的 划 分, 然 后 在 不 同 的 粒 度 上 对 空 间 点 分 别 建 立 索 引, 这 样 查 询 的 时 候 就 可 以 从 粗 粒 度 开 始 进 行 过 滤, 大 大 提 高 查 询 效 率 表 7 主 表 Row key Timestamp Column <UserData>:<trail_id> x1_y1 t(2) t(1) traila; traild; traile; trailf traila; traild X2_y2 t(1) trailb; trailc X3_y3 t(3) trailg 表 8 轨 迹 索 引 表 Row key I x1(l), I y1(l) I x2(l), I y2(l) I x3(l+1), I y3(l+1) Column <L>:<trail_id> traila; traild; traile; trailf trailb; trailc Column <L+1>:<trail_id> trailf, trailg 69

79 文 献 [34] 结 合 浮 动 车 数 据 的 实 际 特 点, 设 计 了 基 于 Bigtable 的 存 储 模 型, 并 分 别 针 对 路 网 数 据 和 浮 动 车 数 据 分 别 建 立 了 相 应 的 索 引, 以 提 高 查 询 处 理 的 效 率 存 储 模 型 如 图 11 和 图 12 所 示 : 图 11 概 念 视 图 图 12 浮 动 车 数 据 表 结 构 为 了 查 询 出 租 车 在 某 段 时 间 内 的 运 行 轨 迹, 作 者 针 对 浮 动 车 数 据 建 立 了 时 间 索 引, 实 际 上 是 利 用 时 间 戳 和 车 辆 ID 组 合 形 成 新 的 row-key, 建 立 了 二 级 索 引 同 时 作 者 对 路 网 数 据 建 立 了 四 叉 树 索 引, 方 便 进 行 地 图 匹 配 和 车 速 计 算 地 图 匹 配 和 车 速 计 算 是 浮 动 车 数 据 处 理 常 见 任 务, 可 以 为 智 能 交 通 提 供 决 策 支 持 为 了 提 高 地 图 匹 配 和 车 速 计 算 的 效 率, 作 者 利 用 MapRduce 技 术 进 行 了 优 化 作 者 提 出 的 存 储 模 型 和 索 引 方 案, 虽 然 可 以 提 高 某 些 查 询 的 效 率, 但 是 对 其 他 一 些 复 杂 查 询, 仍 然 无 法 实 现 较 好 的 支 持, 如 多 维 度 的 范 围 查 询 ( 某 时 间 段 内 某 区 域 范 围 内 的 车 辆 ) 所 以, 设 计 一 种 能 支 持 多 种 不 同 类 型 查 询 的 存 储 与 索 引 方 案 仍 然 是 一 件 极 具 挑 战 性 的 工 作 空 间 数 据 随 着 空 间 数 据 对 象 的 不 断 增 加, 如 何 在 海 量 空 间 数 据 对 象 中 实 现 高 效 快 速 的 空 间 查 询 成 为 一 个 日 益 重 要 的 问 题 文 献 [35] 重 点 描 述 了 海 量 空 间 数 据 库 中 的 空 间 查 询 问 题 作 者 首 先 分 析 了 传 统 的 基 于 R-tree 的 索 引 结 构 的 一 些 缺 点 和 不 足 之 处, 然 后 基 于 云 计 算 技 术 提 出 了 一 个 新 的 可 扩 展 的 解 决 方 案 基 本 思 路 如 图 13 所 示 : 方 案 主 要 包 括 三 个 阶 段, 第 一 阶 段 是 数 据 划 分 为 了 找 到 一 个 比 较 好 的 数 据 划 分 方 案, 作 者 通 过 采 样 的 方 法, 得 到 相 应 的 数 据 划 分 方 案, 并 以 此 作 为 整 体 数 据 的 划 分 方 案 第 二 阶 段 是 生 成 R-tree 的 阶 段, 根 据 第 一 阶 段 得 到 的 划 分 方 案, 对 所 有 数 据 在 空 间 上 划 分 为 互 不 相 交 的 若 干 部 分, 对 于 每 一 部 分 的 数 据 分 别 建 立 R-tree 索 引 由 于 各 部 分 数 据 是 不 重 叠 的, 索 引 的 建 立 可 以 采 用 并 行 的 方 式 来 进 行, 这 样 可 以 大 大 提 高 索 引 的 构 建 速 度 作 者 采 用 MapReduce 的 方 式 来 进 行 索 引 的 建 立,Map 阶 段 的 主 要 任 务 是 根 据 前 一 阶 段 的 划 分 方 案 把 每 一 个 空 间 对 象 划 分 到 相 应 的 分 区 中,Reduce 阶 段 分 别 对 每 一 个 分 区 中 的 数 据 建 立 R-tree 第 三 个 阶 段 的 任 务 是 对 第 二 阶 段 所 产 生 的 各 个 子 R-tree 进 行 合 并, 生 成 一 颗 大 的 R-tree 查 询 的 时 候 则 首 先 根 据 整 体 的 索 引 树 找 出 所 查 找 对 象 所 在 的 子 R-tree, 然 后 在 分 别 到 对 应 的 子 R-tree 上 去 进 行 查 询, 最 后 在 对 查 找 到 的 结 果 进 行 合 并 70

80 图 13 索 引 过 程 文 献 [36] 针 对 海 量 空 间 数 据 提 出 了 一 种 基 于 R + -tree 和 key-value 健 值 生 成 规 则 的 索 引 结 构 KR + -index, 其 基 本 结 构 如 图 14 所 示 : 图 14 KR + -index 基 本 结 构 KR + -index 首 先 利 用 R + -tree 对 数 据 进 行 划 分, 把 数 据 划 分 成 若 干 个 互 不 相 交 的 矩 形, 然 后 再 利 用 网 格 对 空 间 进 行 划 分, 并 利 用 Hilbert-curve 对 这 些 网 格 单 元 进 行 编 码, 根 据 网 格 单 元 和 矩 形 的 交 叉 情 况, 记 录 下 网 格 编 号 与 矩 形 单 元 的 对 应 关 系 查 询 的 时 候, 首 先 根 据 查 询 范 围 在 KeyTable 中 找 出 数 据 所 在 的 矩 形 单 元, 然 后 再 根 据 所 找 到 的 矩 形 单 元 去 查 找 相 应 的 数 据 图 数 据 随 着 社 交 网 络 分 析 语 义 Web 分 析 生 物 信 息 网 络 分 析 等 新 兴 应 用 的 快 速 增 长, 对 亿 万 个 顶 点 级 别 大 规 模 图 的 处 理 能 力 的 需 求 愈 加 迫 切, 于 戈 等 人 [37] 结 合 云 计 算 的 特 点, 从 图 数 据 管 理 与 图 数 据 处 理 机 制 两 个 方 面, 综 述 了 云 计 算 环 境 下 进 行 大 规 模 图 数 据 处 理 的 关 键 问 题, 并 对 大 规 模 图 数 据 的 索 引 技 术 进 行 了 总 结 文 中 首 先 对 目 前 云 计 算 环 境 下 的 通 用 索 引 技 71

81 术 进 行 了 简 单 分 析, 并 指 出 这 些 索 引 技 术 虽 然 不 是 专 门 针 对 图 数 据 进 行 设 计 的, 但 是 这 些 索 引 技 术 大 都 可 以 被 大 规 模 图 数 据 管 理 所 借 鉴 文 中 重 点 对 两 种 分 布 式 图 数 据 库 中 所 采 用 的 索 引 技 术 进 行 了 分 析 Neo4j 的 索 引 分 为 两 类 : 数 据 库 本 身 就 是 一 个 树 形 结 构 的 索 引, 可 用 于 提 高 查 询 效 率, 此 外, 还 可 以 使 用 独 立 的 Lucene 脚 注 索 引, 提 供 全 文 索 引 和 索 引 命 中 率 排 序 功 能 Neo4j 可 以 对 图 顶 点 和 边 分 别 建 立 索 引, 通 过 对 索 引 的 缓 存, 可 进 一 步 加 快 查 找 速 度 索 引 的 维 护 操 作 ( 如 删 除 更 新 ) 则 必 须 在 事 务 管 理 机 制 下 进 行 对 于 更 新, 必 须 先 删 除 旧 的 索 引 值, 然 后 才 能 添 加 新 索 引 值, 代 价 较 高.Trinity 数 据 库 提 供 Trie 树 和 Hash 两 种 索 引 结 构 来 访 问 图 顶 点 边 的 名 字 以 及 相 关 的 其 它 信 息, 可 减 少 有 公 共 前 缀 的 字 符 串 的 匹 配 次 数 4 我 们 的 工 作 在 对 云 数 据 管 理 系 统 中 现 有 索 引 技 术 进 行 深 入 调 研 分 析 的 基 础 上, 我 们 团 队 针 对 云 计 算 环 境 下 海 量 物 联 网 数 据 的 多 维 索 引 也 做 了 一 些 研 究 工 作, 如 An Efficient Index for Massive IOT Data in Cloud Environment [38] 随 着 RFID GPS 等 技 术 的 发 展, 物 联 网 得 到 了 迅 速 普 及 和 广 泛 应 用 在 物 联 网 环 境 下, 往 往 会 有 数 以 十 万 百 万 计 的 传 感 器 周 期 性 地 产 生 数 据, 物 联 网 数 据 海 量 性 使 得 传 统 的 关 系 型 数 据 库 在 扩 展 性 方 面 遇 到 了 瓶 颈, 并 且 无 法 支 持 每 秒 数 万 甚 至 数 十 万 的 并 发 操 作 而 云 数 据 管 理 系 统 天 然 具 有 高 扩 展 性 可 用 性 以 及 容 错 性, 是 海 量 物 联 网 数 据 管 理 的 有 效 方 案 但 是 正 如 前 面 章 节 所 述, 云 数 据 管 理 系 统 也 有 自 己 的 不 足, 即 只 能 在 row-key 上 提 供 高 效 的 点 查 询 和 范 围 查 询, 对 于 非 row-key 的 查 询 则 需 要 全 表 扫 描, 虽 然 可 以 利 用 MapReduce 技 术 来 提 高 查 询 的 效 率, 但 是 对 于 选 择 率 比 较 低 的 查 询 来 说, 性 能 还 是 比 较 差 而 物 联 网 数 据 往 往 具 有 多 维 特 性, 除 了 具 有 时 间 空 间 属 性 之 外, 还 有 很 多 其 他 维 度 的 信 息 并 且 对 物 联 网 数 据 的 查 询 也 大 都 是 基 于 时 空 的 多 维 查 询, 因 此 在 物 联 网 应 用 环 境 中, 除 了 要 满 足 单 个 维 度 的 快 速 查 询 之 外, 还 需 要 提 供 高 效 的 多 维 查 询 [38] 的 主 要 工 作 就 是 根 据 物 联 网 数 据 的 特 点, 在 云 计 算 环 境 下 设 计 一 种 同 时 支 持 高 效 更 新 和 快 速 多 维 查 询 的 索 引 方 案 主 要 创 新 点 有 两 个, 一 是 根 据 设 计 了 一 种 多 层 索 引 框 架, 二 是 根 据 网 联 网 数 据 的 时 空 特 性, 设 计 了 一 种 动 态 的 数 据 划 分 方 案 并 且 将 索 引 方 案 跟 HBase 相 结 合, 开 发 了 原 型 系 统 为 了 同 时 支 持 高 效 的 频 繁 更 新 和 快 速 的 多 维 查 询, 我 们 主 要 采 取 了 两 个 措 施 : 一 是 对 当 前 数 据 和 历 史 数 据 在 不 同 的 粒 度 级 别 上 进 行 索 引, 在 数 据 写 入 的 过 程 中, 尽 可 能 减 少 索 引 更 新 的 次 数, 从 而 降 低 索 引 维 护 的 代 价 ; 二 是 尽 量 把 索 引 和 数 据 分 开, 减 少 索 引 创 建 对 系 统 写 入 性 能 的 影 响 图 15 和 图 16 分 别 描 述 了 系 统 架 构 和 多 层 索 引 框 架 图 15 展 示 了 索 引 的 框 架, 主 要 包 括 三 个 层 次, 其 中 时 间 段 索 引 和 子 空 间 索 引 主 要 针 对 当 前 数 据 进 行 索 引, 网 格 索 引 主 要 针 对 历 史 数 据 进 行 索 引 由 于 物 联 网 数 据 具 有 时 空 连 续 性, 并 且 不 同 时 刻 数 据 在 空 间 上 的 分 布 往 往 会 发 生 变 化, 所 以 我 们 把 时 间 维 度 和 空 间 维 度 分 开 进 行 考 虑 首 先 在 时 间 维 度 上 分 成 若 干 个 时 间 段, 针 对 每 个 时 间 段 内 的 数 据, 在 二 维 空 间 中 进 行 划 分, 划 分 成 若 干 个 子 空 间, 每 个 子 空 间 内 的 数 据 存 储 到 HBase 中 的 同 一 个 region 中, 这 样 就 能 够 保 证 在 时 间 和 空 间 上 临 近 的 数 据 尽 量 存 储 在 相 同 的 区 域 中, 减 少 查 询 过 程 中 需 要 扫 描 的 region 的 数 量, 从 而 提 高 查 询 效 率 72

82 图 15 多 层 索 引 框 架 在 索 引 的 时 候, 我 们 在 时 间 维 度 上 把 数 据 分 成 当 前 时 间 段 的 数 据 和 历 史 时 段 的 数 据 对 于 当 前 时 段 的 数 据, 仅 仅 对 其 所 在 的 时 间 段 和 所 在 的 子 空 间 进 行 索 引, 而 不 对 数 据 记 录 本 身 进 行 索 引, 这 样 在 数 据 插 入 的 时 候 就 可 以 大 大 减 少 索 引 更 新 的 次 数 其 中 时 间 段 可 以 采 用 B + -tree 进 行 索 引, 由 于 每 个 子 空 间 都 是 互 不 相 交 的 矩 形 区 域, 所 以 采 用 R-tree 进 行 索 引 当 前 时 间 段 结 束 以 后, 数 据 开 始 从 新 的 时 间 段 插 入, 历 史 时 段 的 数 据 不 再 发 生 改 变, 此 时 可 以 批 量 地 对 历 史 时 段 中 每 个 region 内 部 的 数 据 建 立 记 录 级 别 的 索 引, 可 以 采 用 R-tree 索 引 或 者 网 格 索 引 该 索 引 方 案 索 引 更 新 维 护 的 代 价 比 较 低, 对 数 据 插 入 性 能 的 影 响 比 较 小, 从 而 保 证 系 统 能 够 支 持 大 规 模 的 频 繁 更 新 图 16 系 统 架 构 图 16 显 示 了 系 统 的 整 体 架 构, 主 要 包 括 客 户 端 索 引 集 群 和 HBase 集 群 其 中 客 户 端 主 要 负 责 发 起 数 据 的 插 入 和 查 询 ;HBase 集 群 负 责 数 据 的 存 储 和 历 史 数 据 的 索 引 ;Index 集 群 主 要 负 责 当 前 数 据 索 引 的 创 建 和 维 护 当 新 数 据 来 临 的 时 候, 会 同 时 发 送 到 HBase 集 群 和 Index 集 群, 通 过 HBase 集 群 完 成 数 据 的 存 储, 通 过 Index 集 群, 对 当 前 数 据 在 较 粗 粒 度 级 别 ( 时 间 段 和 空 间 区 域 ) 上 进 行 索 引, 这 样 就 可 以 实 现 索 引 的 创 建 维 护 与 数 据 的 存 储 相 分 离, 索 引 的 创 建 不 会 对 插 入 性 能 有 太 大 的 影 响 ; 索 引 集 群 主 要 针 对 当 前 数 据 在 时 间 段 和 空 间 区 域 上 进 行 粗 粒 度 的 索 引, 当 前 时 间 段 结 束 以 后, 已 经 插 入 的 数 据 不 再 发 生 改 变, 索 引 集 群 发 出 请 求, 针 对 历 史 数 据 在 HBase 集 群 中 建 立 记 录 级 别 的 索 引 ; 当 进 行 查 询 的 时 候, 首 先 通 过 索 引 集 群 对 数 据 所 在 的 region 进 行 过 滤, 获 得 数 据 所 在 的 region; 然 后 再 根 据 得 到 的 region 73

83 信 息 到 HBase 中 进 行 查 询 最 后 我 们 结 合 HBase 开 发 了 原 型 系 统, 并 做 了 大 量 实 验, 实 验 结 果 表 明 我 们 所 提 出 了 索 引 方 案 既 能 支 持 高 效 的 多 维 查 询, 又 能 保 证 较 高 的 系 统 吞 吐 率, 达 到 了 预 期 目 的 5 未 来 工 作 展 望 及 挑 战 虽 然 目 前 针 对 云 数 据 管 理 中 的 索 引 技 术 已 经 有 了 很 多 研 究 工 作, 但 是 目 前 的 研 究 成 果 还 不 是 十 分 成 熟, 还 未 能 得 到 广 泛 的 应 用 并 且 随 着 Web 2.0 物 联 网 移 动 互 联 网 的 快 速 发 展 和 广 泛 应 用, 数 据 呈 现 爆 炸 式 增 长, 人 类 已 经 进 入 了 大 数 据 时 代 云 计 算 是 解 决 大 数 据 的 一 种 有 效 方 式, 而 随 着 数 据 量 的 不 断 增 长 以 及 数 据 复 杂 性 的 不 断 增 加, 在 云 计 算 环 境 下 针 对 大 数 据 的 索 引 技 术 也 面 临 着 一 系 列 新 的 挑 战 5.1 复 杂 数 据 类 型 的 索 引 如 前 所 述, 随 着 社 交 网 络 物 联 网 技 术 移 动 互 联 网 智 能 手 机 等 相 关 技 术 的 快 速 发 展, 一 些 复 杂 类 型 的 数 据 量 在 以 指 数 级 增 长, 给 传 统 的 数 据 管 理 方 法 及 索 引 技 术 带 了 巨 大 挑 战, 如 图 数 据 轨 迹 数 据 序 列 数 据 空 间 数 据 等 针 对 大 规 模 图 数 据 而 言, 虽 然 基 于 云 计 算 环 境 下 的 并 行 处 理 机 制 可 以 提 高 其 管 理 和 处 理 效 率, 但 是 由 于 图 数 据 本 身 的 复 杂 性 特 殊 性, 使 得 现 有 的 云 计 算 处 理 方 式 无 法 很 好 地 适 应 大 规 模 图 数 据 的 管 理 在 大 规 模 图 数 据 处 理 中, 只 有 很 少 的 处 理 应 用 了 云 计 算 环 境 下 的 索 引 技 术, 如 最 短 路 径 计 算 等 [37], 大 部 分 的 图 处 理 问 题 还 没 有 考 虑 到 索 引 的 应 用, 有 待 于 进 一 步 深 入 研 究 轨 迹 数 据 也 是 越 来 越 重 要 的 一 种 数 据 类 型, 主 要 是 得 益 于 智 能 手 机 的 普 遍 应 用 以 及 移 动 互 联 网 的 快 速 发 展, 如 基 于 位 置 的 服 务 (LBS) 基 于 位 置 的 社 交 网 络 (LBSN) FourSquare 车 辆 的 GPS 数 据 等 虽 然 针 对 轨 迹 数 据 的 索 引 研 究 已 经 有 很 多 相 对 比 较 成 熟 的 技 术, 但 是 在 现 有 的 应 用 环 境 下, 数 据 量 已 远 非 过 去 的 应 用 所 能 比, 再 加 上 轨 迹 数 据 往 往 更 新 比 较 频 繁, 同 时 也 具 有 多 维 特 性, 使 得 已 有 的 轨 迹 索 引 技 术 无 法 在 云 计 算 环 境 下 有 效 的 管 理 海 量 轨 迹 数 据 5.2 复 杂 查 询 的 索 引 复 杂 查 询 主 要 包 括 多 维 查 询 最 近 邻 查 询 (KNN) Top-K 查 询 Join 以 及 KNN-Join 等 上 述 复 杂 查 询 类 型 在 数 据 规 模 比 较 小 的 情 况 下, 都 有 比 较 成 熟 的 索 引 技 术 和 查 询 方 案, 可 以 实 现 高 效 查 询 但 是, 在 大 数 据 情 况 下, 原 有 的 索 引 技 术 和 查 询 处 理 方 法 已 经 无 法 满 足 性 能 要 求 并 且 目 前 的 云 计 算 技 术 如 MapReduce 还 不 能 很 好 地 支 持 多 维 查 询 连 接 查 询 等 复 杂 操 作 因 此, 在 云 计 算 环 境 下, 设 计 特 定 的 索 引 方 案, 从 而 提 高 针 对 大 数 据 的 复 杂 查 询 的 处 理 效 率, 是 一 个 重 要 的 研 究 问 题 5.3 通 用 索 引 与 专 用 索 引 我 们 认 为, 传 统 的 一 些 通 用 的 成 熟 的 基 于 磁 盘 的 索 引 技 术 如 R-tree B-tree 等, 在 大 数 据 场 景 下 无 法 有 效 工 作 当 数 据 量 特 别 大, 尤 其 是 数 据 更 新 特 别 频 繁 时, 传 统 索 引 的 更 新 维 护 和 代 价 就 会 变 得 特 别 高, 甚 至 超 过 索 引 本 身 带 来 的 优 势 通 用 索 引 可 以 用 来 支 持 一 些 常 见 的 简 单 的 数 据 查 询, 同 时 通 用 索 引 本 身 也 不 能 够 太 复 杂, 必 须 简 单 而 针 对 一 些 相 对 比 较 复 杂 的 查 询 处 理 任 务, 则 必 须 根 据 数 据 本 身 的 特 点 以 及 数 据 处 理 任 务 的 具 体 要 求 设 计 专 用 的 索 引 结 构, 这 种 类 型 的 索 引 结 构 可 以 相 对 复 杂 一 些 74

84 5.4 索 引 的 动 态 增 加 与 删 除 在 实 际 应 用 当 中, 业 务 类 型 经 常 会 发 生 改 变, 查 询 类 型 也 就 需 要 进 行 相 应 的 改 变 并 且, 实 际 应 用 中 的 数 据 往 往 有 很 多 属 性, 几 十 个 甚 至 上 百 个 属 性, 事 先 不 可 能 对 所 有 的 属 性 都 建 立 相 应 的 索 引, 这 样 代 价 大 因 此, 在 云 计 算 环 境 下, 必 须 设 计 一 些 巧 妙 的 索 引 方 案, 使 得 索 引 能 够 支 持 动 态 的 增 加 与 删 除, 并 且 索 引 更 新 和 维 护 的 代 价 又 不 能 够 太 大, 必 须 在 可 接 受 的 范 围 内 5.5 基 于 索 引 的 查 询 优 化 云 计 算 环 境 下, 基 于 MapReduce 的 查 询 优 化 技 术 已 经 有 一 些 相 关 的 研 究 工 作 [39], 如 MapReduce 在 多 核 硬 件 与 GPU 上 的 改 进 [40] 基 于 调 度 技 术 的 MapReduce 性 能 优 化 [41], 还 有 一 些 工 作 对 现 有 的 MapReduce 框 架 进 行 了 修 改, 从 而 提 高 查 询 效 率 [42] 也 有 一 些 工 作 基 于 索 引 进 行 查 询 优 化, 如 CCIndex[13] Hadoop++[27] 但 是 目 前 的 查 询 优 化 技 术 还 比 较 简 单, 无 法 很 好 地 满 足 实 际 应 用 的 需 求, 因 此 在 这 方 面 还 需 要 进 一 步 深 入 研 究, 如 基 于 代 价 的 查 询 优 化 等 5.6 其 他 除 了 上 述 几 点 挑 战 性 工 作 之 外, 还 有 一 些 其 他 的 工 作 可 以 探 索 回 顾 数 据 处 理 的 历 史 我 们 可 以 发 现, 以 前 在 数 据 规 模 比 较 小 的 情 况 下, 我 们 的 计 算 模 式 是 以 计 算 为 中 心, 把 数 据 移 动 到 计 算 单 元, 供 计 算 单 元 所 使 用 因 为 对 于 小 规 模 数 据 来 讲, 计 算 开 销 占 主 导 地 位 然 而 在 大 数 据 场 景 下, 相 对 于 计 算 开 销 而 言, 数 据 传 输 开 销 则 占 据 了 主 导 地 位, 所 以 现 在 就 产 生 了 以 数 据 为 中 心 的 云 计 算 模 式, 把 计 算 单 元 推 送 到 数 据 单 元 去 执 行 基 于 这 种 模 式 的 启 发, 我 们 是 否 可 以 把 索 引 与 数 据 单 元 结 合 在 一 起, 索 引 可 以 看 成 是 一 种 特 殊 的 计 算, 让 每 个 数 据 单 元 都 具 有 索 引 功 能, 并 且 可 以 自 动 管 理 和 演 化 当 然, 这 只 是 一 种 设 想, 期 待 未 来 会 有 一 定 的 突 破 6 结 束 语 随 着 数 据 的 爆 炸 式 增 长, 我 们 已 经 进 入 了 大 数 据 时 代 由 于 云 计 算 技 术 本 身 的 一 些 优 势 如 高 扩 展 性 可 用 性 容 错 性 等, 使 得 云 计 算 技 术 得 到 了 广 泛 应 用, 因 此 云 计 算 也 就 成 了 大 数 据 存 储 管 理 与 处 理 的 一 种 有 效 方 式 然 而 云 计 算 本 身 也 存 在 一 些 不 足 之 处, 如 缺 乏 对 索 引 的 支 持 就 是 其 中 之 一, 这 限 制 了 云 计 算 在 很 多 方 面 的 应 用 本 文 对 云 数 据 管 理 的 索 引 技 术 的 相 关 工 作 进 行 了 深 入 研 究, 并 作 了 分 析 对 比 和 总 结, 指 出 了 其 中 各 自 的 优 点 及 不 足 ; 同 时 对 我 们 在 物 联 网 数 据 多 维 索 引 方 面 的 研 究 工 作 进 行 了 介 绍 ; 最 后 指 出 了 在 云 计 算 环 境 下 针 对 大 数 据 索 引 技 术 的 若 干 挑 战 性 问 题, 并 进 行 了 简 单 分 析 该 问 题 的 研 究 还 处 于 起 步 阶 段, 还 没 有 比 较 成 熟 的 可 以 进 行 大 规 模 实 际 应 用 的 成 果 和 方 案, 因 此, 具 有 重 要 的 研 究 价 值 和 实 际 意 义 参 考 文 献 [1] Sanjay Ghemawat, Howard Gobioff, Shun-Tak Leung. The google file system//proceedings of the 19 th ACM Symposium on Operating Systems Principles. New York, USA, 2003: [2] Fay Chang, Jeffrey Dean, Sanjay Ghemawat et al. Bigtable: A Distributed Storage System for Structured Data// Proceedings of the 7 th USENIX Symposium on Operating Systems Design and Implementation. Seattle, WA, USA, 2006: [3] Jeffrey Dean, Sanjay Ghemawat. Mapreduce: Simplified data processing on large clusters//proceedings of the 5 th USENIX Symposium on Operating Systems Design and 75

85 Implementation. San Francisco, California, USA, 2004: [4] Brian F. Cooper, Raghu Ramakrishnan, Utkarsh Srivastava et al. PNUTS: Yahoo!'s hosted data serving platform.// Proceedings of the PVLDB. Auckland, New Zealand, 2008: [5] Giuseppe DeCandia, Deniz Hastorun, Madan Jampani et al. Dynamo: amazon's highly available key-value store// Proceedings of the 21 st ACM Symposium on Operating Systems Principles. Stevenson, Washington, USA, 2007: [6] Sai Wu, Dawei Jiang, Beng Chin Ooi et al. Efficient B-tree Based Indexing for Cloud Data Processing. PVLDB, 2010, 3(1): [7] Jinbao Wang, Sai Wu, Hong Gao et al. Indexing multi-dimensional data in a cloud system//proceedings of the ACM SIGMOD/PODS Conference. Indianapolis, USA, 2010: [8] Andreas Papadopoulos, Dimitrios Katsaros. A-Tree: Distributed Indexing of Multi-dimensional Data for Cloud Computing Environments//Proceedings of the 3 rd IEEE International Conference on Cloud Computing Technology and Science. Athens, Greece, 2011 [9] Xiangyu Zhang, Jing Ai, Zhongyuan Wang et al. An efficient multidimensional index for cloud data management//proceeding of the First International Workshop on Cloud Data Management. Hong Kong, China, 2009: [10] LinLin Ding, Baiyou Qiao, Guoren Wang et al. An Efficient Quad-Tree Based Index Structure for Cloud Data Management//Proceedings of the 12 th International Conference on Web-Age Information Management. Wuhan, China, 2010: [11] Huang Bin, Peng Yu-Xing. An efficient two-level bitmap index for cloud data management//proceedings of the 3 rd IEEE International Conference on Communication Software and Networks. Xi an, China, 2011: [12] Parag Agrawal, Adam Silberstein, Brian F. Cooper et al. Asynchronous view maintenance for VLSD databases.//proceeding of the ACM SIGMOD/PODS Conference. Providence, USA, 2009: [13] Yongqiang Zou, Jia Liu, Shicai Wang et al. CCIndex: a Complemental Clustering Index on Distributed Ordered Tables for Multi-dimensional Range Queries//Proceedings of the 7 th IFIP International Conference on Network and Parallel Computing. Zhengzhou, China, 2010: [14] Marcos Kawazoe Aguilera, Wojciech M. Golab, Mehul A. Shah. A practical scalable distributed B-tree. PVLDB, 2008, 1(1): [15] Shoji Nishimura, Sudipto Das, Divyakant Agrawal et al. MD-HBase: A Scalable Multi-dimensional Data Infrastructure for Location Aware Services//Proceedings of the 11 th International Conference on Mobile Data Management. Kansas City, Missouri, USA, 2011: 7-16 [17] Sai Wu, Kun-Lung Wu. An indexing framework for efficient retrieval on the cloud. IEEE Data Eng. Bull. 2009, 32(1): [18] H. V. Jagadish, Beng Chin Ooi, Quang Hieu Vu. BATON: A Balanced Tree Structure for Peer-to-Peer Networks//Proceedings of the 31 st international conference on Very large data bases. Trondheim, Norway, 2005: [19] Ion Stoica, Robert Morris, David R. Karger et al. Chord: A scalable peer-to-peer lookup service for internet applications// Proceedings of the ACM SIGCOMM. California, USA, 2001: [20] Jon Louis Bentley. Multidimensional Binary Search Trees in Database Applications. IEEE Transactions on Software Engineering, 1979, 5(4):

86 [21] Hailong Cai, Ping Ge, Jun Wang. Applications of Bloom Filters in Peer-to-peer Systems: Issues and Questions//Proceedings of the International Conference on Networking, Architecture, and Storage. Chongqing, China, 2008: [22] Morton, G. M. A computer Oriented Geodetic Data Base; and a New Technique in File Sequencing. Technical Report, Ottawa, Canada: IBM Ltd, 1966 [23] Meng Bi-Ping, Wang Teng-Jiao, Li Hong-Yan, Yang Dong-Qing. Regional Bitmap Index: A Secondary Index for Data Management in Cloud Computing Environment. Chinese Journal of Computers, 2012, 35(11): ( 孟 必 平, 王 腾 蛟, 李 红 燕, 杨 冬 青. 分 片 位 图 索 引 : 一 种 适 用 于 云 数 据 管 理 的 辅 助 索 引 机 制. 计 算 机 学 报, 2012, 35(11): ) [24] Sylvia Ratnasamy, Paul Francis, Mark Handley et al. A scalable content-addressable network//proceedings of the ACM SIGCOMM. California, USA, 2001: [25] Jens Dittrich, Jorge-Arnulfo Quiané-Ruiz, Alekh Jindal et al. Hadoop++: Making a Yellow Elephant Run Like a Cheetah. PVLDB, 2010, 3(1): [26] Zhou Da, Qian Ling, Guo Lei-Tao, Qi Ji. HugeTable: Telecom Oriented Data Warehouse. Computer Science, 2011, 38(8) Supp: ( 周 大, 钱 岭, 郭 磊 涛, 齐 骥. HugeTable: 一 种 面 向 电 信 行 业 的 云 数 据 仓 库. 计 算 机 科 学, 2011,38(8) 增 刊 : ) [27]Azza Abouzeid, Kamil Bajda-Pawlikowski, Daniel J. Abadi et al. HadoopDB: An Architectural Hybrid of MapReduce and DBMS Technologies for Analytical Workloads. PVLDB, 2009, 2(1): [28] Jens Dittrich, Jorge-Arnulfo Quiané-Ruiz, Stefan Richter et al. Only Aggressive Elephants are Fast Elephants. PVLDB, 2012, 5(11): [29] Chi Zhang, Feifei Li, Jeffrey Jestes. Efficient parallel knn joins for large data in MapReduce//Proceedings of the 15th International Conference on Extending Database Technology. Berlin, Germany, 2012: [30] Rares Vernica, Michael J. Carey, Chen Li. Efficient parallel set-similarity joins using MapReduce//Proceedings of the ACM SIGMOD/PODS Conference. Indianapolis, USA, 2010: [31] Surajit Chaudhuri, Venkatesh Ganti, Raghav Kaushik. A Primitive Operator for Similarity Joins in Data Cleaning//Proceedings of the 22 nd International Conference on Data Engineering. Atlanta, GA, USA, 2006: 5 [32] Qiang Ma, Bin Yang, Weining Qian, Aoying Zhou. Query Processing of Massive Trajectory Data Based on MapReduce // Proceeding of the First International Workshop on Cloud Data Management. Hong Kong, China, 2009: [33] Shih-Tsun Chu, Chao-Chun Yeh, Chun-Lung Huang. A Cloud-Based Trajectory Index Scheme//Proceedings of the IEEE International Conference on E-Business Engineering. Macau, China, 2009: [34] Li Qing-quan, Zhang Tong, Yu Yang. Using cloud computing to process intensive floating car data for urban traffic surveillance. INTERNATIONAL JOURNAL OF GEOGRAPHICAL INFORMATION SCIENCE, 2011, 25 (8): [35] Ariel Cary, Zhengguo Sun, Vagelis Hristidis et al. Experiences on Processing Spatial Data with MapReduce// Proceedings of the 21 st International Conference on Scientific and Statistical Database Management. New Orleans, LA, USA, 2009:

87 [36] Ya-Ting Hsu, Yi-Chin Pan, Ling-Yin Wei et al. Key Formulation Schemes for Spatial Index in Cloud Data Managements//Proceedings of the 13 th IEEE Conference on Mobile Data Management. Bangalore, India, 2012: [37] Yu Ge, Gu Yu, Bao Yu-Bin, Wang Zhi-Gang. Large Scale Graph Data Processing on Cloud Computing Environment. Chinese Journal of Computers, 2011, 34(10): ( 于 戈, 谷 峪, 鲍 玉 斌, 王 志 刚. 云 计 算 环 境 下 的 大 规 模 图 数 据 处 理 技 术. 计 算 机 学 报,2011, 34(10): ) [38] Ma You-Zhong, Rao Jia, Hu Wei-Song, Meng Xiao-Feng et al. An Efficient Index for Massive IOT Data in Cloud Environment//Proceedings of the 21 st ACM Conference on Information and Knowledge Management. Maui, USA, 2012: [39] Qin Xiong-Pai, Wang Hui-Ju, Du Xiao-Yong et al. Big Data Analysis-Competition between RDBMS and MapReduce, Their Inter-Fusing and Symbiosis. Journal of Software, 2012, 23(1): ( 覃 雄 派, 王 会 举, 杜 小 勇 等. 大 数 据 分 析 --RDBMS 与 MapReduce 的 竞 争 与 共 生. 软 件 学 报, 2012, 23(1): 32-45) [40] Bingsheng He, Wenbin Fang, Qiong Luo et al. Mars: a MapReduce framework on graphics processors//proceedings of the 7 th International Conference on Parallel Architectures and Compilation Techniques. Toronto, CANADA, 2008: [41] Thomas Sandholm, Kevin Lai. MapReduce optimization using regulated dynamic prioritization//proceedings of the SIGMETRICS/Performance. Seattle, WA, USA, 2009: [42] Hung-chih Yang, Ali Dasdan, Ruey-Lung Hsiao et al. Map-reduce-merge: simplified relational data processing on large clusters//proceeding of the ACM SIGMOD/PODS Conference. Beijing, China, 2007:

88 面 向 数 据 发 布 和 分 析 的 差 分 隐 私 保 护 研 究 张 啸 剑, 孟 小 峰 ( 中 国 人 民 大 学 信 息 学 院 北 京 ) 摘 要 随 着 数 据 分 析 和 发 布 等 应 用 需 求 的 出 现 和 发 展, 如 何 保 护 隐 私 数 据 和 防 止 敏 感 信 息 泄 露 成 为 当 前 面 临 的 重 大 挑 战 基 于 k- 匿 名 或 者 划 分 的 隐 私 保 护 方 法, 只 适 应 特 定 背 景 知 识 下 的 攻 击 而 存 在 严 重 的 局 限 性 差 分 隐 私 作 为 一 种 新 出 现 的 隐 私 保 护 框 架, 能 够 防 止 攻 击 者 拥 有 任 意 背 景 知 识 下 的 攻 击 并 提 供 有 力 的 保 护 文 中 对 差 分 隐 私 保 护 领 域 已 有 的 研 究 成 果 进 行 了 总 结, 对 该 技 术 的 基 本 原 理 和 特 征 进 行 了 阐 述, 重 点 介 绍 了 当 前 该 领 域 的 研 究 热 点 : 差 分 隐 私 下 基 于 直 方 图 的 发 布 技 术 基 于 划 分 的 发 布 技 术 以 及 回 归 分 析 技 术 在 对 已 有 技 术 深 入 对 比 分 析 的 基 础 上, 指 出 了 差 分 隐 私 保 护 技 术 的 未 来 发 展 方 向 关 键 词 差 分 隐 私 ; 数 据 发 布 ; 隐 私 保 护 ; 数 据 分 析 中 图 法 分 类 号 **** DOI 号 :* 投 稿 时 不 提 供 DOI 号 * A Survey of Differential Privacy in Data Publication and Analysis* ZHANG Xiao-Jian, MENG Xiao-Feng (School of Information, Renmin University of China, Beijing ) Abstract As the emergence and development of application requirements such as data analysis and data publication, a challenge to those applications is to protect private data and prevent sensitive information from disclosure. However, most existing methods based on k-anonymity or partition-based have serious limitations because they only preserve individuals privacy under special assumption of adversary s background knowledge. Differential privacy has emerged as a new paradigm for privacy protection with strong privacy guarantees against adversaries with arbitrary background knowledge. This paper surveys the state of the art of differential privacy for data publication and analysis. The mechanisms and properties of this model are described, while our focuses are put on private data releases in terms of histogram and partition techniques, and analysis based on regression skills. Following the comprehensive comparison and analysis of existing works, future research directions are put forward. Key words Differential Privacy; Data Publication; Privacy-preserving; Data Analysis 1 引 言 信 息 技 术 的 飞 速 发 展 使 得 各 类 数 据 的 发 布 采 集 存 储 和 分 析 变 得 方 便 快 捷 例 如, 医 院 电 子 病 例 记 录 病 人 基 本 信 息 疾 病 信 息 及 药 品 购 买 记 录 ; 人 口 普 查 记 录 市 民 的 家 庭 住 址 收 入 情 况 以 及 犯 罪 记 录 ; 金 融 业 务 服 务 会 记 录 客 户 私 有 信 息 及 其 交 易 行 为 等 而 这 些 数 据 的 收 集 和 发 布 直 接 给 个 人 隐 私 带 来 威 胁 一 方 面, 如 果 数 据 拥 有 者 直 接 发 布 隐 含 着 敏 感 信 息 的 数 据, 而 不 采 用 适 当 数 据 保 护 技 术, 将 可 能 造 成 个 人 敏 感 信 的 泄 露 例 如, 医 院 发 布 病 人 医 疗 信 息 另 一 方 面, 对 发 布 后 的 数 据 进 行 分 析 也 给 数 据 的 隐 私 带 来 了 威 胁 例 如, 采 用 数 据 挖 掘 和 机 器 学 习 技 术 对 医 疗 病 例 信 息 和 搜 索 日 志 进 行 挖 掘, 可 以 获 得 病 人 所 患 何 种 疾 病 以 及 用 户 搜 索 的 行 为 模 式 等 敏 感 信 息 隐 私 保 护 技 术 可 以 解 决 数 据 发 布 和 数 据 分 析 带 来 的 隐 私 威 胁 问 题 如 何 发 布 和 分 析 而 又 不 泄 露 隐 私 信 息 是 隐 私 保 护 技 术 的 主 要 目 的 近 年 来 出 现 了 许 多 基 于 k- 匿 名 [1] 和 划 分 的 隐 收 稿 日 期 : 年 - 月 - 日 * 投 稿 时 不 填 写 此 项 *; 最 终 修 改 稿 收 到 日 期 : 年 - 月 - 日 * 投 稿 时 不 填 写 此 项 *. 本 文 得 到 国 家 自 然 科 学 基 金 项 目 ( 课 题 号 : , , , ), 中 国 人 民 大 学 科 学 研 究 基 金 ( 课 题 号 : 11XNL010) 支 持, 国 家 863 计 划 项 目 (2012AA010701) 资 助. 张 啸 剑, 男,1982 年 生, 博 士 研 究 生, 讲 师, 主 要 研 究 方 向 为 差 分 隐 私 数 据 挖 掘. 孟 小 峰, 男,1964 年 生, 教 授, 博 士 生 导 师, 主 要 研 究 领 域 为 Web 数 据 管 理 移 动 数 据 管 理 XML 数 据 管 理 云 数 据 管 理 等. xfmeng@ruc.edu.cn. 第 1 作 者 手 机 号 码 :

89 私 保 护 方 法 ( 例 如,l-diversity[2] t-closeness[3] 以 及 (α, k)-anonymity[4]), 尽 管 在 微 数 据 (Microdata) 层 面 上 能 够 保 护 数 据 的 更 多 细 节, 但 是 这 些 方 法 均 需 要 特 殊 的 攻 击 假 设 和 背 景 知 识 此 外, 针 对 上 述 隐 私 保 护 方 法, 新 出 现 的 一 些 攻 击 模 型, 例 如, 组 合 攻 击 [5], 前 景 知 识 攻 击 [6] 等, 对 上 述 方 法 的 有 效 性 提 出 了 严 峻 挑 战 目 前, 差 分 隐 私 [7] 已 经 成 为 一 种 新 的 隐 私 保 护 模 型, 该 模 型 不 关 心 攻 击 者 拥 有 多 少 背 景 知 识, 通 过 向 查 询 或 者 分 析 结 果 中 添 加 噪 音 以 达 到 隐 私 保 护 效 果 类 似 传 统 的 隐 私 保 护 技 术, 实 施 差 分 隐 私 保 护 技 术 主 要 考 虑 两 个 方 面 的 问 题 :(1) 如 何 保 证 所 设 计 的 方 法 满 足 差 分 隐 私, 以 确 保 不 泄 露 隐 私 ; (2) 如 何 减 少 噪 音 带 来 的 误 差, 以 提 高 数 据 可 用 性 本 文 着 眼 于 数 据 库 应 用 领 域, 对 差 分 隐 私 保 护 技 术 的 最 新 研 究 进 展 和 研 究 方 向 进 行 综 述 一 方 面 对 差 分 隐 私 的 理 论 基 础 进 行 介 绍 ; 另 一 方 面, 针 对 数 据 库 领 域 与 差 分 隐 私 技 术 相 关 的 研 究 方 向 进 行 分 析, 其 中 着 重 介 绍 基 于 差 分 隐 私 的 数 据 发 布 技 术 数 据 挖 掘 和 学 习 技 术, 而 后 对 这 些 技 术 进 行 综 合 分 析 对 比 目 前 差 分 隐 私 保 护 技 术 在 数 据 库 领 域 主 要 集 中 在 数 据 发 布 以 及 数 据 挖 掘 和 学 习 两 大 领 域, 本 文 着 重 介 绍 差 分 隐 私 在 这 两 个 领 域 的 应 用 本 文 第 2 节 介 绍 差 分 隐 私 保 护 理 论 基 础 及 需 要 解 决 的 关 键 问 题 ; 第 3 4 节 介 绍 差 分 隐 私 保 护 的 研 究 方 向 与 框 架 ; 第 5 节 和 第 6 节 重 点 介 绍 了 差 分 隐 私 保 护 下 的 数 据 发 布 与 分 析 技 术, 并 对 相 应 技 术 进 行 总 结 和 分 析 ; 最 后 展 望 未 来 工 作 2 差 分 隐 私 保 护 理 论 基 础 2.1 差 分 隐 私 定 义 隐 私 是 指 个 人 组 织 机 构 等 实 体 不 愿 意 被 外 部 知 晓 的 信 息 [8] 例 如, 个 人 的 医 疗 记 录 工 资 薪 资 等 虽 然 出 现 了 多 种 基 于 k- 匿 名 和 划 分 隐 私 保 护 框 架 的 保 护 方 法, 而 差 分 隐 私 保 护 技 术 被 公 认 为 比 较 严 格 和 强 健 的 保 护 模 型 该 保 护 模 型 的 基 本 思 想 是 对 原 始 数 据 或 者 对 原 始 数 据 的 转 换 或 者 是 对 统 计 结 果 添 加 噪 音 达 到 隐 私 保 护 效 果 该 保 护 方 法 可 以 确 保 在 某 一 数 据 集 中 插 入 或 者 删 除 一 条 记 录 的 操 作 不 会 影 响 任 何 计 算 ( 例 如, 计 数 查 询 ) 的 输 出 结 果 另 外, 该 保 护 模 型 不 关 心 攻 击 者 所 具 有 的 背 景 知 识, 即 使 攻 击 者 已 经 掌 握 除 某 一 条 记 录 之 外 的 所 有 记 录 的 敏 感 信 息, 该 记 录 的 敏 感 信 息 也 无 法 被 披 露 差 分 隐 私 的 形 式 化 定 义 如 下 : 定 义 1. 给 定 两 个 数 据 集 D 和 D, D 和 D 之 间 至 多 相 差 一 条 记 录, 即 D D 1 给 定 一 个 隐 私 算 法 A,Range(A) 为 A 的 取 值 范 围, 若 算 法 A 在 数 据 集 D 和 D 上 任 意 输 出 结 果 O ( O Range( A) ) 满 足 下 列 不 等 式, 则 A 满 足 - 差 分 隐 私 Pr[ A( D) O] e Pr[ A( D ) O] (1) 其 中, 概 率 Pr[ ] 由 算 法 A 的 随 机 性 所 控 制, 也 表 示 隐 私 被 披 露 的 风 险 ; 隐 私 预 算 代 价 参 数 表 示 隐 私 保 护 程 度, 越 小 隐 私 保 护 程 度 越 高 其 中 算 法 A 可 以 表 示 交 互 式 的 查 询 方 法, 或 者 是 非 交 互 式 的 发 布 方 法 图 1 表 示 D 和 D 上 输 出 结 果 的 概 率 分 布 最 大 比 率 至 多 为 e 图 1 D 和 D 的 隐 私 披 露 风 险 2.2 噪 音 机 制 添 加 噪 音 是 实 现 差 分 隐 私 保 护 的 主 要 技 术, 而 常 用 的 噪 音 添 加 机 制 分 别 为 拉 普 拉 斯 机 制 [9] 与 指 数 机 制 [10] 基 于 不 同 噪 音 机 制 且 满 足 差 分 隐 私 的 算 法 所 需 噪 音 大 小 与 全 局 敏 感 性 (Global sensitive) 密 切 相 关 定 义 2. 对 于 任 意 一 个 函 数 f : D R d, 函 数 f 的 全 局 敏 感 性 为 : f max f ( D) f ( D ) (2) DD, 其 中,D 和 D 至 多 相 差 一 条 记 录,R 表 示 所 映 射 的 实 数 空 间,d 表 示 函 数 f 的 查 询 维 度 拉 普 拉 斯 机 制 文 献 [9] 提 出 了 拉 普 拉 斯 机 制 可 以 取 得 差 分 隐 私 保 护 效 果, 该 机 制 所 添 加 噪 音 是 来 自 于 拉 普 拉 斯 分 布, 该 分 布 的 概 率 密 度 函 数 描 述 如 下 定 义 3. 如 果 随 机 变 量 X 的 密 度 函 数 为 下 列 表 达 式, 则 称 X 服 从 拉 普 拉 斯 分 布 1 Pr[ x, ] exp( x ) (3) 2 其 中, 和 分 别 为 变 量 x 的 期 望 和 尺 度 参 数 (Scale parameter),2λ 2 表 示 其 方 差 参 数 由 全 局 敏 感 性 f 和 隐 私 参 数 决 定, f / 为 了 方 1 80

90 便 获 取 噪 音, 设 =0 拉 普 拉 斯 机 制 通 常 是 针 对 一 些 满 足 差 分 隐 私 输 出 结 果 为 实 数 的 算 法, 其 主 要 思 想 是 在 真 实 的 输 出 值 上 添 加 拉 普 拉 斯 噪 音 达 到 保 护 效 果 定 理 1. 对 于 任 一 个 函 数 f : D R d, 若 算 法 A 的 输 出 结 果 满 足 下 列 等 式, 则 A 满 足 - 差 分 隐 私 ( ),..., ( ) 1 A D f D Lap f Lap f (4) 其 中,Lap i ( f / )(1 i d) 是 相 互 独 立 的 拉 普 拉 斯 变 量, 噪 音 量 大 小 与 f 成 正 比, 与 成 反 比 算 法 A 的 全 局 敏 感 性 越 大, 所 需 噪 音 越 大 指 数 机 制 文 献 [10] 提 出 了 指 数 机 制, 该 机 制 主 要 是 处 理 一 些 输 出 结 果 为 非 数 值 型 的 算 法, 例 如, 分 类 操 作 中 分 裂 属 性 的 选 择 问 题 该 机 制 的 关 键 技 术 是 如 何 设 计 打 分 函 数 u( D, r ) ( r O), 其 中 r 表 示 从 输 出 域 O 中 所 选 择 的 输 出 项 定 理 2. 对 于 任 一 个 打 分 函 数 u :( D O) R, 若 算 法 A 的 满 足 下 列 等 式, 则 A 满 足 - 差 分 隐 私 A( D, u) u( D, r) r : Pr[ r O] exp 2 u (5) 其 中, u 为 打 分 函 数 u( D, r ) 的 全 局 敏 感 性 由 公 式 (5) 可 知, 打 分 越 高, 被 选 择 输 出 的 概 率 越 大 除 上 述 两 种 机 制 外, 文 献 [11] 文 献 [12] 文 献 [13] 和 文 献 [14] 分 别 提 出 了 矩 阵 机 制 函 数 机 制 几 何 机 制 以 及 高 斯 机 制, 以 满 足 差 分 隐 私 的 需 求 2.3 差 分 隐 私 的 组 合 特 性 差 分 隐 私 保 护 技 术 本 身 蕴 含 着 两 种 重 要 的 组 合 性 质 [15], 一 是 序 列 组 合 性 (Sequential composition), 性 质 1 所 示 ; 二 是 并 行 组 合 性 (Parallel composition), 性 质 2 所 示 性 质 1. 设 D 为 一 个 隐 私 数 据 库, 设 A i 为 任 一 个 随 机 算 法 (1 i n) 满 足 ɛ i - 差 分 隐 私, 则 A i 算 法 在 D 上 的 顺 序 操 作 满 足 ɛ i - 差 分 隐 私 性 质 2. 设 A i 为 任 一 个 随 机 算 法 (1 i n) 满 足 ɛ i - 差 分 隐 私 则 A i 算 法 在 D 上 的 一 系 列 不 相 交 的 操 作 满 足 (max ɛ i )- 差 分 隐 私 这 两 种 性 质 在 证 明 算 法 是 否 满 足 差 分 隐 私 以 及 隐 私 预 算 分 配 过 程 中 起 着 重 要 作 用 文 中 第 6 章 给 出 了 函 数 机 制 的 详 细 介 绍 d 2.4 差 分 隐 私 保 护 方 法 的 性 能 度 量 满 足 差 分 隐 私 的 保 护 算 法 需 要 在 保 护 隐 私 的 同 时, 又 要 兼 顾 保 护 后 数 据 的 可 用 性 计 算 代 价 以 及 隐 私 预 算 的 分 配 策 略 是 否 合 理 通 常 包 括 四 个 方 面 对 隐 私 保 护 算 法 进 行 度 量 (1) 是 否 满 足 - 差 分 隐 私. 通 常 采 用 定 义 1 定 理 1 和 定 理 2 来 证 明 所 设 计 的 算 法 是 否 符 合 - 差 分 隐 私 要 求 (2) 算 法 误 差. 一 方 面 采 用 (, ) -usefulness[16] 技 术 从 理 论 角 度 证 明 基 于 差 分 隐 私 算 法 A 的 操 作 的 绝 对 误 差 是 否 小 于 上 界 给 定 一 个 操 作 Q 和 数 据 库 D, 对 于 =A(D), 若 Pr[ Q( )-Q(D) ]>1-β, 则 算 法 A 满 足 (, ) -usefulness 另 一 方 面, 可 以 从 具 体 应 用 角 度 来 度 量 算 法 误 差 常 用 的 应 用 型 误 差 度 量 方 法 包 括 : 相 对 误 差 [17] 绝 对 误 差 [18] 误 差 的 方 差 [19] 以 及 欧 式 距 离 [20] 等 例 如, 文 献 [17] 中 的 相 对 误 差 可 以 表 示 为 Q( )-Q(D) /max{q(d),s}, 参 数 s 可 以 避 免 分 母 出 现 零 此 外, 数 据 依 赖 情 况 下 的 Q 操 作, 必 须 考 虑 信 息 缺 损 (Information loss) 带 来 的 误 差 (3) 算 法 性 能. 一 般 利 用 时 间 复 杂 度 对 算 法 性 能 进 行 评 估 例 如, 基 于 差 分 隐 私 的 直 方 图 发 布 问 题, 算 法 时 间 复 杂 度 为 O(log 3d n/ɛ 2 ) 的 小 波 转 换 (Wavelet transformation) 方 法, 显 然 优 于 算 法 时 间 复 杂 度 为 O(n d /ɛ 2 ) 的 拉 普 拉 斯 方 法 此 外, 在 分 布 式 环 境 中, 通 信 代 价 也 是 衡 量 算 法 性 能 的 一 个 重 要 指 标 (4) 的 合 理 分 配. 隐 私 预 算 代 表 着 数 据 隐 私 保 护 程 度 一 旦 被 耗 尽, 将 破 败 差 分 隐 私, 算 法 本 身 也 就 失 去 了 意 义 因 此, 合 理 的 预 算 分 配 策 略 尽 可 能 使 使 用 持 续 长 一 些 常 用 的 分 配 策 略 [21] 包 括 线 性 分 配 指 数 分 配 只 适 用 性 分 配 以 及 混 合 策 略 分 配 3 主 要 研 究 方 向 差 分 隐 私 作 为 新 兴 的 隐 私 保 护 技 术, 在 理 论 研 究 和 实 际 应 用 方 面 具 有 非 常 重 要 的 价 值 该 技 术 首 先 在 统 计 数 据 库 领 域 被 提 出, 然 后, 又 扩 展 到 其 它 领 域, 例 如 机 器 学 习 安 全 通 信 等 数 据 库 领 域 中 差 分 隐 私 保 护 技 术 的 主 要 研 究 方 向 如 表 1 所 示 从 表 1 可 以 看 出, 该 技 术 的 研 究 方 向 是 由 实 际 应 用 中 不 同 的 隐 私 需 求 而 决 定 的 基 于 差 分 的 索 引 技 术 主 要 解 决 敏 感 多 维 数 据 查 询 处 理, 致 力 于 较 低 应 用 层 次 上 的 隐 私 保 护, 一 般 常 用 基 于 树 结 构 的 划 81

91 分 方 法 来 索 引 敏 感 数 据, 并 使 其 满 足 差 分 隐 私 要 求 ; 基 于 差 分 隐 私 的 数 据 发 布 技 术 主 要 是 采 用 非 交 互 式 框 架 发 布 敏 感 数 据 的 统 计 信 息, 并 且 使 得 发 布 数 据 能 够 满 足 数 据 分 析 者 的 需 求 常 采 用 的 发 布 技 术 有 直 方 图 数 据 立 方 体 采 样 过 滤 以 及 划 分 等 ; 而 基 于 差 分 隐 私 的 查 询 处 理 技 术 主 要 解 决 如 何 以 较 小 的 隐 私 预 算 与 误 差 来 响 应 查 询, 例 如 交 互 式 框 架 下 的 批 量 查 询 ; 面 向 数 据 挖 掘 和 机 器 学 习 的 差 分 隐 私 保 护 技 术 主 要 解 决 高 层 隐 私 需 求 带 来 的 问 题, 例 如,top-k 频 繁 模 式 挖 掘 分 类 等 如 何 设 计 满 足 差 分 隐 私 的 挖 掘 和 学 习 算 法 是 其 主 要 目 的 ; 差 分 隐 私 保 护 机 制 的 研 究 主 要 为 了 针 对 不 同 类 型 的 数 据 而 提 供 的 保 护 机 制 例 如, 拉 普 拉 斯 机 制 和 几 何 机 制 主 要 是 解 决 数 值 型 数 据 的 隐 私 保 护 ; 而 指 数 机 制 主 要 是 为 了 应 对 非 数 值 型 数 据 的 隐 私 保 护 表 1 差 分 隐 私 保 护 研 究 方 向 研 究 方 向 示 例 基 于 差 分 隐 私 的 数 据 发 布 Histogram [23-24,68] DataCube [44-45] Partitioning [29] Sampling&Filtering [35] 基 于 差 分 隐 私 的 索 引 技 术 DP-Tree [67] DPCube [25] Kd-tree [31] Grid [33] Quard-tree [29] 基 于 差 分 隐 私 的 查 询 处 理 Laplace [9] Privlet [19] Linear Query [11] Batch Query [47] 面 向 数 据 挖 掘 DiffGen [56] DataCube [44] PrivBasis [52] 和 学 习 的 差 分 隐 私 保 护 技 术 ObjectivePerb [64] PrivateSVM [62] TF [51] FM [12] DiffP-C4.5 [55] 差 分 隐 私 保 护 机 制 的 研 究 Laplace mechanism [9] Exponential mechanism [10] Geometric mechanism [13] Matrix mechanism [11] Functional mechanism [12] 4 基 于 差 分 隐 私 的 数 据 保 护 框 架 差 分 隐 私 下 数 据 保 护 框 架 通 常 有 两 种 : 交 互 式 框 架 和 非 交 互 式 框 架 交 互 式 的 差 分 隐 私 保 护 框 架 也 可 以 称 之 为 在 线 查 询, 其 基 本 框 架 如 图 2 所 示 当 数 据 分 析 者 通 过 查 询 接 口 提 交 查 询 Q 时, 数 据 拥 有 者 会 根 据 查 询 需 求, 设 计 满 足 差 分 隐 私 的 查 询 算 法, 经 过 差 分 隐 私 过 滤 后, 把 结 果 O 返 回 给 用 户 分 析 者 提 交 的 查 询 通 常 包 含 一 定 的 语 义 约 束, 使 得 返 回 结 果 的 可 用 性 较 低 数 据 拥 有 者 常 采 用 后 置 处 理 (Post-Processing) 技 术 对 噪 音 结 果 进 行 求 精 处 理 由 于 交 互 式 框 架 只 允 许 数 据 分 析 者 通 过 查 询 接 口 提 交 查 询, 查 询 数 目 决 定 着 该 框 架 的 误 差 和 性 能, 若 提 交 查 询 的 数 目 超 过 某 个 上 界, 隐 私 预 算 ɛ 会 被 耗 尽, 该 框 架 则 不 能 满 足 差 分 隐 私 该 框 架 所 支 持 的 查 询 通 常 包 括 聚 集 查 询 批 量 查 询 top-k 查 询 以 及 提 交 数 据 挖 掘 任 务 等 图 2 交 互 式 框 架 非 交 互 式 的 差 分 隐 私 保 护 框 架 也 称 之 为 离 线 发 布 框 架, 其 基 本 框 架 如 图 3 所 示 数 据 拥 有 者 通 过 差 分 隐 私 发 布 算 法 来 发 布 数 据 库 的 相 关 统 计 信 息 数 据 分 析 者 根 据 发 布 数 据 库 提 交 查 询 或 者 挖 掘 任 务 Q 以 及 得 到 噪 音 结 果 O 非 交 互 式 发 布 框 架 下 的 主 要 研 究 是 如 何 设 计 高 效 的 发 布 算 法, 该 类 算 法 既 满 足 差 分 隐 私, 又 具 有 高 的 可 用 性 目 前, 数 据 拥 有 者 通 常 采 用 数 据 压 缩 数 据 转 换 ( 例 如, 小 波 变 换 傅 里 叶 变 换 以 及 直 方 图 变 换 等 ) 采 样 过 滤 等 技 术 对 原 始 数 据 进 行 处 理 以 达 到 缩 减 发 布 误 差 和 查 询 误 差 的 目 的 此 外, 在 数 据 发 布 过 程 中, 合 理 的 隐 私 预 算 分 配 策 略 是 保 证 差 分 隐 私 成 立 的 关 键 图 3 非 交 互 式 框 架 差 分 隐 私 的 研 究 工 作 均 是 基 于 以 上 两 个 框 架 来 展 开 的, 下 面 基 于 两 个 框 架 从 数 据 发 布 数 据 挖 掘 与 机 器 学 习 的 角 度 对 国 内 外 研 究 现 状 进 行 详 细 阐 述 5 基 于 差 分 隐 私 的 数 据 发 布 方 法 近 年 来, 如 何 发 布 具 有 代 表 性 的 数 据, 而 不 披 露 数 据 的 隐 私 已 成 为 数 据 库 领 域 的 研 究 热 点 差 分 隐 私 保 护 下 的 数 据 发 布 通 常 采 用 统 计 方 法 对 原 始 数 据 进 行 概 要 处 理 常 用 的 发 布 技 术 包 括 直 方 图 技 术 (Histogram) 采 样 和 过 滤 (Sampling&Filtering) 以 及 划 分 (Partition) 等 由 图 3 可 知, 基 于 差 分 隐 私 的 数 据 发 布 方 法 一 般 可 分 为 两 类 : (1) 先 对 原 始 数 据 或 者 原 始 数 据 的 统 计 信 息 添 加 噪 音, 再 对 噪 音 结 果 进 行 优 化 一 般 是 对 数 值 型 数 据 添 加 拉 普 拉 斯 噪 音 或 者 几 何 型 噪 音, 而 对 非 数 值 型 数 据 添 加 指 数 噪 音 ; 然 后 对 加 过 噪 音 后 的 数 据 采 用 规 划 策 略 ( 例 如, 二 次 规 划 凸 规 划 等 ) 进 行 82

92 优 化, 最 后 发 布 优 化 结 果 而 这 类 方 法 的 隐 私 代 价 比 较 大 本 文 对 这 类 发 布 方 法 称 之 为 策 略 1; 发 布 策 略 1 的 基 本 思 想 如 图 4 所 示 输 入 : 原 始 数 据 X={x 1, x 2,, x n} 1: 添 加 噪 音 对 X 进 行 扰 动,x ={ x 1+Lap(Δf/ɛ), x 2+Lap(Δf/ɛ),, x n +Lap(Δf/ɛ) } 2: 采 用 后 置 处 理 技 术 对 x 进 行 优 化 成 为 x 输 出 : 优 化 后 的 发 布 数 据 x 图 4 策 略 1 发 布 流 程 (2) 先 转 换 原 始 数 据 或 者 原 始 数 据 的 统 计 信 息, 再 对 转 换 后 的 数 据 添 加 噪 音, 例 如, 直 方 图 或 者 小 波 转 换 ; 最 后 发 布 加 过 噪 音 后 的 概 要 数 据 这 类 方 法 主 要 针 对 如 何 减 少 发 布 误 差, 以 及 如 何 提 高 数 据 可 用 性 与 查 询 响 应 精 度 等 尽 管 这 种 策 略 所 需 的 隐 私 代 价 较 小, 然 而 数 据 转 换 会 带 来 信 息 损 失 本 文 对 这 类 发 布 方 法 称 之 为 策 略 2 发 布 策 略 2 的 基 本 思 想 如 图 5 所 示 输 入 : 原 始 数 据 X={x 1, x 2,, x n} 1: 将 X 转 换 或 压 缩 成 x ={ x 1,, x n }, 降 低 敏 感 性 和 噪 音 需 求 2: 对 x 添 加 噪 音, 成 为 x ={ x 1+ Lap(Δf/ɛ),, x n+ Lap(Δf/ɛ)} 输 出 : 优 化 后 的 发 布 数 据 x 图 5 策 略 2 发 布 流 程 结 合 上 述 两 类 发 布 策 略, 本 文 着 重 介 绍 差 分 隐 私 保 护 下 基 于 直 方 图 技 术 划 分 技 术 以 及 采 样 和 过 滤 技 术 的 几 种 数 据 发 布 方 法 5.1 基 于 差 分 隐 私 的 直 方 图 发 布 方 法 直 方 图 使 用 分 箱 技 术 来 近 似 描 述 数 据 统 计 信 息, 它 是 指 将 一 个 比 较 大 的 数 据 集 按 照 某 属 性 X 划 分 成 不 相 交 的 子 集 或 桶, 每 个 桶 上 由 一 个 数 字 ( 平 均 值 均 值 等 ) 表 示 其 特 征 表 2 原 始 数 据 集 姓 名 年 龄 HIV+ Alice 42 Yes Bob 43 Yes Carol 32 Yes Dave 36 No 图 6 无 噪 音 直 方 图 发 布 图 6 中 的 直 方 图 表 示 了 表 2 在 Age 属 性 HIV+ 的 分 布 情 况 直 方 图 可 以 直 观 简 洁 地 表 示 数 据 的 分 布 情 况, 支 持 计 数 查 询 范 围 查 询 连 接 查 询 以 及 数 据 分 析 等 然 而, 如 果 直 接 发 布 图 6 中 的 直 方 图, 会 导 致 表 3 中 个 人 信 息 的 泄 露 例 如, 假 设 攻 击 者 已 经 获 得 了 Alice 的 年 龄 在 岁 之 间 岁 之 间 除 Alice 之 外 所 有 人 的 病 况 以 及 直 方 图 之 间 的 计 数 如 果 数 据 拥 有 者 在 之 间 新 添 加 了 Alice, 则 攻 击 者 能 够 推 理 出 Alice 感 染 了 HIV+ 病 毒 本 小 节 主 要 从 差 分 隐 私 保 护 来 总 结 直 方 图 的 发 布 技 术 基 于 策 略 1 的 直 方 图 发 布 方 法 文 献 [9] 基 于 差 分 隐 私 保 护 技 术, 首 先 提 出 了 发 布 直 方 图 来 支 持 单 位 长 度 (Unit-length range query) 的 范 围 查 询 方 法 LP, 该 方 法 直 接 给 直 方 图 的 各 个 桶 计 数 添 加 拉 普 拉 斯 噪 音 根 据 定 理 1 可 知,LP 方 法 满 足 差 分 隐 私 然 而, 该 方 法 的 发 布 误 差 较 大, 可 用 性 比 较 低, 不 支 持 较 长 范 围 查 询 (Longer-length range query) ; 针 对 LP 算 法 的 缺 陷, 许 多 研 究 者 提 出 了 如 何 减 小 直 方 图 发 布 误 差 的 方 法, 该 类 方 法 的 典 型 代 表 是 Boost1[22] 和 NoiseFirst[23] 该 类 方 法 主 要 是 采 用 后 置 处 理 技 术 对 添 加 噪 音 之 后 的 直 方 图 各 个 桶, 进 行 求 精 处 理 以 增 强 查 询 响 应 精 度 Boost1 方 法 借 鉴 最 小 二 乘 法 与 查 询 语 义 约 束 推 理 的 思 想, 对 噪 音 无 归 属 直 方 图 (Unattributed histogram) 进 行 后 置 处 理 设 H 为 加 过 噪 音 之 后 的 直 方 图,H 为 求 精 操 作 之 后 的 直 方 图,γ Q 表 示 查 询 语 义 约 束, 例 如, 桶 的 计 数 按 照 降 序 排 列 后 置 处 理 操 作 变 成 了 在 条 件 约 束 γ Q 下 的 二 次 规 划 问 题, 如 公 式 6 所 示 由 于 后 置 处 理 是 在 加 噪 之 后 的 直 方 图 上 进 行 的, 并 不 会 破 坏 差 分 隐 私 min H H 2 Q : H[ i] H[ i 1] (6) 类 似 于 Boost1 方 法, 文 献 [23] 借 鉴 V- 优 化 [24] 方 法 和 大 数 定 理 思 想 提 出 了 NoiseFirst 算 法, 该 方 法 发 现 合 并 邻 接 相 似 的 加 过 噪 音 的 桶, 能 够 提 高 长 范 围 查 询 的 响 应 精 度 该 方 法 对 噪 音 直 方 图 H 进 行 了 重 新 构 建 由 于 重 构 是 在 加 过 噪 音 之 后 进 行 的, 该 操 作 也 不 会 泄 露 隐 私 信 息 然 而 重 构 会 带 来 直 方 图 结 构 信 息 的 损 失, 因 此, 构 建 直 方 图 带 来 的 误 差 由 两 部 分 组 成 :(1) 合 并 近 邻 相 似 桶 带 来 的 结 构 信 息 损 失, 通 常 用 平 方 误 差 和 SSE(Sum of squared error) 来 度 量 ;(2) 添 加 噪 音 所 带 来 的 误 差 ( 简 称 噪 音 误 差 ), 注 意 单 位 长 度 是 指 直 方 图 一 个 桶 的 大 小, 参 见 文 献 [9] 的 介 绍 长 范 围 查 询 是 指 一 个 查 询 中 包 含 多 个 邻 接 的 桶, 参 见 文 献 [22] 注 意 该 类 直 方 图 不 考 虑 桶 本 身 蕴 含 的 语 义, 只 关 心 桶 所 对 应 属 性 的 分 布 情 况, 参 见 文 献 [22] 83

93 这 部 分 误 差 与 由 查 询 敏 感 性 Δf 和 隐 私 预 算 ɛ 决 定 图 7 噪 音 直 方 图 重 构 设 图 7(a) 为 采 用 LP 算 法 对 原 始 H( 如 图 6 所 示 ) 添 加 噪 音 之 后 的 直 方 图, 记 为 H ; 设 图 7(b) 为 H 中 一 些 近 邻 相 似 的 桶 合 并 后 的 直 方 图, 记 为 H 由 SSE 可 计 算 出 SSE( H,H)=10,SSE( H,H)=2.67, 合 并 后 的 绝 对 误 差 明 显 减 少 然 而, 在 合 并 近 邻 相 似 的 桶 时, 找 出 H 中 每 个 桶 的 边 界 (Boundary) 非 常 困 难, 即 是 如 何 确 定 H 的 桶 个 数 l 文 献 [23] 采 用 动 态 规 划 技 术 对 H 的 k 桶 进 行 重 新 划 分, 最 终 找 出 使 得 期 望 误 差 最 小 的 V- 优 化 直 方 图 H, 如 公 式 7 所 示 min SSE H, H 2k 4l 2 (7) 除 此 之 外, 文 献 [25] 首 次 提 出 了 合 成 式 的 多 维 直 方 图 发 布 方 法 与 LP 算 法 类 似, 该 方 法 也 是 首 先 对 原 始 直 方 图 的 各 个 桶 计 数 添 加 拉 普 拉 斯 噪 音 与 以 上 方 法 不 同, 文 献 [25] 提 出 了 一 种 两 阶 段 kd- 树 划 分 策 略 DPCube 该 策 略 首 先 采 用 单 元 (Cell) 划 分 方 法 对 原 始 数 据 集 进 行 划 分, 同 时 为 每 个 单 元 计 数 添 加 噪 音, 得 到 单 元 直 方 图 H c ; 然 后, 再 对 H c 进 行 kd- 树 划 分 最 后 获 得 多 维 V- 优 化 直 方 图 kd- 树 划 分 的 目 的, 一 是 为 了 得 到 较 为 均 匀 的 划 分, 二 是 减 少 重 构 误 差 以 上 介 绍 了 现 有 的 基 于 策 略 1 的 直 方 图 发 布 方 法 可 以 看 出 随 着 研 究 的 深 入, 减 少 误 差 和 支 持 不 同 类 型 的 范 围 计 数 查 询 是 这 类 方 法 的 主 要 面 对 的 问 题, 如 表 3 所 示 因 此, 如 何 设 计 高 效 的 后 置 处 理 技 术 是 这 类 问 题 的 关 键 所 在 基 于 策 略 2 的 直 方 图 发 布 方 法 基 于 策 略 1 的 发 布 方 法 是 对 加 过 噪 音 之 后 的 直 方 图 进 行 优 化, 而 未 涉 及 到 原 始 直 方 图 H 的 信 息 发 布 策 略 2 则 是 着 眼 于 H, 在 为 各 个 桶 计 数 添 加 噪 音 之 前, 先 对 H 的 自 身 结 构 进 行 重 新 组 织, 然 后 再 对 重 组 之 后 的 结 构 添 加 噪 音 这 种 操 作 不 但 能 够 提 供 精 确 的 长 范 围 计 数 查 询 结 果, 而 且 也 能 够 减 少 噪 音 需 求 量, 进 而 减 少 噪 音 误 差 结 构 重 组 方 式 包 括 三 种 :(1) 按 照 层 次 树 结 构 重 组 H 的 各 个 桶, 该 类 方 法 的 代 表 是 Privelet[19] 和 Boost2[22];(2) 按 照 聚 类 技 术 重 新 划 分 H 的 各 个 桶, 此 类 方 法 的 典 型 代 表 是 StructureFirst[23] 和 P-HPartition[26];(3) 按 照 傅 里 叶 变 换 压 缩 H,FPA[27] 和 EDFP[26] 方 法 为 其 代 表 (1) 按 照 层 次 树 结 构 对 直 方 图 进 行 重 组 该 类 方 法 的 主 要 目 的 是 为 了 能 够 精 确 地 响 应 长 范 围 计 数 查 询 文 献 [19] 结 合 Haar 小 波 (Haar wavelet) 变 换 技 术, 提 出 了 一 种 满 足 差 分 隐 私 的 直 方 图 发 布 方 法 Privelet, 该 方 法 先 对 原 始 直 方 图 H 实 施 Haar 小 波 变 换, 把 H 的 每 个 桶 计 数 变 换 成 小 波 系 数 (Wavelet coefficients), 并 存 储 到 Haar 小 波 树 的 中 间 结 点 然 后, 针 对 中 间 结 点 中 的 系 数 值 添 加 拉 普 拉 斯 噪 音 图 8 直 方 图 重 组 示 例 Haar 小 波 树 的 中 间 结 点 用 来 存 储 小 波 系 数 ( 如 图 8(a) 中 圆 圈 结 点 所 示 ), 叶 子 结 点 存 储 直 方 图 的 桶 计 数, 或 者 较 长 范 围 计 数 ( 如 图 8(a) 中 方 形 结 点 所 示 ) 以 图 6 中 直 方 图 的 前 4 个 桶 计 数 为 例 来 阐 述 Haar 小 波 变 换 思 想, 变 换 过 程 如 图 8(a) 所 示 假 设 n i 为 Haar 小 波 树 的 任 意 一 个 中 间 结 点, 该 结 点 的 小 波 系 数 c i 的 计 算 方 式 为 公 式 8 所 示 c a a (8) i 其 中,a 1 (a 2 ) 表 示 结 点 n i 的 左 ( 右 ) 子 树 中 所 有 叶 子 结 点 的 均 值 例 如, 图 8(a) 中 c 1 =-0.25=((1+2/2)-(1+3/2))/2 c 0 表 示 基 系 数, 是 所 有 叶 子 结 点 的 均 值 由 于 Haar 小 波 变 换 是 可 逆 的, 则 已 知 中 间 结 点 的 小 波 系 数, 可 以 采 用 公 式 9 逆 推 某 个 叶 子 结 点 v 中 的 桶 计 数 b (v) h b ( ) ( v) c0 f i 1 i c (9) i 其 中, 若 结 点 v 在 c i 的 左 ( 右 ) 子 树 中,f i =1(-1) 例 如, 由 公 式 10 可 知,b ([30,35]) =2= 根 据 以 上 变 换 过 程 可 以 看 出, 虽 然 Haar 小 波 变 换 的 敏 感 性 Δf 为 1+log 2 k( 小 波 树 的 高 度 ), 其 中 k 表 示 原 始 直 方 图 桶 的 个 数, 但 是, 中 间 结 点 噪 音 量 的 大 小 却 是 由 (1+log 2 k)/(ɛ W Haar (c i )) 决 定, 其 中, 权 重 函 数 W Haar (c i )=2 h-i+1 例 如, 图 8(a) 中, 对 结 点 c 3 的 小 波 系 数 -1 所 添 加 的 噪 音 量 为 Lap(1+log 2 4/4ɛ) 该 结 点 的 噪 音 系 数 值 为 -1+ Lap(1+log 2 4/4ɛ), 根 据 该 84

94 值 可 以 推 导 出 长 范 围 [35, 45] 的 噪 音 计 数 此 外,Privelet 算 法 同 样 可 以 拓 展 到 符 号 属 性 (Nominal attribute) 长 范 围 计 数 直 方 图 或 者 多 维 直 方 图 的 发 布 然 而, 当 直 方 图 桶 的 个 数 k 很 大 时, 会 造 成 Haar 小 波 树 中 存 在 指 数 级 别 (2 k ) 的 小 波 系 数, 这 样 直 接 了 响 应 某 个 范 围 计 数 查 询 的 精 度, 以 及 降 低 查 询 效 率 [26] 类 似 于 文 献 [19], 文 献 [22] 所 提 出 的 Boost2 方 法 利 用 m-ary 树 ( 参 数 m 表 示 此 树 的 扇 出 ) 对 通 用 直 方 图 (Universal histogram) 重 新 组 织 然 后, 根 据 树 的 高 度 确 定 噪 音 量 大 小, 并 对 树 中 的 每 个 结 点 添 加 拉 普 拉 斯 噪 音, 最 后 该 方 法 根 据 范 围 计 数 查 询 的 语 义 约 束 和 最 小 二 乘 法 来 提 高 查 询 响 应 精 度 噪 音 量 的 大 小 由 (1+log m k)/ɛ 决 定, 其 中 k 表 示 直 方 图 桶 的 个 数 图 8(b) 是 图 6 直 方 图 的 前 4 个 桶 计 数 的 2-ary 重 新 组 织 示 例 其 中, 叶 子 结 点 是 单 位 长 度 的 桶 计 数 ; 中 间 结 点 表 示 较 长 的 范 围 计 数, 例 如 中 间 结 点 [35,45] 的 计 数 为 4, 其 噪 音 量 为 Lap(1+log 2 4/ɛ) Boost2 方 法 的 不 足 与 Privelet 相 似, 当 k 值 很 大 时, 效 率 比 较 低 此 外,Boost2 方 法 仅 支 持 一 维 直 方 图 发 布 (2) 按 照 聚 类 技 术 重 新 划 分 直 方 图 的 各 个 桶 该 类 方 法 主 要 考 虑 如 何 有 效 减 少 直 方 图 的 查 询 敏 感 性, 以 及 如 何 更 准 确 地 发 布 直 方 图 StructureFirst 方 法 [23] 发 现, 在 对 原 始 直 方 图 H 的 各 个 桶 添 加 噪 音 之 前, 合 并 近 邻 相 似 的 桶 可 以 有 效 减 少 查 询 敏 感 性, 进 而 缩 减 噪 音 量 该 方 法 的 基 本 思 想 是 : 假 设 H={H 1, H 2,, H k }, 针 对 这 k 个 桶, 采 用 V- 优 化 方 法 合 并 近 邻 相 似 的 桶 合 并 操 作 的 关 键 在 于 如 何 选 择 合 并 桶 边 界 ( 例 如, 图 9(b) 边 界 40) 以 及 如 何 避 免 合 并 操 作 所 导 致 的 隐 私 信 息 泄 露 文 献 [7] 采 用 指 数 机 制 解 决 了 上 述 两 种 问 题 如 公 式 10 所 示 1E( q, j, rj 1) Pr( rj q) exp 2( k 1)(2 F 1) (10) 其 中,ɛ 1 表 示 边 界 选 择 操 作 所 分 配 的 隐 私 预 算, k 表 示 原 始 直 方 图 桶 的 个 数,F 为 所 有 桶 计 数 的 上 界,q 表 示 所 要 选 择 的 边 界 ;E(q, j, r j+1 ) 为 指 数 机 制 中 的 打 分 函 数, 这 里 表 示 合 并 操 作 所 带 来 的 误 差 假 设 合 并 操 作 完 成 后 所 得 到 的 直 方 图 H 拥 有 m 个 桶 {H 1,, H m } 假 设 桶 H i (1 i m) 合 并 了 p 个 单 位 长 度 桶, 则 查 询 敏 感 性 变 成 了 1/p, 噪 音 需 求 量 为 1/pɛ 2, 其 中 ɛ 2 表 示 添 加 拉 普 拉 斯 噪 音 所 分 配 的 隐 私 预 算 例 如, 图 9(a) 中 的 单 位 长 度 范 围 计 数 查 询 的 敏 感 性 Δf=1, 而 图 9(b) 中 的 三 个 较 长 范 围 计 数 查 询 的 敏 感 性 变 成 Δf=1/3 和 Δf=1/2, 进 而 缩 减 了 合 并 后 每 个 桶 计 数 的 噪 音 需 求 量 图 9 发 布 前 直 方 图 重 组 StructureFirst 方 法 的 隐 私 预 算 被 分 为 ɛ 1, ɛ 2, 即 是 ɛ=ɛ 1 +ɛ 2, 根 据 差 分 隐 私 性 质 1 可 知, 该 方 法 满 足 ɛ- 差 分 隐 私 由 上 述 操 作 过 程 可 知, 该 方 法 的 误 差 也 是 由 重 构 误 差 和 噪 音 误 差 构 成 而 噪 音 误 差 是 由 指 数 噪 音 和 拉 普 拉 斯 噪 音 两 部 分 组 成 为 了 使 整 体 误 差 最 小,StructureFirst 方 法 采 用 优 化 技 术 找 出 了 ɛ 1 和 ɛ 2 近 似 优 化 组 合 来 最 小 化 目 标 函 数 然 而,StructureFirst 方 法 仍 存 在 一 定 的 缺 陷 : 首 先 类 似 于 NoiseFirst 方 法, 该 方 法 只 是 采 用 简 单 的 启 发 式 规 则 确 定 合 并 桶 的 个 数 m, 例 如 m=k/10, k 为 原 直 方 图 桶 的 个 数 而 这 种 启 发 式 没 有 顾 及 到 重 构 误 差 和 噪 音 误 差 之 间 的 平 衡 ; 其 次, 该 方 法 采 用 SSE 度 量 重 构 误 差, 误 差 的 敏 感 性 由 所 有 桶 计 数 的 上 界 F 决 定 如 果 存 在 较 多 接 近 F 的 桶 计 数, 则 SSE 方 法 的 误 差 度 量 准 确 性 很 低 ; 最 后, 对 于 一 些 拥 有 大 量 桶 的 直 方 图, 该 方 法 效 率 较 低, 时 间 复 杂 度 达 到 O(mk 2 ) 不 同 于 上 述 方 法, 文 献 [26] 结 合 k- 均 值 聚 类 技 术, 提 出 了 一 种 能 够 发 布 拥 有 大 量 桶 的 直 方 图 方 法 P-HPartition, 该 方 法 采 用 贪 婪 搜 索 的 方 法, 在 聚 类 树 C-tree 中 找 到 最 佳 的 桶 合 并 个 数 m 给 定 具 有 k 个 桶 的 原 始 直 方 图 H={H 1, H 2,, H k }, 将 H 作 为 C-tree 的 树 根,P-HPartition 方 法 采 用 贪 婪 二 等 分 (Greedy bisection) 策 略 对 H 自 顶 向 下 (Top-down) 进 行 分 割, 直 到 各 个 叶 子 结 点 满 足 判 定 条 件 后, 形 成 m 个 聚 簇 C m ={C m 1, C m 2,, C m m} 这 m 个 聚 簇 作 为 划 分 后 的 直 方 图, 各 个 簇 的 均 值 C m i 作 为 桶 计 数 最 后, 对 m 个 桶 计 数 添 加 拉 普 拉 斯 噪 音, 然 后 发 布 形 成 聚 簇 的 过 程 中 也 会 存 在 两 种 误 差, 即 是 重 构 误 差 和 噪 音 误 差, 如 公 式 11 所 示 m Error( Cm) REC m (11) 其 中,m/ɛ 为 噪 音 误 差 ;RE Cm 表 示 重 构 误 差, 该 误 差 采 用 绝 对 误 差 来 度 量, 如 公 式 12 所 示 85

95 m m C m m H j i j Ci i 1 RE H C, (1 j k) C m i m H j Ci H j m C i 其 中, 表 示 聚 簇 的 均 值 (12) 自 顶 向 下 二 等 分 割 H 时 有 可 能 泄 露 某 个 桶 的 计 数 值, 为 了 避 免 该 信 息 泄 露,P-HPartition 方 法 利 用 指 数 机 制 挑 选 二 等 分 割 点 该 方 法 停 止 分 割 的 条 件 为 : 当 第 i+1 次 分 割 导 致 的 重 构 误 差 大 于 第 i 次 误 差 时, 该 方 法 停 止 分 割 从 公 式 11 可 以 看 出,P-HPartition 方 法 采 用 聚 类 技 术 找 到 最 佳 的 合 并 桶 个 数 m, 来 平 衡 重 构 误 差 与 噪 音 误 差, 该 方 法 时 间 复 杂 度 为 O(m 2 ), 明 显 优 于 StructureFirs 方 法 然 而, 该 方 法 仅 从 缩 小 误 差 和 提 高 响 应 精 度 的 角 度 发 布 一 维 直 方 图 综 上, 第 (1) 类 方 法 和 第 (2) 类 方 法 是 从 直 方 图 结 构 重 组 或 者 转 换 角 度 来 提 高 响 应 精 度 和 缩 小 误 差 主 要 利 用 拉 普 拉 斯 机 制 和 指 数 机 制 来 发 布 直 方 图 而 前 两 类 方 法 只 是 对 直 方 图 的 组 织 形 式 进 行 了 转 换, 而 总 体 桶 的 实 际 数 量 并 没 有 减 少 例 如, 在 文 献 [26] 的 P-HPartition 方 法 中,m 个 聚 簇 蕴 含 着 原 始 直 方 图 的 k 个 桶 (3) 按 照 傅 里 叶 变 换 发 布 直 方 图 不 同 于 上 述 两 类 方 法, 该 类 方 法 是 采 用 傅 里 叶 变 换 减 少 发 布 误 差 来 发 布 直 方 图 该 类 方 法 的 典 型 代 表 是 FPA 方 法 [27], 该 方 法 借 鉴 离 散 傅 里 叶 转 换 (Discrete Fourier Transform, DFT) 技 术 与 拉 普 拉 斯 机 制 来 发 布 直 方 图 给 定 一 个 直 方 图 H={H 1, H 2,, H k }, 该 方 法 利 用 DFT 将 H 转 换 成 傅 里 叶 系 数 F={F 1, F 2,, F k }, DFT 转 换 如 公 式 13 所 示 由 于 DFT 技 术 是 线 性 可 逆 的, 则 直 方 图 的 每 个 桶 可 以 通 过 DFT 的 逆 求 出, 设 IDFT 为 DFT 的 逆 操 作, 则 H i =IDFT(F i ) i k 2 ji 1 k j (13) i 1 F H e FPA 方 法 操 作 思 想 是 : 首 先 对 直 方 图 H 实 施 DFT 操 作, 即 F=DFT(H); 第 二 步, 该 方 法 从 F 中 选 出 l 个 系 数 作 为 F l, 即 是 剔 除 k-l 个 其 它 的 系 数, 这 k-l 个 系 数 与 H 中 的 k-l 个 高 频 度 桶 向 对 应 接 着 对 F l 中 的 l 个 系 数 添 加 拉 普 拉 斯 噪 音, 使 F l 变 成 l l F 最 后 一 步 是 在 F 中 补 充 k-l 个 0, 令 F =< l F,0 k-l, 0 k >, 再 执 行 H=IDFT( F ) 操 作, 即 可 发 布 直 方 图 注 意 剔 除 高 频 桶 的 原 因 是 为 了 缩 减 查 询 敏 感 性, 参 加 文 献 [27] FPA 方 法 使 用 SSE 度 量 发 布 误 差, 该 误 差 也 是 由 重 组 误 差 和 噪 音 误 差 组 成, 其 中, 噪 音 误 差 为 2l 2 /ɛ 2, 重 组 误 差 为, 该 误 差 是 由 被 忽 视 的 k-l 个 系 数 所 引 起 的 虽 然,FPA 方 法 对 误 差 进 行 了 相 应 压 缩, 然 而,l 的 选 择 至 关 重 要, 较 大 的 l 导 致 噪 音 误 差 增 加, 而 较 小 l 的 导 致 重 组 误 差 增 加 针 对 FPA 方 法 存 在 的 问 题, 文 献 [26] 基 于 指 数 机 制 设 计 了 一 种 自 适 应 的 l 选 择 算 法 EFPA, 该 方 法 根 据 FPA 的 发 布 误 差 导 出 了 指 数 机 制 的 打 分 函 数 u(h,l), 将 其 带 入 公 式 4, 可 获 得 l 的 选 择 概 率 该 打 分 函 数 由 重 构 误 差 和 噪 音 误 差 构 成, 表 示 如 下 u( H, l) 2l k 2 Fi (14) i l 1 文 献 [26] 实 验 表 明,EFPA 方 法 比 起 FPA 方 法 能 够 更 好 地 压 缩 发 布 误 差 由 公 式 12 与 公 式 13 可 知,P-HPartition 方 法 与 EFPA 方 法 分 别 通 过 调 整 参 数 m 与 参 数 l 来 均 衡 重 构 误 差 与 噪 音 误 差 EFPA 方 法 通 过 技 术 压 缩 桶 个 数 来 发 布 直 方 图, 所 找 出 的 参 数 l 未 必 最 佳, 而 P-HPartition 方 法 则 通 过 聚 类 技 术 找 出 最 佳 聚 簇 个 数 m, 但 是 m 蕴 含 着 原 始 桶 的 个 数, 二 者 各 有 优 缺 点 以 上 介 绍 了 现 有 满 足 差 分 隐 私 的 直 方 图 发 布 方 法 可 以 看 出 随 着 研 究 的 深 入, 不 同 工 作 在 直 方 图 发 布 时 考 虑 的 角 度 和 因 素 都 有 所 不 同, 如 表 3 所 示 其 中 数 据 独 立 (Data-independent) 是 指 转 换 结 构 本 身 与 数 据 无 关, 不 会 泄 露 数 据 隐 私, 而 数 据 依 赖 (Data-dependent) 却 相 反, 结 构 本 身 会 泄 露 隐 私 信 息, 其 定 义 参 见 文 献 [28] 5.2 基 于 差 分 隐 私 的 划 分 发 布 方 法 该 类 方 法 通 常 基 于 发 布 策 略 2, 考 虑 如 何 设 计 支 持 数 据 划 分 的 索 引 结 构, 然 后 依 据 索 引 结 构 发 布 所 要 保 护 的 数 据 常 用 的 索 引 划 分 结 构 分 两 类 : 基 于 树 结 构 划 分 基 于 网 格 (Grid) 结 构 划 分 基 于 树 结 构 划 分 文 献 [28] 基 于 非 交 互 式 保 护 框 架, 提 出 了 采 用 四 分 树 和 kd- 树 的 空 间 数 据 划 分 方 法 来 支 持 空 间 聚 集 查 询 范 围 查 询 ; 文 献 [29-30] 借 鉴 自 顶 向 下 划 分 方 式, 提 出 了 几 种 树 型 索 引 结 构 来 支 持 集 值 型 数 据 (Set-valued data) 的 发 布 与 挖 掘 常 用 树 型 划 分 方 法 包 括 : 数 据 独 立 的 树 划 分 数 据 依 赖 的 树 划 分 (1) 数 据 独 立 的 树 划 分 该 类 方 法 的 代 表 是 Quad-Post[28], 该 方 法 借 鉴 86

96 表 3 直 方 图 发 布 策 略 比 较 转 换 技 术 维 度 查 询 数 据 关 系 误 差 边 界 O 误 差 来 源 方 法 树 变 小 波 傅 里 叶 聚 类 一 多 长 范 围 单 位 范 数 据 数 据 线 性 对 数 噪 音 重 组 换 变 换 变 换 变 换 维 维 计 数 围 计 数 独 立 依 赖 级 别 级 别 误 差 误 差 Boost2[22] Privelet[19] FPA[27] EFPA[26] StructureFirst[23] P-HPartition[26] LP[9] Boost1[22] DPCube[25] NoiseFirst[23] 完 全 四 分 树 思 想 并 结 合 差 分 隐 私 保 护 提 出 了 数 据 独 立 的 划 分 方 法 该 方 法 首 先 采 样 四 分 树 对 数 据 进 行 索 引, 然 后 对 每 条 根 - 至 - 叶 子 (Root-to-leaf) 路 径, 采 用 自 顶 向 下 的 均 匀 预 算 分 配 (Uniform budget) 和 几 何 预 算 分 配 (Geometric budget) 策 略, 添 加 拉 普 拉 斯 噪 音 假 设 四 分 树 的 高 度 为 h, 总 的 隐 私 预 算 为 ɛ 均 匀 分 配 方 法 给 树 每 层 所 需 的 隐 私 预 算 为 ɛ i = ɛ/h+1, 而 几 何 策 略 为 每 层 分 配 2 (h-i)/3, 其 中 i 表 示 该 树 的 第 i 层 图 10 中, 小 矩 形 中 的 数 字 表 示 噪 音 数 据 图 10 四 分 树 索 引 结 构 添 加 噪 音 的 整 个 过 程, 充 分 利 用 了 差 分 隐 私 的 两 个 组 合 性 质, 即 序 列 组 合 性 与 并 行 组 合 性 图 10(b) 中 绿 线 所 标 示 的 根 - 至 - 叶 子 路 径 上 所 有 隐 私 预 算 之 和 为 ɛ, 即 ɛ 0 +ɛ 1 +ɛ 2 =ɛ; 而 蓝 线 所 标 示 的 第 1 层 整 体 分 配 的 预 算 为 ɛ 1, 因 为 该 层 结 点 彼 此 互 不 相 交 最 后, 该 方 法 对 最 终 的 噪 音 响 应 结 果 进 行 了 后 置 处 理 操 作, 该 操 作 的 求 精 过 程 与 文 献 [22] 相 同, 也 是 把 问 题 转 换 成 了 约 束 条 件 下 的 二 次 规 划 求 解 问 题, 其 中 目 标 函 数 为 : v (ɛ v ) 2 (Y v -β v ) 2, 约 束 条 件 为 :β v = u child(v)(β u ), 其 中 ɛ v 表 示 分 配 给 结 点 v 的 隐 私 预 算,Y v 表 示 结 点 v 的 噪 音 计 数, 而 β v 表 示 Y v 求 精 之 后 的 结 果 例 如, 给 定 一 个 查 询 Q 如 图 10(a) 所 示, 遍 历 该 树 所 返 回 的 结 果 为 2(10(b) 图 中 所 有 红 色 结 点 的 噪 音 之 和 ) Quad-Post 方 法 在 响 应 Q 查 询 时, 存 在 两 种 误 差, 一 是 噪 音 误 差, 二 是 数 据 均 匀 分 布 假 设 带 来 的 误 差, 该 误 差 被 称 之 为 非 均 匀 误 差 (Non-uniformity error) Quad-Post 方 法 响 应 范 围 查 询 所 产 生 的 误 差 为 O(n/2 h +2 h/3 ) (2) 数 据 依 赖 的 树 划 分 数 据 独 立 的 树 划 分 不 会 导 致 树 本 身 的 信 息 泄 露 而 基 于 数 据 依 赖 的 树 划 分 有 可 能 揭 示 数 据 的 隐 私 信 息 kd-standard[28] 是 基 于 kd- 树 的 另 一 种 空 间 划 分 方 法, 该 方 法 的 关 键 是 如 何 确 定 每 个 分 割 空 间 中 的 分 割 线, 而 位 于 分 割 线 上 的 数 据 点, 也 称 为 中 值 数 (Median), 在 响 应 查 询 时 会 被 披 露, 例 如, 图 11 所 示 的 分 割 线 l 泄 露 了 中 值 数 a 的 真 实 值 文 献 [28] 分 别 采 用 拉 普 拉 斯 机 制 指 数 机 制 以 及 噪 音 均 值 (Noisy mean) 方 法 [31] 来 保 护 真 实 的 中 值 数 而 几 种 保 护 机 制 中 相 当 误 差 最 小 是 指 数 机 制, 其 保 护 中 值 数 的 思 想 如 下 : 假 设 在 给 定 的 某 个 数 值 区 域 [lo, hi] 中 取 一 个 数 据 点 集 合 C={x 1,x 2,,x n }, 该 集 合 的 实 际 中 值 数 为 x m 任 取 x(x [lo, hi]), 则 x 被 指 数 机 制 所 选 取 的 概 率 如 下 公 式 15 所 示 rank ( x) rank ( x ) 2 Pr( EM ( C) x) e m (15) 其 中,rank(x) 函 数 表 示 x 在 集 合 C 中 的 排 名 一 般 在 假 设 数 据 是 均 匀 分 布 的 情 况 下 响 应 查 询, 而 数 据 实 际 分 布 与 均 匀 分 布 存 在 偏 差, 该 偏 差 带 来 的 误 差 为 非 均 匀 误 差, 参 与 文 献 [28] 87

97 因 此, 使 用 指 数 机 制 可 以 挑 选 出 排 名 与 实 际 中 值 x m 最 接 近 的 数 值 此 外, 文 献 [28] 还 提 出 了 一 种 混 合 结 构 的 分 割 方 法 kd-hybrid, 该 方 法 首 先 采 用 数 据 依 赖 的 kd- 树 分 割 原 数 据, 然 后 利 用 数 据 独 立 的 四 分 树 重 新 划 分 kd- 树 结 构 在 响 应 范 围 查 询 时,kd-hybrid 能 够 比 quad-post 方 法 与 kd-standard 方 法 取 得 更 加 精 确 的 查 询 结 果 图 11 kd- 树 索 引 结 构 图 12 分 类 树 结 构 而 基 于 数 据 依 赖 的 树 划 分 方 法 中, 最 典 型 代 表 是 结 合 分 类 树 (Taxonomy tree) 和 自 顶 向 下 的 分 割 方 式 [32] 所 提 出 的 DiffPart[29] 算 法, 该 方 法 首 先 采 用 分 类 树 泛 化 (Generalization) 高 维 集 值 型 数 据 集, 例 如, 图 12 是 对 图 13(a) 中 的 数 据 集 的 泛 化 示 例, 所 有 记 录 均 被 泛 化 到 层 次 分 割 根 结 点 中 去, 如 图 13(b) 所 示 然 后 DiffPart 方 法 依 据 分 类 树, 从 层 次 分 割 根 结 点 开 始 迭 代 地 生 成 不 同 的 子 分 割 ( 例 如, 图 13(b) 中 的 V1 结 点 ) 和 叶 子 分 割 ( 例 如, 图 13(b) 中 的 V2 结 点 ) 最 后 发 布 叶 子 分 割 结 点 中 的 统 计 信 息 而 分 割 父 结 点 的 记 录 到 不 同 孩 子 结 点 中 时, 由 于 记 录 数 据 之 间 的 依 赖 性, 树 结 构 本 身 可 能 泄 露 记 录 的 计 数 信 息, 例 如, 对 于 图 13(b) 中 根 结 点, 有 四 条 记 录 (t 1,t 2,t 7,t 8 ) 被 随 机 分 到 V1 结 点 中 去 基 于 这 样 的 风 险, 文 献 [14] 采 用 拉 普 拉 斯 机 制 保 护 子 分 割 或 者 叶 子 分 割 中 的 记 录 计 数 假 设 给 定 一 个 子 分 割 s i, s i 表 示 s i 中 记 录 个 数,Ns i 为 加 噪 后 的 记 录 个 数, 则 Ns i = s i +Lap(1/ɛ ) 成 立, 其 中 ɛ 表 示 s i 的 隐 私 预 算 例 如,N V1 =4+Lap(6/ɛ) 图 13 分 类 树 结 构 DiffPart 方 法 的 关 键 是 如 何 设 定 子 分 割 继 续 划 分 条 件 与 叶 子 分 割 的 发 布 条 件, 以 及 发 布 树 整 个 分 割 过 程 中 如 何 分 配 隐 私 预 算 文 献 [29] 采 用 噪 音 的 标 准 差 C/ɛ 作 为 子 分 割 的 分 割 阈 值 和 叶 子 分 割 的 发 布 阈 值 例 如, 给 定 子 分 割 s i, 若 Ns i C/ɛ, 则 继 续 分 割 s i 为 了 有 效 分 配 ɛ, 文 献 [14] 提 出 了 一 种 自 适 应 隐 私 预 算 分 配 方 法 给 定 总 体 预 算 ɛ, 先 一 分 为 二, 其 中 ɛ/2 引 导 整 棵 树 的 分 割,ɛ/2 用 来 发 布 叶 子 分 割 信 息 根 结 点 到 叶 子 结 点 被 称 为 一 条 分 割 链 (Partitioning chain) ( 例 如, 图 13(b) 中 绿 框 标 示 的 分 割 链 ), 分 割 链 上 的 预 算 分 配 满 足 差 分 隐 私 序 列 组 合 性 质 不 同 的 分 割 链 彼 此 相 互 独 立, 满 足 差 分 隐 私 的 并 行 组 合 性 在 每 条 分 割 链 上, 分 割 过 程 中 剩 余 的 预 算 均 被 追 加 到 叶 子 结 点 设 m 表 示 一 条 分 割 链 上 所 有 分 割 总 数,n i 表 示 第 i 层 上 某 个 子 分 割 到 达 叶 子 分 割 层 所 需 的 最 大 分 割 数 则 每 条 分 割 链 上 的 预 算 满 足 下 列 不 等 式 m (1 ) (16) 2 n 2 n n 2 1 i 1 1 其 中,n i n i+1 +1,n m =1 此 外, 每 层 子 分 割 是 根 据 分 类 树 结 构 随 机 产 生 的, 因 此, 会 生 成 大 量 的 空 结 点 (Ø), 即 真 实 计 数 为 0 的 结 点, 而 这 些 空 结 点 不 但 消 耗 隐 私 预 算, 还 会 影 响 最 终 的 发 布 精 度 为 了 限 制 产 生 大 量 空 结 点, 文 献 [29] 借 鉴 独 立 的 布 尔 测 试 和 二 项 分 布, 生 成 k 个 空 结 点 设 n 为 子 分 割 s i 生 成 的 总 空 结 点 数 从 n 中 选 择 k 个 空 结 点 可 看 作 一 个 二 项 分 布 B(n, p θ ), 则 其 分 布 函 数 如 公 式 17 表 示 0 x Px ( ) 1 exp( x) x m (17) 其 中, 文 献 [29] 设 置 阈 值 θ= C/ɛ 尽 管 DiffPart 方 法 提 供 了 合 理 预 算 分 配 方 法, 而 该 方 法 仅 仅 支 持 计 数 查 询 和 top-k 频 繁 模 式 挖 掘 除 此 之 外, 文 献 [30] 采 用 与 文 献 [29] 相 同 的 树 划 分 方 法, 借 鉴 前 缀 树 (Prefix tree) 与 分 类 树 来 发 布 轨 迹 数 据, 该 方 法 根 据 前 缀 树 本 身 所 蕴 含 的 固 有 约 束, 提 出 了 一 种 一 致 性 约 束 推 理 策 略 来 增 强 发 布 精 度 文 献 [30] 只 发 布 了 轨 迹 的 位 置 信 息, 而 忽 视 了 轨 迹 中 每 个 位 置 所 携 带 的 时 间 戳, 进 而 导 致 该 方 法 所 发 布 的 数 据 可 用 性 较 低 ; 文 献 [21] 同 样 采 用 树 划 分 方 式, 提 出 了 一 种 序 列 数 据 发 布 方 法 N-gram 与 文 献 [29] 和 文 献 [30] 中 方 法 不 同, 该 方 法 不 是 发 布 所 有 的 序 列 数 据 集, 而 是 首 先 给 定 一 个 上 界 n max ( 用 来 限 制 n-gram 长 度 ), 抽 取 序 列 数 据 集 中 所 有 变 长 的 n-gram 注 意 该 噪 音 标 准 差 来 自 于 拉 普 拉 斯 分 布, 参 考 公 式 3. 88