Trafodion Transactional SQL-on-HBase Whitepaper

EsgynDB 企 业 级 运 营 型 SQL-On-Hadoop EsgynDB 基 于 孵 化 中 的 Apache Trafodion, 一 个 致 力 于 提 供 企 业 级 SQL-On- Hadoop 的 数 据 库 引 擎 的 开 源 项 目, 特 别 适 合 需 要 事 务 型 保 障 的 运 营 任 务 流 Trafodion 代 表 了 Apache HBase 和 事 务 型 SQL 技 术 的 结 合, 借 助 了 20 多 年 在 数 据 库 技 术 和 方 案 的 开 发 投 入 EsgynDB 简 介 EsgynDB 基 于 Trafodion, 一 个 开 源 项 目, 致 力 于 开 发 企 业 级 SQL-On-Hadoop 数 据 库 引 擎, 特 别 适 合 大 数 据 事 务 型 和 运 营 型 任 务 流 事 务 型 SQL 涵 盖 OLTP( 传 统 企 业 级 事 务 型 应 用 (ERP, CRM 等 等 )) 和 企 业 商 务 进 程 ( 公 司 每 天 运 营 的 核 心 应 用 ) 同 时, 通 过 结 构 型 和 半 结 构 型 数 据, 事 务 处 理 逐 渐 包 括 了 社 交 和 移 动 数 据 的 互 动 和 监 测 EsgynDB 概 述 这 篇 文 章 将 讲 解 以 下 的 Trafodion 项 目 的 数 据 库 功 能,EsgynDB 的 功 能 将 单 独 标 出 提 供 综 合 和 全 功 能 的 SQL 数 据 库 管 理 系 统, 让 公 司 能 重 新 利 用 现 成 的 SQL 技 能, 提 高 开 发 者 的 产 出 在 Hadoop HBase 的 功 能 基 础 上, 增 加 ACID( 原 子 一 致 孤 立 和 持 久 ) 的 事 务 型 保 障, 保 证 数 据 在 多 行 多 表 和 多 SQL 语 句 之 间 的 一 致 性 支 持 跨 数 据 中 心 的 全 面 双 活 分 布 式 事 务 处 理, 以 便 拓 展 读 写 任 务 流, 并 在 灾 后 恢 复 时, 实 现 零 丢 失 ( 仅 限 EsgynDB) 通 过 多 种 优 化, 实 现 低 延 迟 的 读 写 事 务, 以 支 持 事 务 型 SQL 任 务 流 的 高 并 发 和 快 速 响 应 需 求 具 有 高 级 的 并 发 数 据 库 引 擎 功 能, 支 持 高 并 发 和 吞 吐 量 的 复 杂 的 报 表 查 询 让 上 层 应 用 程 序 能 无 缝 JOIN 和 访 问 Trafodion 表 里 的 结 构 化 数 据 和 原 生 HBase 和 HIVE 表 里 的 半 结 构 数 据, 无 需 昂 贵 的 数 据 复 制 或 转 移 开 销 所 有 本 文 提 到 的 HIVE 表 都 指 的 是 登 记 在 HIVE catalog 里 的 文 本 和 序 列 文 件 格 式 目 前 其 他 HIVE 支 持 的 文 件 格 式, 比 如 ORC, 暂 不 支 持 与 新 的 或 现 有 应 用 程 序 及 第 三 方 工 具, 通 过 ODBC 和 JDBC 互 联 无 缝 适 用 于 现 有 IT 环 境, 没 有 供 应 商 锁 定, 对 底 层 Linux 和 Hadoop 发 行 版 保 持 中 立 适 用 的 Hadoop 任 务 流 Hadoop 任 务 流 可 以 大 体 概 括 为 四 类, 如 图 1 所 示 批 量 处 理 型 非 互 动 型 互 动 型 和 运 营 型 它 们 在 响 应 时 间 并 发 量 和 处 理 的 数 据 量 的 要 求 上, 区 别 很 大 市 场 ( 供 应 商 和 客 户 ) 主 要 关 注 左 边 三 类 这 些 类 型 主 要 关 注 于 分 析 型 和 大 数 据 的 BI 处 理 这 些 任 务 流 能 很 好 地 利 用 Hadoop 的 强 项 和 功 能 而 最 右 边 的 运 营 型 任 务 流 是 一 个 正 在 成 长 的 Hadoop 市 场 类 型 传 统 意 义 上, 这 些 任 务 流 是 由 关 系 型 数 据 库 处 理 的 由 于 大 家 觉 得 Hadoop 能 大 大 减 少 成 本, 减 少 供 应 商 锁 定, 和 应 对 更 大 任 务 流 和 数 据 的 无 缝 拓 展, 越 来 越 多 的 注 意 力 和 压 力 都 要 求 在 Hadoop 里 处 理 这 些 任 务 流 这 正 是 Trafodion 的 目 标 任 务 流 让 我 们 接 着 看 看 这 种 任 务 流 的 特 征 和 要 求, 以 便 理 解 Trafodion 如 何 解 决 的 Copyright 2015 上 海 易 鲸 捷 信 息 技 术 有 限 公 司 版 权 所 有. 本 文 所 有 信 息 可 能 修 改, 请 以 最 新 版 本 为 准 本 版 本 2016 年 1 月 Page 1 of 12

事 务 型 SQL 应 用 的 特 征 和 挑 战 图 1 Hadoop 任 务 流 要 求 有 事 务 型 保 障 的 运 营 任 务 流 一 般 认 为 是 关 键 任 务, 因 为 他 们 帮 助 公 司 赚 钱, 接 触 客 户 和 潜 在 客 户, 或 者 帮 助 运 营 公 司 一 般 来 说, 他 们 在 响 应 时 间 ( 一 秒 以 内 ) 交 易 数 据 完 整 性 用 户 数 量 并 发 性 可 用 性 和 数 据 量 等 方 面 都 有 严 格 要 求 随 着 物 联 网 的 发 展, 设 备 数 量 和 种 类 都 带 来 了 极 大 的 事 务 和 数 据 增 长, 同 时, 所 需 要 捕 捉 和 利 用 的 数 据 类 型 也 随 着 这 些 事 务 而 发 生 改 变 下 一 代 运 营 型 应 用 常 常 需 要 多 种 结 构 的 数 据 种 类, 这 也 暗 示 了 运 营 型 数 据 正 在 快 速 演 化, 将 包 含 一 系 列 的 数 据 结 构 和 数 据 类 型, 比 如 事 务 型 结 构 化 数 据 和 文 本 消 息 评 论 图 像 等 相 结 合 结 合 起 来, 这 些 要 求 将 Hadoop 的 局 限 性 逐 渐 暴 露, 比 如 事 务 型 支 持 即 使 在 灾 难 情 况 下 的 事 务 零 丢 失 全 面 坚 固 的 数 据 完 整 性 一 秒 以 内 的 响 应 时 间 运 营 型 查 询 优 化 和 管 理 一 系 列 并 发 执 行 中 的 不 同 优 先 级 的 事 务 型 任 务 流 EsgynDB 弥 补 了 这 些 缺 陷, 因 此 提 供 了 一 个 数 据 库 管 理 系 统, 来 服 务 这 些 应 用 和 他 们 的 数 据 建 立 在 Hadoop 软 件 栈 上 的 EsgynDB 创 新 EsgynDB 建 立 在 Trafodion 上, 因 此 也 建 立 于 Apache Hadoop 和 HBase 的 核 心 模 块 之 上, 并 加 以 利 用 由 Trafodion 驱 动 的 运 营 型 应 用 透 明 地 获 取 Hadoop 的 各 种 优 势, 包 括 划 算 的 性 能 可 扩 展 型 弹 性 和 可 用 性 等 等 图 二 描 述 了 Hadoop 软 件 栈 的 一 部 分 橙 色 部 分 由 Trafodion 利 用, 如 HBase HDFS 和 Zookeeper Trafodion 增 加 了 ODBC/JDBC 驱 动 器 ( 绿 色 部 分 ) Trafodion 数 据 库 和 一 个 崭 新 的 事 务 管 理 系 统 (DTM), 为 多 个 HBase Region 提 供 事 务 型 保 障 通 过 标 准 API 接 口,Trafodion 和 Hadoop 服 务 不 依 赖 于 Hadoop 发 行 版, 消 除 了 供 应 商 锁 定, 为 客 户 提 供 了 一 系 列 的 可 选 厂 家 起 初,Trafodion 是 为 了 在 Hadoop 基 础 上 提 供 以 下 领 域 的 创 新 : 实 现 完 整 的 ANSI SQL, 其 数 据 库 服 务 可 以 通 过 标 准 ODBC/JDBC 连 接 访 问 基 于 SQL 的 关 系 型 结 构 抽 象, 让 Trafodion 看 起 来 用 起 来 都 像 其 他 的 关 系 型 数 据 库 分 布 式 ACID 事 务 型 保 护 EsgynDB 提 供 跨 数 据 中 心 的 全 面 双 活 分 布 式 事 务 支 持, 使 读 写 操 作 具 有 扩 展 性, 并 支 持 本 地 访 问, 合 乎 安 全 港 (Safe Habor) 规 则, 灾 后 零 损 失 对 于 读 写 并 存 的 事 务 型 处 理, 优 秀 的 响 应 时 间 对 并 发 的 事 务 型 和 运 营 型 报 表 任 务 流, 同 时 进 行 优 化 Copyright 2015 上 海 易 鲸 捷 信 息 技 术 有 限 公 司 版 权 所 有. 本 文 所 有 信 息 可 能 修 改, 请 以 最 新 版 本 为 准 本 版 本 2016 年 1 月 Page 2 of 12

图 1. Trafodion, EsgynDB 和 Hadoop 生 态 圈 利 用 HBase 的 性 能 拓 展 性 和 可 用 性 如 前 所 述,Trafodion 可 以 利 用 所 有 HBase 的 特 点 和 优 势, 包 括 并 行 性 基 本 上 无 限 的 扩 展 性 弹 性 和 可 用 性 的 保 障 对 于 支 持 生 产 环 境 下 的 运 营 型 任 务 流, 这 些 特 点 至 关 重 要 比 如 : 通 过 标 准 HBase 服 务, 比 如 将 Trafodion 表 autosharding 到 多 个 region 和 region server 上, 实 现 更 微 观 更 小 颗 粒 的 负 载 均 衡, 可 拓 展 性 和 高 并 行 性 能 通 过 标 准 Hadoop 和 HBase 服 务, 比 如 复 制 和 快 照 (snapshots), 当 服 务 器 或 磁 盘 损 坏 或 失 控 时, 保 证 数 据 可 用 性 和 恢 复 EsgynDB 将 Trafodion 提 供 的 这 些 功 能 继 续 延 伸, 能 支 持 全 面 的 跨 数 据 中 心 的 ACID 分 布 式 读 写 这 样 可 以 将 读 写 在 多 个 集 群 拓 展, 将 数 据 按 本 地 访 问 和 安 全 港 (safe harbor) 规 则 分 布, 并 保 证 灾 难 时 事 务 零 丢 失 Trafodion 可 以 透 明 地 利 用 Hadoop 商 用 发 行 版 ( 如 Cloudera 和 Hortonworks 等 ) 的 各 种 特 点 和 功 能, 能 通 过 原 生 的 HBase API 访 问 这 些 商 用 服 务 它 和 HBase 的 filter 及 协 处 理 器 集 成, 来 提 供 极 高 性 能 的 数 据 库 修 改 和 查 询, 以 及 分 布 式 事 务 支 持 Trafodion 表 还 可 利 用 压 缩 版 本 化 (versioning) 和 表 格 (cell) 层 面 的 安 全 等 强 大 特 点 EsgynDB 创 新 在 原 生 HBase 基 础 上 的 提 高 和 改 善 虽 然 Trafodion 将 数 据 库 对 象 存 在 HBase/HDFS 存 储 结 构 里, 它 和 原 生 HBase 不 同, 并 提 供 诸 多 改 善 和 提 高 : 在 HBase 基 础 上 提 供 了 关 系 型 结 构 抽 象, 用 户 可 以 利 用 已 知 和 经 充 分 测 试 的 关 系 型 设 计 方 法 和 SQL 编 程 技 术 从 物 理 构 架 的 角 度 来 看,Trafodion 使 用 标 准 的 HBase 存 储 结 构 ( 列 族 存 储 的 key-value 对 ) 来 存 储 和 访 问 对 象 它 利 用 HBase 多 个 column family 支 持, 将 访 问 或 更 新 较 多 的 列, 和 较 少 分 开, 或 者 将 大 的 不 常 访 问 的 列 放 进 他 们 自 己 的 column family Trafodion 利 用 了 列 名 编 码 系 统, 来 节 省 磁 盘 空 间 和 信 息 交 换 开 销, 来 进 一 步 提 高 SQL 性 能 当 插 入 和 修 改 数 据 内 容 时,Trafodion 将 为 所 定 义 的 列, 分 配 Trafodion 所 支 持 的 数 据 类 型, 而 原 厂 HBase 仅 将 数 据 作 为 原 始 Byte 数 组 存 储 不 仅 大 大 提 高 了 数 据 质 量 和 完 整 性, 而 且 无 需 应 用 逻 辑 去 解 释 数 据 内 容 Trafodion 提 供 一 个 一 对 一 映 射 选 项 (Aligned Format) 一 个 逻 辑 关 系 元 组 ( 或 行 )(Logical Relational Tuple) 的 所 有 列 值, 都 可 存 储 成 一 个 HBase 列 值, 因 此 将 一 个 逻 辑 行 映 射 成 一 个 HBase 的 值 对 于 低 频 率 的 update 加 高 频 率 查 询 的 任 务 流, 访 问 含 有 大 量 列 的 表, 这 一 措 施 将 大 大 提 高 性 能 Trafodion 将 ACID 保 护 扩 展 到 跨 越 多 个 SQL 语 句, 多 表, 多 行 的 应 用 程 序 所 定 义 的 事 务 操 作, 而 原 厂 HBase 仅 在 行 级 别 提 供 ACID 事 务 型 保 护 当 出 现 事 务 操 作 仅 仅 部 分 完 成 时, 这 一 特 点 为 数 据 库 提 供 保 护, 大 大 地 提 高 了 数 据 库 完 整 性, 比 如, 要 么 完 整 的 事 务 型 操 作 全 部 物 化 到 数 据 库 里, 要 么 全 部 无 效 Copyright 2015 上 海 易 鲸 捷 信 息 技 术 有 限 公 司 版 权 所 有. 本 文 所 有 信 息 可 能 修 改, 请 以 最 新 版 本 为 准 本 版 本 2016 年 1 月 Page 3 of 12

EsgynDB 将 这 些 Trafodion 的 功 能 继 续 延 伸, 让 用 户 可 以 指 定 一 个 表, 将 其 复 制 到 指 定 的 几 个 数 据 中 心 作 为 事 务 操 作 的 一 部 分, 跨 数 据 中 心 的 分 布 式 事 务 管 理 保 证 数 据 同 步 并 行 地 写 入 其 他 数 据 中 心, 即 使 在 灾 难 情 况 下, 也 能 以 极 低 性 能 开 销 保 证 事 务 提 交 的 数 据 零 丢 失 相 比 之 下,HBASE 在 行 级 别 的 事 务 数 据 提 交 之 前, 异 步 复 制 写 操 作, 无 法 确 保 事 务 零 丢 失 Trafodion s API 是 ANSI SQL, 为 大 家 熟 悉 和 常 用, 方 便 公 司 利 用 现 成 的 SQL 知 识 技 能 和 工 具 相 比 之 下 HBase 的 原 生 API 层 面 比 较 低, 不 是 常 用 的 编 程 API Trafodion 支 持 常 用 的 关 系 型 用 法, 主 键 可 以 是 由 几 个 列 组 成 的 复 合 键, 而 HBase 只 能 提 供 由 单 BYTE 数 组 组 成 的 键 Trafodion 支 持 二 级 索 引, 用 非 行 键 (Row Key) 的 列 值 访 问 某 行 时, 可 提 升 事 务 型 处 理 性 能 ACID 事 务 型 支 持 保 障 了 索 引 和 对 应 表 的 一 致 性 原 厂 HBase 不 提 供 这 些 功 能 行 键 的 Salting 众 所 周 知, 对 事 务 型 任 务 流, 按 行 键 的 顺 序, 向 表 里 插 入 数 据 时, HBase 会 有 问 题 所 有 I/O 都 将 集 中 于 单 一 的 HBase Region, 因 此 造 成 服 务 器 和 磁 盘 热 点, 和 性 能 瓶 颈 为 减 轻 这 一 问 题,Trafodion 提 供 了 一 个 新 的 功 能, 叫 做 行 键 的 Salting DBA 可 以 在 建 表 时, 写 明 哪 张 表 需 要 分 区 ( 即 region) 的 数 量, 比 如 用 SALT USING 4 PARTITIONS. Trafodion 创 建 表 时, 会 按 Salt 值 创 建 region 的 个 数 并 创 建 一 个 内 部 列, 存 Hash 值 : 在 行 键 前 加 _SALT_ 前 缀 Salting 由 Trafodion 自 动 处 理, 对 应 用 程 序 编 写 的 SQL 语 句 透 明 向 表 里 插 入 数 据 时,Trafodion 计 算 salt 值, 并 将 insert 转 到 相 应 region 同 样, 从 表 里 取 数 据 时,Trafodion 计 算 salt 值, 如 果 可 行, 就 自 动 产 生 范 围 判 断 (Predicates) MDAM 技 术 ( 请 见 事 务 型 SQL 任 务 流 的 优 化 ) 让 这 一 操 作 更 加 高 效 这 一 操 作 的 开 销 很 小, 因 此 对 直 接 行 键 访 问 操 作 的 影 响 很 小 Salting 可 以 帮 你 将 数 据 更 均 匀 地 分 布 在 多 个 region, 通 过 消 除 热 点, 提 高 性 能 EsgynDB 将 这 一 Trafodion 功 能 进 一 步 扩 展, 可 将 多 个 salt 键 映 射 到 同 一 个 region 里 当 集 群 增 大 时, 这 方 便 了 将 HBase Region 里 的 数 据 进 一 步 分 散 数 据 分 布 到 更 多 节 点, 在 salt 值 的 交 界 处, 来 重 新 平 衡 集 群 里 的 I/O 将 足 够 多 的 值 映 射 到 一 个 region, 以 保 证 今 后 集 群 的 多 次 扩 展 除 了 用 SALT 之 外,EsgynDB 增 加 了 Split By, 可 明 确 地 为 每 个 Region 指 定 用 来 将 数 据 分 散 到 HBase Region 的 列 这 等 同 于 对 于 跨 Partition 边 界 的 表 进 行 Range Partition, 而 SALT 提 供 的 只 是 Hash Partition 的 方 向 因 此,Trafodion 和 功 能 加 以 延 伸 的 EsgynDB, 包 括 了 一 系 列 在 原 厂 HBase 基 础 上 的 改 善, 以 提 高 事 务 型 性 能, 数 据 完 整 性 和 DBA/ 开 发 者 的 生 产 效 率, 并 通 过 使 用 标 准 的 人 们 熟 悉 的 关 系 型 做 法 和 API, 降 低 应 用 程 序 的 复 杂 度 EsgynDB 特 点 概 况 让 我 们 从 较 高 层 面 看 看 Trafodion 的 特 点 下 面 各 节 将 对 每 个 特 点 深 入 展 开 Trafodion 包 括 : 一 个 企 业 级 SQL 数 据 库 管 理 系 统, 提 供 你 能 想 到 的, 市 场 上 企 业 级 关 系 型 数 据 库 产 品 的 所 有 特 点 区 别 在 于, Trafodion 利 用 Hadoop 服 务, 即 HBase/HDFS 来 实 现 弹 性 扩 展, 低 拥 有 成 本, 和 HDFS 半 结 构 及 非 结 构 化 数 据 集 成, 并 减 少 数 据 在 各 种 专 用 运 营 系 统 之 间, 以 及 要 用 到 该 数 据 的 Hadoop 任 务 流 之 间 的 延 迟 和 复 制 功 能 全 面 的 ANSI SQL 语 言, 支 持 数 据 定 义 (Data Definition) 数 据 操 作 (Data Manipulation) 事 务 控 制 (TCL) 和 数 据 库 工 具 包 括 基 于 时 间 的 数 据 集 群 化, 参 照 完 整 性 (Referencial Integrity), 存 储 过 程 (Stored Procedures) 用 户 定 义 函 数 (UDF) 以 及 更 多 Linux 和 Windows ODBC/JDBC 驱 动 器. 和 Hibernate 集 成, 为 方 便 用 户 利 用 对 象 模 型 进 行 程 序 开 发, 支 持 ORM 应 用 程 序 开 发 ORM 模 型 实 体 建 立 在 真 实 的 业 务 概 念 上, 而 不 是 基 于 数 据 库 结 构, 因 此 应 用 开 发 更 加 方 便 分 布 式 事 务 管 理 保 障,EsgynDB 提 供 了 跨 数 据 中 心 双 活 支 持 许 多 SQL 优 化, 以 提 高 运 营 和 报 表 任 务 流 的 性 能 继 承 并 延 展 了 Hadoop 的 优 点, 让 我 们 一 起 近 距 离 了 解 这 些 特 点 Copyright 2015 上 海 易 鲸 捷 信 息 技 术 有 限 公 司 版 权 所 有. 本 文 所 有 信 息 可 能 修 改, 请 以 最 新 版 本 为 准 本 版 本 2016 年 1 月 Page 4 of 12

全 面 实 现 ANSI SQL 的 各 项 功 能 和 许 多 ( 也 许 是 所 有 )NoSQL 和 其 他 SQL-On-Hadoop 产 品 不 同,Trafodion 提 供 了 综 合 的 ANSI SQL 语 言 支 持, 包 括 DDL(Data Definition), 数 据 操 作 (DML), 事 务 控 制 (TCL) 和 数 据 库 工 具 Trafodion 能 够 创 建 和 管 理 传 统 关 系 型 数 据 库 对 象, 包 括 表 视 图 二 级 索 引 条 件 约 束 (Check constraints), 唯 一 约 束 constraints(unique constraints), 参 照 完 整 性 约 束 (Referential Integrity constraints) 包 括 自 我 参 照 的 外 键 (self-referential foreign keys), 能 确 保 上 下 级 之 间 关 系 的 一 致 性, 比 如 分 配 给 一 个 雇 员 的 经 理, 确 实 作 为 另 一 个 雇 员 存 在 原 厂 HBase 是 schemaless, 需 要 应 用 程 序 自 己 确 保 关 系 之 间 的 关 联 和 一 致 可 将 Trafodion 支 持 的 数 据 类 型 分 配 给 列 ( 表 属 性 ), 包 括 数, 字 符,varchar, 日 期, 时 间, 时 间 间 隔 等 等 对 用 户 数 据 和 数 据 库 Metadata, 通 过 Unicode 编 码 如 UTF-8,UCS2 和 ISO 8859-1 实 现 国 际 标 准 (I18N) 不 同 数 据 编 码 之 间 的 比 较 和 操 作, 由 潜 在 的 转 换 和 翻 译, 透 明 地 实 现 Trafodion 支 持 综 合 且 标 准 的 SQL 数 据 操 作, 支 持 SELECT, INSERT, UPDATE, DELETE 和 UPSERT/MERGE 语 法, 并 提 供 不 同 方 式 的 join union where 聚 合 (GROUP BY 和 HAVING) 排 序 取 样 相 关 和 嵌 套 子 查 询 游 标 和 很 多 SQL 函 数 各 种 数 据 库 工 具, 包 括 : 表 的 统 计 更 新, 供 优 化 器 做 多 种 成 本 计 划 ( 选 择 性 / 数 据 分 散 程 度 预 估 ); 展 现 所 用 的 SQL 执 行 计 划, 计 划 的 变 化, 和 一 个 命 令 行 工 具, 来 和 数 据 库 引 擎 对 话 提 供 了 直 接 的 控 制 语 句, 方 便 应 用 程 序 定 义 事 务 边 界, 在 有 保 障 的 时 候, 退 出 事 务 实 现 了 ANSI 的 GRANT/REVOKE, 在 列 级 别, 定 义 管 理 和 访 问 数 据 库 对 象 的 用 户 和 角 色 权 限 分 块 (Divisioning) Trafodion 同 时 支 持 一 个 叫 做 分 块 的 概 念 用 来 根 据 一 个 表 达 式 产 生 一 个 列, 比 如 根 据 表 里 的 日 期 列 或 时 间 戳 列, 产 生 月, 从 而 将 和 相 关 时 间 周 期, 比 如 月 的 数 据, 聚 成 region 或 Salt 分 区 里 的 一 个 小 群 这 一 列 在 salt 键 列 (Salt Key Row) 之 后 这 样 能 将 数 据 按 某 种 常 查 询 的 时 间 周 期 放 在 一 起, 方 便 按 此 时 间 周 期 快 速 查 找 访 问 同 时 方 便 删 除 过 期 的 数 据 在 Salt 和 分 块 列 的 帮 助 下,MDAM 访 问 技 术 ( 详 情 见 下 文 ) 更 加 确 保 对 关 键 列 的 快 速 访 问 存 储 过 程 (Stored Procedures) Trafodion 支 持 JAVA 存 储 过 程 (SPJ), 用 户 可 以 在 服 务 器 上 运 行 用 Java 编 写 的 运 营 或 分 析 型 过 程, 供 用 户 程 序 调 用 对 于 需 要 执 行 多 个 SQL 语 句, 且 每 个 语 句 都 需 要 在 用 户 和 服 务 器 端 交 换 数 据 的 过 程, 通 过 存 储 过 程 将 处 理 放 在 服 务 器 端, 更 加 高 效 Oracle PL/SQL 和 ANSI SQL 的 存 储 过 程 都 能 转 化 为 SPJ 用 户 定 义 函 数 (UDF) 和 其 他 功 能 全 面 的 数 据 库 管 理 系 统 一 样,Trafodion 支 持 用 户 定 义 函 数, 即 UDF 除 了 支 持 C++ 和 Java 的 UDF 之 外,Trafodion 支 持 表 映 射 UDF, 即 TMUDF, 方 便 用 户 编 写 Map/Reduce 风 格 的 算 法 ANSI 有 一 个 和 此 概 念 类 似 的 标 准 化 提 案 :Polymorphic 多 态 表 函 数 ( 或 PTF) 这 些 都 是 很 有 用 的 UDF, 既 可 以 处 理 表, 也 可 以 处 理 数 据 流, 还 可 以 返 回 元 组, 而 不 只 是 像 普 通 UDF 一 样 返 回 Scalar 值 同 时, 调 用 这 些 UDF 之 后, 他 们 还 可 以 返 回 动 态 的 列 集 所 得 到 的 行, 可 以 作 为 一 个 表 或 查 询 里 嵌 套 的 子 查 询 这 些 功 能 可 用 来 集 成 Hadoop 生 态 圈 里 的 其 他 解 决 方 案, 比 如 Kafka 的 数 据 流 式 处 理, 访 问 Spark RDD 的 内 存 数 据, 用 SOLR 实 现 全 文 本 查 询, 连 接 到 任 何 JDBC 数 据 源 获 取 数 据, 甚 至 创 建 删 除 搜 索 和 读 取 MongoDB 的 文 档 加 载 工 具 Trafodion 提 供 高 速 批 量 加 载, 利 用 HBase 批 量 加 载 功 能, 将 HDFS 文 本 文 件 直 接 加 载 到 Trafodion 里 该 工 具 可 以 用 于 有 索 引 的 表, 并 提 供 出 错 处 理 功 能 同 时 还 有 一 个 快 速 并 行 加 载 工 具, 叫 做 ODB, 可 以 直 接 且 并 行 地 从 其 他 关 系 型 数 据 库 加 载 数 据 到 Trafodion 大 多 ETL 工 具 比 如 Pentaho, 可 用 ODBC 或 JDBC 连 接 到 数 据 库, 即 可 用 于 Trafodion 可 管 理 性 EsgynDB 提 供 数 据 库 管 理 工 具, 包 括 以 下 功 能 : 任 务 流 可 视 化 管 控 查 看 运 行 中 的 查 询 和 查 询 统 计 数 据, 了 解 哪 些 查 询 正 在 影 响 任 务 流 的 性 能 当 一 个 查 询 影 响 其 他 系 统 里 的 任 务 流 时, 将 其 取 消 查 询 的 历 史 统 计 信 息 和 查 询 计 划 (Query Plan), 用 以 事 后 深 入 分 析, 查 找 影 响 性 能 的 缘 由, 以 便 采 取 改 善 措 施, 或 用 以 规 划 硬 件 资 源 处 理 能 力 的 提 升, 以 改 善 SLA 服 务 水 准 或 满 足 成 长 需 要 Copyright 2015 上 海 易 鲸 捷 信 息 技 术 有 限 公 司 版 权 所 有. 本 文 所 有 信 息 可 能 修 改, 请 以 最 新 版 本 为 准 本 版 本 2016 年 1 月 Page 5 of 12

查 询 工 作 台, 可 执 行 ad hoc 随 机 查 询, 和 分 析 查 询 计 划, 以 便 未 来 更 优 化 地 执 行 系 统 监 控 和 健 康 检 查 显 示 核 心 子 系 统 状 态 的 仪 表 盘, 比 如 运 行 中 或 未 运 行 的 已 配 置 进 程 和 节 点, 以 便 及 时 采 取 措 施 来 解 决 故 障 以 时 序 的 方 式, 对 事 务 计 数 (aborts/commits/begins), 了 解 事 务 处 理 性 能 随 时 间 的 变 化 和 增 长, 或 当 事 务 处 理 中 abort 增 加 时, 采 取 措 施 查 看 所 有 可 用 的 连 接 服 务 器 和 已 连 接 的 会 话, 来 监 控 哪 些 应 用 程 序 和 用 户 正 处 于 连 接 状 态, 并 评 估 系 统 健 康 状 况, 和 对 用 户 和 应 用 程 序 是 否 可 用 探 查 (Canary) 时 间 的 时 序 处 理 : 每 5 分 钟 运 行 一 次 探 查 查 询, 来 检 查 扫 描 写 的 次 数, 并 评 估 系 统 性 能 如 果 响 应 时 间 围 绕 合 理 值 的 波 动 超 过 某 门 限, 也 许 表 明 系 统 性 能 的 下 降, 可 通 知 用 户 采 取 措 施 加 以 改 善 关 键 系 统 指 标, 包 括 IO 等 待 时 间,HBase Region Server 内 存 使 用 情 况, 磁 盘 使 用 情 况 和 垃 圾 收 集 时 间, 并 标 注 在 时 序 图 上 可 用 来 分 析 系 统 运 行 中 的 性 能, 或 从 历 史 角 度, 发 现 问 题, 采 取 措 施, 或 为 增 长 进 行 容 量 规 划, 特 别 是 部 署 新 应 用 时 当 指 标 超 过 阀 值 时, 进 行 Email 或 HTTP 报 警 当 波 动 偏 离 正 常 状 态, 并 需 引 起 重 视 时, 可 以 即 刻 由 相 关 人 员 加 以 处 理 查 看 所 有 EsgynDB 组 件 的 事 件 日 志, 用 于 事 后 深 入 总 结, 了 解 出 错 区 域, 甚 至 监 查 违 反 安 全 的 操 作 其 他 功 能 对 于 所 有 SQL 管 理 功 能 的 数 据 库 授 权, 来 保 证 正 确 的 用 户 能 安 全 地 访 问 相 应 管 理 功 能 管 理 架 构 的 一 致 性 和 高 可 用 性, 当 系 统 承 压 时 或 被 某 故 障 所 影 响 时, 管 理 体 系 仍 能 分 析 问 题, 并 采 取 措 施 通 过 REST 服 务 器 来 自 动 处 理 或 提 示 操 作, 提 供 方 便 用 户 将 管 理 环 境 集 成 入 他 们 自 己 的 管 理 部 署, 或 自 动 处 理 管 理 任 务 EsgynDB 软 件 架 构 概 况 Trafodion 软 件 架 构 包 括 三 层 : 用 户 层 SQL 数 据 库 服 务 层 和 存 储 引 擎 层 ( 见 图 三 ) 图 2. Trafodion 的 三 层 软 件 架 构 运 营 应 用 程 序 存 在 于 第 一 层 : 用 户 服 务 层 运 营 应 用 程 序 既 可 以 是 用 户 自 行 开 发 的, 也 可 以 是 第 三 方 ISV 工 具 或 应 用 程 序 可 通 过 标 准 ODBC/JDBC 接 口 和 Trafodion 提 供 的 Windows 或 Linux 驱 动, 访 问 Trafodion 数 据 库 服 务 层 支 持 第 2 和 第 4 类 型 的 JDBC 驱 动 器, 可 按 照 应 用 程 序 对 响 应 时 间 连 接 数 量 安 全 和 其 他 要 求 而 选 择 EsgynDB 同 时 提 供 了 ADO.net 驱 动 器 Trafodion 数 据 库 服 务 构 成 了 第 二 层 : SQL 层 该 层 封 装 了 管 理 Trafodion 数 据 库 对 象 的 所 有 服 务, 并 高 效 地 执 行 SQL 数 据 库 请 求 服 务 包 括 : 连 接 管 理 SQL 语 句 编 译 和 产 生 经 优 化 的 执 行 计 划, 对 Trafodion 数 据 库 对 象 的 Copyright 2015 上 海 易 鲸 捷 信 息 技 术 有 限 公 司 版 权 所 有. 本 文 所 有 信 息 可 能 修 改, 请 以 最 新 版 本 为 准 本 版 本 2016 年 1 月 Page 6 of 12

SQL 执 行 ( 并 行 或 非 并 行 ), 事 务 管 理 和 任 务 流 管 理 Trafodion 保 障 透 明 的 并 行 SQL 执 行, 因 此 无 需 复 杂 的 Map-reduce 开 发 由 Trafodion 所 使 用 的 标 准 Hadoop 服 务, 包 括 HBase, HDFS 和 Zookeeper 组 成 了 第 三 层 : 存 储 引 擎 层 Trafodion 数 据 库 对 象 存 在 原 生 的 Hadoop(HBase/HDFS) 的 数 据 库 结 构 里 Trafodion 帮 运 营 型 应 用 程 序 将 SQL 请 求 透 明 地 映 射 成 原 生 的 HBase 调 用 Trafodion 提 供 了 建 立 在 HBase 上 的 关 系 型 结 构 的 抽 象 因 此 能 用 人 们 熟 悉 的 DDL/DML 语 句 来 支 持 传 统 关 系 型 数 据 库 对 象 ( 表 视 图 和 二 级 索 引 ), 提 供 对 象 命 名 列 定 义 和 支 持 不 同 的 数 据 类 型 等 等 集 成 原 生 的 Hive 和 HBase 数 据 存 储 Trafodion 最 强 大 的 功 能 之 一 是 广 泛 地 支 持 原 生 Hive 和 HBase 表 ( 非 Trafodion 表 ) 的 结 构 型 和 半 结 构 型 数 据, 并 保 持 这 些 数 据 的 格 式 不 变, 并 使 用 他 们 的 数 据 存 储 引 擎 这 样 做 的 好 处 在 于 : 能 够 在 原 生 HBase 或 Hive 表 上 直 接 查 询, 无 需 拷 贝 成 Trafodion 表 ; 能 更 新 Trafodion 表 和 原 生 HBase 表, 在 同 一 事 务 里, 对 这 两 种 表 提 供 全 面 ACID 事 务 型 保 障 不 管 有 多 少 行 或 多 少 SQL 语 句, 要 么 全 部 成 功, 要 么 全 部 撤 销 对 HBase 和 Hive 表 的 优 化 访 问 能 对 不 同 数 据 源 ( 比 如 Trafodion Hive 或 HBase) 做 JOIN 充 分 利 用 HBase 本 身 的 结 构 灵 活 的 特 点 增 加 或 删 除 一 列, 仅 需 更 新 Trafodion 元 数 据 (metadata), 而 无 需 重 新 载 入 相 应 数 据 Trafodion 的 过 程 概 况 和 SQL 执 行 流 程 Trafodion SQL 层 包 括 一 系 列 的 服 务 和 进 程, 来 处 理 连 接 请 求 和 SQL 执 行 由 运 营 型 应 用 程 序 或 第 三 方 工 具 开 始 Windows 或 Linux 用 户 端 通 过 ODBC/JDBC 驱 动 程 序 访 问 Trafodion 数 据 库 管 理 系 统 当 用 户 端 请 求 连 接 时,Trafodion 的 数 据 库 连 接 服 务 (DCS) 处 理 该 请 求, 并 分 配 一 个 连 接 给 Trafodion 主 SQL 进 程 Trafodion 用 Zookeeper 来 协 调 和 管 理 跨 集 群 的 分 布 式 连 接 服 务, 并 实 现 负 载 均 衡, 同 时 保 证 所 分 配 的 主 进 程 故 障 时, 用 户 端 可 以 立 即 重 新 连 接 主 进 程 协 调 用 户 程 序 传 来 的 SQL 语 句 的 执 行 主 进 程 调 用 编 译 和 优 化 进 程 (CMP) 来 分 解 编 译 并 产 生 经 优 化 的 SQL 语 句 执 行 计 划 如 果 经 优 化 的 执 行 计 划 需 要 并 行 执 行, 主 进 程 将 任 务 分 切 并 安 排 给 执 行 服 务 器 进 程 (Executor Server Processes (ESP)) 来 代 表 主 进 程 并 行 执 行 结 果 传 回 主 进 程, 进 行 组 合 对 于 复 杂 的 查 询 ( 比 如 N 表 join 或 聚 合 (aggregation)), 可 请 求 多 层 ESP 如 果 创 建 的 是 非 并 行 执 行 计 划, 主 进 程 就 直 接 调 用 HBase 服 务, 来 实 现 最 佳 性 能 对 于 分 布 式 事 务 保 障, 通 过 调 用 Trafodion DTM 服 务 来 保 证 跨 Hadoop 集 群 的 ACID 事 务 保 障 DTM 通 过 深 度 与 HBase 集 成, 执 行 这 些 可 能 跨 多 个 region server 的 事 务, 由 协 处 理 器 来 管 理 事 务 上 下 文 环 境, 检 测 事 务 冲 突, 写 事 务 数 据 和 执 行 事 务 恢 复 最 后, 主 进 程 或 ESP 进 程 通 过 标 准 或 原 生 API, 调 用 原 厂 HBase 和 HDFS 服 务 来 完 成 I/O 请 求, 比 如 读 取 和 维 护 数 据 库 对 象 在 恰 当 的 时 候,Trafodion 通 过 Filter 或 协 处 理 器, 将 SQL 的 执 行 下 推 至 HBase 层 优 化 器 技 术 和 其 他 SQL-On-Hadoop 项 目 或 产 品 相 比, 优 化 器 技 术 是 Trafodion 最 强 大 的 优 势 之 一 包 括 两 大 主 要 领 域 : 一 是 该 优 化 器 很 强 的 延 展 性, 能 适 应 变 化, 并 加 以 改 进 ; 二 是 在 选 择 最 佳 优 化 执 行 方 案 时, 该 优 化 器 的 领 先 和 成 熟 程 度 Copyright 2015 上 海 易 鲸 捷 信 息 技 术 有 限 公 司 版 权 所 有. 本 文 所 有 信 息 可 能 修 改, 请 以 最 新 版 本 为 准 本 版 本 2016 年 1 月 Page 7 of 12

弹 性 强 的 优 化 器 技 术 Trafodion 的 优 化 器 基 于 Cascades 优 化 框 架 Cascades 被 认 为 是 业 界 最 先 进 和 弹 性 强 的 一 种 优 化 器 框 架, 该 框 架 是 一 个 混 合 型 优 化 引 擎, 包 括 逻 辑 和 物 理 的 操 作 子 (operator) 变 换 法 则 和 开 销 模 型, 用 以 产 生 Trafodion 优 化 器 可 以 方 便 地 增 加 新 的 规 则 或 开 销 模 型, 或 加 以 修 改, 来 产 生 更 好 的 优 化 器 这 样, 优 化 器 可 以 很 快 地 进 化, 很 快 地 增 加 或 修 改 操 作 子 (operator), 来 创 建 更 好 的 SQL 优 化 计 划 基 于 统 计 的 优 化 执 行 方 案 先 进 性 和 成 熟 程 度 是 Trafodion 优 化 器 的 第 二 大 优 势 让 我 们 先 解 释 一 下 优 化 器 不 同 部 件 的 角 色 : SQL 规 范 器 (Normalizer) 经 解 析 的 SQL 语 句 传 递 到 规 范 器, 来 进 行 无 条 件 的 转 换, 包 括 转 化 子 查 询 将 SQL 转 化 为 由 一 系 列 经 典 形 态 (canonical form), 以 便 能 够 进 一 步 内 部 优 化 SQL 分 析 器 分 析 不 同 的 join 连 接 规 律, 表 访 问 路 径 和 方 法, 对 应 分 区 的 信 息 等 等, 提 供 给 优 化 器 的 规 则 所 用 将 结 果 传 给 执 行 计 划 发 生 器, 用 来 衡 量 不 同 计 划 的 开 销 表 的 统 计 信 息 捕 捉 到 的 等 高 直 方 图 统 计 信 息 标 明 了 列 数 据 的 分 布 和 列 间 相 关 关 系 对 于 大 表, 进 行 取 样, 以 减 小 计 算 统 计 信 息 的 开 销 数 据 分 布 分 析 器 计 算 数 据 分 散 程 度, 数 据 倾 斜 和 直 方 图, 获 取 运 算 子 树 上 (operator tree) 的 所 有 中 间 结 果 开 销 估 算 器 在 运 算 子 层 面, 估 算 每 个 运 算 子 (operator) 的 节 点 I/O 和 信 息 开 销, 并 考 虑 数 据 倾 斜 的 影 响 执 行 计 划 发 生 器 通 过 计 算 开 销, 优 化 器 衡 量 不 同 执 行 计 划, 并 选 择 开 销 最 小 的 在 可 行 的 情 况 下, 优 化 器 选 择 的 执 行 计 划, 会 结 合 SQL 下 推 ( 译 者 : 比 如 在 更 早 或 更 底 层 的 执 行 步 骤 里 执 行, 以 缩 小 结 果 集, 降 低 执 行 成 本 ), 消 除 排 序, 并 衡 量 在 内 存 处 理 还 是 溢 出 至 磁 盘 等 因 素 同 时, 它 会 确 定 最 佳 的 并 行 度, 比 如 无 需 并 行 总 之, 优 化 器 会 选 择 相 应 的 执 行 计 划, 即 能 减 小 系 统 资 源 占 用, 而 且 能 提 供 最 佳 的 响 应 时 间, 为 运 营 型 事 务 处 理 和 报 表 任 务 流, 都 提 供 了 优 化 优 化 器 独 有 的 功 能 大 范 围 规 则 其 他 数 据 库 也 有 采 用 Cascades 框 架 的 但 Cascades 会 带 来 较 长 编 译 时 间, 因 为 找 寻 复 杂 查 询 的 最 优 执 行 计 划 时, 搜 索 空 间 比 较 大 有 的 优 化 器 使 用 规 则 或 经 验 法 则 (heuristics) 来 缩 小 搜 索 空 间 对 此,Trafodion 有 个 不 同 的 功 能 : 大 范 围 规 则 它 先 检 查 查 询 的 规 律, 用 这 些 规 律 能 大 大 缩 减 搜 索 空 间 比 如, 如 果 一 系 列 的 小 维 度 表 (dimension table) 和 事 实 表 (fact table) 做 Join, 大 多 数 优 化 器 会 偏 向 于 对 事 实 表 做 全 表 扫 描, 然 后 和 这 些 维 度 表 逐 个 做 Hash Join Trafodion 则 会 考 虑 先 使 用 范 围 判 断 (predicates), 在 结 果 集 里 做 cross-product join, 最 后 和 事 实 表 做 nested join 这 样 能 快 速 找 到 能 高 效 访 问 事 实 表 的 执 行 方 案 Trafodion 实 施 这 些 技 术 时, 采 用 分 支 定 界 策 略 (branch and bound) 开 始 时, 它 会 用 上 面 的 办 法, 试 着 去 找 一 个 足 够 好 的 方 案, 然 后 如 果 不 能 找 到 更 好 的 方 案 ( 当 它 发 现 结 果 越 来 越 少 ), 就 迅 速 放 弃 搜 索 数 据 倾 斜 的 消 除 并 行 查 询 执 行 中 的 一 个 很 大 问 题 是 数 据 倾 斜 尤 其 是 当 节 点 数 拓 展 到 很 大 时 在 存 储 层 面 可 以 用 好 的 分 区 策 略 解 决, 这 不 是 问 题, 但 在 查 询 操 作 的 层 面, 比 如 做 join 或 聚 合 时, 这 就 是 个 问 题 了 由 于 数 据 倾 斜, 你 的 查 询 可 能 在 100 个 节 点 上 运 行, 而 大 多 数 数 据 都 由 一 个 节 点 ( 或 几 个 节 点 ) 处 理 这 会 造 成 查 询 时 间 极 长, 不 均 匀 地 使 用 集 群 资 源, 会 影 响 到 所 有 并 行 的 查 询 Trafodion 能 够 在 执 行 树 的 每 个 层, 通 过 等 高 直 方 图, 计 算 执 行 树 各 层 的 数 据 分 散 程 度, 监 测 数 据 倾 斜 的 情 况 然 后 通 过 各 种 重 分 区, 广 播 内 部 和 外 部 子 策 略, 对 倾 斜 的 数 据 做 不 同 的 处 理, 来 减 小 倾 斜, 这 样, 保 持 查 询 的 执 行 时 间 最 短, 使 用 最 少 的 系 统 资 源, 不 影 响 并 发 的 其 他 任 务 流 Copyright 2015 上 海 易 鲸 捷 信 息 技 术 有 限 公 司 版 权 所 有. 本 文 所 有 信 息 可 能 修 改, 请 以 最 新 版 本 为 准 本 版 本 2016 年 1 月 Page 8 of 12

自 适 应 的 分 块 Adaptive Segmentation Trafodion 能 针 对 查 询 的 任 一 个 操 作 采 用 不 同 的 并 发 度 使 用 直 方 图 统 计 数 据 来 估 算 所 需 处 理 (join, 聚 合 等 等 ) 的 行 的 分 散 程 度, 并 根 据 此 分 散 程 度 确 定 并 发 度, 进 而 确 定 整 个 查 询 的 并 发 度 比 如, 一 个 集 群 有 100 节 点, 而 某 查 询 和 涉 及 到 的 行 可 能 只 涉 及 到 5 个 节 点 这 不 仅 关 系 到 合 理 地 使 用 系 统 资 源, 比 如 内 存, 计 算 和 信 息 交 换, 和 不 采 用 这 一 方 式 相 比, 还 可 以 同 步 执 行 更 多 的 查 询 如 果 查 询 里 有 数 据 倾 斜, 可 以 通 过 更 少 的 并 发 解 决 和 所 有 节 点 都 参 与 所 有 查 询 的 数 据 库 相 比, 如 果 出 现 节 点 故 障, 这 样 做 不 会 影 响 所 有 查 询 左 面 的 图 片 展 示 了 一 个 128 节 点 的 集 群, 使 用 32 64 和 128 并 发 度 的 情 况 Trafodion 通 过 限 制 分 块 (segments), 来 达 到 自 适 应 分 块 的 目 的, 这 样 可 以 更 方 便 地 对 这 些 分 块 上 运 行 的 查 询 进 行 负 载 均 衡, 充 分 利 用 空 闲 块 这 一 功 能 在 集 群 扩 张 加 入 更 多 新 节 点, 增 大 计 算 内 存 和 I/O 带 宽 时, 具 有 很 高 价 值, 比 在 集 群 块 大 小 不 变, 能 执 行 更 多 的 查 询 对 并 发 度 优 化 的 数 据 流 SQL 执 行 器 技 术 Trafodion 的 SQL 执 行 器 采 用 了 由 数 据 流 和 调 度 驱 动 的 任 务 模 型, 来 执 行 优 化 的 查 询 计 划 执 行 计 划 里, 每 个 操 作 子 都 是 一 个 独 立 的 任 务, 数 据 通 过 内 存 里 的 队 列 ( 上 下 式 ) 流 动, 或 通 过 进 程 间 通 信 操 作 子 可 以 通 过 任 务 间 的 队 列 一 次 交 换 几 个 请 求 或 结 果 行 调 度 器 协 调 任 务 的 执 行, 并 在 数 据 进 入 输 入 队 列 时 运 行 Trafodion 的 执 行 器 模 型 和 其 他 SQL-on-Hadoop 方 案 有 很 大 不 同, 其 他 方 案 往 往 将 中 间 数 据 存 在 磁 盘 上 Trafodion 执 行 器 可 以 完 全 在 内 存 里 处 理 查 询 和 数 据, 以 保 证 优 秀 的 性 能, 并 减 少 对 磁 盘 空 间 和 I/O 带 宽 的 依 赖 仅 在 大 的 Hash Join 或 排 序 时, 当 Trafodion 发 现 内 存 压 力 较 大, 会 优 雅 地 将 过 多 的 数 据 转 至 磁 盘 执 行 器 包 括 了 几 种 并 行 方 式, 包 括 : 分 区 并 行 处 理 : 并 行 地 在 多 个 数 据 分 区 上 工 作 在 并 行 分 区 执 行 计 划 里, 有 多 个 操 作 子 按 同 一 个 执 行 计 划 工 作 结 果 由 多 个 队 列 或 管 道 合 并, 以 保 证 输 入 分 区 的 排 序 顺 序 分 区 的 另 一 名 称 是 数 据 并 行, 因 为 数 据 是 分 区 的 基 本 单 位, 可 分 成 相 互 独 立 的 可 执 行 小 块 每 个 ESP 既 可 以 访 问 单 独 region, 也 可 以 访 问 多 个 region. 多 个 ESP 可 以 访 问 同 一 个 分 区 的 一 部 分, 或 salt 分 区 这 要 看 优 化 器 按 照 数 据 分 散 情 况, 集 群 节 点 个 数 和 每 节 点 的 核 数 等 确 定 的 最 佳 访 问 方 案 管 道 式 并 行 处 理 是 源 于 执 行 器 数 据 流 结 构 的 一 个 自 然 而 然 的 特 点 这 个 架 构 将 所 有 操 作 子 用 队 列 的 形 式 互 联 起 来, 将 一 个 操 作 子 的 输 出 作 为 下 一 个 操 作 子 的 输 入, 以 此 类 推 这 样, 每 个 操 作 子 都 相 互 独 立 地 工 作, 一 旦 有 输 入, 马 上 生 成 输 出 管 道 自 然 地 形 成, 并 在 几 乎 所 有 查 询 计 划 里 使 用 这 一 数 据 流 里, 排 序 是 唯 一 可 能 出 现 延 滞 的 操 作 子, 因 为 下 游 的 操 作 子 需 要 等 它 完 成, 才 能 继 续 处 理 操 作 子 并 行 也 是 执 行 器 结 构 带 来 的 一 个 自 然 而 然 的 特 点 两 个 或 以 上 的 操 作 子 可 以 同 时 并 行 执 行, 除 了 某 些 需 要 同 步 的 情 况 下, 操 作 子 的 执 行 是 相 互 独 立 的 Trafodion 无 需 特 殊 处 理, 即 可 以 自 然 地 提 供 并 行, 不 像 Hadoop 的 map-reduce 或 需 应 用 程 序 编 程 实 现 优 化 器 产 生 的 查 询 计 划 可 包 括 任 何 一 种 分 区 管 道 或 操 作 子 并 行 任 何 执 行 阶 段 的 并 行 度, 会 根 据 该 阶 段 的 行 的 分 散 程 度 和 优 化 器 的 经 验 法 则 不 同 而 不 同 事 务 型 SQL 任 务 流 的 优 化 从 事 务 处 理 的 OLTP 单 行 访 问, 到 高 度 复 杂 的 报 表 型 SQL 语 句,Trafodion 提 供 了 多 种 编 译 和 执 行 时 优 化 方 式, 以 应 对 不 同 的 运 营 型 任 务 流 图 4 描 述 了 一 部 分 优 化 特 点 Copyright 2015 上 海 易 鲸 捷 信 息 技 术 有 限 公 司 版 权 所 有. 本 文 所 有 信 息 可 能 修 改, 请 以 最 新 版 本 为 准 本 版 本 2016 年 1 月 Page 9 of 12

典 型 的 JDBC 2 型 驱 动 器 可 以 为 客 户 访 问 HBase 提 供 直 接 的 JNI 接 口, 将 服 务 时 间 降 到 最 短 ; 对 于 很 多 OLTP 类 型 的 事 务, 主 进 程 会 向 HBase 直 接 发 出 键 访 问 请 求, 无 需 经 过 中 间 的 ESP 进 程 对 于 复 杂 程 度 较 高 的 SQL 语 句 ( 比 如 需 要 重 广 播 或 重 新 分 布 数 据 的 N 表 JOIN 或 聚 合 ), 会 采 用 ESP 参 与 或 多 层 ESP 的 并 发 执 行 计 划, 可 以 大 大 地 缩 短 服 务 时 间 其 他 优 化 包 括 : 当 连 接 关 闭 后, 主 进 程 和 ESP 仍 将 保 持, 以 便 重 复 使 用, 从 而 消 除 了 启 动 和 关 闭 的 开 销 同 一 节 点 上 的 多 个 ESP 可 组 成 一 个 多 段 进 程, 以 减 少 进 程 数 量 将 经 编 译 的 SQL 执 行 计 划 进 行 缓 存, 来 消 除 重 编 译 的 开 销 在 编 译 的 不 同 阶 段 进 行 缓 存, 而 不 只 是 简 单 的 文 本 匹 配 对 于 类 似 的 查 询, 如 果 判 断 数 据 分 散 程 度 显 著 不 同, 而 将 产 生 不 同 的 执 行 计 划, 就 将 这 些 不 同 的 执 行 计 划 缓 存 起 来 通 过 标 准 的 HBase 服 务 比 如 Filter( 比 如 开 始 - 结 束 键 和 非 主 键 (non-key predicates)) 和 协 处 理 器 ( 如 计 数 聚 合 ), 来 将 SQL 执 行 下 移 到 HBase 层 面 Figure 3. 优 化 的 并 行 执 行 (push-down) 支 持 二 级 索 引 通 过 多 维 度 访 问 方 法 (MDAM), 用 维 度 判 断 (dimensional predicates) 来 加 速 读 取 行 的 能 力 比 如, 如 果 一 张 表 的 行 键 是 周 项 目 和 商 店, 而 应 用 程 序 仅 提 供 项 目 和 商 店 的 判 断 如 果 没 有 MDAM, 数 据 库 必 须 进 行 全 表 扫 描 或 在 项 目 和 商 店 上 加 二 级 索 引 而 MDAM 利 用 HBase 自 带 的 行 键 聚 集, 对 该 表 发 出 一 系 列 探 针 和 范 围 跳 跃, 只 需 读 取 处 理 该 SQL 语 句 所 需 的 最 小 行 数 的 行 集 合 MDAM 还 可 以 用 于 更 宽 泛 的 数 据 读 取 请 求 ( 比 如 多 索 引 列 的 IN 列 表, 不 等 于 的 判 断, 多 值 判 断 等 等 ), 进 而 提 高 响 应 时 间, 无 需 用 更 多 二 级 索 引 也 可 以 用 于 更 高 效 地 访 问 带 有 salted 行 键 的 表, 或 者 带 有 分 块 (divisioning) 的 表 支 持 行 集 合, 能 将 多 个 SQL 语 句 在 同 一 个 请 求 里 批 处 理, 减 小 客 户 端 和 数 据 库 引 擎 之 间 的 信 息 互 换 通 过 服 务 持 久 化 ( 通 过 Zookeeper) 和 自 动 重 提 交 查 询, 提 高 可 用 性 下 面 的 图 4 总 结 了 很 多 上 面 讨 论 过 的 Trafodion 的 优 化 Trafodion 的 优 化 包 括 对 响 应 时 间 要 求 极 高 ( 如 一 秒 以 内 ) 的 运 营 型 事 务 任 务 流, 和 运 营 型 查 询 和 报 表 任 务 流 ( 响 应 时 间 分 钟 到 小 时 级, 含 有 最 好 以 并 行 方 式 运 行 的 较 复 杂 的 SQL 操 作 ) 运 营 型 事 务 基 于 键 的 优 化 访 问 ; 下 推 技 术, 比 如 筛 选 器 (Filter) 和 协 处 理 器 ; 利 用 数 据 库 统 计 数 据 发 现 数 据 分 布 倾 斜, 并 优 化 ; 通 过 并 行 或 非 并 行 的 执 行 计 划 进 行 高 效 的 访 问 ; 运 用 原 生 SQL 表 达 式 优 化 技 术, 加 速 编 译 器 和 执 行 ; 查 询 计 划 缓 存, 以 消 除 不 需 要 的 重 复 编 译 ; 支 持 并 行 访 问 和 维 护 的 二 级 索 引 ; 运 营 型 查 询 和 报 表 对 于 大 型 复 杂 查 询, 自 动 启 动 大 规 模 并 行 ; 通 过 ESP 和 多 层 ESP 的 并 发, 并 行 执 行 查 询 ; 内 存 处 理, 和 超 大 内 存 操 作 的 溢 出 优 化 ; 并 行 N 表 Join 和 聚 合 算 法, 包 括 混 合 哈 希, 嵌 套, merge 等 等 ; 包 括 salted 键 和 压 缩 列 名 编 码 等, 进 行 表 结 构 优 化 ; Copyright 2015 上 海 易 鲸 捷 信 息 技 术 有 限 公 司 版 权 所 有. 本 文 所 有 信 息 可 能 修 改, 请 以 最 新 版 本 为 准 本 版 本 2016 年 1 月 Page 10 of 12

支 持 不 同 配 置 和 性 能 要 求 的 多 种 ODBC/JDBC 驱 动 ; 透 明 地 利 用 HBase API 的 优 化 ; 支 持 行 子 集 (Rowset), 当 抽 取 或 插 入 大 批 量 行 时, 最 小 程 度 地 影 响 网 络 和 数 据 库 图 4. Trafodion 任 务 流 的 优 化 EsgynDB 创 新 - 分 布 式 事 务 管 理 (DTM) 原 厂 HBase 仅 提 供 单 表 行 级 别 的 ACID 保 护 Trafodion 分 布 式 事 务 管 理 将 事 务 保 护 延 展 到 多 SQL 语 句, 多 表, 和 同 一 表 的 多 行 同 时,Trafodion 的 DTM 能 通 过 自 身 的 两 级 提 交 协 议, 跨 越 多 个 HBase Region, 在 分 布 式 集 群 配 置 下, 提 供 保 护 Trafodion 的 保 护 能 自 动 传 播 到 Trafodion 的 组 件 和 进 程 DTM 能 提 供 隐 含 的 (auto-commit) 和 明 确 的 (BEGIN, COMMIT, ROLLBACK WORK) 的 事 务 型 控 制 利 用 HBase 的 多 版 本 并 发 控 制 算 法 (MVCC),Trafodion 允 许 多 个 事 务 同 时 访 问 同 样 的 行, 但 若 需 更 新, 第 一 个 完 成 的 事 务 能 成 功 更 新, 并 在 其 他 事 务 commit 时, 通 知 它 们 由 于 冲 突, 更 新 失 败 图 5: 分 布 式 事 务 管 理 架 构 Trafodion 采 用 分 布 的 事 务 管 理 架 构, 非 常 容 易 扩 展 每 个 节 点 上 有 事 务 管 理 员, 因 此 事 务 协 调 由 启 动 该 事 务 的 节 点 负 责 数 据 库 连 接 服 务 (DCS) 将 事 务 型 任 务 流 的 负 载 分 配 到 各 个 节 点 HBase 协 处 理 器 在 Region 层 面 管 理 事 务 的 上 下 文 环 境 每 个 Region 负 责 事 务 型 更 新, 并 在 其 所 在 层 面, 解 决 冲 突 恢 复 也 可 高 效 地 并 行 处 理 该 结 构 的 细 节 将 在 关 于 DTM 的 白 皮 书 里 讨 论 高 可 用 性 和 数 据 一 致 性 Trafodion 利 用 了 HBase 和 HDFS 的 内 在 可 用 性 和 数 据 一 致 性 的 特 点 Hadoop, HDFS, HBase 高 可 用 性 的 好 处 名 称 节 点 (Name Node ) 冗 余 当 一 个 名 称 节 点 出 错 时, 提 供 保 护 HBase 复 制 ( 异 步 ) 通 过 在 部 署 的 HBase 之 间 拷 贝 数 据, 提 供 灾 难 恢 复 HDFS 复 制 ( 复 制 数 据 块 data block) 当 节 点 或 磁 盘 故 障, 或 数 据 损 坏 时, 提 供 数 据 保 障 HBase 快 照 在 特 定 时 间, 存 储 表 的 某 版 本 的 快 照, 以 便 能 将 该 表 恢 复 到 该 时 间 点 Zookeeper 为 Hadoop 上 的 服 务, 提 供 高 可 靠 的 分 布 式 协 调 同 时, Trafodion 可 以 利 用 任 何 Hadoop 发 行 版 为 企 业 级 可 用 性 所 增 加 的 功 能 除 了 HBase 和 HDFS 所 提 供 的 特 点 之 外,Trafodion 提 供 一 系 列 高 可 用 性 特 点, 包 括 : 持 久 连 接 服 务, 以 保 证 当 DCS 服 务 出 错 时, 用 户 能 够 重 新 建 立 连 接 自 动 查 询 提 交 (AQR), 在 某 些 情 况 下, 可 以 重 新 提 交 失 败 的 SQL 语 句 Copyright 2015 上 海 易 鲸 捷 信 息 技 术 有 限 公 司 版 权 所 有. 本 文 所 有 信 息 可 能 修 改, 请 以 最 新 版 本 为 准 本 版 本 2016 年 1 月 Page 11 of 12

当 HBase 的 数 据 在 Region 间 分 裂, 重 新 均 衡, 以 获 得 更 好 的 性 能 和 扩 展 性 时, 可 以 为 事 务 型 操 作, 提 供 跨 HBase Region 服 务 器 的 分 裂 和 重 新 均 衡, 以 保 证 您 的 应 用 程 序 永 远 在 线 且 不 间 断 大 大 减 小 了 备 份 窗 口, 从 小 时 到 分 钟, 向 完 全 在 线 备 份 更 近 了 一 步 跨 数 据 中 心 双 活, 事 务 无 丢 失 EsgynDB 将 Trafodion 的 高 可 用 性 继 续 延 伸, 对 于 所 选 的 表 格, 为 跨 多 个 集 群 的 所 有 的 SQL ACID 事 务 型 更 新 提 供 同 步 复 制 这 能 保 证 灾 难 情 况 下, 避 免 事 务 型 更 新 的 损 失 支 持 多 主 进 程 双 活, 读 写 都 可 以 在 这 些 跨 数 据 中 心 的 多 个 集 群 里 执 行 跨 集 群 和 数 据 中 心 进 行 任 务 流 拓 展 变 得 更 加 方 便, 能 够 访 问 本 地 数 据, 并 支 持 安 全 港 (Safe Harbour) 功 能 我 们 将 在 相 应 博 客 里, 深 入 讨 论 该 话 题 EsgynDB 的 好 处 Trafodion 提 供 了 一 个 拥 有 全 面 事 务 型 数 据 保 护 的, 功 能 全 面, 优 化 的 事 务 型 SQL-on-Hadoop 数 据 库 管 理 方 案 通 过 结 合 HBase 和 企 业 级 事 务 型 SQL 引 擎, 解 决 了 Hadoop 在 支 持 运 营 型 工 作 流 上 的 弱 点 用 户 可 获 得 以 下 好 处 : 能 利 用 他 们 自 己 的 SQL 知 识 和 能 力, 而 无 需 学 习 复 杂 的 Map/reduce 编 程 ; 无 缝 地 支 持 现 有 和 新 的 自 主 开 发 或 第 三 方 提 供 的 运 营 型 应 用 程 序, 以 保 护 投 资, 提 高 开 发 生 产 力 优 化 任 务 流, 为 实 现 下 一 代 实 时 事 务 处 理 的 应 用 奠 定 坚 实 基 础 跨 多 个 SQL 语 句 多 表 和 多 行, 确 保 实 时 的 事 务 处 理 一 致 性 全 面 的 零 事 务 损 失 的 灾 难 保 护, 能 将 读 写 跨 集 群 和 数 据 中 心 进 行 拓 展 在 现 有 的 Hadoop 投 资 和 好 处 上, 继 续 锦 上 添 花, 节 省 成 本, 增 强 扩 展 性 和 弹 性 所 有 这 一 切 都 基 于 开 源 关 于 易 鲸 捷 和 EsgynDB 易 鲸 捷 的 使 命 是 帮 助 企 业 部 署 新 的 大 数 据 方 案 易 鲸 捷 是 Apache Trafodion 的 主 要 贡 献 者, 拥 有 一 支 超 过 450 年 大 型 并 发 型 数 据 库 技 术 经 验 的 开 发 者 团 队 易 鲸 捷 的 主 要 产 品 是 EsgynDB 企 业 版, 一 个 基 于 Apache Trafodion 的, 经 过 反 复 历 练, 安 全 的 企 业 级 SQL-On-Hadoop 解 决 方 案 易 鲸 捷 在 硅 谷 上 海 和 北 京 有 办 公 室, 为 EsgynDB 提 供 支 持 服 务 和 培 训, 以 满 足 企 业 生 产 环 境 下 的 期 望 更 多 信 息, 请 访 问 www.esgyn.cn 或 email info@esgyn.cn. 2015, 2016 上 海 易 鲸 捷 信 息 技 术 有 限 公 司. 2016 年 1 月 出 版 Copyright 2015 上 海 易 鲸 捷 信 息 技 术 有 限 公 司 版 权 所 有. 本 文 所 有 信 息 可 能 修 改, 请 以 最 新 版 本 为 准 本 版 本 2016 年 1 月 Page 12 of 12