数 据 库 云 一 体 机 金 融 保 险 行 业 最 佳 实 践 及 案 例 郭 睿 甲 骨 文 公 司 资 深 技 术 顾 问
Gartner DW 和 数 据 管 理 方 案 市 场 分 析 Oracle 领 先 数 据 库 云 一 体 机 : 高 可 用 高 性 能 易 部 署 大 数 据 一 体 机 Oracle DB 整 合 JSON 和 Hadoop 列 式 内 存 计 算 硬 件 加 速 可 视 化 分 析 https://www.gartner.com/doc/reprints?id=1 2ZNGHF0&ct=160226&st=sb
数 据 库 云 发 展 历 程 孤 岛 标 准 化 整 合 服 务 交 付 企 业 云 复 杂 简 洁 高 效 敏 捷 统 一
数 据 库 云 对 平 台 的 要 求 高 可 用 高 性 能 易 部 署 易 管 理 容 器 化
数 据 库 云 一 体 机 Exadata 第 7 版 2008 V1 2009 V2 2010 X2 2 2 2012 X3 2 2013 X4 2 2015 X5 2 2016 X6 2 DW + OLTP + 整 合 + 内 存 计 算 Oracle DB 研 发 团 队 出 品 的 工 程 化 系 统 5
Exadata 革 新 内 部 架 构 传 统 架 构 Exadata 架 构 标 准 Oracle 标 准 硬 件 带 宽 瓶 颈 傻 存 储 管 理 标 准 存 储 SQL 超 大 带 宽 :4 万 兆 bps 智 能 存 储 管 理 智 能 扫 描 存 储 索 引 混 合 列 压 缩 闪 存 缓 存 6
Exadata 加 速 创 新, 简 化 IT Exadata 核 心 实 时 DW BI 工 具 友 商 一 体 机 核 心 核 心 镜 像 批 量 加 载 服 务 器 T+1 ODS T+1 DW BI 工 具
Exadata 简 化 部 署 和 管 理 Exadata 部 署 方 案 核 心 外 围 DW Active Data Guard 或 PC Server RAC 传 统 部 署 方 案 核 心 核 心 外 围 DW Active Data Guard 存 储 存 储 存 储
Exadata X5 2 EF 1/4 配 和 IBM 小 型 机 对 比 配 置 DB Server 存 储 Exadata X5-2 极 限 闪 存 1/4 配 ( 内 嵌 RAC) IBM 小 型 机 + 存 储 方 案 1 方 案 2 2 x IBM P595 ( 搭 建 RAC) 2 x IBM P780 ( 搭 建 RAC) 72 Cores 2 x 48Cores 2 x 32 Cores 512GB Memory 2 x 576GB Memory 2 x 512GB Memory 2 x 16x8Gb/s FC HBA 2 x 16x8Gb/s FC HBA 存 储 管 理 软 件 48 Cores CPU 288GB Memory 38.4TB Flash 盘 6 x 40 Gb/s InfiniBand Port 1 x DS5300 Disk Array: 16GB cache, 8x 4 Gb/s FC Ports 72 x 300GB 15K FC or 72 x 1TB SAS HDD 2 x 16 port 4 Gb/s FC SAN Switch 1 x DS5300 Disk Array: 16GB cache, 8x 4 Gb/s FC Ports 72 x 300GB 15K FC or 72 x 1TB SAS HDD 2 x 16 port 4 Gb/s FC SAN Switch 功 率 2.9KW 41KW = 小 型 机 18KW x 2 + 存 储 5KW 15KW = 小 型 机 5KW x 2 + 存 储 5KW 机 架 1 机 架 小 型 机 2 机 架 存 储 1 机 架 小 型 机 2 机 架 存 储 1 机 架
云 管 理 100 50 0 1 4 7 10 13 16 19 22 25 不 同 应 用 资 源 动 态 分 配 10
保 险 业 用 户
银 行 业 用 户 东 莞 农 商 兰 州 银 行 徽 商 银 行 山 西 农 信 安 徽 农 信 太 原 农 商 九 江 银 行 桂 林 银 行
人 保 寿 险 升 级 史 再 增 加 应 用 系 统 数 据 库 I/O 瓶 颈 6 套 应 用 系 统 的 数 据 库 扩 容 至 Exadata X2 2+X3 2 1/2 配 I/O 瓶 颈 EDW EDW Exadata X2 2 1/4 配 EDW Exadata 上 线 后, 使 全 系 统 效 率 提 升 5 倍 以 上 数 据 压 缩 后 空 间 占 用 减 少 5 倍
某 保 险 公 司 升 级 史 统 计 分 析 准 备 金 保 监 会 报 送 内 控 GoldenGate G 核 心 同 步 核 心 同 步 库 等 统 计 分 析 准 备 金 CPU, I/O 瓶 颈 数 据 冗 余 不 一 致 保 监 会 报 送 内 控 Exadata X3 2 大 容 量 1/4 配 Exadata 上 线 后, 性 能 提 升 10 倍 GoldenGate 核 心 同 步 核 心 同 步 库
某 保 险 公 司 升 级 史 操 作 型 业 务 系 统 核 心 系 统 渠 道 应 用 ETL 数 据 库 云 平 台 Exadata 操 作 数 据 存 储 ODS 大 数 据 系 统 大 数 据 来 源 Hadoop NoSQL Database 外 部 外 表 部 表 数 据 仓 库 EDW ORE 企 业 版 操 作 型 业 务 系 统 数 据 集 成 平 台 Exadata X4 2 HP 1/4 配 数 据 仓 库, 报 表 作 业, 客 户 分 析 核 心 系 统 渠 道 应 用 OGG ETL 操 作 数 据 存 储 ODS 数 据 仓 库 EDW 原 系 统
工 商 银 行 ISFC 系 统 客 户 简 介 中 国 工 商 银 行 通 过 16,000 多 家 境 内 机 构 近 400 家 境 外 机 构 和 遍 布 全 球 的 逾 1,600 家 代 理 行 以 及 网 上 银 行 手 机 银 行 电 话 银 行 和 自 助 银 行 等 分 销 渠 道, 向 400 多 万 公 司 客 户 和 2.92 亿 个 人 客 户 提 供 广 泛 而 便 捷 的 金 融 产 品 和 服 务 ISFC( 信 贷 统 一 查 询 系 统 ) 主 要 提 供 面 向 业 务 操 作 型 用 户 的 综 合 技 术 架 构 替 换 IBM 平 台 查 询 功 能 面 向 高 级 分 析 用 户 的 通 用 查 询 功 能 以 及 与 之 配 套 的 系 统 管 理 查 询 授 权 查 询 模 版 管 理 查 询 结 果 的 共 享 与 下 载 开 发 等 功 能 35 天 挑 战 / 机 遇 原 有 平 台 运 行 于 IBM 小 型 机 P595 批 量 作 业 性 能 低 应 用 处 理 缓 慢 解 决 方 案 OracleExadataDatabaseMachineX2-2HalfRack 测 试 30 天 IBMP59520CPU/128GB 投 产 14 天 成 果 批 量 作 业 性 能 提 升 2-5 倍 部 分 作 业 性 能 提 升 近 28-296 倍 历 史 数 据 压 缩 比 达 到 6 倍 Exadata1/2 Rack
数 据 库 云 一 体 机 总 结 客 户 反 馈 说,Oracle 的 软 硬 件 整 合 的 方 案 易 于 部 署 和 管 理 Oracle 客 户 对 Oracle 的 工 程 化 系 统 的 性 能 和 可 靠 性 表 示 满 意 Gartner, 2016 年 2 月 摘 自 https://www.gartner.com/doc/reprints?id=1 2ZNGHF0&ct=160226&st=sb
数 据 库 云 一 体 机 合 众 人 寿 实 践 分 享 陈 浩 合 众 人 寿 DBA
需 求 背 景 合 众 人 寿 拥 有 核 心 系 统 和 DW 两 大 系 统 为 满 足 业 务 增 长, 数 据 库 服 务 器 亟 需 升 级 器 亟 需 升 级 客 户 端 应 用 服 务 器 批 处 理 核 心 (OLTP, 批 处 理 ) HA Data Guard 灾 备 DW
数 据 库 系 统 两 种 升 级 方 案 方 案 一 数 据 库 云 一 体 机 客 户 端 应 用 服 务 器 核 心 DW 其 他 系 统 批 处 理 Active Data Guard 灾 备 或 PC Server 客 户 端 应 用 服 务 器 批 处 理 方 案 二 小 型 机 + 存 储 核 心 RAC DW Active Data Guard 灾 备 其 他 系 统 存 储
Exadata 成 本 考 量 和 POC 要 求 采 购 成 本 低 服 务 器 数 量 少, 不 需 要 额 外 存 储 数 据 库 许 可 少 不 需 要 HA 小 型 机, 更 少 的 停 机 损 失 可 用 廉 价 的 PC Server 灾 备 系 统 兼 容, 迁 移 和 管 理 成 本 低 省 机 房 空 间 3 年 省 电 费 110 万 元 =1.1 元 /kwh * (41kw 2.9kw) * 24 小 时 * 365 天 * 3 年 还 没 算 空 调 费 用 POC 要 求 : 验 证 全 系 统 迁 移 可 行 性, 测 试 性 能 兼 容 性 高 可 用
核 心 日 间 交 易 性 能 POC 应 用 程 序 不 改 写 Oracle Real Application Testing 录 制 真 实 核 心 压 力, 在 Exadata 上 重 播, 共 3 千 万 次 用 户 调 用 Exadata 提 升 性 能 最 高 达 1.8 倍 PU %C 100 90 80 70 60 50 40 30 20 10 数 据 库 服 务 器 CPU 0 09:31:0009:51:0010:11:0010:31:0010:51:0011:11:0011:31:00 IO O/s 1000000 900000 800000 700000 600000 500000 400000 300000 200000 100000 存 储 IOPS 0 09:31:0009:51:0010:11:0010:31:0010:51:0011:11:0011:31:00 WriteTot Flash ReadTot Flash WriteTot Disk ReadTot Disk
核 心 批 处 理 性 能 POC 1000000 900000 IOPS 6 个 批 处 理, 不 改 写 800000 Exadata 提 升 性 能 12 倍 100 90 80 70 CPU IO/s 700000 600000 500000 400000 Wi WriteTot Flash ReadTot Flash WriteTot Disk ReadTot Disk %CPU 60 50 40 30 20 10 0 16:50:00 17:10:00 17:30:00 17:50:00 300000 200000 100000 0 16:50:00 17:10:00 17:30:00 17:50:00
DW 性 能 POC 101 个 报 表, 不 改 写 Exadata 提 升 性 能 最 高 6 倍 100 90 CPU 80 70 60 %CP PU 50 40 30 20 10 0 15:05:00 15:25:00 15:45:00 16:05:00 16:25:00 16:45:00 17:05:00
兼 容 性 和 高 可 用 POC 40 个 应 用 模 块, 不 改 写, 可 直 接 正 确 运 行 于 Exadata 上 Exadata 在 数 据 库 服 务 器 故 障 心 跳 网 络 故 障 和 存 储 故 障 时, 可 保 证 业 务 连 续 运 行 DB Server 1 Exadata 3 Infiniband DB Server 2 Storage Server Storage Server Storage Server
管 理 功 能 POC 监 控 正 在 执 行 的 SQL 监 控 硬 件 状 态 100 50 0 1 4 7 10 13 16 19 22 25 基 于 策 略 的 CPU 和 I/O 资 源 管 理 实 时 监 控 执 行 计 划 及 每 步 消 耗
核 心 向 Exadata 迁 移 部 署 :Oracle 负 责 全 部 硬 件 软 件 安 装 Exadata 上 线 前, 三 个 部 门 合 作 做 了 功 能 性 能 和 对 外 接 口 测 试 兼 容 性 应 用 程 序 无 须 改 动, 配 置 指 向 Exadata 即 可 核 心 数 据 3.5TB 直 接 导 入 上 线 用 一 个 周 末 的 停 机 窗 口 性 能 压 力 机 输 出 其 最 高 压 力 时,Exadata CPU 消 耗 5% 批 处 理 速 度 提 升 5 倍 数 据 库 混 合 列 压 缩 功 能 压 缩 比 1:7,I/O 提 升 5 倍 运 维 : 使 用 Oracle 白 金 服 务,Oracle 工 程 师 帮 助 巡 检 打 补 丁 和 提 服 务 请 求 等
Exadata 实 践 总 结 兼 容 现 有 系 统, 生 产 系 统 向 Exadata 迁 移 简 单, 风 险 近 乎 0, 成 本 低 性 能 远 超 原 系 统, 资 源 充 沛 并 且 管 理 简 单, 适 合 作 数 据 库 云 平 台 比 原 有 HA 和 灾 备 可 用 性 更 佳, 更 简 洁, 成 本 更 低 比 原 系 统 部 署 和 运 维 更 简 单, 成 本 更 低