ORACLE 数 据 中 心 解 决 方 案 完 整 的 集 成 的 高 效 的 袁 京 声 (jingsheng.yuan@oracle.com) 中 间 件 资 深 咨 询 顾 问, Oracle Fusion Middleware
议 程 概 述 Oracle 数 据 中 心 解 决 方 案 Oracle 解 决 方 案 优 势 案 例 介 绍
现 有 业 务 系 统 存 在 的 主 要 问 题 财 务 库 存 销 售 供 应 链 接 口 数 量 = n(n-1)/2 新 系 统 应 用 和 数 据 紧 耦 合 系 统 独 立 分 散 数 据 重 复 零 散 系 统 间 信 息 同 步 采 取 点 对 点 方 式, 接 口 复 杂, 数 据 准 确 性 差 指 标 口 径 存 在 差 异 适 应 业 务 变 化 能 力 差
数 据 中 心 的 技 术 和 业 务 驱 动 力 提 升 数 据 质 量 的 需 要 实 现 数 据 质 量 管 理 元 数 据 管 理, 降 低 维 护 成 本 主 数 据 管 理, 消 除 不 一 致 建 立 跨 域 应 用 需 要 统 计 和 分 析 应 用 的 需 要, 统 一 报 表 需 要 企 业 统 一 数 据 视 图 数 据 集 中 的 需 要 数 据 中 心 数 据 共 享 及 交 换 需 要 跨 应 用 数 据 需 求 越 来 越 多, 实 现 复 杂, 难 度 大 形 成 企 业 标 准 数 据 源, 解 决 数 据 转 换 需 要 支 持 各 种 类 型 数 据 交 换 企 业 风 险 和 管 理 提 供 和 有 效 的 风 险 管 理 和 监 控 机 制, 保 证 数 据 的 安 全 访 问 降 低 数 据 孤 岛, 提 升 IT 管 控 能 力
数 据 中 心 的 定 义 作 为 一 个 备 份 中 心, 对 关 键 业 务 数 据 进 行 备 份 作 为 一 个 综 合 信 息 平 台, 为 业 务 决 策 提 供 一 个 数 据 基 础 作 为 一 个 数 据 平 台, 把 应 用 构 建 在 数 据 中 心 上, 并 实 现 数 据 的 共 享
数 据 中 心 的 功 能 演 进 2000 年 之 前 2001-2003 年 2003 年 - 现 在 未 来 数 据 存 储 中 心 数 据 处 理 中 心 数 据 应 用 中 心 数 据 运 营 服 务 中 心 面 向 数 据 管 理 单 向 救 火 式 维 护 注 重 技 术 极 低 可 用 性 面 向 计 算 单 向 集 中 式 维 护 注 重 效 率 低 可 用 性 面 向 业 务 单 向 集 中 式 维 护 注 重 需 求 较 高 可 用 性 面 向 服 务 双 向 基 于 绩 效 的 集 中 式 管 理 注 重 质 量 高 可 用 性
数 据 中 心 带 来 的 价 值 清 理 梳 洗 企 业 数 据, 保 证 数 据 质 量 建 立 统 一 的 信 息 标 准 完 备 的 数 据 采 集 制 度, 消 除 信 息 孤 岛 数 据 集 中 存 储 统 一 加 工 以 市 场 为 导 向 进 行 资 源 配 置 和 优 化, 提 高 效 益, 降 低 成 本 实 现 管 理 从 事 后 向 实 时 的 转 变, 提 升 企 业 管 理 水 平
数 据 中 心 的 建 设 原 则 渐 进 性 对 现 有 业 务 运 营 系 统 的 影 响 小 开 放 性 支 持 各 种 网 络 协 议 硬 件 接 口 数 据 接 口 灵 活 性 可 扩 展 性 方 便 设 备 扩 容 具 备 技 术 升 级 设 备 更 新 的 灵 活 性 支 持 业 务 功 能 的 扩 展 与 重 构 安 全 可 靠 性 提 供 系 统 备 份 数 据 恢 复 和 事 故 监 控 措 施
议 程 概 述 Oracle 数 据 中 心 解 决 方 案 海 量 数 据 支 持 高 性 能 高 可 用 性 安 全 控 制 数 据 集 成 灾 备 方 案 管 理 方 案 数 据 展 现 Oracle 解 决 方 案 优 势 案 例 介 绍
Oracle 数 据 中 心 架 构 拓 扑 管 理 数 据 发 布 层 门 户 数 据 应 用 层 单 点 登 陆 企 业 管 理 系 统 的 监 控 和 调 优 产 品 生 命 周 期 管 理 PDM 系 统 ERP 系 统 其 它 系 统 元 数 据 管 理 主 数 据 管 理 商 务 智 能 数 据 服 务 层 数 据 服 务 数 据 视 图 消 息 文 件 接 口 数 据 整 合 层 操 作 型 数 据 分 析 型 数 据 主 数 据 元 数 据 数 据 缓 冲 数 据 获 取 层 实 时 / 准 实 时 更 新 批 量 数 据 加 载 用 户 管 理 目 录 集 成 联 盟 身 份 身 份 管 理
数 据 中 心 海 量 数 据 支 持 Oracle 10g EE 数 据 库 大 小 限 制 提 高 到 Exabytes( 艾 字 节 ) 级 没 有 文 件 系 统 磁 盘 和 内 存 限 制 Terabytes 级 的 LOB 列 单 表 可 存 储 100TB 的 数 据 1024 GB = 1 TB,1024TB = 1 PB, 1024 PB = 1 EB Unlimited Database Size
数 据 中 心 高 性 能 方 案 分 区 (Partitioning) 范 围 分 区 列 表 分 区 HASH 分 区 Jan Feb SELECT Mar Apr May Jun July Aug Set Oct Nov Dec 复 合 分 区 改 进 对 大 数 据 表 的 管 理, 数 据 分 区 可 以 单 独 被 脱 机 备 份 恢 复 导 入 / 导 出 装 载 可 以 基 于 分 区 或 整 个 表 建 立 索 引, 减 少 维 护 索 引 所 需 的 时 间 性 能 有 决 定 性 的 影 响 通 过 分 区 忽 略 的 功 能, 可 以 极 大 地 加 速 相 关 的 查 询
数 据 中 心 高 性 能 方 案 表 压 缩 不 同 的 压 缩 级 别 在 表 空 间, 表 和 分 区 级, 可 具 体 指 定 压 缩 级 别 典 型 压 缩 比 率 从 3:1 到 5:1 压 缩 由 实 际 数 据 决 定 压 缩 规 则 基 于 数 据 冗 余 主 要 好 处 是 节 省 开 销 节 省 TB 级 的 存 储 而 不 影 响 性 能 或 功 能 在 压 缩 表 的 查 询 中 对 性 能 的 提 高 性 能 影 响 依 赖 于 查 询 类 型, 很 多 查 询 会 更 快 压 缩 降 低 了 IO 但 增 加 了 CPU 的 利 用
数 据 中 心 高 可 用 方 案 真 正 应 用 集 群 RAC 应 用 完 整 的 Oracle 集 群 软 件 解 决 方 案, 突 破 节 点 限 制 支 持 所 有 的 开 放 平 台 Unix, Linux, Windows 低 成 本 无 须 购 买 额 外 的 集 群 管 理 软 件 安 装 管 理 简 单 支 持 第 三 方 集 群 软 件 超 过 1000 套 生 产 环 境, 江 苏 移 动, 浙 江 移 动, 黑 龙 江 移 动, 北 京 社 保 等
Oracle 真 正 应 用 集 群 RAC 应 用 1 应 用 2 Large Query 扩 展 性 : 动 态 增 加 节 点 并 行 执 行 查 询 操 作 高 可 用 性 : 负 载 均 衡 应 用 自 动 切 换 适 应 性 : 动 态 分 发 负 载 均 衡 成 本 : 用 低 成 本 服 务 器
数 据 中 心 安 全 控 制 方 案 强 壮 的 三 层 安 全 结 构 Oracle Internet Directory (LDAP) 获 得 用 户 的 认 证, 应 用 访 问 控 制 信 息 用 户 身 份, 口 令 应 用 内 容 通 过 PKI 和 X.509 证 书 实 现 数 字 ID 代 理 服 务 器 认 证 可 使 用 户 身 份 在 各 个 层 次 内 保 持 一 致 用 户 通 过 SSL 向 中 间 层 提 出 认 证 中 间 层 将 用 户 身 份 (DN, PKCS12 Certificate) 传 给 数 据 库 登 录 服 务 器 - 使 WEB 用 户 做 到 单 点 登 录 SSO 企 业 用 户 通 过 目 录 实 现 集 中 管 理
数 据 中 心 数 据 集 成 方 案 Oracle Data Integrator Design-Time User Interfaces Designer Operator Thin Client Service Interfaces and Developer APIs Data Flow Generator Knowledge Module Interpreter Runtime Data Flow Generator Runtime Session Interpreter Agent Data Flow Conductor 纯 Java 的 设 计 环 境 可 以 在 任 何 平 台 上 运 行 通 过 瘦 客 户 端 浏 览 元 数 据 纯 Java 的 运 行 环 境 可 以 在 任 何 平 台 上 运 行 协 调 执 行 数 据 流 Knowledge Modules Metadata Management Master Repository Work Repositories Data Flow Runtime Repositories 元 数 据 库 可 以 装 在 任 何 关 系 数 据 库 上 便 于 开 发 组 件 化 的 可 扩 展 的 元 数 据
E-LT 架 构 高 性 能 传 统 ETL 架 构 新 一 代 架 构 Extract Transform Load E-LT Transform Extract Load Transform E-LT 架 构 为 什 么 高 效? 数 据 库 技 术 先 进 成 熟 不 需 要 在 源 目 标 数 据 库 之 间 交 换 数 据 批 量 操 作, 而 不 是 按 行 操 作 用 户 案 例 : 数 据 抽 取 时 间 从 63 小 时 缩 减 到 10 分 钟
变 化 数 据 捕 获 (CDC) CDC 发 布 和 订 阅 的 CDC 框 架 数 据 库 日 志 触 发 器 第 三 方 解 决 方 案 确 保 多 表 读 事 务 的 一 致 性 步 骤 : 1. 设 计 和 生 成 映 射 2. 选 择 需 要 捕 捉 变 化 数 据 的 表 3. 开 始 捕 捉 用 户 案 例 : 项 目 一 期 使 用 批 量 ETL 方 式 项 目 二 期 轻 松 过 渡 到 准 实 时 方 式
实 际 案 例 证 明 加 载 销 售 渠 道 系 统 的 数 据 需 要 执 行 128 个 复 杂 的 转 换 程 序,ODI 可 以 完 全 自 动 化 地 完 成 全 部 过 程, 完 成 全 部 过 程 只 需 要 不 到 4 分 钟! Luc Scotts, Project Manager, OAG Oracle Data Integrator(ODI) 加 载 和 处 理 900 万 条 记 录 并 生 成 61 万 条 汇 总 数 据 只 需 要 3 分 钟. Luc Scotts, Project Manager, OAG 过 去 我 们 采 用 专 有 的 ETL 工 具 完 成 加 载 过 程 需 要 8 小 时, 现 在 我 们 使 用 ODI, 在 数 据 量 和 转 换 的 复 杂 度 都 大 大 增 加 的 情 况 下, 只 用 了 不 到 2 小 时 Leon Schurgers, Dr. of Information Technologies, Interbank
数 据 容 灾 的 基 本 等 级 低 级 容 灾 是 在 本 地 进 行 备 份 和 存 储 的 冷 备 份, 实 际 上 这 也 是 我 们 通 常 所 使 用 的 数 据 备 份 方 法 中 级 容 灾 是 在 本 地 进 行 备 份 的 同 时, 也 在 异 地 存 储 的 冷 备 份, 这 个 等 级 已 经 具 有 了 基 本 的 容 灾 性 高 级 容 灾 基 本 需 要 使 用 热 备 份 技 术 一 种 典 型 的 方 案 就 是 在 异 地 建 立 一 个 数 据 的 热 备 份, 通 过 网 络 进 行 数 据 备 份 和 恢 复 操 作 在 这 种 等 级 的 数 据 容 灾 中 通 过 光 纤 线 路 进 行 备 份 等 先 进 的 备 份 技 术 已 经 成 为 比 较 常 见 的 选 择 最 高 的 数 据 容 灾 等 级 同 样 使 用 热 备 份 作 为 容 灾 处 理 手 段 但 是 与 单 纯 的 热 备 份 相 比, 应 用 地 的 数 据 与 备 份 地 的 数 据 不 再 是 主 从 关 系 所 有 数 据 存 储 地 点 的 数 据 都 作 为 一 个 数 据 备 份 体 系 的 节 点 而 存 在, 所 有 的 节 点 之 间 互 为 镜 像
数 据 中 心 容 灾 方 案 -GoldenGate 交 易 数 据 管 理 GoldenGate TDM 提 供 异 构 环 境 下 交 易 数 据 的 实 时 捕 捉 变 换 投 递 TDM 具 有 : 实 时 性 秒 一 级 延 迟 异 构 环 境 支 持 在 不 同 平 台 和 数 据 库 环 境 下 复 制 数 据 特 性 : 高 性 能 能 够 以 低 资 源 消 耗 完 成 每 秒 数 千 交 易 的 复 制 可 扩 展 开 放 的 结 构 使 客 户 适 应 各 种 异 构 数 据 平 台 以 交 易 为 单 位 复 制 维 护 交 易 一 致 性 可 靠 保 证 数 据 的 连 续 可 用
GoldenGate TDM 工 作 原 理 Capture: 实 时 读 取 交 易 日 志 捕 捉 数 据 变 化 并 可 实 现 过 滤. 队 列 文 件 : 暂 存 数 据 变 化. 传 输 : 数 据 经 过 压 缩 和 加 密 传 送 到 目 的 地. Delivery: 执 行 所 需 的 数 据 变 化, 然 后 将 数 据 变 化 提 交 到 目 的 库. Capture Source Trail 网 络 Target Trail Delivery 源 数 据 库 Delivery Target Trail 双 向 复 制 Source Trail Capture 目 的 数 据 库
灵 活 的 拓 扑 结 构 单 向 复 制 备 份 查 询 双 向 复 制 灾 备 双 业 务 中 心 点 对 点 多 业 务 中 心 广 播 复 制 数 据 分 发 集 中 复 制 数 据 仓 库 N+1 灾 备 多 级 复 制 层 次 化 企 业 数 据 国 家 体 育 总 局 体 彩 中 心
持 续 可 用 性 的 Active-Active 架 构 是 灾 备 建 设 的 一 种 趋 势 最 大 化 利 用 灾 备 中 心 的 IT 设 施 加 倍 的 计 算 能 力 提 升 系 统 整 体 性 能 双 中 心 负 载 均 衡 改 善 地 域 分 布, 提 高 系 统 及 网 络 响 应 持 续 的 IT 服 务 异 地 部 署, 没 有 距 离 限 制 快 速 接 管,RTO 0 双 活 的 数 据 库 实 现 双 向 复 制, 同 时 两 端 数 据 库 都 是 活 动 的, 可 以 对 两 端 的 数 据 库 同 时 进 行 操 作, 并 保 证 两 端 数 据 库 的 同 步
GoldenGate Vs 远 程 镜 像 无 距 离 限 制 传 输 量 小, 对 网 络 带 宽 要 求 低 更 好 的 数 据 保 护 ( 零 数 据 丢 失, 可 防 止 I/O 及 人 为 误 操 作 ) 多 种 方 式 灵 活 部 署 Active-Active 架 构, 灾 备 系 统 可 用 高 ROI
数 据 中 心 管 理 方 案 Oracle 自 动 管 理 特 性 自 动 工 作 量 信 息 采 集 采 集 和 维 护 关 键 的 系 统 数 据 : 性 能 数 据 SQL 工 作 量 特 性 使 用 情 况 等 自 动 SQL 优 化 发 现 性 能 较 差 的 查 询 并 提 交 给 优 化 器 可 以 对 之 后 的 运 行 应 用 改 进 后 的 执 行 计 划 不 改 变 原 来 的 SQL 语 言 自 动 内 存 管 理 没 有 shared_pool, large_pool, 这 些 参 数 只 有 PGA, SGA 两 个 参 数 自 动 存 储 管 理 (ASM) 不 再 需 要 在 文 件 级 来 管 理 存 储 通 过 磁 盘 组 来 简 化 存 储 管 理
数 据 中 心 管 理 方 案 Oracle 企 业 管 理 器 主 机 与 硬 件 数 据 库 应 用 服 务 器 网 络 与 负 载 均 衡 器 管 理 监 控 诊 断 配 置 应 用 程 序 企 业 管 理 器 存 储 器
数 据 中 心 数 据 展 现 方 案 Oracle 商 业 智 能 套 件 交 互 式 仪 表 板 报 表 发 布 即 席 分 析 主 动 侦 测 与 告 警 移 动 & 断 连 接 分 析 MS Office 插 件 简 化 的 业 务 模 型 与 抽 象 层 Oracle BI 服 务 器 智 能 的 缓 存 服 务 多 维 计 算 与 集 成 引 擎 智 能 请 求 生 成 与 优 化 的 数 据 访 问 服 务 OLTP & ODS 系 统 数 据 仓 库 数 据 集 市 SAP, Oracle PeopleSoft, Siebel, Custom Apps 文 件 Excel XML 业 务 流 程
议 程 概 述 Oracle 数 据 中 心 解 决 方 案 Oracle 解 决 方 案 优 势 案 例 介 绍
数 据 库 市 场 份 额 比 较 Microsoft 15% Other 14.3% IBM 22% Oracle 48.6% Source: Gartner DataQuest May 2006, based on Total Software Revenue
数 据 仓 库 市 场 份 额 比 较 Microsoft 16% Teradata 10% Other 11% IBM 23% Oracle 40% Source: IDC, Sept 2006 Worldwide Data Warehousing Tools 2005 Vendor Shares
最 佳 品 牌 中 间 件 Gartner 四 方 图 应 用 平 台 套 件 开 发 工 具 企 业 应 用 服 务 器 Web 服 务 平 台 企 业 门 户 业 务 智 能 身 份 管 理 Web 服 务 管 理 数 据 集 成 LEADER LEADER LEADER LEADER LEADER LEADER LEADER LEADER LEADER
议 程 概 述 Oracle 数 据 中 心 解 决 方 案 Oracle 解 决 方 案 优 势 案 例 介 绍
甲 骨 文 奥 斯 丁 数 据 中 心 艺 术 品 一 样 的 数 据 中 心 占 地 面 积 >82,000 平 方 尺 外 包 客 户 数 量 > 6000 基 本 的 数 据 中 心 服 务 : 外 包 客 户 内 部 产 品 新 的 开 发 系 统 完 全 冗 余 的 主 系 统 UPS, 发 电 机 电 信 网 络 复 杂 安 全 系 统
奥 斯 汀 奥 斯 汀 数 据 中 心 每 年 能 为 甲 骨 文 公 司 在 电 力 方 面 节 省 $3, 700,000 42,000 平 方 尺 升 高 地 板, 可 扩 展 到 82,000 平 方 尺 1140 19- 英 寸 货 架 主 要 电 源 供 应 采 用 双 电 源 设 置 不 间 断 电 源 供 应 完 全 冗 余, 4.8 MW 后 备 发 电 机 5 X 2 MW, 可 扩 展 到 7 个 燃 油 储 备 : 80,000 加 仑 水 储 备 : 50,000 加 仑 90 瓦 特 / 平 方 尺 ( 升 高 地 板 ) 4 个 600 吨 冷 却 塔, 可 扩 展 到 5 个 即 将 推 出 : 热 能 量 存 储 系 统
安 全 性 今 天 24x7 安 全 保 障 监 控 系 统 : 内 部 外 部 单 点 登 录 生 物 测 定 员 工 背 景 检 查 即 将 推 出 带 有 车 辆 屏 障 保 护 的 外 围 栅 栏 安 全 门 周 界 光 电 束 X 射 线 金 属 检 测 器 武 装 警 卫 虹 膜 扫 描
网 络 带 宽 的 快 速 增 长 增 加 的 网 络 弹 性 包 括 : 载 波 和 路 由 的 变 化 硬 件 冗 余 网 络 集 线 器 的 双 向 连 接 降 低 的 网 络 延 迟 为 灾 备 恢 复 站 点 提 供 足 够 的 网 络 带 宽 不 同 的 光 线 入 口 路 径 CAT5 Copper Cable- 576 Miles 光 缆 - 150 公 里 GigE Ports- 8352 Copper Ports- 5568
三 个 数 据 中 心 互 为 备 份 Oracle HQ DC SBC Level 3 Local Local Loops AT&T Loops OC12 7606 7606 7606 Level 3 7606 GigE Rocky Mountain DC Level 3 GigE AT&T OC12 Level 3 GigE AT&T OC12 ICG Local Loops Level 3 Local Loops 7606 7606 AT&T Local Loops Austin DC ISPs WWW
Oracle 数 据 中 心 方 案 总 结 目 标 好 处 充 分 利 用 Oracle 数 据 库 的 技 术 优 势 简 单 完 整 的 数 据 中 心 架 构, 包 括 数 据 容 灾 减 少 实 施 和 维 护 成 本 开 放 的 架 构 统 一 安 全 的 数 据 访 问 实 时 数 据 获 取
<Insert Picture Here>