<Insert Picture Here> 多数据中心的数据交换
IT 系统现状 数据仓库 销售系统 ERP 自定义应用 更多的处理器电能消耗 ORB 分离的存储 Database Database Database Files 不同的操作系统 硬件 Cluster Small server Big server Mainframe 低系统利用率 NAS/SAN DAS NAS/SAN DAS 更高的成本
整合 / 虚拟化的驱动力 减少电能的消耗 更好的敏捷性 数据中心整合 / 虚拟化 提高服务器利用率 更低的操作成本
整合与虚拟化 两种方式 服务器池 : 将多台物理的服务器集合成象一台单一的逻辑服务器 服务器虚拟化 : 将一台单一的物理服务器分拆成多台逻辑服务器 (VMs) Virtual Machines Virtualization Layer Hardware Platform
企业网格共享基础架构 集中化管理 Service Oriented Applications Resource Pooling Resource Sharing Workload Mgmt Provisioning Central Monitoring Automated Mgmt Middleware Clusters Database Clusters Virtualized Storage
数据中心一 生产 / 灾备 保持数据库打开状态 逻辑备份 SQL 提交 主备系统双向切换 附加的索引和物化视图 生产系统 物理备份 延迟和零数据丢失模式 (Both) 管理员控制台和统一管理平台 (Both)
数据中心二 数据仓库 数据源 业务系统 ETL 数据存储管理信息模型数据展现 作业调度数据库管理元数据管理安全访问控制用户 交易系统前台营业系统 Call center 资讯系统网站期货业务 抽取转换 ETL 解决方案 Standardization & Transform Reconciliation Daily changes Weekly snapshot Daily Month Daily Periodic 数据仓库数据模型 CRM 风险人力财务会计 OA 报表随即查询多维分析数据挖掘 企业内外网随机报表生产报表预测分析门户集成 决策人员 管理人员 分析人员 业务人员
CDC 数据交换平台 CRM 风险人力财务会计 OA 交易系统 前台营业系统 Call center 资讯系统 实时数据 数据转换 同步平台 实时数据 装载平台 数据仓库 网站 期货业务 实时数据中心 数据仓库
数据中心数据交换的需求场景 单向复制 备份 查询 双向复制 灾备 双业务中心 点对点 多业务中心 广播复制 数据分发 集中复制 数据仓库 N+1 灾备 多级复制 层次化企业数据
GoldenGate 介绍 GoldenGate TDM 是基于日志的实时 CDC 软件平台, 提供异构环境下大量交易数据的实时捕捉 变换和投递, 同时保持亚秒一级的数据延迟 基于 GoldenGate TDM, 我们提供高可用 / 容灾和实时数据集成的解决方案 GoldenGate TDM 采用高内聚低耦合的结构, 能够支持多种拓扑结构, 包括一对一, 一对多, 多对一, 多对多, 层叠和双向复制
交易数据管理 GoldenGate 提供异构环境下交易数据的实时捕捉 变换 投递 特性 : 收益 : 实时性亚秒一级延迟 异构环境支持在不同平台和数据库环境下复制数据 以交易为单位复制维护交易一致性 高性能 能够以低资源消耗完成每秒数千交易的复制 可扩展 可靠 开放的结构使客户适应各种异构数据平台 保证数据的连续可用 独立于数据库系统的复制技术 提供 7x24 服务 不停机, 保证业务的连续性, 在线升级, 迁移数据库系统及应用
GoldenGate 工作原理 Capture: 实时读取交易日志捕捉数据变化并可实现过滤. 队列文件 : 暂存数据变化. 传输 : 数据经过压缩和加密传送到目的地. Delivery: 执行所需的数据变化, 然后将数据变化提交到目的库. Capture Source Trail 网络 Target Trail Delivery 源数据库 Delivery Target Trail 双向复制 Source Trail Capture 目的数据库
GoldenGate 的主要适用场景 灾备, 数据保护 应用或系统在线升级 基于日志的实时变化数据捕捉 操作型报表 OGG ETL ODS ETL EDW 异构的多数据源系统 实时商务智能 EDW 查询卸载 数据分发
GG 在数据传输方面的优势
GoldenGate 支持异构环境任意组合 Databases Capture: Oracle DB2 Ingres Microsoft SQL Server Sybase ASE Teradata Enscribe SQL/MP SQL/MX Delivery: All listed above, MySQL, Netezza, Greenplum, HP Neoview And any ODBC compatible DBs O/S and Platforms Windows 2000, 2003, XP Linux Sun Solaris HP NonStop HP-UX HP TRU64 HP OpenVMS IBM AIX IBM z/os
案例一 : 美国银行 客户 客户 热备份点 主数据中心 双向数据复制 客户 客户 GoldenGate has helped the Bank of America accommodate growth. Michele Schwappach, Vice President and Senior Systems Manager 超过五千八百家分行及一万六千多部自动柜员机热备份数据中心从贯穿北美的四台主机 (HP NSK) 抓取数据保障 ATM 7X24 小时可用
案例二 : 中华人民共和国海关总署 全国各地 41 个口岸 H2000 应用 网络 远距离容灾 GoldenGate 双向复制 低带宽 Oracle 9i RAC Oracle 9i RAC 低延时 GoldenGate 单向复制 H2000 生产库 决策支持库 GoldenGate 单向复制 H2000 生产库 决策支持库 可随时接管的双业务中心 快速业务切换 Oracle 9i RAC Oracle 9i 北京 广州
案例三 : 国家体育总局体彩中心 广州分中心 HA HA HA 天津分中心 Oracle 10g R1 Oracle 10g R1 Oracle 10g R1 成都分中心 HA Oracle 10g R1 GoldenGate 北京备份中心 Oracle 10g R1 HA N+1 模式容灾 各省市集中备份 HA Oracle 10g R1 GoldenGate Hp Superdome Hp Superdome GoldenGate Oracle 10g R1 HA 远距离 Oracle 10g R2 RAC 低带宽 HA Oracle 10g R1 GoldenGate Oracle 10g R1 HA Oracle 10g R1 Oracle 10g R1 Oracle 10g R1 HA HA HA 武汉分中心
数据同步中的数据转换 ELT GG 数据同步 GG 数据同步 机构库 机构库 中心库 GG 数据同步 机构库
数据同步中的数据转换 1)Distributing by field value 2) Routing by query result 3) Conversion ZE ZD ZA ZB ZD_SH S1 Q1 ZR_SH org_db shanghai Center db ZL ZD_QD ZR_QD org_db qingdao JR_SH SR QR JD_SH SL QL JE_SH org_db shanghai Center db gg process JR_QD ZL gg train file JD_QD JE_QD org_db qingdao
D E C R E A S I N G L A T E N C Y I N C R E A S I N G T R A N S F O R M A T I O N Oracle Products for Data Movement Comparing How They Work Retrieve Data Load Data Redo in Memory Buffer Disaster Recovery & Data Protection Direct Memory Access Active Data Guard Direct Write to Logs Real Time Data Integration & High Availability Read On-Disk Logs GoldenGate SQL Data Integration for Data Warehouse & SOA SQL Query Data Integrator Multi-step, Complex SQL 21
数据仓库的 E-LT 功能用 ODI 来推广高性能的数据仓库 Operational Load Transform Capture Changes ---- ---- ---- ---- Incremental Update Data Integrity Data Warehouse Aggregate Export Cube Cube Analytics 异构的源和目标 增量加载 缓慢变化维 数据完整性和一致性 变化数据捕获 数据关联分析 Cube Metadata
特性 : E-LT 架构高性能 传统的 ETL 架构 在单独 ETL 服务器上进行转换 私有的引擎 性能差 高成本 IBM 和 Informatica 的方案 Extract Transform Load 在已有的关系数据库上进行转换 充分利用资源 效率高 高性能 新一代架构 E-LT 好处 最佳的高性能 可扩展性 易管理 低成本 Transform Extract Load Transform
实际案例证明 加载销售渠道系统的数据需要执行 128 个复杂的转换程序,ODI 可以完全自动化地完成全部过程, 完成全部过程只需要不到 4 分钟! Luc Scotts, Project Manager, OAG Oracle Data Integrator(ODI) 加载和处理 900 万条记录并生成 61 万条汇总数据只需要 3 分钟. Luc Scotts, Project Manager, OAG 过去我们采用专有的 ETL 工具完成加载过程需要 8 小时, 现在我们使用 ODI, 在数据量和转换的复杂度都大大增加的情况下, 只用了不到 2 小时 Leon Schurgers, Dr. of Information Technologies, Interbank
特性 : 知识模块热插拔 : 组件化的, 灵活的, 可扩展的 基于知识模块的热插拔架构 Reverse Engineer Metadata Reverse Journalize Read from CDC Source Load From Sources to Staging Check Constraints before Load Integrate Transform and Move to Targets Service Expose Data and Transformation Services W S W S W S Sources CDC Journalize Load Staging Tables Check Error Tables Integrate Target Tables Services 外部的知识模块示例 SAP/R3 Log Miner SQL Server Triggers Oracle DBLink JMS Queues Check MS Excel TPump/ Multiload Oracle Merge Oracle Web Services Siebel DB2 Journals DB2 Exp/Imp Oracle SQL*Loader Check Sybase Type II SCD Siebel EIM Schema DB2 Web Services 好处 基于现有的最佳实践经验, 目前产品包含 120 多个知识模块 容易管理工作 降低成本
编排数据流 1. 设计转换功能之间的工作顺序 2. 使用 ODI 内置的工具 数据质量处理 文件管理 发送 / 接受电子邮件 调用 Web Services 事件检测 创建自己的工具 3. 流程控制 循环 (Loops) 条件 (Conditions) 出错处理 (Error Handling)
总结 -CDC 数据交换平台 CRM 风险人力财务会计 OA 交易系统 前台营业系统 Call center 资讯系统 实时数据 数据转换 同步平台 实时数据 装载平台 数据仓库 网站 期货业务 实时数据中心 数据仓库 Oracle GoldenGate Oracle ODI
总结 -GoldenGate 的主要适用场景 灾备, 数据保护 应用或系统在线升级 基于日志的实时变化数据捕捉 操作型报表 OGG ETL ODS ETL EDW 异构的多数据源系统 实时商务智能 EDW 查询卸载 数据分发
问 答