Agenda GoldenGate 主要应用场景介绍 GoldenGate 简介 GoldenGate 案例分析
GoldenGate 公司简介 创建于 1995 年, 总部在美国旧金山 数据复制领域的专业公司 全球超过 4,000 个安装许可, 分布在政府 银行 制造 传媒 电信 证券 医疗和零售等各大行业, 其中有多个全球财富 500 强企业 与 Oracle IBM HP Microsoft Sybase Teradata 等著名企业建立了紧密合作关系 中科领新信息技术有限公司是 GoldenGate 公司中国区总代理和技术支持中心 2009 年被 Oracle 收购
数据复制的拓扑结构单向复制单向复制单向复制单向复制备份备份备份备份 查询查询查询查询双向复制双向复制双向复制双向复制灾备灾备灾备灾备 双业务中心双业务中心双业务中心双业务中心点对点点对点点对点点对点多业务中心多业务中心多业务中心多业务中心广播复制广播复制广播复制广播复制数据分发数据分发数据分发数据分发集中复制集中复制集中复制集中复制数据仓库数据仓库数据仓库数据仓库 N+1 灾备灾备灾备灾备多级复制多级复制多级复制多级复制层次化企业数据层次化企业数据层次化企业数据层次化企业数据
Oracle GoldenGate 使用场景企业级的实时数据解决方案 灾备, 数据保护 应用或系统在线升级 Standby (Open & Active) Standardize on Single Technology for Multiple Needs Deploy for Continuous Availability and Real-time Data Access for Reporting / BI 基于日志的实时变化数据捕捉 OGG 操作型报表 Reporting Database ETL 异构的多数据源系统 ODS ETL 实时商务智能 EDW EDW Highly Flexible Fast Deployments Lower TCO & Improved ROI 查询卸载 数据分发
Oracle GoldenGate 主要应用场景分类 6
高可用性 : 容灾与应急备份 实现 : 快速恢复和切换最小化数据损失重新同步主备两端数据 用途 : 在非计划性停机时保持业务连续
案例 : 国家体育总局体彩中心 N+1 模式容灾 各省市集中备份 远距离 低带宽
高可用性 : 减少计划内停机 实现 : 保障业务零或者近似零停机滚动升级降低业务中断带来的损失 用途 : 保障系统 / 应用 / 数据库在升级 移植和维护期间业务的可用性
高可用性 : 双业务中心 (Active-Active) 实现 : 负载均衡, 提高系统整体性能 连续可用, 快速的容灾接管 冲突检测和处理
案例 : 美国银行 客户 客户 热备份点 主数据中心 双向数据复制 客户 客户 GoldenGate has helped the Bank of America accommodate growth. Michele Schwappach, Vice President and Senior Systems Manager 超过五千八百家分行及一万六千多部自动柜员机热备份数据中心从贯穿北美的四台主机 (HP NSK) 抓取数据保障 ATM 7X24 小时可用
案例 : 中华人民共和国海关总署 全国各地 41 个口岸 H2000 应用 网络 远距离容灾 GoldenGate 双向复制 低带宽 Oracle 9i RAC Oracle 9i RAC 低延时 GoldenGate 单向复制 H2000 生产库 决策支持库 GoldenGate 单向复制 H2000 生产库 决策支持库 可随时接管的双业务中心 快速业务切换 Oracle 9i RAC Oracle 9i 北京 广州
数据仓库实时供给 ( 和 ODI 结合使用 ) 实现 : 数据仓库数据实时得到更新对源系统低影响 用途 : 提升商务智能和信息分析能力实时可用的数据仓库
Agenda GoldenGate 主要应用场景介绍 GoldenGate 简介 GoldenGate 案例分析
GoldenGate 介绍 GoldenGate TDM 是基于日志的实时 CDC 软件平台, 提供异构环境下大量交易数据的实时捕捉 变换和投递, 同时保持亚秒一级的数据延迟 基于 GoldenGate TDM, 我们提供高可用 / 容灾和实时数据集成的解决方案 GoldenGate TDM 采用高内聚低耦合的结构, 能够支持多种拓扑结构, 包括一对一, 一对多, 多对一, 多对多, 层叠和双向复制
GoldenGate 工作原理 Capture: 实时读取交易日志捕捉数据变化并可实现过滤. 队列文件 : 暂存数据变化. 传输 : 数据经过压缩和加密传送到目的地. Delivery: 执行所需的数据变化, 然后将数据变化提交到目的库. Capture Source Trail 网络 Target Trail Delivery 源数据库 Delivery Target Trail 双向复制 Source Trail Capture 目的数据库
交易数据管理 GoldenGate 提供异构环境下交易数据的实时捕捉 变换 投递 特性 : 收益 : 实时性 亚秒一级延迟 异构环境支持 在不同平台和数据库环境下复制数据 以交易为单位复制 维护交易一致性 高性能 能够以低资源消耗完成每秒数千交易的复制 可扩展 可靠 开放的结构使客户适应各种异构数据平台 保证数据的连续可用 独立于数据库系统的复制技术 提供 7x24 服务 不停机, 保证业务的连续性, 在线升级, 迁移数据库系统及应用
GoldenGate 变化数据捕捉的优势 变化数据捕捉的优势 针对 SQL SERVER,DB2 都提供基于日志的 CDC 直接从数据库日志中通过自己的专有程序抽取数据 支持在备份系统上抓取变化数据 对一些数据类型如 LONG,XML,BLOB 都提供了支持
基于日志的实时数据复制 亚秒级复制 不依赖源数据库的触发器和规则, 对源数据库影响小 数据库日志 Source Trail Target Capture Data Pump 网络 Trail Delivery JMS Message Bus
GG 在数据传输方面的优势 GG 有很好的机制来保证传输的交易一致性和断点续传 事务完整性 - 事务级粒度 只复制成功提交的事务 防止源和目标的不一致性
GoldenGate 支持异构环境任意组合 Databases Capture: Oracle DB2 Ingres Microsoft SQL Server Sybase ASE Teradata Enscribe SQL/MP SQL/MX Delivery: All listed above, MySQL, Netezza, Greenplum, HP Neoview And any ODBC compatible DBs O/S and Platforms Windows 2000, 2003, XP Linux Sun Solaris HP NonStop HP-UX HP TRU64 HP OpenVMS IBM AIX IBM z/os
GoldenGate 10.4 支持的主流数据库版本 Oracle 8i (DML only) Oracle 9.1 and 9.2 (DML and DDL) Oracle 10.1 and 10.2 (DML and DDL) Oracle 11g (DML and DDL) DB2 UDB 8.x and 9.5 on Windows and UNIX DB2 UDB for OS/390 and z/os 7.1 (until IBM end of service date) DB2 UDB for z/os Version 8.1 and 9.1 SQL Server 2000 and 2005 on MS-supported OS as a source or target. SQL Server 2008 on MS-supported OS as a target only. Sybase 12.5.4 and 15 ASE MySQL versions 4.0 and 4.1
GoldenGate is Strategic to Oracle Over 400 customers with 4,000+ implementations across Fortune 500 companies: Financial Services, Communications, Healthcare, Public Sector, Retail & Utilities industries Top 3 of 5 largest commercial banks Top 3 of 3 busiest ATM networks Top 7 of 10 financial data services companies Top 4 of 5 telecommunications providers Top 3 of 5 largest food & drug stores 23
GG 在 Oracle 数据复制产品中的定位 Redo in Memory Buffer Disaster Recovery & Data Protection Direct Memory Access Active Data Guard Direct Write to Logs Real Time Data Integration & High Availability Read On-Disk Logs Stream GoldenGate SQL Data Integration for Data Warehouse & SOA SQL Query Data Integrator Multi-step, Complex SQL 24
GoldenGate 与 Streams 的比较 GoldenGate is Oracle s strategic replication solution Streams continues to be a supported Oracle Database feature Oracle GoldenGate Oracle Streams Out-of-the-box solutions Broad heterogeneous support Excellent reference base Highly customizable and flexible Optimized for Oracle Database Few large references Why buy GoldenGate? Better ROI overall: GoldenGate is lower cost to implement and maintain Enterprise-wide solution: GoldenGate easily expands to new use cases Support for Streams continues: Continue to use Streams where it s deployed Lead with GoldenGate 25
Agenda GoldenGate 主要应用场景介绍 GoldenGate 简介 GoldenGate 案例分析
华南 GoldenGate 成功案例分析 灾备, 数据保护 安信证券 CDC 数据交换平台 DB2 ORACLE SQL Server ORACLE 基于日志的实时变化数据捕捉 OGG 异构的多数据源系统 应用或系统在线升级 操作型报表 ODS ETL ETL 实时商务智能 EDW EDW 招商证券交易系统灾备 DB2 --- DB2 DB2 --- Oracle 平安保险 EPCIS 平台迁移 Oracle/ HPUX 迁移至 SUN 平台上 查询卸载 数据分发 平安保险 ELIS 客户系统数据同步 SUN SOLARIS/Oracle 10.2.0.3
安信 CDC 数据交换平台 CRM 风险人力财务会计 OA 交易系统 前台营业系统 Call center 数据同步 平台 资讯系统 网站 CDC 数据交换平台 期货业务
安信 GG 测试方案 1) 环境问题 2) 定制版本
招商证券灾备 初始测试 设备名称 / 用途 数量 操作系统 IP 地址 ( 示意 ) 备注 IBM P590 1 AIX 5.3 04 172.30.60.91 SOURCE 用户测试 IBM P590 1 AIX 5.3 04 172.30.60.210 TARGET 同步数据表 273 第二次测试
招商证券灾备第一次测试 400W 交易数据 : 源 3400 transaction/sec, target 2700 530W 报盘后 : 源 2200transaction/sec, target 1300 单表事务 KS.entrust (300W record) : 源 11000, target 6000 主要问题 1) GG 版本 8 kill ER * 2) 性能优化
招商证券灾备第一次测试性能优化 Tables:273 100 Remote trail 100 Local trail 1000 万 73 @range
平安 EPCIS 数据库平台迁移方案 在线访问 启动 GoldenGate 数据复制进程, 从备份时的 SCN NO 开始抓取 Source Trail Capture Target 网络 Trail Delivery 源数据库 目的数据库
平安 ELIS 同步 ELT GG 数据同步 GG 数据同步 机构库 机构库 中心库 GG 数据同步 机构库
平安 ELIS 数据同步 POC ELT GG 数据同步 GG 数据同步 机构库 机构库 中心库 GG 数据同步 机构库
FRAMEWORK 1)Distributing by field value 3) Conversion 2) Routing by query result ZE ZD ZA ZB ZD_SH S1 Q1 ZR_SH org_db shanghai Center db ZL ZD_QD ZR_QD org_db qingdao JR_SH SR QR JD_SH SL QL JE_SH org_db shanghai Center db gg process JR_QD ZL gg train file JD_QD JE_QD org_db qingdao
SCENE 1: 多表同步到单表 client_base client_extend site_email client_info client_phone_info site_address site_telephone client_base Client_extend Site_email client_info Site_address Site_telephone Site_telephone client_phone_info One to many
SCENE 2: 单表同步到多表 pol_ben gg_pol_agt POL_INSURED POL_JNT_INSURED
SCENE 3: 基于查询结果的路由 ZE ZD ZA ZB ZD_SH S1 Q1 ZR_SH org_db shanghai Center db ZL ZD_QD ZR_QD org_db qingdao TABLE ELISDATA.SITE_EMAIL, & SQLEXEC (ID lookup5, ON UPDATE, ON DELETE, & QUERY "select CLIENTNO conflict from lifedata.client_info where CLIENTNO = :client", & PARAMS (client = CLIENTNO), BEFOREFILTER, ERROR IGNORE, TRACE ALL), & FILTER (@COLTEST(lookup5.conflict,PRESENT), ON UPDATE, ON DELETE), SQLEXEC (ID lookup6, ON INSERT,& QUERY "select CLIENTNO conflict from lifedata.client_info where CLIENTNO = :client", & PARAMS (client = CLIENTNO), BEFOREFILTER, ERROR IGNORE, TRACE ALL), & FILTER (@COLTEST(lookup6.conflict,PRESENT), ON INSERT);
SCENE 4: 不同字段名称 ZE ZD ZA ZB ZD_SH S1 Q1 ZR_SH org_db shanghai Center db ZL ZD_QD ZR_QD org_db qingdao MAP ELISDATA.CLIENT_EXTEND, TARGET LIFEDATA.client_info, & colmap (usedefaults, PHONETICIZE_LASTNAME = LASTNAME, PHONETICIZE_FIRSTNAME = FIRSTNAME );
SCENE 5: 条件判断 ZE ZD ZA ZB ZD_SH S1 Q1 ZR_SH org_db shanghai Center db ZL ZD_QD ZR_QD org_db qingdao MAP ELISDATA.SITE_TELEPHONE, TARGET LIFEDATA.client_phone_info, & colmap (usedefaults, PHONE_TYPE=@CASE (SITE_DETAIL_CD, "020001", "1", "020002", "2","020003", "3","020004", "4"), PHONE_NUMBER=WHOLE_TEL_NO );
SCENE 6: 合并远端多条记录到目标端一条记录 ZE ZD ZA ZB ZD_SH S1 Q1 ZR_SH org_db shanghai Center db ZL Clientno Detail_cd whole_address 0001 030001 上海 0001 030002 深圳 ZR_QD ZD_QD CLIENTNO CONTA_ADDR HOME_ADDR 0001 上海 (030001) 深圳 (030002) org_db qingdao MAP ELISDATA.SITE_ADDRESS, TARGET LIFEDATA.client_info, & colmap (usedefaults, CONTA_ADDR=@IF (@STREQ (SITE_DETAIL_CD,"030002"), WHOLE_ADDRESS_NO, @COLSTAT(MISSING)), HOME_ADDR=@IF (@STREQ (SITE_DETAIL_CD,"030001"), WHOLE_ADDRESS_NO, @COLSTAT(MISSING)), CONTA_POSTCODE=@IF (@STREQ (SITE_DETAIL_CD,"030002"), POST_CODE, @COLSTAT(MISSING)), HOME_POSTCODE=@IF (@STREQ (SITE_DETAIL_CD,"030001"), POST_CODE, @COLSTAT(MISSING)) );
SCENE 7: Insert TO Update ZE ZD ZA ZB ZD_SH S1 Q1 ZR_SH org_db shanghai Center db ZL Clientno Detail_cd whole_address 0001 030001 SHANGHAI 0001 030002 SHENZHEN ZD_QD ZR_QD CLIENTNO CONTA_ADDR HOME_ADDR 0001 SHANGHAI(030001) SHENZHEN(030002) org_db qingdao For site_email,site_telephone,site_address, We need to transfer insert operation On the source into update on the target db. (We use updateinsert parameter for this scene.)