产品介绍

Size: px

Start display at page:

Download "产品介绍"

谒容
5 years ago
Views:

2 Agenda GoldenGate 主要应用场景介绍 GoldenGate 简介 GoldenGate 案例分析

3 GoldenGate 公司简介创建于 1995 年, 总部在美国旧金山数据复制领域的专业公司全球超过 4,000 个安装许可, 分布在政府银行制造传媒电信证券医疗和零售等各大行业, 其中有多个全球财富 500 强企业与 Oracle IBM HP Microsoft Sybase Teradata 等著名企业建立了紧密合作关系中科领新信息技术有限公司是 GoldenGate 公司中国区总代理和技术支持中心 2009 年被 Oracle 收购

4 数据复制的拓扑结构单向复制备份查询双向复制灾备双业务中心点对点多业务中心广播复制数据分发集中复制数据仓库 N+1 灾备多级复制层次化企业数据

Data Access for Reporting / BI 基于日志的实时变化数据捕捉 OGG 操作型报表 Reporting Database ETL 异构的多数据源系统

5 Oracle GoldenGate 使用场景企业级的实时数据解决方案灾备, 数据保护应用或系统在线升级 Standby (Open & Active) Standardize on Single Technology for Multiple Needs Deploy for Continuous Availability and Real-time Data Access for Reporting / BI 基于日志的实时变化数据捕捉 OGG 操作型报表 Reporting Database ETL 异构的多数据源系统 ODS ETL 实时商务智能 EDW EDW Highly Flexible Fast Deployments Lower TCO & Improved ROI 查询卸载数据分发

6 Oracle GoldenGate 主要应用场景分类 6

7 高可用性 : 容灾与应急备份实现 : 快速恢复和切换最小化数据损失重新同步主备两端数据用途 : 在非计划性停机时保持业务连续

8 案例 : 国家体育总局体彩中心广州分中心 HA HA HA 天津分中心 Oracle 10g R1 Oracle 10g R1 Oracle 10g R1 成都分中心 HA Oracle 10g R1 GoldenGate 北京备份中心 Oracle 10g R1 HA N+1 模式容灾各省市集中备份 HA Oracle 10g R1 GoldenGate Hp Superdome Hp Superdome GoldenGate Oracle 10g R1 HA 远距离 Oracle 10g R2 RAC 低带宽 HA Oracle 10g R1 GoldenGate Oracle 10g R1 HA Oracle 10g R1 Oracle 10g R1 Oracle 10g R1 HA HA HA 武汉分中心

9 高可用性 : 减少计划内停机实现 : 保障业务零或者近似零停机滚动升级降低业务中断带来的损失用途 : 保障系统 / 应用 / 数据库在升级移植和维护期间业务的可用性

10 高可用性 : 双业务中心 (Active-Active) 实现 : 负载均衡, 提高系统整体性能连续可用, 快速的容灾接管冲突检测和处理

11 案例 : 美国银行客户客户热备份点主数据中心双向数据复制客户客户 GoldenGate has helped the Bank of America accommodate growth. Michele Schwappach, Vice President and Senior Systems Manager 超过五千八百家分行及一万六千多部自动柜员机热备份数据中心从贯穿北美的四台主机 (HP NSK) 抓取数据保障 ATM 7X24 小时可用

12 案例 : 中华人民共和国海关总署全国各地 41 个口岸 H2000 应用网络远距离容灾 GoldenGate 双向复制低带宽 Oracle 9i RAC Oracle 9i RAC 低延时 GoldenGate 单向复制 H2000 生产库决策支持库 GoldenGate 单向复制 H2000 生产库决策支持库可随时接管的双业务中心快速业务切换 Oracle 9i RAC Oracle 9i 北京广州

13 查询卸载成本节省提高资源利用率 Find a solution that can transfer our data in real-time, keeping up with data volumes and meet future business needs. In actuality, GoldenGate was the only solution that handled all three requirements with ease. J Seelan, DBA Manager, Flowers.com 13

14 Query Offloading 案例 Query Offloading Saves Millions $ COMPANY OVERVIEW A world leader in the travel marketplace, Sabre Holdings merchandises and retails travel products and provides distribution and technology solutions for the travel industry GoldenGate PROVIDES Supports 1.6TB of data movement per day to read-only servers Source Oracle 10g Target MySQL Current plans to migrate to Oracle 11g on both source and target. CHALLENGES / OPPORTUNITIES Optimize OLTP system performance offload all query activity Reduce TCO via platform changes and segment lookers from bookers Handle growing data volumes and support heterogeneous systems over lifecycle of Air Travel Shopping Engine (ATSE) Maintain data integrity across all systems RESULTS 80% TCO Reduction Millions $$ saved Bookers vs Lookers

15 Solution Real-time Data Integration Operational Reporting Real-time Business Intelligence Accessing the data in real time using GoldenGate we can immediately see if we re profitable and if our business processes are working. - Sam Peterson, SVP Technology, Overstock.com

16 数据仓库实时供给 ( 和 ODI 结合使用 ) 实现 : 数据仓库数据实时得到更新对源系统低影响用途 : 提升商务智能和信息分析能力实时可用的数据仓库

17 Agenda GoldenGate 主要应用场景介绍 GoldenGate 简介 GoldenGate 案例分析

18 GoldenGate 介绍 GoldenGate TDM 是基于日志的实时 CDC 软件平台, 提供异构环境下大量交易数据的实时捕捉变换和投递, 同时保持亚秒一级的数据延迟基于 GoldenGate TDM, 我们提供高可用 / 容灾和实时数据集成的解决方案 GoldenGate TDM 采用高内聚低耦合的结构, 能够支持多种拓扑结构, 包括一对一, 一对多, 多对一, 多对多, 层叠和双向复制

19 GoldenGate 工作原理 Capture: 实时读取交易日志捕捉数据变化并可实现过滤. 队列文件 : 暂存数据变化. 传输 : 数据经过压缩和加密传送到目的地. Delivery: 执行所需的数据变化, 然后将数据变化提交到目的库. Capture Source Trail 网络 Target Trail Delivery 源数据库 Delivery Target Trail 双向复制 Source Trail Capture 目的数据库

20 交易数据管理 GoldenGate 提供异构环境下交易数据的实时捕捉变换投递特性 : 收益 : 实时性亚秒一级延迟异构环境支持在不同平台和数据库环境下复制数据以交易为单位复制维护交易一致性高性能能够以低资源消耗完成每秒数千交易的复制可扩展可靠开放的结构使客户适应各种异构数据平台保证数据的连续可用独立于数据库系统的复制技术提供 7x24 服务不停机, 保证业务的连续性, 在线升级, 迁移数据库系统及应用

21 GoldenGate 变化数据捕捉的优势针对 SQL SERVER,DB2 都提供基于日志的 CDC 直接从数据库日志中通过自己的专有程序抽取数据支持在备份系统上抓取变化数据对一些数据类型如 LONG,XML,BLOB 都提供了支持

22 基于日志的实时数据复制亚秒级复制不依赖源数据库的触发器和规则, 对源数据库影响小数据库日志 Source Trail Target Capture Data Pump 网络 Trail Delivery JMS Message Bus

23 GG 在数据传输方面的优势 GG 有很好的机制来保证传输的交易一致性和断点续传事务完整性 - 事务级粒度只复制成功提交的事务防止源和目标的不一致性

24 GoldenGate 支持异构环境任意组合 Databases Capture: Oracle DB2 Ingres Microsoft SQL Server Sybase ASE Teradata Enscribe SQL/MP SQL/MX Delivery: All listed above, MySQL, Netezza, Greenplum, HP Neoview And any ODBC compatible DBs O/S and Platforms Windows 2000, 2003, XP Linux Sun Solaris HP NonStop HP-UX HP TRU64 HP OpenVMS IBM AIX IBM z/os

25 GoldenGate 10.4 支持的主流数据库版本 Oracle 8i (DML only) Oracle 9.1 and 9.2 (DML and DDL) Oracle 10.1 and 10.2 (DML and DDL) Oracle 11g (DML and DDL) DB2 UDB 8.x and 9.5 on Windows and UNIX DB2 UDB for OS/390 and z/os 7.1 (until IBM end of service date) DB2 UDB for z/os Version 8.1 and 9.1 SQL Server 2000 and 2005 on MS-supported OS as a source or target. SQL Server 2008 on MS-supported OS as a target only. Sybase and 15 ASE MySQL versions 4.0 and 4.1

GoldenGate is Strategic to Oracle Over 400 customers with 4,000+ implementations across Fortune 500 companies: Financial Services, Communications, Healthcare, Public Sector, Retail & Utilities

26 GoldenGate is Strategic to Oracle Over 400 customers with 4,000+ implementations across Fortune 500 companies: Financial Services, Communications, Healthcare, Public Sector, Retail & Utilities industries Top 3 of 5 largest commercial banks Top 3 of 3 busiest ATM networks Top 7 of 10 financial data services companies Top 4 of 5 telecommunications providers Top 3 of 5 largest food & drug stores 27

27 D E C R E A S I N G L A T E N C Y I N C R E A S I N G T R A N S F O R M A T I O N GG 在 Oracle 数据复制产品中的定位 Retrieve Data Load Data Redo in Memory Buffer Disaster Recovery & Data Protection Direct Memory Access Active Data Guard Direct Write to Logs Real Time Data Integration & High Availability Read On-Disk Logs Stream GoldenGate SQL Data Integration for Data Warehouse & SOA SQL Query Data Integrator Multi-step, Complex SQL 28

GoldenGate 与 Streams 的比较 GoldenGate is Oracle s strategic replication solution Streams continues to be a supported Oracle Database feature Oracle

for Oracle Database Few large references Why buy GoldenGate?

28 GoldenGate 与 Streams 的比较 GoldenGate is Oracle s strategic replication solution Streams continues to be a supported Oracle Database feature Oracle GoldenGate Oracle Streams Out-of-the-box solutions Broad heterogeneous support Excellent reference base Highly customizable and flexible Optimized for Oracle Database Few large references Why buy GoldenGate? Better ROI overall: GoldenGate is lower cost to implement and maintain Enterprise-wide solution: GoldenGate easily expands to new use cases Support for Streams continues: Continue to use Streams where it s deployed Lead with GoldenGate 29

29 Agenda GoldenGate 主要应用场景介绍 GoldenGate 简介 GoldenGate 案例分析

30 华南 GoldenGate 成功案例分析安信证券 CDC 数据交换平台灾备, 数据保护 DB2 SQL Server ORACLE ORACLE 基于日志的实时变化数据捕捉 OGG 异构的多数据源系统应用或系统在线升级操作型报表 ODS ETL ETL 实时商务智能 EDW EDW 招商证券交易系统灾备 DB2 --- DB2 DB2 --- Oracle 平安保险 EPCIS 平台迁移 Oracle/ HPUX 迁移至 SUN 平台上查询卸载数据分发平安保险 ELIS 客户系统数据同步 SUN SOLARIS/Oracle

31 安信 CDC 数据交换平台 CRM 风险人力财务会计 OA 交易系统前台营业系统 Call center 数据同步平台资讯系统网站 CDC 数据交换平台期货业务

32 安信 GG 测试方案 1) 环境问题 2) 定制版本

33 招商证券灾备生产中心 AIX 图例图例副标题符号计数说明 2 数据库服务器 1 通信链路 1 防火墙容灾中心 AIX Replicat UDF Trail Pump Tcp/Ip 7809 DB Extract 初始测试设备名称 / 用途数量操作系统 IP 地址 ( 示意 ) 备注 IBM P590 1 AIX SOURCE 用户测试 IBM P590 1 AIX TARGET 同步数据表 273 第二次测试

34 招商证券灾备第一次测试 400W 交易数据 : 源 3400 transaction/sec, target W 报盘后 : 源 2200transaction/sec, target 1300 单表事务 KS.entrust (300W record) : 源 11000, target 6000 主要问题 1) GG 版本 8 kill ER * 2) 性能优化

35 招商证券灾备第一次测试性能优化 Tables: Remote trail 100 Local trail 1000 万

36 平安 EPCIS 数据库平台迁移方案在线访问启动 GoldenGate 数据复制进程, 从备份时的 SCN NO 开始抓取 Source Trail Capture Target 网络 Trail Delivery 源数据库目的数据库

37 平安 ELIS 同步 ELT GG 数据同步 GG 数据同步机构库机构库中心库 GG 数据同步机构库

38 平安 ELIS 数据同步 POC ELT GG 数据同步 GG 数据同步机构库机构库中心库 GG 数据同步机构库

39 FRAMEWORK 1)Distributing by field value 3) Conversion 2) Routing by query result ZE ZD ZA ZB ZD_SH S1 Q1 ZR_SH org_db shanghai Center db ZL ZD_QD ZR_QD org_db qingdao JR_SH SR QR JD_SH SL QL JE_SH org_db shanghai Center db gg process JR_QD ZL gg train file JD_QD JE_QD org_db qingdao

40 SCENE 1: 多表同步到单表 client_base client_extend site_ client_info client_phone_info site_address site_telephone client_base Client_extend Site_ client_info Site_address Site_telephone Site_telephone client_phone_info One to many

41 SCENE 2: 单表同步到多表 pol_ben gg_pol_agt POL_INSURED POL_JNT_INSURED

42 SCENE 3: 基于查询结果的路由 ZE ZD ZA ZB ZD_SH S1 Q1 ZR_SH org_db shanghai Center db ZL ZD_QD ZR_QD org_db qingdao TABLE ELISDATA.SITE_ , & SQLEXEC (ID lookup5, ON UPDATE, ON DELETE, & QUERY "select CLIENTNO conflict from lifedata.client_info where CLIENTNO = :client", & PARAMS (client = CLIENTNO), BEFOREFILTER, ERROR IGNORE, TRACE ALL), & FILTER (@COLTEST(lookup5.conflict,PRESENT), ON UPDATE, ON DELETE), SQLEXEC (ID lookup6, ON INSERT,& QUERY "select CLIENTNO conflict from lifedata.client_info where CLIENTNO = :client", & PARAMS (client = CLIENTNO), BEFOREFILTER, ERROR IGNORE, TRACE ALL), & FILTER (@COLTEST(lookup6.conflict,PRESENT), ON INSERT);

43 SCENE 4: 不同字段名称 ZE ZD ZA ZB ZD_SH S1 Q1 ZR_SH org_db shanghai Center db ZL ZD_QD ZR_QD org_db qingdao MAP ELISDATA.CLIENT_EXTEND, TARGET LIFEDATA.client_info, & colmap (usedefaults, PHONETICIZE_LASTNAME = LASTNAME, PHONETICIZE_FIRSTNAME = FIRSTNAME );

44 SCENE 5: 条件判断 ZE ZD ZA ZB ZD_SH S1 Q1 ZR_SH org_db shanghai Center db ZL ZD_QD ZR_QD org_db qingdao MAP ELISDATA.SITE_TELEPHONE, TARGET LIFEDATA.client_phone_info, & colmap (usedefaults, (SITE_DETAIL_CD, "020001", "1", "020002", "2","020003", "3","020004", "4"), PHONE_NUMBER=WHOLE_TEL_NO );

45 SCENE 6: 合并远端多条记录到目标端一条记录 ZE ZD ZA ZB ZD_SH S1 Q1 ZR_SH org_db shanghai Center db ZL Clientno Detail_cd whole_address 上海深圳 ZR_QD ZD_QD CLIENTNO CONTA_ADDR HOME_ADDR 0001 上海 (030001) 深圳 (030002) org_db qingdao MAP ELISDATA.SITE_ADDRESS, TARGET LIFEDATA.client_info, & colmap (usedefaults, (SITE_DETAIL_CD,"030002"), (SITE_DETAIL_CD,"030001"), (SITE_DETAIL_CD,"030002"), (SITE_DETAIL_CD,"030001"), );

46 SCENE 7: Insert TO Update ZE ZD ZA ZB ZD_SH S1 Q1 ZR_SH org_db shanghai Center db ZL Clientno Detail_cd whole_address SHANGHAI SHENZHEN ZD_QD CLIENTNO CONTA_ADDR ZR_QD HOME_ADDR 0001 SHANGHAI(030001) SHENZHEN(030002) org_db qingdao For site_ ,site_telephone,site_address, We need to transfer insert operation On the source into update on the target db. (We use updateinsert parameter for this scene.)

GoldenGate - Oracle's New Data Synchronization Tool-

GoldenGate - Oracle's New Data Synchronization Tool- Agenda GoldenGate 主要应用场景介绍 GoldenGate 简介 GoldenGate 案例分析 GoldenGate 公司简介创建于 1995 年, 总部在美国旧金山数据复制领域的专业公司全球超过 4,000 个安装许可, 分布在政府银行制造传媒电信证券医疗和零售等各大行业, 其中有多个全球财富 500 强企业与 Oracle IBM HP Microsoft