PowerPoint Presentation

Transcription

1 <Insert Picture Here> 海航集团企业实时数据交换平台建设解决方案 单明祺 Oracle Guangzhou

2 内容 应用现状与数据需求 数据交换与集成主要内容 Oracle 相关解决方案 Q&A

3 应用现状与数据需求

4 我们进行了很多建设

5 建设的目标与我们的期望是否一致?

6 一个组织如何得到他们想要的信息? 门户 Web 应用 BI 应用 ESB, EAI, BPM 数据库人事系统教务系统 Web 服务大机系统后勤系统 数据分散于多个数据库与应用系统中 没有聚合与实时数据视图 数据消费者与数据提供者点对点连接 直接依赖数据源提供的数据模型 增加应用的复杂性 大量的花费 时间用于开发与维护

7 数据挑战 : 为什么如此艰难? 数据无处不在 数据访问复杂 应用难于开发 众多的数据源 数据被 锁定 在应用竖井中 碎片化与不一致的数据 存储于不同的数据源 没有聚合 实时的信息视图 大量花费在构建 维护与疑难问题处理 难于实施数据安全

8 我们需要什么? 门户 Web 应用 BI 应用 ESB, EAI, BPM 数据服务层 数据服务 数据服务 数据服务 数据服务 数据服务 数据库人事系统教务系统 Web 服务大机系统后勤系统 数据服务层 : 松散耦合不同的数据消费者 提供业务友好的数据展显视图 透明集成多种数据源 松散偶合数据消费者与数据实现 - 使灵活最大化 隔绝对底层数据源的影响

9 冻结的 IT 资产 Division B Division A Division C CRM ERP DB

10 转换成流动的 IT 资产 Bridge Gaps between People, Processes, Applications and Systems Division B Division A Division C Partners Customers CRM ERP DB

11 数据交换与集成的主要内容

12 数据交换与集成场景 / 类型 Data Warehouse / ETL Data Synchronization Data Services Extracting data from operational systems, transforming the data and loading into a non-operational store for reporting, historical, and analytical purposes. Capture and publish data changes/events from an originating operational application store to related operational stores to ensure cross-application data consistency. Creation of logical, business-friendly services for real-time, read-mostly access to data integrated from multiple data stores. Data Quality Rationalizing and consolidating core data about critical business entities such as customer, partners, suppliers, and products. - From Gartner/BEA Strategy Day, January 2007

13 数据交换与集成的分类 主数据管理 数据仓库 数据大集中 数据联邦 数据交换 数据服务 数据清洗

14 数据交换与集成关注内容 数据传输的大小 数据传输的频率 数据格式转换 数据路由 异构数据聚集 数据文件格式 数据访问协议

15 数据交换与集成模式一 : 点对点 增加客户端压力, 提升复杂度 增加解决时间, 大量编码 紧耦合, 易出问题 重复性高 Data Sources Sales Marketing Orders CRM Inventory Finance ERP

16 数据交换与集成模式二 :ODS 模式 减少重复 仍旧与物理数据模型紧密相关 较长的解决时间 较大的实施费用 更新较复杂 降低实施系统压力 Warehouse/ODS Data Sources Sales Marketing Orders CRM Inventory Finance ERP

17 数据交换与集成模式三 : 数据服务虚拟层 提高灵活性 松耦合度 显著缩减解决时间 降低实施和维护费用 无缝的更新 实施系统压力较大 Data Services Layer Get Recent Customer Order Identify Highest Value Customer Get Household Lifetime value Data Sources Sales Marketing Orders CRM Inventory Finance ERP

18 数据交换与集成混合模式 提高灵活性, 松耦合度 缩减解决时间 降低实施和维护费用 降低需要它的系统负担 Data Services Layer Get Recent Customer Order Identify Highest Value Customer Get Household Lifetime value Warehouse/ODS Data Sources Sales Marketing Orders CRM Inventory Finance ERP

19 数据数据交换与集成的定位 Data Services Information services Process Integration Event driven data integration Governance and Impact Analysis Business SOA Intelligence GoldenGate ODI Data Warehousing Data Integration for BI applications Event driven BI Heterogeneous Data Access Information-based analytics Report to Source Data Lineage Extract, Transform, Load Data Migration, Bulk Data Data Quality, Profiling

20 Oracle 相关产品

21 Oracle GoldenGate

22 Oracle 企业级复制技术 GoldenGate 实时数据同步解决方案 第一手的数据 快速 明智的决策 简单的集成 数据完整性 Real-Time Intelligence Continuous Availability 提升可用性 更高的性能, 扩展性 快速恢复 最小化数据丢失 22

23 GoldenGate 定位 持续的可用性 快速恢复 最小化数据损失 快速 准确决策 实时决策支持 操作性 BI 支持异构数据库 快速部署 单一的技术及高灵活性 降低 TCO

24 GoldenGate TDM 工作原理 Capture: 实时读取交易日志捕捉数据变化并可实现过滤. Queue 队列文件 : 暂存数据变化. Pump: Distribute data for routing to multiple targets. Transfer 传输 : 数据经过压缩和加密传送到目的地. Delivery: 执行所需的数据变化, 然后将数据变化提交到目的库. Capture Source Trail Pump 网络 Target Trail Delivery 源数据库 Delivery Target Trail Pump 双向复制 Source Trail Capture 目的数据库

25 交易数据管理 Transactional Data Management GoldenGate TDM 提供异构环境下交易数据的实时捕捉 变换 投递 TDM 具有 : 实时性秒一级延迟 异构环境支持在不同平台和数据库环境下复制数据 特性 : 高性能能够以低资源消耗完成每秒数千交易的复制 可扩展开放的结构使客户适应各种异构数据平台 以交易为单位复制维护交易一致性 可靠保证数据的连续可用

26 GoldenGate TDM 软件支持的环境 Databases Capture: Oracle DB2 UDB Microsoft SQL Server Sybase ASE Teradata Ingres Enscribe SQL/MP SQL/MX Delivery: All listed above MySQL, HP Neoview, Netezza And ODBC compatible databases O/S and Platforms Windows 2000, 2003, XP Linux Sun Solaris HP NonStop HP-UX HP TRU64 IBM AIX IBM z/os

27 灵活的拓扑结构 单向复制备份 查询 双向复制灾备 双业务中心 点对点多业务中心 广播复制数据分发 集中复制数据仓库 N+1 灾备 多级复制层次化企业数据

28 GG 变化数据捕捉的优势 针对 Oracle, SQL SERVER,DB2 都提供基于日志的. 直接从数据库日志中通过自己的专有程序抽取数据, 对源系统的影响和权限要求很低 支持在备份系统上抓去变化数据 对一些数据类型如 LONG,XML,BLOB 都提供了支持

29 GG 在数据传输方面的优势 GG 有很好的机制来保证传输的交易一致性和断点续传

30 高可用性 : 容灾与应急备份 实现 : 快速恢复和切换最小化数据损失重新同步主备两端数据 用途 : 在非计划性停机时保持业务连续

31 高可用性 : 减少计划内停机 实现 : 保障业务零或者近似零停机滚动升级降低业务中断带来的损失 用途 : 保障系统 / 应用 / 数据库在升级 移植和维护期间业务的可用性

32 高可用性 : 双业务中心 (Active-Active) 实现 : 负载均衡, 提高系统整体性能 连续可用, 快速的容灾接管 冲突检测和处理

33 Active-Active 是数据中心建设的一种趋势 最大化利用灾备中心的 IT 设施 加倍的计算能力 提升系统整体性能 双中心负载均衡 改善地域分布, 提高系统及网络响应 持续的 IT 服务 异地部署, 没有距离限制 快速接管,RTO 0 双活的数据库 实现双向复制, 同时两端数据库都是活动的, 可以对两端的数据库同时进行操作, 并保证两端数据库的同步

34 数据仓库实时供给 ( 和 ODI 结合使用 ) 实现 : 数据仓库数据实时得到更新对源系统低影响 用途 : 提升商务智能和信息分析能力实时可用的数据仓库

35 实时报表 +GRC 应用 实现 : 将实时报表从主系统剥离, 可根据客户需求定制显著提高主系统性能 用途 : 实时报表提高系统性能和可用性

36 部门内部的多层数据同步 中央 省 地 / 县

37 部分典型客户

38 案例一 : 美国银行 客户 客户 热备份点 主数据中心 双向数据复制 客户 客户 GoldenGate has helped the Bank of America accommodate growth. Michele Schwappach, Vice President and Senior Systems Manager 超过五千八百家分行及一万六千多部自动柜员机热备份数据中心从贯穿北美的四台主机 (HP NSK) 抓取数据保障 ATM 7X24 小时可用

39 案例二 : 海关总署 全国各地 41 个口岸 H2000 应用 网络 远距离容灾 GoldenGate 双向复制 低带宽 Oracle 9i RAC Oracle 9i RAC 低延时 GoldenGate 单向复制 H2000 生产库 决策支持库 GoldenGate 单向复制 H2000 生产库 决策支持库 可随时接管的双业务中心 快速业务切换 Oracle 9i RAC Oracle 9i 北京 广州

40 案例三 : 国家体育总局体彩中心 广州分中心 HA HA HA IBM P570h IBM P570h IBM P570h IBM P570h IBM P570h IBM P570h 天津分中心 Oracle 10g R1 Oracle 10g R1 Oracle 10g R1 成都分中心 IBM P570h HA IBM P570h Oracle 10g R1 GoldenGate 北京备份中心 Oracle 10g R1 IBM P570h HA IBM P570h N+1 模式容灾 各省市集中备份 IBM P570h HA Oracle 10g R1 GoldenGate Hp Superdome Hp Superdome GoldenGate Oracle 10g R1 IBM P570h HA 远距离 IBM P570h Oracle 10g R2 RAC IBM P570h 低带宽 IBM P570h HA Oracle 10g R1 GoldenGate Oracle 10g R1 IBM P570h HA IBM P570h Oracle 10g R1 Oracle 10g R1 Oracle 10g R1 IBM P570h HA HA HA IBM P570h IBM P570h IBM P570h IBM P570h IBM P570h IBM P570h 武汉分中心

41 案例四 : 国家税务总局 集中容灾 远距离 低带宽

42 Oracle Data Integrator

43 Oracle Data Integrator(ODI) 是一个 SOA ready 的数据集成工具 如何充分利用企业现有的信息 商业智能绩效管理商业流程管理业务流程监控 数据集成 数据迁移 数据仓库主数据管理数据同步数据联邦实时消息 分散在各个系统中的数据 遗留系统 ERP CRM 业务系统

44 Oracle Data Integrator 的 5 大技术优势 将多个数据源中的数据迁移 转换到不同种类的目标中 优势 关键的特性 1. 高性能 : 高效的 E-LT 系统架构 2. 灵活性 : 基于事件驱动的整合平台 3. 高效性 : 声明式设计 ( 所见即所得 ) 4. 开放体系架构 : 100%JAVA 和 SOA 无缝集成 5. 热插拔 : 通过知识模块动态支持各种系统

45 高性能 : E-LT 体系架构 传统的 ETL: 单独的 ETL 服务器 私有的 ETL 服务器 性能差 需要购买单独的硬件服务器 IBM & Informatica 采用这种方式 Oracle: 不需要单独的硬件服务器 费用低 : 充分利用计算资源 & 有效分发工作负载 高效 : 有效利用数据库的优化技术 速度快 : 调用数据库的内部接口, 如批量加载 高扩展 : 可以在源端或者目的端加强计算能力, 有效分发负载优势 优化的效率和可扩展性 充分利用现有硬件资源 管理简单, 费用低 传统的 ETL 架构 Extract Transform Load 下一代的 ELT 架构 E-LT Transform Transform Extract Load

46 事件驱动的架构 : Changed Data Capture Oracle: One-Click CDC 简单的发布订阅框架来实现 Changed Data Capture (CDC) 保证跨多表之间的读交易一致性 开箱即用的 Log Mining 和触发器技术 可扩展 CDC 实现 CDC 的步骤 1. 设计产生数据映射 2. 选择只同步变化数据 3. 启动日志

47 高效的开发维护 : 声明式的设计 传统的方式 : 特定的 ETL 数据流 开发人员必须针对 ETL 流程中的每个步骤进行定义 传统的开发方式需要专有的 ETL 开发技能 开发, 运维的效率比较高 Oracle: 基于声明式的开发设计 高层设计采用抽象的模型 简化了开发运行步骤 自动生成数据流 易于定制化 优势 易学易用 缩短实施时间 Conventional ETL Design ODI Declarative Design 1 2 Define What You Want Automatically Generate Dataflow Define How: Built-in Templates

48 SOA ready: 内在的 SOA 架构 传统 ETL 工具 : 主要基于 C++ 过时的重量级体系架构 SOA 是系统的附加 不是一体集成的 对 Java 的支持只是一个 wrapper 不是内在的 ODI: 轻量级的 & 100% Java 实现 轻量级的 JAVA 运行引擎 <36MB memory, 在任何支持 JAVA 的平台上 可以通过 Web Service 访问数据流程 开箱即用的数据访问服务 将服务发布到 UDDI(Service Registry) 易于测试发布 数据清洗转化服务 可以部署成基于 SQL 的转化 ( 结构化的数据源 ) 或者基于 XSL-T 的转化 ( 非结构化的数据源 ) 非常容易的实现 SOA 集成 在 ESB 中调用数据流 通过 SOA 调用工作流来进行错误处理 CRM Legacy ESB Sources Custom Database Files / XML ER P SOA Clients Business Intelligence Web 2.0 Mashups etc. Data Access Service Data Transformation Service ODI Agent Data Flow Conductor Staging Area Any DB Custom DB ESB Targets Batch Data Service Data Warehouse Files / XML Apps

49 热插拔 : 知识模块 热插拔的知识模块体系架构 Reverse Engineer Metadata Reverse Journalize Read from CDC Source Load From Sources to Staging Check Constraints before Load Integrate Transform and Move to Targets Service Expose Data and Transformation Services W S W S W S Sources CDC Journalize Load Staging Tables Check Error Tables Integrate Target Tables Services 开箱即用的知识模块 SAP/R3 Log Miner SQL Server Triggers Oracle DBLink JMS Queues Check MS Excel TPump/ Multiload Oracle Merge Oracle Web Services Siebel DB2 Journals DB2 Exp/Imp Oracle SQL*Loader Check Sybase Type II SCD Siebel EIM Schema DB2 Web Services 优势 充分利用数据库的优化功能 : Native SQL; Native Functions; Native Loads; Native Journaling / CDC 针对企业的最佳实践可以对其进行优化 易于管理 性价比好

50 开放性 : 广泛的数据源支持 DB & Application KMs Generic SQL DB Oracle DB 9i Oracle DB 10g Oracle DB 10g XE IBM DB2/400 IBM DB2/UDB IBM Informix SE IBM LDAP Server MS SQL Server 2000 MS SQL Server 2005 MS SQL Server 2005 SE MS Office Access 2000 MS Office Excel 2000 MS Active Directory Sybase ASA 8.x & 9.x Sybase IQ 12.x Sonic MQ v7.0 Teradata V2R5.x Teradata V2R6.x Netezza PerformanceServer Hyperion Essbase PostgresSQL 8.1 MySQL 4.0 MySQL 5.0 Oracle BI Suite 10g Oracle BAM 10g Oracle Internet Directory 9i OpenLDAP 2.3 Siebel CRM 7.8 JD Edwards PeopleSoft SAP R/3 Oracle EBusiness Suite Oracle AQ 10g Oracle SOA Suite Oracle ESB 10g SalesForce.com App Exchange Any JMS Standard Implementation Application Adapters Oracle Applications (*) SAP(*) Peoplesoft(*) J.D.Edwards(*) Siebel(*) Ariba AXIOM mx/open Baan BroadVision Clarify Commerce One Hogan Financials i2 Technologies Lawson Livelink LotusNotes Manugistics Microsoft CRM Vantive Walker Interactive Remedy Sales Force Data Adapters AccountMate S ALLBASE/SQL Alpha Four Apache Common Logfile BizTalk XML Btrieve DDF Clarion Clipper Cloudscape Data Junction Logfile DataEase DataFlex (ODBC 3.x) IBM DB2 DB2/400 DBASE Dialog Dodge Bidders Enable DB2 (*) ERWIN Essbase Excel excelon FOCUS Data Access Folio Flat File T Foxbase+ FoxPro GoldMine Great Plains Hitachi HiRDB (ODBC) IDAPI IDS-II ImageSQL Informix(*) Ingres MicroFocus Cobol Microsoft Access Microsoft SQL Server(*) MUMPS Navision Financials Nucleus OpenIngres Oracle(*) Paradox Pointbase PostgreSQL Progress Quattro Pro Windows v5 Rbase (ODBC 3.x) Rdb Red Brick RMS Statistica SUPRA Sybase(*) Teradata UniVerse Velocis (ODBC 3.x) Visual dbase 5.5 Visual FoxPro XDB Legacy Adapters Adabas Bull TDS Bull TP8 CA-Datacom CA-IDMS/DB CA-IDMS/SQL C-ISAM (Informix) C-ISAM (Microfocus) C-ISAM ACCUCORP CICS(*) D-ISAM Hitachi HiRDB (ODBC) IMS/DB(*) IMS/TM (*) Software AG Natural Tuxedo(*) Unisys DMS 1100/2200 VSAM(*) Tech Adapters ActiveX AQ(*) COM / DCOM CORBA Flat Files(*) FTP(*) HTTP / HTTPS IBM MQSeries(native) JMS(*) Microsoft DTS MS MQ (Native) NET Oracle Advanced Queues RPG Socket Telnet Tibco Rendezvous (Native) B2B Standards EDI UCCNet RosettaNet CIDX PIDX VICS ebxml UBL UN/EDIFACT X12 X12, Property & Casualty X12, HIPPA X12N, Life & Annuity X12N, Healthcare NCPDP SCRIPT HL7 OAG cxml xcbl Content Adapters DEC WPS Plus Display Write 2, 3, 4 & 5 Enable (Writer & Spreadsheet) First Choice Framework IBM Writing Assistant Lotus Manuscript Lotus AMI/AMI Professional Microsoft Word & Works MultiMate Novell WordPerfect Office Writer PFS: Write Total Word Wang PC (IWP) WordMARC WordStar JustSystems Ichitaro JustWrite Adobe FrameMaker Lotus Word Pro Microsoft Write Microsoft Word Microsoft WordPad Microsoft Works MacWrite II Microsoft Word (Mac) Novell Perfect Works OpenOffice Writer Professional Write Plus StartOffice Writer WordStart Lotus Lotus Symphony Microsoft Excel (all versions) Mosaic Twin Novell Perfect Works (SS) OpenOffice Calc PFS: Professional Plan Quattro Pro (DOS) Quattro Pro (Win) SmartWare II StarOffice Calc SuperCalc 5 VP Planner 3D

51 Retail 客户案例 Services and Software Finance and Insurance Media and Telecommunications Manufacturing Education Government Healthcare and Pharmaceutical

52 参考案例 环境 :Teradata Warehouse; Oracle 和 MQ Sources 采用动因 : 使用 E-LT 获得性能和实时功能 竞争者 : 具有 下推优化选项 的 Informatica 使用 ODI, 我们能够减少部署 [ ] 所需的工作量 这使我们能够将更多资源集中于从仓库获得业务价值, 而不是集中在获取数据的过程上 Dale Hazel, 数据仓库开发副总裁 实施后 : 客户喜爱声明式设计 21

53 23 客户 : 解决方案 : 技术 : Overstock.com 大量 实时的数据转换 Oracle Data Integrator Oracle 9i 和 10g RAC Dell Linux IBM AIX Teradata 8 节点 Oracle Data Integrator 解决方案 : Oracle Data Integrator 帮助我们充分挖掘数据的价值 Data Integrator 允许我们使用 Teradata Enterprise Warehousing 平台的强大功能执行数据转换 [ ] 利用 Oracle 产品,300 多个用户现在能够根据需要实时 每小时 每天或每周访问相关数据 实时访问关键业务指标不再是梦想 找到了可以确保随时更新 Teradata 数据仓库的方法 即使整个体系结构中非常复杂的转换也能够自动执行 支持企业仓库中存储的几 TB 的数据以及上百万个日常事务 简言之,Oracle Data Integrator 使我们能够更好地进行决策, 更好地管理企业底层 业务问题 : 解决方案体系结构 : 希望近乎实时地访问销售 财务 市场营销和促销团队的数据, 从而可以更及时 更智能地制定业务决策 希望在任何时候都能及时了解公司绩效是否达到目标量度 需要一个数据集成产品, 以便近乎实时地处理我们的大量加载和转换要求 数据源 目标和平台 Oracle 9i RAC 和 10g RAC Teradata 8 节点 GoldenGate TDM 事务管理平台 : IBM AIX Dell Linux 数据集成体系结构 Sunopsis Data Conductor:100% 的 Java 体系结构 高性能的 E-LT 转换 业务规则驱动的转换设计工具 自动生成加载脚本 >1.2M SKU,> 5M 日常事务,>300 个用户, 可针对批处理和实时用例进行部署, 利用 Teradata 引擎的强大功能提高数据转换的速度 公司 :Overstock.com Overstock.com, Inc. (NASDAQ:OSTK) 作为在线零售商运营, 提供床上及卫浴产品 家具 钟表 珠宝 电子产品 运动产品以及设计师配件 产品 :Oracle Data Integrator 联系人 :Miranda Nash 电子邮件 :miranda.nash@oracle.com

54

55