<<Title: Industry, products, solution>> <<Author name>>

Size: px

Start display at page:

Download "<<Title: Industry, products, solution>> <<Author name>>"

扶蟠席
5 years ago
Views:

1 <Insert Picture Here> 数据集成方案介绍蔡东林 Oracle DIS GWC

2 议程引言 Oracle 数据集成概述 Oracle GoldenGate 介绍 Oracle Data Integrator 介绍 Oracle Enterprise Data Quality 介绍总结

4 亚马逊宕机约 30 分钟损失近 200 万美元

5 数据 - 未来的新能源数据量持续呈指数增长基础架构成本上升数据处理任务耗时更长总体数据复杂性增加数据生命周期更长存储需求和成本上升必须定义活动与归档数据法规要求 = 即刻数据访问源自 :Google 趋势,

6 数据量变化是必然和势不可挡的数据量和保留时间持续增长数据量持续呈指数增长基础架构成本上升数据处理任务耗时更长总体数据复杂性增加数据生命周期更长存储需求和成本上升必须定义活动与归档数据法规要求 = 即刻数据访问数据生命周期

7 变化是必然和势不可挡的支持批处理的时间窗口缩短小时 8x5 批处理耗时过长 7x24 运营限制了停机时间批处理时间超过规定的时间即便最好的硬件最终也会难以应对分钟时间不足 24x7 秒 MB GB TB 数据量

8 快速行动缔造价值掌握信息的速度越快, 成效就越令人满意业务决策逐步转变为实时决策业务事件留给捕获数据的时间越来越少需要分析的数据量越来越多 = 延迟业务价值捕获数据完成分析为实现卓越的运营, 必须立即采取行动完全可以实现实时捕获和实时行动采取行动行动时间

9 Oracle 数据集成概述

最高性能更低的总拥有成本易用可靠经认证属于领先技术, 能够快速实现价值非结构化内容 Oracle Data Service

10 Oracle 数据集成解决方案进行企业数据集成的全面解决方案旧系统应用程序 OLTP Oracle Data Integrator Oracle GoldenGate Oracle 企业数据质量管理软件全面同类最佳的企业数据集成方法最高性能更低的总拥有成本易用可靠经认证属于领先技术, 能够快速实现价值非结构化内容 Oracle Data Service Integrator Oracle 客户报告 : 总拥有成本降低 80% 性能提升五倍开发成本降低 70% 现代化定制 MDM BI 大数据同步 SOA

11 Oracle Data Integrator 批量数据处理和数据转换旧系统应用程序 OLTP 非结构化内容 Oracle Data Integrator 声明式设计高性能 E-LT 可扩展的知识模块 CEP 数据服务高性能低成本的 E-LT 架构轻型部署灵活轻松的扩展功能

12 Oracle GoldenGate 实时数据集成旧系统应用程序 OLTP 非结构化内容 Oracle GoldenGate 基于日志的更改数据捕获和交付双向复制 CEP 集成实时事件异构的源和目标高性能低影响的实时数据集成利用即时数据提升业务洞察力持续可用性确保 7x24 运营可靠性和事务完整性

13 Oracle 全面数据集成方案私有云公有云任何数据任何源任何延迟内部部署云部署面向服务的架构 BPM 业务分析数据质量 ( 产品和客户数据 ) 零停机高性能实时复制批量数据 E-LT 云应用程序基础大数据转换数据服务联合可靠的数据快速实现价值 OLTP OLAP 旧系统非结构化内容

14 Oracle GoldenGate 介绍

15 Oracle GoldenGate 独特点实时跨异构和支持交易 / 事务完整性的复制跨异构环境, 对系统负载影响很低, 对交易型数据做实时抓取路由转换和传递和其他产品关键差异点性能非侵入式低影响和亚秒级的延迟弹性可扩展开放和模块化的架构支持异构数据源和目标可靠保持交易事务的完整性对中断和失败容忍度高

16 GoldenGate 在电信 / 金融行业中国移动广东分公司 BOSS 应急中国移动山东分公司 BOSS 应急中国移动江苏分公司中国移动湖南分公司中国移动上海分公司中国电信广东分公司中国电信上海分公司中国电信福建分公司中国电信湖南分公司中国电信内蒙古分公司中国电信广西分公司中国电信浙江分公司中国电信西藏分公司中国电信辽宁分公司中国联通总部电子渠道应急中国联通黑龙江省分公司中国联通广东省分公司人民银行总行清算中心人民银行上海清中心人民银行广州清算中心中银商务 ( 中国银行卡中心 ) 人行证信中心招商证券华夏基金成都银行股份有限公司平安银行股份有限公司华侨银行新疆农信太平洋安泰人寿保险有限公司中央国债登记结算有限责任公司上海信投建设有限公司新疆农信齐鲁证券有限公司平安证券有限公司红塔证券招商证券股份有限公司安华农业保险股份有限公司劳合社保险 ( 中国 ) 有限公司平安保险华夏基金管理有限公司合众人寿保险股份有限公司太平洋安泰人寿保险公司中国平安保险股份有限公司百年人寿保险股份有限公司长江养老保险

17 GoldenGate 在政府 / 其它行业国家电网各网省数据级容灾中国海关信息中心 H2000 核心通关系统北京和广州双业务中心国家税务总局灾备试点, 包括江西地税深圳国税厦门国税国家体育总局体彩中心国家统计局国家专利局中国疾病预防控制中心广西电网四川省统计局浙江地税辽宁地税内蒙古社保广州市劳动和社会保障局. 无锡市劳动和社会保障局景德镇市人力资源和社会保障局新疆建设兵团劳动和社会保障局无锡市劳动和社会保障局江门市人力资源和社会保障局广州住房公积金管理中心重庆公积金管理中心湖南省直单位住房公积金管理中心徐州市人社局信息中心深圳市工商局内蒙古工商行政管理局杭州市房产管理局四川省公安厅交通警察总队青岛电子化政府办公室第一重工北京西城发展中心武汉城市高速管理中心成都房地产信息中心沈阳市房地产信息中心山东省高速公路集团有限公司中远集装箱运输有限公司上海通用汽车丰田汽车金融 ( 中国 ) 有限公司华晨宝马汽车有限公司中国烟草贵州分公司上海环迅电子商务有限公司天津天狮集团有限公司京东方集团合肥分公司佳通轮胎 ( 中国 ) 投资有限公司江苏沙钢集团有限公司青岛前湾集装箱码头有限责任公司青岛前湾集装箱码头有限公司

18 GoldenGate 11g 主要特征 : 异构性支持所有主流平台,OS,RDBMS Databases Oracle GoldenGate Capture: Oracle DB2 v9 DB2 for v 10 on z/os Microsoft SQL Server R1, R2 Sybase ASE 15.5 Teradata Enscribe SQL/MP SQL/MX MySQL Informix JMS message queues Oracle Apps(E-Business Suite, JD Edwards, Peoplesoft) Oracle GoldenGate Delivery: All listed above, plus: TimesTen, IBM System i Netezza, Greenplum, & HP Neoview ETL products O/S and Platforms Linux Sun Solaris Windows 2000, 2003, XP HP NonStop HP-UX IBM AIX IBM z Series zlinux

19 Oracle GoldenGate 工作原理模块化架构捕获 : 通过读取事务日志, 在事务发生时捕获 ( 也可过滤 ) 提交的事务队列 : 准备数据, 使数据排入队列以备路由传输 : 分发数据以便路由到目标路由 : 压缩加密数据以便路由到目标交付 : 保证事务数据完整, 根据需要转换数据捕获队列传输 LAN/WAN Internet 队列交付 TCP/IP 源 Oracle 和非 Oracle 数据库双向目标 Oracle 和非 Oracle 数据库

20 GoldenGate 的松耦合部署配置灵活分析型单向查询分流合并实时 BI 集成 / 整合实时数据仓库 OLTP 操作型查询 / 报表 OLTP ODS OLTP ODS EDW 双向主用 / 备用或主动 - 主动, 实现高可用性广播数据分发对等负载平衡 / 多主分布式级联式分布式业务 OLTP OLTP Old OLTP New OLTP OLTP OLTP OLTP OLTP Stage OLTP

21 支持灵活的过滤和筛选表 : 以表为单位指定例 :MAP scott.emp TARGET james.emp 列 : 仅指定特定的列 MAP scott.* TARGET james.* ( 支持通配符 ) 例 :MAP scott.emp TARGET james.emp COLS (empno, ename); MAP scott.emp TARGET james.emp COLEXCEPT (salgrade); 行 : 指定满足特定条件的行可以在特定操作 (UPDATE 或者 INSERT 等等 ) 时来应用 Filter 条件中可指定 GoldenGate 的函数和宏例 :MAP scott.emp TARGET james.emp WHERE (sal > ); MAP scott.emp TARGET james.emp FILTER(ON (sal * 100) > );

22 Oracle GoldenGate 的两大应用领域异构数据库系统基于日志实时捕获变化数据 Golden Gate 数据容灾零宕机升级业务报表 ODS ETL 灾备数据库生产数据库报表数据库 DW 数据库高可用性灾备数据库消除计划内停机双业务中心实时数据集成数据实时 DW 分担查询负载数据分发数据同步分发数据库

23 GoldenGate 关键特性对生产系统影响小实时读取交易日志, 以低资源占用实现大交易量数据实时复制以交易为单位复制, 保证交易一致性高性能智能的交易重组和操作合并使用数据库本地接口访问并行处理体系灵活的拓扑结构支持一对一一对多多对一多对多和双向复制等支持数据过滤和转换可以自定义基于表和行的过滤规则. 可以对实时数据执行灵活影射和变换. 提供数据压缩和加密降低传输所需带宽, 提高传输安全性.

24 Oracle GoldenGate 12c 新特性支持更多的数据库版本, 如 MySQL 5.6, Oracle 12c, DB 等 ; 源端抽取的性能进一步提升 ; 目标端支持更简单的基于多线程数据同步的设置 ; 目标端提升冲突检测机制, 支持数据自动修复功能 ; GoldenGate 配置环境的安全性进一步提升 ; 数据库初始化效率进一步提升 ; DDL 同步不再使用触发器, 进一步降低对源端数据库的影响 ;

25 Oracle Data Integrator 介绍

26 Oracle 的数据集成战略 Oracle Data Integrator Oracle 大数据集成工具任何数据任何源批量数据 E-LT 大数据转换 OLTP OLAP 旧系统非结构化内容

27 ODI 架构 Desktop JVM OpenTools for adding OS functionality to any ELT/ETL job ODI Studio Designer WebLogic 11g / Application Server FMW Console ODI Plug-in Open Web Services for decoupled invocation of any ODI jobs Java EE Application Operator Servlet Container Web Service Container ODI SDK Topology Security Java EE Application ODI SDK ODI Console Runtime WS Java EE Agent Public WS Data Services SDK APIs for Java generation of any ODI system metadata Heterogeneous access Data Sources Connection Pool Repositories Sources and Targets JVM ODI Master Repository Metadata is an open relational model with built-in Flex Fields ODI Work Repository Legacy Files / XML DBMS Applications DW / BI / EPM ERP/CRM/PLM/SCM Run-time WS Standalone Agent

28 架构 : 概念视图 Development User Interfaces Administrators Designers ODI Design-Time Environment Topology/Security Metadata/Rules Design-time Repositories Code Execution Log Agent Data Flow Conductor Execution Return Codes Development Servers and Applications CRM Legacy ESB Data Warehouse Files / XML ER P Production Scenarios and Projects Releases User Interfaces Administrators Operators Thin Client Data Stewarts ODI Runtime Environment Topology/Security Execution Log Metadata Lineage Runtime Repository Metadata Navigator Code Execution Log Agent Data Flow Conductor Execution Return Codes Production Servers and Applications CRM Legacy ESB Data Warehouse Files / XML ER P

高性能 : 采用 E-LT 体系架构传统的 ETL: 单独的 ETL 服务器私有的 ETL 服务器性能差

可以在源端或者目的端加强计算能力, 有效分发负载优化的效率和可扩展性充分利用现有硬件资源管理简单,

29 高性能 : 采用 E-LT 体系架构传统的 ETL: 单独的 ETL 服务器私有的 ETL 服务器性能差需要购买单独的硬件服务器 IBM & Informatica 采用这种方式 Oracle: 不需要单独的硬件服务器优势费用低 : 充分利用计算资源 & 有效分发工作负载高效 : 有效利用数据库的优化技术速度快 : 调用数据库的内部接口, 如批量加载高扩展 : 可以在源端或者目的端加强计算能力, 有效分发负载优化的效率和可扩展性充分利用现有硬件资源管理简单, 费用低传统的 ETL 架构 Extract Transform Load 下一代的 ELT 架构 E-LT Transform Transform Extract Load

30 特性 : 声明式设计提高开发人员生产力传统 ETL 数据流图开发人员必须定义复杂 ETL 流逻辑中的每个步骤紧耦合 WHAT ( 规则 ) 和 HOW ( 流程 ) 传统做法需要特殊的 ETL 技能开发和维护的工夫大声明式设计简化的步骤根据源和目标数据库自动产生数据流易于定制化不管源和目标 DB 的类型, 自动生成数据流将 WHAT 和 HOW 分离, 带来更简单和快速的实现使用 SQL 脚本, 会的人多好处便于知识传递缩短开发时间非 IT 人员也能使用传统的 ETL 设计 ODI 声明式设计 1 2 Define What You Want Automatically Generate Dataflow Define How: Built-in Templates

31 SOA ready: 内在的 SOA 架构传统 ETL 工具 : 主要基于 C++ 过时的重量级体系架构 SOA 是系统的附加不是一体集成的对 Java 的支持只是一个 wrapper 不是内在的 ODI: 轻量级的 & 100% Java 实现轻量级的 JAVA 运行引擎 <36MB memory, 在任何支持 JAVA 的平台上可以通过 Web Service 访问数据流程开箱即用的数据访问服务, 易于测试发布将服务发布到 UDDI (Service Registry) 数据清洗转化服务可以部署成基于 SQL 的转化 ( 结构化的数据源 ) 或者基于 XSL-T 的转化 ( 非结构化的数据源 ) 非常容易的实现 SOA 集成在 ESB 中调用数据流通过 SOA 调用工作流来进行错误处理作为服务嵌入到 Oracle SOA 套件中, 实现全面整合 CRM Legacy ESB Sources Custom Database Files / XML SOA Clients Business Intelligence Web 2.0 Mashups etc. Data Access Service ERP ODI Agent Data Flow Conductor Staging Area Any DB Data Transform ation Service Targets Custo m DB ESB Batch Data Service Data Warehous e Files / XML App s

32 特性 : 知识模块热插拔 : 组件化的, 灵活的, 可扩展的基于知识模块的热插拔架构 Reverse Engineer Metadata Reverse Journalize Read from CDC Source Load From Sources to Staging Check Constraints before Load Staging Tables Integrate Transform and Move to Targets Service Expose Data and Transformation Services W S W S W S CDC Sources Journalize Load Check Integrate Error Tables Target Tables Services 外部的知识模块示例 SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers DB2 Exp/Imp Oracle DBLink Oracle SQL*Loader JMS Queues Check Sybase Check MS Excel Type II SCD TPump/ Multiload Siebel EIM Schema Oracle Merge Oracle Web Services DB2 Web Services 好处充分利用数据库的优化功能 : Native SQL; Native Functions; Native Loads; Native Journaling / CDC 针对企业的最佳实践可以对其进行优化易于管理性价比好

34 Oracle Enterprise Data Quality 介绍

数据变化多端速度之快甚至超出您的认知数据质量企业个人产品在一个小时内在一个小时内在一年内 240

人更换工作 2748 人更改地址 515 人结婚平均存在 20% 的重复产品数据 90%

5% 主数据以每月 2% 的速度发生变化年复合增长率为 27%, 三年后增长 104% 信息来源 :D&B

35 数据变化多端速度之快甚至超出您的认知数据质量企业个人产品在一个小时内在一个小时内在一年内 240 家企业更改地址 150 个业务电话号码更改或注销 20 家企业倒闭 12 家新企业开张美国有 5769 人更换工作 2748 人更改地址 515 人结婚平均存在 20% 的重复产品数据 90% 的产品未能成功推向市场零售商每年因商品信息方面的低效问题而蒙受 400 亿美元的损失, 约为总销售额的 3.5% 主数据以每月 2% 的速度发生变化年复合增长率为 27%, 三年后增长 104% 信息来源 :D&B 美国人口普查局美国卫生与公众服务部美国法院行政办公室美国劳工统计局 Gartner A.T Kearney GMA 发票准确性研究

36 典型的数据质量问题 ---- 丟失不一致含糊非结构化分类不明重复不一致的名字 ( 表达同样的业务 ) ( 经常 ) 丰富的信息, 但是大多数都没有标准属性是非标准的遗漏的和无效的编码制造商描述产品类型功率电压 Mount ABC123 AA Inc. 10hp motor 115V Yoke mount Motor, AC/DC 10hp 115V Yoke abc-123 A.A. mtr, ac(115) 10 horsepower 115volts AC/DC Motor AC. ABC/123/Q AA/Craft 10 Caballos, Motor, 115 Voltios Mot-AC 10 H-pow 115 QA-ST5 Craft TEAO HP = RPM 115V 48YZ YOKE MTR Z99 Z99 MOT-10,115V,48YZ,YOKE Z99 Motor powered pulley, 3/4" Motor 普遍的重复冗余 ( 而且经常很难被发现 ) 不一致的格式 ( 经常增加额外的字符 ) 错误分类的对象 ( 如不是一个发动机 ) 不一致的分类和错分类 Companies struggle with the basics of MDM 80% 公司对他们的主数据质量不自信 73% 公司发现把主数据标准化是非常困难的或不切实际的 MDM Business & Technology Trends - Survey,

38 EDQ 四个步骤快速实现业务价值治理源系统数据现状保护公共数据编码平台等质量过程监控提升企业级数据质量处理目标系统质量指标洞察四个简单的步骤,Oracle EDQ 快速实现业务价值 1: 了解数据面临的问题数据剖析 2: 定位数据问题并解决问题提升数据质量清洗匹配和标准化 3: 防止数据问题再出现保护治理和控制 4: 全面了解企业数据质量趋势

39 数据洞察 -- 预构建的剖析数据处理器从数字到字符从完整性到重复性 ; 多种剖析处理器用户或第三方可以增加自己的处理器

40 数据提升 -- 数据清洗示例实现各种企业自定义规则的自动检查和筛选

41 数据治理 -- 数据质量报表和趋势分析给业务人员带来直观的数据质量趋势和状态根据审计校验处理器灵活组合符合业务规则的 KPI 实时自动发布到监控仪表盘个性化监控平台业务用户可根据需要个性化仪表盘选择具体 KPI 和顺序用户实时监控从汇总下钻到明细监控 DQ 历史记录

42 EDQ 仪表盘运行流程 KPI 管理 EDQ 仪表盘 EDQ Server 执行审计校验处理器组合流程, 结果自动发布 KPI 资源库扩展到企业监控 /BI 平台

43 为业务人员所构建直观的流程设计所见即所得, 立刻产生效益为真正了解业务问题的拥有者所设计集成的团队协作全面集成的控制台项目浏览器主流程设计版结果浏览器处理器选版

44 客户案例 : 中国石油应用集成项目数据清洗通过数据质量管理软件支持企业数据清洗建立企业内部的质量标准 ; 通过改善数据质量来提高业务洞察力 ; 更好的数据监测使客户可以明察秋毫 ; 为企业内数十套系统建立质量管控机制, 提升各系统之间数据交换的效率 <Insert Picture Here>

45 总结

46 Oracle 数据集成战略的关注重点五项数据集成新要求任何数据任何源内部部署使用云平台零停机最高性能实时分析数据质量

Slide 1

精准质量, 精益运营企业数据质量问题数据质量问题的特征来源及带来的困扰信息管理三大方向可靠信息的价值问 : 我为什么无法访问决策所需的数据? 问 : 为什么我的应用程序还在使用上周的数字? 问 : 我为什么有这么多数据副本? 而且其中大部分并不准确! 可访问的信息最新信息可靠的信息可用安全可靠快速访问多个来源可操作准确一致高质量数据质量问题涉及数据重复和信息缺失名称不一致