Oracle SOA / Integration Forum Event Kit

Size: px

Start display at page:

Download "Oracle SOA / Integration Forum Event Kit"

氏袁沙
5 years ago
Views:

1 < 在此处插入图片 > 用 Oracle Data Integrator 构建实时融合的数据中心甲骨文 ( 中国 ) 软件系统有限公司刘晓宇政府及公共事业部资深系统架构师

2 数据, 无处不在! Ellison 法则数据的价值随其分散度的增加和呈指数降低

3 分散数据是如何产生的多种标准和准则自定义编码的高额成本缺少干净一致的数据定制报表分析打包应用决策遗留应用数据孤岛重复数据临时数据历史数据脚本定制 SQL Java OLTP 和 ODS 系统数据仓库数据集市 PeopleSoft Siebel SAP 定制应用文件 Excel XML OLAP

4 议题统一企业信息所面临的困难 Oracle 的数据集成战略 ODI-EE 数据集成平台数据集成相关解决方案 < 在此处插入图片 > 4

5 数据集成解决的主要问题交换整合质量管理共享又要出报表了, 为什么数据还没报上来? 相关数据分散在各个系统中, 报表做起来真麻烦! 数据的计量单位计算方式不同, 数据都对应不上! 哪些数据是最新的, 它们是有哪个部门提供的? 相同数据, 多个部门都要不过要的内容和格式都不同!

6 Oracle 的数据集原则事倍功半用更少的投入 ( 时间资金 ) 即可获得更大的成果实实在在高可用性高实时性去伪存真为分析决策提供高质量的数据依据融汇贯通统一为 SOA 各层面提供的数据服务, 提升信息价值

Data Integrator 数据集成元数据管理 Oracle Data Quality 数据质量存储

7 Oracle 的数据集成解决方案门户定制应用外部系统决策分析活动监视业务流程全面的数据集成平台 Oracle SOA 服务目录管理数据共享 Oracle GoldenGate 数据同步 Oracle Data Integrator 数据集成元数据管理 Oracle Data Quality 数据质量存储数据仓库 / 数据集市 OLTP 系统 OLAP 多维数据集平面文件 Web 2.0 Web 和事件服务 SOA

8 Oracle GoldenGate 11g 低影响的实时数据同步解决方案单向复制备份查询双向复制灾备双业务中心点对点多业务中心数据分发数据大集中多级复制层次化企业数据

9 Oracle Data Integrator 11g 完成从数据集中到数据整合 Oracle Data Integrator 企业版体检最佳的性能和可伸缩性降低 TCO 轻型部署数据库病历提高了可用性和可管理性异构开放基于标准健康档案数据仓库遗传病史实时数据整合整而合之实现数据的形神合一

Oracle Data Quality 和 Data Profiling 11g

地址 = #, 街道, 城市, 省, 邮编 ; 蒙古自治区 = 内蒙古自治区可用数据患者 1

10 Oracle Data Quality 和 Data Profiling 11g 提高的数据质量和监测 Oracle Data Quality Oracle Data Profiling 现有数据患者 1 姓名患者 1 地址患者 2 姓名 / 地址特性分析和标准化清洗功能将非结构化数据库通过数据转换形成结构化记录修改错误数据, 脏数据案例地址 = #, 街道, 城市, 省, 邮编 ; 蒙古自治区 = 内蒙古自治区可用数据患者 1 姓名 / 地址患者 2 姓名 / 地址患者 3 姓名匹配合并和链接识别相关实体 Haidong Song = 宋海东 =

11 通过和 SOA 平台集成, 实现数据服务的共享和使用相关应用处理流程数据共享 SOA Oracle Data Integrator 管理路由安全监控 Oracle ODI 将数据集成的结果和转换过程转化为数据服务有效的批量数据操作作为业务流程的一个步骤 Oracle SOA 将数据服务和业务进行关联, 以便驱动业务过程应用所需要的数据服务来自 ODI ETL

12 议题统一企业信息所面临的困难 Oracle 的数据集成战略 ODI-EE 数据集成平台数据集成相关解决方案 < 在此处插入图片 > 12

13 先进的 E-LT 架构提高性能降低成本的关键传统 ETL 体系结构提取转换加载 ODI 提供灵活的 E-LT 体系结构优势 : 降低 TCO: 利用现有硬件消除网络跳跃 : 提高运行性能下一代体系结构 E-LT 缩短上线时间 : 充分利用现有数据库的转换功能, 缩短 40% 开发时间提取加载转换转换 13

14 ODI EE 的核心功能组件设计运行开发平台开发平台源 DB 数据目标 DB 映射抽取转化加载知识模块知识模块知识模块知识模块运行模块元数据存储库运行管理

15 ODI EE 技术架构

16 易用的开发工具提高易用性加快部署通过图形化拖拽快速实现数据整合定义集开发测试部署于一身

标准的知识模块, 开放的技术架构可插入的体系结构, 提高灵活性知识模块体系结构 : 反向工程元数据变化数据捕获 (CDC) 从源加载到临时存储检查约束条件集成转换数据服务内置的知识模块 : SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers DB2 Exp/Imp Oracle DBLink

17 标准的知识模块, 开放的技术架构可插入的体系结构, 提高灵活性知识模块体系结构 : 反向工程元数据变化数据捕获 (CDC) 从源加载到临时存储检查约束条件集成转换数据服务内置的知识模块 : SAP/R3 Siebel Log Miner DB2 Journals SQL Server Triggers DB2 Exp/Imp Oracle DBLink Oracle SQL*Loader JMS Queues Check Sybase Check MS Excel Type II SCD TPump/Mul tiload Siebel EIM Schema Oracle Merge Oracle Web Services DB2 Web Services 体系结构的主要优势 : 便于维护灵活, 为现有最佳实践量身打造降低拥有成本

18 灵活的部署和运行降低 TCO 提高效率多种运行模式, 可独立运行的或基于 JEE 的高可用性部署部署在 Oracle WebLogic 上连接池负载平衡连接重试 (Oracle RAC) 企业安全集成可独立运行, 降低了 TCO

19 数据资源的可视化管理提高易用性降低 TCO 通过 Oracle Enterprise Manager 进行统一管理运行管理错误管理准确的错误消息扩展的通知会话控制立即停止陈旧会话元数据管理血缘分析维护并跟踪数据资源之间的关系

20 超越传统工具,ODI 数据集成平台的价值企业部署提高生产力灵活的连接集成到 WebLogic 应用网格部署以及 LDAP 提高了可用性可伸缩性和安全性高效率的配置实现高性能的 ELT 运行支持 SAP 集成 SAS Oracle 应用扩展的 API, 便于定制集成增强可管理性融于整体管理平台 Oracle Enterprise Manager 实时集成和 Oracle GoldenGate 珠联璧合, 实现实时数据捕获和复制

21 议题统一企业信息所面临的困难 Oracle 的数据集成战略 ODI-EE 数据集成平台数据集成相关解决方案 < 在此处插入图片 > 21

22 业务价值 1: 实时数据集成降低数据获取延迟增加数据流动性, 需要能实时获取数据并进行响应业务事件数据延迟数据捕获分析延迟信息传递决策延迟采取行动行动时间

23 传统 ETL + CDC 解决方案对原有系统影响较大, 实时性效果受到影响使用复杂的适配器在 OLTP 系统上进行侵入式捕获在昂贵的中间层服务器上通过 ETL 引擎进行转换通过在晚上 / 白天进行大批处理, 将数据批量加载到数据仓库提取转换转换查找数据临时存储查找数据加载

24 实时数据集成解决方案和 Oracle GoldenGate 共同打造最佳的实时解决方案非侵入式数据捕获, 从运营系统连续馈送白天进行小规模批处理或夜间进行批量处理瘦中间层, 在数据库平台 ( 目标 ) 上执行转换应用实时 BI 分析 BI ( 事实 / 维度 ) Consistency Window E-LT ( 实时小批量 + 数据转换 ) 低延迟变化数据捕获

25 2: 主数据管理什么是主数据主数据不是企业信息系统里的所有数据, 例如交易数据, 计费数据, 销售数据, 库存数据等主数据是描述系统核心业务实体的数据 : 客户供应商合作伙伴产品员工等主数据对企业流程中来讲具有非常高的价值, 会在多个业务系统或者业务复用什么是主数据管理从多个业务系统中集成最核心的需要共享的主数据集中进行主数据的清洗和丰富以服务的方式把统一完整准确的主数据分发给企业范围内需要使用这些数据的业务系统业务流程和决策支持系统主数据管理的价值确保在分散的系统间保证主数据的一致性降低业务风险, 提高业务分析的准确度和企业管理的水平, 满足法规的要求

26 主数据管理解决方案某个系统中触发对主数据的新增 / 变动养老医疗新农保实时 / 准实时的主数据同步 ODI 人员主数据库编码查重合并清洗丰富交叉关联

27 主数据管理解决方案集成之后完整准确的主数据分发给所有有关的应用系统养老医疗新农保实时 / 准实时的主数据同步 ODI 人员主数据库决策支持 / 数据仓库为决策支持和数据仓库系统提供准确的数据源

28 3: 数据中心解决方案数据中心的价值存储中心业务中心共享中心 Oracle ODI 将数据基于业务维度进行整合, 形成各种可信的数据资源和数据服务数据整合数据中心数据共享 Oracle SOA 使用数据服务驱动业务, 并实现可控的数据共享数据集中 Oracle GoldenGate 实现数据实时集中

29 数据中心解决方案数据中心综合业务系统 Oracle DB 数据抽取数据整合 ODI + ODQ 数据转换数据质量主数据数据加载分析 / 决策数据仓库相关部门数据实时集中 Oracle GoldenGate 数据共享 Oracle SOA 外部系统分散资源应用 1 应用 2 应用 N 数据库 1 数据库 2 数据库 N

30 总结全面预集成完整的数据集成整体解决方案 ODI 和 GoldenGate SOA 等相关产品高度集成实时高效 GoldenGate + ODI 提供实时的数据集成解决方案 E-LT 架构, 高性能成熟可靠对 Oracle 数据库和其他异构环境全面支持确保提供企业级运行所需可靠性

更多信息资料引用来源职务公司入门访问 Oracle Fusion Middleware 11g 网站 : http://www.oracle.com/goto/fmw11g/index. html oracle.com 上的 Oracle 数据集成 : www.oracle.com/goto/odi OTN 上的 Oracle 融合中间件 http://otn.oracle.com/middleware 有关 GoldenGate 的信息, 请访问 : http://www.

31 更多信息资料引用来源职务公司入门访问 Oracle Fusion Middleware 11g 网站 : html oracle.com 上的 Oracle 数据集成 : OTN 上的 Oracle 融合中间件有关 GoldenGate 的信息, 请访问 : 资源数据表 : e/odi/docs/odiee-datasheet.pdf 博客 : 可从以下地址获得技术信息 : s/oracle-data-integrator/index.html 数据集成活动 :

Slide 1

1 大数据时代数据的业务价值与利用手段郑曙光经理 - 中国区数据集成解决方案部 2 议题大数据所解决的问题与数据的业务价值专为大数据量身打造的 Oracle 数据集成解决方案专为业务分析量身打造的 Oracle 数据集成解决方案总结 4 5 定义大数据地理数据文本传感器数据数据量 (Volume) 速度 (Velocity) 种类 (Variety) 价值 (Value) 6