Oracle

Oracle 证券公司解决方案 - 实时数据整合解决方案 (ODS) 张立永 资深咨询顾问 liyong.zhang@oracle.com 1

议题 Oracle 实时数据解决方案 Oracle 关键技术产品介绍 Oracle 实时数据整合案例 2

议题 Oracle 实时数据解决方案 Oracle 关键技术产品介绍 Oracle 实时数据整合案例 3

证券公司的发展趋势 注重品牌, 走规范化经营和规模化发展之路 多元化发展和业务转型 由面向业务管理型转变为面向客户的营销及服务型商业模式 从传统的 比较简单的通道服务模式向创新型 服务型模式转变 注重营销服务的内容和过程管理, 加大资讯研发力度, 开始重点关注面向客户和市场的资讯产品 从以前的交易支持者, 开始向高端的顾问服务方向转变 加大业务创新力度 创新类业务直接为证券公司带来新的收入来源, 如资产管理业务带来的资产管理收入 ; 创新类业务的推出将拓展传统业务的经营领域, 并将提升传统业务的收入规模, 改善公司收入结构 4

证券公司未来 3-5 年 IT 建设要求 业务创新 以客户为中心以产品服务为支撑适应多变的市场环境 业务与技术的全面融合构建证券公司的核心竞争力 技术整合 开放的技术平台数据的共享 分析统一的标准规范 6

持续获得实时数据的需求降低 IT 开销的同时获得更高的运行效率 实时业务操作 核心应用和数据的持续可用 发生灾难事故时系统持续在线 计划停机期间无宕机时间 负载均衡 商业智能和业务操作对实时信息的需求 实时性精确到当前秒级的业务操作 实效性非常强的信息分析应用 跨地区的数据分发 减少 IT 开销 & 提高效率 选择最合适的系统 充分利用遗留系统 最小化负载 7

数据无处不在! Ellison 法则数据的价值随其分散度的增加和呈指数降低 8

什么是数据集成 by Wiki 数据集成是将不同来源与格式的数据逻辑上或物理上进行集成的过程 数据整合 Consolidation means moving all the data from the original data sources to a new repository, much like ETL 数据交换 Propagation means moving only the necessary data to a local storage for each application consuming the data. 数据联邦 Federation means leaving the data at the original source and accessing it as needed in real-time. 9

为什么是 ODS 而不是 DW 数据采集 分担生产系统的压力 数据质量 ODS 是 DW 的基础, 但不完全为 DW 提供服务 共性业务数据的加工与分发 数据标准化 10

ODS 的驱动力 包括的因素 : - 业务发展 品牌管理 精确营销 - 数据共享 跨系统快速数据响应 企业数据模型准备 网状数据接口标准制定 - 数据质量 业务发展 数据质量 数据共享 11

ODS 的定位 统一的数据平台, 实现跨部门 跨系统的数据共享 统一数据来源, 提供及时 准确 一致的业务数据 数据的集中与分发 操作型数据存储 采集各业务系统数据 ( 实时 / 批量 ) 对目标系统按需分发 ( 实时 / 批量 ) 保存一段时间的历史明细数据 增量存储方式 业务修正 证券数据模型标准代码统一指标 查询与报表 稳定的金融逻辑模型 按主题划分 反映证券业务全貌 采集 归纳代码 进行标准化存储 同一统计口径 同一定义 对业务指标统一维护 统一定义 提供标准指标值 业务性的查询, 分担生产压力 批量的业务报表 12

他山之石-银行的ODS架构以及存在的问题 元数据管理 提供者规格 使用者规格 ODS 存储 Provider Spec Consumer Spec 数据落地区 数据准备区 数据存储区 ERP 核心系统 格式转换 国际卡 信贷管理 数据落地 与源 系统保持相同的 数据存储 数据存储区 DW 排序去重/筛选 ODS 通用基础清洗 DBMS 连接/合并/分割 证券系统 OCRM ECIF 业务转换 综合 分行 1 其他 分行 2 分行 n ABC-稽核 平衡 控制 归档 清理 备份 批量数据采集于分发 引起的数据窗口与数据延迟 数据落地引起的数据安全问题 13

ODS 技术架构 数据整合层数据存储层数据应用层数据共享层共享服务应用 数据源 核心征管 app1 汇总数据 文件服务 调用过程服务 行政办公 app2 app3 app4 外部信息 抽取转换加载 运营数据 审批 管理 报表 视图服务 外部信息交换 其它应用 门户接口 归档数据 其它接口 元数据管理 编码管理 数据质量管理 系统管理 系统监控 安全管理与备份管理 14

ODS 还可以完成的工作 - 监管类的应用 Reports & Analytical Tools Compliance Monitoring Case Mgmt Alert Management ODS 数据集成 15

ODI 还可以完成的工作 : 全局报表的数据源 系统管理 系统监控 内部业务系统 元数据管理 ODS 绩效分析即席查询交互访问 数据仓库系统 MOLAP 员工考核风险管理 外部信息交换平台 统一信息发布 16

基于 ORACLE 的建议架构与关键技术 17

数据整合实施路线 18

议题 Oracle 实时数据解决方案 Oracle 关键技术产品介绍 Oracle 实时数据整合案例 19

Comprehensive Data Integration Solution Complete, Integrated, Open Solution for the Enterprise Oracle Applications Custom Applications MDM Applications Business Intelligence Activity Monitoring SOA Platforms Comprehensive Data Integration Solution SOA Abstraction Process Manager Service Bus Data Services Data Federation Oracle Data Integrator E-LT/ETL Oracle GoldenGate Real-Time Data Integration Oracle Data Quality Profiling Cleansing Parsing Storage Data Warehouse/ Data Mart OLTP System OLAP Cube Flat Files Web 2.0 Web and Event Services, SOA 20

GoldenGate 是什么? Oracle GoldenGate 对业务数据提供低影响的数据捕获 路由 转换和投递, 实时性强, 可跨越异质环境 Key Differentiators: 高性能 非侵入式 影响最小 秒级延迟 灵活 可扩展 开放性 模块结构 支持异构的数据源和目标 可靠性 确保数据的完整性 能够容忍环境的中断和错误 21

异构环境任意组合 降低成本 充分利用既有系统 系统可高低搭配 Capture( 捕获 ) 源数据库 : - Oracle - IBM DB2 - MS SQL Server - Sybase ASE - Teradata - Enscribe - SQL/MP - SQL/MX GoldenGate Delivery( 投递 ) 目标系统 : - Oracle - TimesTen - IBM DB2 - MS SQL Server - Sybase ASE - Teradata - Enscribe - SQL/MP - SQL/MX - Ingres - MySQL - HP Neoview - 所有 ODBC 兼容数据库 - ETL 工具, Greenplum - JMS 平台 : Sun Solaris, IBM AIX, HP-UX, Linux, Windows 2000, 2003, XP HP NonStop, HP TRU64, HP OpenVMS, IBM z/os 22

GoldenGate 的工作特点 亚秒级实时数据复制 支持异构环境 可靠性 : 断点续传, 不影响系统连续运行 高性能, 对生产系统影响小 以事务为单位复制 - 事务完整性 整合 :ETL tools, Message Service 灵活拓扑结构 复制冲突检测和解决 事件标记 (Event marker) 路由和压缩 :TCP/IP,LAN,WAN 加密 :128- 位,SSL 自定义延时应用修改 根据事务大小和数量自动管理内存 收益 : 高性能 能够以低资源消耗完成每秒数千交易的复制 可扩展 开放的结构使客户适应各种异构数据平台 可靠 保证数据的连续可用 23

GoldenGate 工作原理 Capture: 实时读取交易日志, 捕捉数据变化并可实现过滤. 队列文件 : 暂存数据变化. 传输 : 数据经过压缩和加密传送到目的地. Delivery: 执行所需的数据变化, 然后将数据变化提交到目的库. 网络 Capture Source Trail Target Trail Delivery 源数据库 Delivery Target Trail 双向复制 Source Trail 目的数据库 Capture 24

灵活拓扑结构实现用户的灵活方案 单向复制备份 查询 双向复制灾备 双业务中心 点对点多业务中心 广播复制数据分发 集中复制数据仓库 N+1 灾备 多级复制层次化企业数据 25

Oracle Data Integrator 企业版优化 E-LT 以提高性能 产能并降低 TCO 遗留系统 E-LT 转换方式 数据仓库 套装软件 声明式设计 增量实时的数据捕获 预算管理系统 OLTP 数据库源 可热插拔的体系结构 可插入的知识模块 26 8

独特之处 : 异构的 E-LT 高性能 传统的 ETL 体系结构 下一代体系结构 E 提取 T 转换 L 加载 E-LT 转换 E 提取 L 加载 T 转换 异构的 E-LT: 生成优化的本地 SQL 在现有 RDBMS 上进行转换 客户获益 : 批量加载时间从 63 小时缩减到 10 分钟 6 27

Oracle Data Quality and Data Profiling 11g Integrated Data Quality and Profiling for Customer Data Oracle Data Profiling, Oracle Data Quality 源和目标的元数据供应 任何源系统 重复数据检查比对合并 全局的地址清理 数据控制和可见性 对客户 / 合作伙伴的数据进行优化 数据仓库系统 ODI 企业版 商业智能系统 28

议题 Oracle 实时数据解决方案 Oracle 关键技术产品介绍 Oracle 实时数据整合案例 29

GoldenGate 是 Oracle 战略性解决方案 在实时数据解决方案领域业界最佳领导者 完善了 Oracle 的现有产品 异构系统的持续可用性 用于报表的实时数据访问 BI EPM Exadata 的实时数据 移植 / 升级 Oracle 数据库与应用时的零宕机 在全球财富 500 中, 超过 400 家购买了超过 4,000 个安装许可, 分布在政府 银行 制造 传媒 电信 证券 医疗和零售等各大行业 5 大商业银行中的 3 家 3 个最繁忙的 ATM 网络 10 大财务数据服务公司中的 7 家 5 大电信提供商中的 4 家 5 大食品 & 药品商店中的 3 家 30 30

国内部分典型客户 31

GoldenGate 中国金融成功案例 人行世博 亚运灾备 灾备, 数据保护 应用或系统在线升级 DB2 --- DB2 Oracle --- Oracle 安信证券 CDC 数据交换平台 DB2 SQL Server ORACLE ORACLE 基于日志的实时变化数据捕捉 OG G 异构的多数据源系统 操作型报表 OE D TL S E TL 实时商务智能 查询卸载 ED W E D W 招商证券交易系统灾备 DB2 --- DB2 DB2 --- Oracle 平安保险 EPCIS 平台迁移 Oracle/ HPUX 迁移至 SUN 平台上 平安保险 ELIS 客户系统数据同步 SUN SOLARIS/Oracle 10.2.0.3 数据分发 32

实时的商务智能案例 实时的数据和 BI 使每天都可以优化业务 公司背景 Overstock.com 是美国一家大型的在线商品零售商, 提供高质量的品牌商品, 包括服装 厨具 浴室用品 电脑和电子商品 运动器材等 由于公司的进货量很大, 因此商品的折扣非常高 GoldenGate 提供 采用实时数据供应, 快速实现数据仓库 ( 仅 90 天 ) 在目标端结合 ODI 的功能, 用以实现数据转换 实现了系统的零宕机迁移 挑战 / 机会 更好地理解用户的购买行为 为市场 销售推广计划等运营分析提供及时的信息 改善商品数据库的可靠性 成果 经营分析能够在几分钟内完成, 而不是好几天 实现了基于实时数据的仪表板, 包括损益分析 客户盈利度分析等 33 33

中华人民共和国海关总署 远距离容灾 低带宽 低延时 可随时接管的双业务中心 快速业务切换 34

其他的案例 平安集团 核心系统数据集中 回流 灾备 华夏人寿 报表分离 山东地方税务局 - 数据中心 安信证券 CDC 数据交换平台 平安证券数据容灾 齐鲁证券灾备中心 招商证券数据容灾 35

总结 1 2 3 ODS 是为证券公司生产系统服务的数据共享平台, 核心数据的集散地和交换中心 ODS 存储实时 准实时的业务数据, 侧重为生产系统服务 ; 而 EDW 则是基于历史数据进行分析和挖掘 ODS 和 EDW 虽同属 EDA 范畴, 但两者的定位截然不同,ODS 肯定不应该是 EDW 的一部分, 工程界面应予严格区分! 4 Oracle 的产品为实现实时的 ODS 奠定了坚实的技术基础 36

Questions? 37

38 3