青海电信数据库云平台实现建议 涂宇澄 Oracle 企业架构部云计算资深顾问 yucheng.tu@oracle.com, 13501399372
1 企业私有云建设场景与 Oracle 云战略 2 青海电信数据库云平台最佳实践建议 3 青海电信数据库云平台落地实现
企业私有云建设驱动力 降低复杂度 提升业务敏捷性, 降低市场响应时间, 推动业务与技术创新 打造新一代数据中心 绿色计算 云计算 $ 改变 IT 支出的成本结构 标准化及整合 成为新的云服务提供商
企业私有云的应用场景 企业私有云 分散应用及数据整合 集中化的卓越流程管理中心 企业服务集成平台 集中化的大型应用系统支撑平台 统一的企业门户访问与集成 对分散的应用进行整合, 对应用生命周期统一管理, 方便应用能力扩展和迁移, 充分发挥 IT 资产效能 ; 对分散的小型数据库进行整合, 基于整合平台提升数据生命周期管理能力及数据质量, 有效提升数据安全并降低数据分发的难度 ; 全企业内集中的 标准化的应用管理与数据管理要求 在企业级别实现流程统一管理, 实现跨部门 跨系统的流程贯穿 ; 实现流程管理从 IT 实现到业务服务的转变, 帮助企业进行持续的流程改进 企业业务服务统一发布和访问的 官方 平台, 实现企业业务服务层的虚拟化 ; 确保服务可被重用, 提升服务使用质量 ; 完成企业各类业务服务的标准化及服务类型交换, 完成实时型服务和批量型服务的交换 集团大集中的 SaaS 应用带来高性能数据库集群的需求, 尤其是 ERP 等核心支撑系统全国大集中的 OLTP 需求 ; PaaS 平台具有海量数据管理能力及动态扩展能力 ; PaaS 平台能够满足 SaaS 应用所需的数据一致性保障及关系数据管理能力 ; 在水平方向实现企业各类门户的集成 ; 给集团内部员工 客户和上下游企业提供服务访问的关键渠道 ; 基于 WEB2.0 的沟通协作平台, 提升工作效率 ;
云平台的两种选择 :IaaS 与 PaaS 基础设施即服务 (IaaS) 适合大量的普通性能要求 自由, 但是更多工作量 是 IT 层面的整合 ( 私有云 ): 服务对象为企业 IT 人员 提供基本 IT 资源 ( 公有云 ): 服务对象为消费客户 更可靠 易供应 平台即服务 (PaaS) 更标准 更高效 业务层面的整合, 促进业务提升 ( 私有云 ): 服务对象为企业业务应用系统 应用开发平台 ( 公有云 ): 服务对象为开发人员
趋势 :50% 的企业将关注热点放在平台服务 (PaaS) Database platform as a service 28.7% Application server platform as a service 21.4% Identity as a service 4.7% Compute as a service 10.2% Storage as a service 18.1% Software development and test as a service 14.9% Don t know/unsure 20.5% None 37.2% Preliminary findings from the IOUG ResearchWire member study on Cloud Computing, conducted in August-September 2010.
重新考虑云计算的价值制定以 PaaS 为建设核心的企业云计算战略 通过 PaaS 平台进一步实现最出色的整合 最大化 ROI 投资回报 中间件云数据库云 模式 数据库 中间件 操作系统 基础架构云 存储 服务器 整合
Oracle 的云计算战略 提供私有云和公有云两种解决方案供客户选择 提供全面 集成的 SaaS PaaS 和 IaaS 产品 让客户根据业务需要采用云
确保云计算完全达到企业级标准 100% 80% 60% 40% IDG 读者的 2010 年第 4 季度调查数据读者对于未来 12 个月应用程序基础架构首要目标的回复百分比 经典 目标仍然是重中之重 : 1. 提高可靠性 2. 降低复杂性 3. 提高性能 4. 确保 SLA 5. 提高伸缩 / 供应速度只有具备了这些特征, 企业才会将重要负载移到公有云或私有云 20% 0% Improving Application Reliability/Uptime Reducing IT Complexity Improving Application Performance Improving Ability to Ensure SLAs Increasing App Scaling/Provisioning Speed Somewhat Important Very Important Critical
同时支持公有云和私有云, 让客户根据需要采用云 1 降低前期成本 2 规模经济 3 更易于管理 4 运营费用 SaaS PaaS IaaS 1 高效率 2 高可用性 3 灵活的可伸缩性 4 快速部署 1 更好地控制安全性 合规性和服务质量 2 更易于集成 3 总成本更低 4 资本支出与运营费用 应用 平台 基础设施 Internet 公共优势 Intranet
提供全面 集成的 IaaS PaaS 和 SaaS 解决方案 云安全身份安全访问安全应用安全 Sun Ray 3rd Party Apps Integration: SOA/BPM Suite 桌面云服务 DaaS Secure Global Desktop Oracle 企业应用 CRM 等, 通讯协作应用 : OCUCS Platform as a Service Content Mgmt: ECM Suite Applications Security: Identity Mgmt Virtual Desktop Infrastructure ISV Apps User Interaction: WebCenter Cloud Management Oracle Enterprise Manager Application Performance Mgmt Lifecycle Management Configuration Management Cloud Monetization Oracle Order Management Siebel CRM Oracle Service Management 流程安全 数据安全 Application Grid: WebLogic Server, Coherence, Tuxedo, JRockit Database Grid: Oracle Database, RAC, ASM, Partitioning, IMDB Cache, Active Data Guard, Database Security Infrastructure as a Service Oracle Solaris Oracle Linux Application Quality Mgmt Ops Center Oracle Billing Revenue Management Mediation 系统安全 Oracle VM for SPARC (LDom) Solaris Containers Servers Oracle VM for x86 Physical & Virtual Systems Mgmt Billing Storage
云资源管理 根据场景选择合适的云方案 敏捷 高效 灵活 软件即服务 SaaS 平台即服务 PaaS 政府, 企业应用中间件数据库操作系统 开发 测试云 业务云 核心应用行业应用 开箱见云 ExaCloud 业务云 技术云 核心应用行业应用其它软件 基础件即服务 IaaS 虚拟机 服务器 存储 非生产系统 Exalogic Exadata Solaris Linux Windows SPARC Standard Edition OR x86 Enterprise Edition 数据中心 网络 运营管理
典型企业数据库云平台场景分析 某运营商网管系统数据库云平台 某运营商数据库云平台 大型制造企业集团 PaaS 平台 美国国土安全部海关及边防总署 PaaS 平台 澳洲联邦银行数据库云平台
某运营商网管系统数据库云平台 OSS 在线事务库 OSS 数据仓库 OSS 统一采集库 DB Server 层 共享 Exadata 所有存储资源 智能存储层 OSS 在线事务库 : 整合 OSS 域所有 OLTP 类系统的数据库 ( 如话务网管,EMOS 等 ), 不包含统一采集平台部分 ; OSS 数据仓库 : 整合 OSS 域所有 OLAP 类系统 ( 如综合分析 ) 数据库 ; OSS 统一采集库 :Follow 总部综合采集规划, 试点建设统一集中采集平台 ; 两台 Exadata 通过 DataGuard 做灾备
某运营商网管系统数据库云平台演进路线 网管系统基础架构规划演进路线 应用 1 应用 2 应用 3 系统软件 ( 数据库 中间件 ) 服务器 应用 1 应用 2 应用 3 系统软件 ( 数据库 中间件 ) 服务器池 应用 1 应用 2 应用 3 系统通用软件资源池 网络设备 网络池 存储备份池 存储备份池 基础资源池 第一阶段 集中存储备份 第二阶段 集中计算 第三阶段 动态基础架构 2006-2009 年 : 建立存储备份资源池, 网管系统存储备份资源统一采购 统一部署 统一分配 2010-2011 年 : 建立服务器和数据库资源池, 各网管系统服务器 数据库资源统一采购 统一部署 统一分配 2012 年 -2013 年 : 建立网络 存储备份 主机 数据库 中间件的共享资源池, 实现硬件和通用软件资源的集中管理和自动化调配
某运营商 Exadata 数据库云平台 酬金结算系统 原有生产系统为 Sun E25K(28 颗 cpu) 服务器,EMC DMX4 阵列系统, 运行时间超过两个小时 在 exadata 上运行时间约 20 分钟, 取得了 6 倍以上的性能提升, 同时数据压缩比达到了 8 倍, 压缩后数据容量 320GB 数据稽查系统 应用在数据需要核查时采运行 性能与压缩比都大幅提高, exadata 上的数据量约 600GB 左右 报表分析系统 原有生产系统为 Sun E25K(32 颗 cpu) 服务器,EMC DMX4 阵列系统 报表生成 : 原系统运行时间约两个半小时, 在 exadata 上运行时间约 30 分钟, 性能提升 5 倍以上 前台查询 : 原系统平均每次查询运行时间 0.48 秒, 在 exadata 上运行平均每次查询时间为 0.08 秒, 性能提升 6 倍以上 数据压缩比达到了 10-14 倍, 压缩后 exadata 上数据容量约 560GB
现状与挑战 大型制造企业集团云数据资源中心 数据分散, 缺乏统一管理 业务数据存在于各个分散的系统中, 数据的管理自成体系, 形成了多个信息孤岛, 大大制约了企业对于关键的业务数据和管理数据的有效利用 缺少企业级的数据整合 系统间数据交换模式主要是面向应用的 点对点的交换, 与应用系统紧耦合, 交换路径纵横交错, 交换接口众多, 给开发 系统监控以及维护带来巨大工作量 缺乏深层次的数据分析能力 数据分析能力单薄, 业务分析功能多集中于各自专业领域, 而跨业务专题的分析应用能力尚不具备, 领导无法从企业全局角度出发对企业各个业务条线进行跨业务 多角度 多层次的综合分析, 在某种程度上造成了资源的浪费 不能提供适应今后业务发展 现有体系架构缺乏灵活性, 弹性和横向扩展能力, 分散的应用系统和数据平台, 势必会给系统的扩展带来很大的障碍, 且新系统的建立必须要同时考虑与各个现存系统的集成问题, 这无疑是非常复杂而且低效率的 解决方案 采用完整的 Oracle 解决方案, 搭建 企业云 统一数据资源中心 业务处理云 : 以 OMS 为切入点, 将 OMS 迁移到平台上, 解决 OMS 系统的性能问题 ; 逐步整合其他各类业务系统到该平台上, 实现资源共享, 简化管理 好维护 降低投资 ; 搭建未来统一 SAP ECC 共享平台 决策支持云 : 实施结果 编号 产品名称 1 ¼ Exalogic X2-2 以现有 EDW 为核心, 功能逐步完善, 满足数据扩容需要, 添加实时 BI 等更多功能 ; 将原来的 Sybase IQ 上的报表系统移到平台上 ; 逐步迁移和整合 SAP BW 到平台上 OMS 订单管理系统处理能力提高 7 倍, 批量处理能力提高上千倍, 最高提高 2575 倍 管理简化, 统一系统管理入口 系统处理能力可以根据负载变化自带扩大或缩小 运维费用 ( 外包服务 ) 降低一半 2 WebLogic Suite 10.3.4 3 ¼ Exadata X2-2 4 Oracle Database 11gR2 5 Oracle EM 11g
客户概况 美国国土安全部海关及边防总署 (CBP) 新一代数据中心 PaaS 云计算平台 CBP 是美国最大的执法部门, 每天要面对上百万的出入境人员, 大量的汽车 轮船 飞机 火车等交通工具, 以及非法移民 非法跨越边境和携带武器等罪案 同时也拥有国土安全部最大规模的 IT 架构 CBP 的 IT 系统面临严峻挑战 CBP 分布在 1600 个地点 / 位置 ; 有 9000 多个网络用于支持国土安全部, 但是要形成 一个网络 ; 拥有国土安全部最大的数据中心, 超过 7 万平方英尺, 其中有超过 4 万平方英尺的新一代数据中心 ; 超过 65000 工作站以及 9863 个传感器 ;607 个远程视频监测站点 ( 固定 & 移动 ); 7x24x365 不间断工作, 不能宕机, 站点采用全冗余模式 解决方案 :CBP 采用 Oracle Exadata 和 Exalogic 构建其云计算 PaaS 平台 通过提升运维效率削减 $216M 的成本, 在有限的预算下, 保证系统的可用性和可靠性, 消除重复建建设和冗余的工具 ; 将系统运维和容灾迁移到国土安全部数据中心 ; 在新的架构和工具上重建 AES; 将 Email 和 Sharepoint 作为一种服务提供 ; 将 NOC/SOC/Apps 管理整合到运维中心 实施结果 在线查询平均提升 10x( 比原有的大型 UNIX 主机 ) 8 台 Exadata 构建生产环境数据库资源池 ; 6 台 Exadata 构建连续性保障数据库资源池 (DR); 1/2 Exadata 构建开发数据库资源池 ; 1/2 Exadata 构建测试数据库资源池 ; 3 台 Exalogic 构建应用部署环境资源池 ; 另外,CBP 再次采购 15 台 Exadata, 对现有数据库云平台进行扩充 某关键业务查询从 14 分钟到 3 秒钟 (280x 倍 ) 批处理查询从 45 分钟 to 35 秒 (77x 倍 ) 减少 ATS 从 120 机架到 12 机架, 节省 1PB 的昂贵 SAN 存储 并减少大量的电源 空间和运维成本以及建设投资成本
数据库整合成效参考案例 澳洲联邦银行 数据库即服务 ( Database as a Service ) 整合视图和成效
1 企业私有云建设场景与 Oracle 云战略 2 青海电信数据库云平台最佳实践建议 3 青海电信数据库云平台落地实现
NIST 对云计算的 543 定义 云计算是一种能够方便 按需从网络访问共享的可配置计算资源 ( 如, 网络 服务器 存储 应用程序和服务) 池的模型, 且只需最少的管理或服务提供方交互即可快速供应和发布该模型 5 个重要特征 STEAM S 按需自助服务 T 多租户及资源池化 E 快速伸缩 A 广泛的网络访问 M 按使用量收费的服务 4 种部署模型 公有云 私有云 社区云 混合云 3 种服务模型 SaaS PaaS IaaS 信息来源 : NIST Definition of Cloud Computing v15
青海电信数据库云的建设策略 最佳实施最大获益 S T E A M 1 自服务, 自动化供应 Self-Service Automated Provisioning S T Multi- Tenanted Resource Pool 多租户的资源池 可计费的资源使用 Metered Resource M A E Elastic 弹性 Access via the network 网络访问 青海电信数据库云的 实施优先级建议 T S T M E E A A
数据库云的特性 资源弹性能力 虚拟化技术实现大分小 动态集群技术实现小合大 可以同时支持 大分小 和 小合大 的计算需求 虚拟化和集群技术
数据库云的特性 数据库资源池化 计费帐务, 结算 Service CRM Service ODS,DW Service 交换网管 Service 传输网管 Service 信令监测 Service ERP Service 办公系统 Service BSS 类应用资源池 OSS 类应用资源池 MSS 类应用资源池 空闲资源池 Database A Database B 数据库云平台
数据库云的特性 按需弹性分配资源 Sales Clients Back Office Clients Response Time Objectives NA APAC EMEA Sales Pool Back Office Pool Resource (CPU) Most Critical Least Critical Recommendation: EMEA NA All Performance Class Objects has has CPU being Bottleneck. met. Action: Action: Promote Move EMEA Server Action: Performance from No Server action Pool Class required. Back from Office Level to 2 to Sales. Level 0.
数据库云的特性 超大数据量管理 10 Hours 表扫描时间 5 Hours 1 Hour 典型 NAS 典型中等规模阵列 表大小 典型高端阵列 数据库云存储 TB 级的数据存储能力 大数据量的吞吐能力 数据并行加载与查询的混合操作性能 1TB 10 TB 100TB
数据库云的特性 超大数据量管理技术 TB 级的数据存储能力 大数据量的吞吐能力 数据并行加载与查询的混合操作性能 大容量存储 数据压缩技术 数据智能分布存储 高数据交换带宽 数据压缩技术 数据智能分布存储 数据智能过滤技术 高效的索引管理 高效的索引管理 数据智能过滤技术 数据智能分布存储
数据库云的性能焦点 高并发的业务终端 单节点风险 局域网 Network 业务用户 计算节点繁重 的处理任务 解决数据库云平台的性能焦 应用服务器 应用服务器应用服务器 点是保证其可用性的根本 数据库服务器 数据库服务器 超大规模的 数据存储 存储网络 庞大的数据 I/O
Oracle PaaS 最佳实践 Engineered Systems Hardware and Software. Engineered to Work Together. 数据库和中间件一体机 超级性能, 简化部署, 更低的总成本 公共和专有 PaaS 的基础构建块
Oracle 数据库云平台实现快速部署与搭建能力
DB DB DB DB 数据库资源池化共享与动态的按需分配 Database Cloud Database Cloud DW ERP CRM DW ERP CRM OS OS OS OS Database 共享服务器池的数据库云 RAC 或者 SI Schema 共享的数据库 schemas RAC 或者 SI
Oracle 数据库云是适合于混合负载的高性价比云平台 数据仓库类业务 多媒体数据 OLTP 类业务 Data Base Machine 弹性能力 优化的 I/O 在不同层面水平扩展的网格架构 智能扫描 智能闪存 数据压缩 高带宽的 Infiniband 资源池化 跨节点共享的虚拟内存池 安全高效的硬件网络分区 所有数据库共享存储 通过多节点实现大数据库共享 基于客户定义的 SLAs 来管理服务器和存储资源 实例锁定允许多个数据库在在一个节点内进行资源共享
模块化扩展 优化平衡的数据库云平台确保数据库云平台总体性能线性提升
开放 标准的数据库云平台 支持 SQL 标准 标准的 开放的 Java 平台 所有 Oracle 云服务器都经过一致的生成过程 经过严格测试, 开箱即用 所有相同的 Oracle 云服务器都是相同配置 不存在配置问题 所有 Oracle 云服务器都提供随时的服务 全生命周期管理 远程问题告警 所有 Oracle 云服务器都提供从应用到硬件的端到端管理 监控
通过 EM12C 构建青海电信数据云平台 计量 & 计费 Meter & Charge 管理 Manage 监控 Monitor 优化 Optimize 计划 Plan Applications and Business Services Platform as a Service Database-as-a-Service Infrastructure-as-a- Service 部署 Deploy 安装 Setup 测试 Test 构建 Build 完整的云生命周期管理 管理云生命周期的所有阶段 统一的 自动化的管理 通过单一的产品, 实现对完整的云堆栈和所有的云服务的统一管理 业务驱动的云计算 自动的资源调配以适应业务服务和活动的需求, 从而实现业务感知的云计算
Oracle EM12C 全面的云管理平台完整的云管控 Oracle Enterprise Manager 12 计量 & 计费 Meter & Charge 管理 Manage 监控 Monitor 优化 Optimize 计划 Plan Applications and Business Services Platform as a Service Database-as-a-Service Infrastructure-as-a- Service 部署 Deploy 安装 Setup 测试 Test 构建 Build Integration: SOA Suite Applications and Business Services 3rd Party Apps Platform as a Service Process Mgmt: BPM Suite Oracle Apps Security: Identity Mgmt Oracle Fusion Middleware Oracle Database Infrastructure-as-a-Service ISV Apps Oracle Operating Solaris Systems: Oracle Enterprise Oracle Linux Linux Oracle VM for SPARC (LDom) Solaris Containers Servers Storage Oracle VM for x86 User Interac tion: WebCenter
Consolidation Planner 评估数据库云整合 从 EM 知识库中抽取目标资源使用率和配置数据 CPU, memory, storage, network Over a representative period 系统管理员制定服务器并限制迁移至此的工作负载 物理的 / 虚拟的服务器 已有的 / 计划购买的服务器 业务的 / 技术的约束限制 汇报有关目标服务器上整合负载的运行性能详细报告
通过用户权限设定与服务划分支持多种混合业务
统一的云管理架构 云管理 自服务 APIs 和外部计费系统集成的 API 计费和容量规划 自服务供给 策略管理 (SLA Mgmt, DRS, DPM) 软件库 组装工具 监控供给配置管理 和外部 CMDB 集成的 API 虚拟化插件 数据库 / 中间件插件 高性能环境插件 Database Server Pool Application Server Server Pool 高性能环境 Tightly coupled cluster (HA, Live Migration) Loose grouping of individual machines (no HA or Live Migration) Storage Array Storage Array 云架构 基础环境 Storage Array
Oracle 数据库云平台独特价值总结 在线热插拔部件 虚拟化资源池 动态按需资源供应 零配置 开箱即用 构件式部署 线性系统扩展 集中管理 全双工设计 完全避免单点故障 10-50 倍数据压缩算法 统一的全生命周期管理 规划视角 闪存能力和智能存储技术 Infiniband 网络高速连接 内存数据库和应用数据缓存能力 最佳 OLTP 和数据库仓库性能 最佳 Java 和 Tuxedo 性能优化 超级性价比 企业私有云计算平台 (DBaaS) 绿色 IT 节能减排 低能耗 绿色计算 : 一台满配云服务器 ( 包含服务器 网络 存储 ) 性能可提高 8-30 倍, 而能耗只有先前系统的 1/3 或更低
1 企业私有云建设场景与 Oracle 云战略 2 青海电信数据库云平台最佳实践建议 3 青海电信数据库云平台落地实现
指导方法 Oracle 云计算方法论 云计算 业务战略 云计算 建设目标 云计算 架构设计 云计算实施 云计算运维 云计算持续改进
Oracle 云计算方法论 云计算 业务战略 云计算 建设目标 云计算 架构设计 云计算实施 云计算运维 企业战略目标 云计算类型 云服务定义 容量规划 云服务管理 业务目标 服务对象 云资源定义 安装 配置 系统监控 业务模式 服务模式 云管理定义 验收测试 资源调度 应用场景 技术选择 系统上线 生命周期管理 验证测试 服务性能管理 云计算持续改进 业务调整 服务改进 技术升级 架构优化
某运营商云计算建设规划与方案制定 第一阶段 (2011.5.11-27) 现状分析与评估 第二阶段 (2011.5.30-6.17) 未来愿景与演进规划 第三阶段 (2011.6.18-6.30) 方案与推进计划 P1. 理解某移动业务战略对 OSS 的需求 P5. 讨论演进规划 P6. 制定具体专题规划 P8. 定义和启动落地项目 P0. 启动项目 P2. 评估某移动 OSS 系统现状 P4. 评估架构成熟度和发现演进方向 1 2 3 P3. 分析集团 OSS 发展趋势和最佳实践 P7. 规划愿景和制定未来的业务和技术发展方向 P9. 制定方案和总体计划 1 现状分析报告 2 未来愿景与演进规划 3 演进项目建议
第一阶段 : 现状分析与评估 企业战略调研与趋势分析 系统现状调研 分析与评估 汇总与分析
第二阶段 : 未来愿景与演进规划 总体目标架构 专题规划 演进规划
第三阶段 : 方案与推进计划 优先级评估 技术与方案选择 收益分析与风险分析 云落地演进规划
建议青海电信数据库云平台落地实现从规划开始 青海电信 现状 分析与评估规划与设计方案实施运维优化与改进 企业私有云 阶段 1 阶段 2 阶段 3 阶段 4 阶段 5 集成商 Oracle 青海电信
谢谢