数据库云趋势 : 奠定企业级云平台 张润平售前工程师
议程 数据库云的建设原则及方法论 数据库云的基石 :DB12C 多租户架构 数据库云的最佳选择 : 一体化 DBaaS 案例分析 Q/A
思考 : 为什么需要数据库云? 数据孤岛 打破信息孤岛, 构建全局数据视图, 为后续的信息加工和处理提供准备 ; 利用率低 传统模式资源的利用率低, 硬件按峰值购置, 浪费极大 ; 风险高 负载高峰时期无法做到系统间互补, 并发性能差, 单点故障严重 ; 运维成本高 越来越多的数据库, 监控管理困难, 升级备份麻烦 ; 性能瓶颈 避免大量无效 IO 的产生和丢弃 ;
Oracle Confidential Internal
Oracle Confidential Internal
企业数据库平台面临的问题 高昂的成本 服务器利用率 = 5-10% 糟糕的敏捷性 部署时间 4+ 月 高风险 非计划停机时成本为每分钟 $5000 数据库许可证的费用服务器 存储的费用机房的开销人员的成本 从项目立项, 到项目实施完成往往在一年以上, 从而错过了商机 ; 管理维护复杂信息孤岛 信息共享困难 非计划停机往往不仅仅是经济成本可以计算的
通过构建数据库云平台 DBaaS 解决 成本 敏捷性 风险 50% 总拥有成本降低 10 倍部署速度提升 100% 服务级别目标达成 HDFC 银行把系统部署时间从 56 天降到 3 小时!
DBaaS 数据库云的实现演进路线图 物理 专用和异构 静态 孤立的分析 当前客户状况 传统孤岛标准化的平台整合的平台服务交付平台企业云平台 标准化的硬件和软件体系 标准部署配置 数据库服务和服务级别目录 共享和安全的中央数据基础架构 动态优化和资源管理 自动化系统管理 按需 弹性 分层的自助服务 快速服务伸缩和自动化 计量 自动成本分配和收费 完全动态 统一的资源池 IT 作为云代理 : 仲裁和代理 安全的混合云集成 ( 供应商 合作伙伴等 ) 孤岛标准化整合私有 DBaaS 混合 DBaaS 1970 年代 2000 年代 2010 年代 + 简化高效灵活统一 降低风险降低运营支出降低资本支出提高敏捷性全面优化
DBaaS 是客户选择云计算的最佳切入点, 也是重中之重 部署 PaaS 云平台, 是对企业业务价值和灵活性最好的平衡点, 也是实施云计算最好的切入点 由每个部门独立建设 应用建设即需要关注平台软件能力, 又需要关注应用逻辑, 需要大量的集成和开发工作, 完成企业应用所需的软件级服务和应用能力 应用建设只需要关注应用逻辑, 具备较好的应用灵活性和平台级软件管理和服务能力 Platform (PaaS) 服务级和系统级价值 灵活性较低, 不能符合个性化需求 Application(SaaS) 业务级价值 由中心系统统一提供 Infrastructure (IaaS) 硬件维护和管理级价值
数据库云平台 DBaaS 定义 DBaaS 是一个标准化的 弹性可扩展的 可计量计费的平台, 基于网络访问, 通过一系列共享的数据库服务, 整合现有应用, 以及快速部署新的应用 DBaaS 私有云是部署于企业防火墙内的共享的数据库服务 自服务 最终用户能够自主申请资源 监控与管理资源, 具有极大灵活性 服务目录 标准化的数据库服务, 能够进行快速的 无差错的数据库部署 计费 能够进行成本计量与计费 弹性 根据工作负载动态调整数据库容量 安全 数据库具有高等级的安全管理机制, 并确保数据库服务之间的隔离性 高可靠性 通过冗余实现高可靠性 73% 的组织机构认为, 可靠性是选择云计算合作伙伴最终的因素 ;65% 的机构将安全确定为实施云计算的重要关注点 PC Connection, 2013 Outlook on Technology Study
这些建设方法虽然可以在短期内局部地暂时满足业务的要求, 但无法从长远上和整体上满足 Do More with Less Simple but Effective Not Standard but Stands Never Wait for INF 100% Ready
<Insert Picture Here> 数据库云的基石 :DB12C 多租户架构
设计思路 : 消除重复的开销, 最大限度地利用资源
传统数据库架构 需要内存 进程和数据库文件 系统资源
新的多租户架构 仅需容器级内存和流程 系统资源
新的多租户架构 仅在容器级需要内存和进程 系统资源
可插拔数据库与独立数据库的对比更高效 : 所需硬件资源少 6 倍 OLTP 基准测试对比 50 个可插拔数据库仅需 3GB 内存, 而 50 个独立数据库则需 20GB(X) 可插拔数据库最多可扩展到 250 个, 而独立数据库实例最多为 50
更加灵活地应对不断变化的负载 利用扩展集群支持灵活的整合模式 服务 CDB 实例 1 CDB 实例 2 每个 CDB 实例仅一个 SGA 节点 1 节点 2 人力资源 公路养护 路网监控 公路建设 应急指挥 多租户容器数据库 (CDB)
更加灵活地应对不断变化的负载 利用扩展集群支持灵活的整合模式 服务 CDB 实例 1 CDB 实例 3 CDB 实例 2 每个 CDB 实例仅一个 SGA 节点 1 节点 3 节点 2 人力资源 公路养护 路网监控 公路建设 应急指挥 多租户容器数据库 (CDB)
Oracle 使用多租户数据库架构的目的 在单个数据库容器 CDB 中管理多个 PDBs 降低成本 数据以及代码更容易且更快捷地移动 更容易管理和监控 数据和代码分离 更少的修补程序和升级
DB12c 多租户架构简化数据库升级及补丁维护 只需一次更改, 所有可插拔数据库均会更新 ERP CRM DW 12.1 12.X 12.1 12.X 12.1 12.X Upgrade in-place
DB12c 多租户架构简化整合后的数据库管理统一备份多个数据库 ; 在可插拔数据库级别执行恢复 ERP CRM DW 一个备份 (CDB 级别 ) 在可插拔数据库级别下进行时间点恢复
Oracle 12c 多租户架构实现 DBaaS 快速克隆 可以从同一个 CDB 内克隆 PDB 可以从远程 CDB 克隆 PDB
基于虚拟化的数据库和 DBaaS 区别满足不同场景和性价比的数据库云服务基于虚拟化的数据库 基于虚拟化技术之上提供数据库 系统负载压力增大时, 性能将 会有明显下降 部署轻负载的 非重要的小系统 数据库 整合密度与 投资回报 维护 虚拟机 中低 非常复杂 ( 虚拟机无序扩张 ) 多租户数据库 DBaaS 隔离度高 整合密度高, 性价比高 灵活 快速供应 对应用完全透明 多个数据库, 运维成本只相当于一个数据库和 OS - 只需进行一次数据库补丁 升级 备份 容灾 监控 可插拔数据库 最高 简单 隔离非常好良好 实施和培训简单简单 应用适用性 部分 ( 取决于负载 ); Oracle 只认证 OVM, Windows Azure or Hyper-V 所有
Oracle 数据库云 (DBaaS) 优势 应用上线时间大幅缩短 10 倍提升部署新的数据库速度 ( 典型部署时间 4+ 月 ) 两小时构建 DBaaS 快速应用 开发 Engineered Systems & Enterprise Manager 12c DBaaS 自服务和服务目录 高密度数据库资源整合 统一管理 降低成本 50% 降低 TCO ( 典型的服务器利用率 = 5-10%) Oracle Exadata & Oracle 多租户数据库 Oracle Database 12c & OEM12c 全面性 企业级 降低风险 100% 可用性 SLA ( 典型的非计划停机时成本为每分钟 $5000 ) 开箱即用的 DBaaS 方案, 包括必须的服务 可用性, 安全, 可管理及实用功能 数据库 移动性 PDB,pluggable databases 标准化 适用于各种数据库负载 (OLTP, DW& Big Data) 的标准的 DBaaS 最大化 伸缩能力 (RAC 支持 )
Oracle 多租户 总结减少资本支出和运营成本, 增加灵活性, 易于采用 收益 减少资本支出减少运营成本增加灵活性 功能启用 每台服务器可以支持更多的应用 将多个数据库作为一个管理 ( 升级, 高可用, 备份 ) 标准化管理和服务级别 快速部署实施 通过克隆数据库增加开发测试环境灵活性 在适当的时候执行细粒度控制 通过 可插拔特性 灵活移植 通过 RAC 技术灵活扩展 易于采用 应用不需要做任何更改
<Insert Picture Here> DB12C In-Memory 选件 - 内存技术透明加速
创新无止境 : 新鲜出炉的 Oracle 数据库 In-Memory 选件 行 列双格式的 In-Memory 内存数据库 同一张表在内存中同时支持行和列两种格式 内存 Memory 内存 Memory 同时激活并且保持事务一致性 分析和报表使用新的列格式 OLTP 使用行格式 联机事务处理 OLTP Sales 行格式 (Row Format) Sales 列格式 ( Column Format) 分析
内存技术加速业务系统实时报告 示例 : 查询某分公司的所有销售额 无需等待业务结算即可获取所有的营收信息 每个 CPU 扫描本地内存列 业务明细 内存列存储 State column 性能提升超过 100 倍 (>100X Faster) 扫描使用超快速的 SIMD 向量指令 每个 CPU 核心可支持 10 亿行 / 秒的扫描速度 分公司 亚秒级响应 CPU 加载多个分公司的值 SIMD Compare 在 1 个时钟周期 all values in 内比较所有列值 1 cycle 向量寄存器
内存技术透明加速应用实时性应用零更改加快运行速度 全功能实施简单全兼容支持多租户 - SQL 无限制 - 不需要迁移数据或变更使用的产品 - 不需要改变所有现有应用 - Oracle In-Memory 为云准备就绪 以及所有支持 Oracle 数据库的其它应用 唯一一个获得所有 In-Memory 带来的益处而无需改变应用的技术 31
<Insert Picture Here> 数据库云的最佳选择 : 一体化 DBaaS
传统模式构建数据库云的困境 其他供应商 数据库和中间件 内核 OS 补丁级别? CPU RAM 以太网 刀片 InfiniBand 闪存 FC NAS SAN SSD HDD? 机架 操作系统层计算与虚拟化层网络层存储层 160 多个独立部件从开始到投入使用耗时数月
一体机 整合私有云硬件为软件服务, 软件为用户体验服务 困境挑战 解决之道 最完善的硬件和软件的集成设计带来卓越性能, 最低的运营成本 以及适用所有应用负载的标准化平台 与苹果类似的哲学
开箱即用的云为企业提供 简化 优化 云化 的应用基础设施 云计算一体机是什么? Oracle 云计算一体机不只是硬件, 是经过集成优化的软硬件组合 ( 服务器 + 交换机 + 存储 + 操作系统 + 虚拟化 + 系统管理 + 相互间优化协同软件 ) Oracle 云计算一体机是为用户提供的经过软硬件一体化设计的开箱即用的高性能 高可靠的云服务器
数据库云平台 ExaData 1) 两台数据库服务器, 每台 : 2 个 8 核 Intel Xeon E5-2690 处理器 (2.9 GHz) 128GB 内存 ( 可扩展至 256GB) 2 个 QDR 端口 (40Gb/s) 4 个 1Gb/10Gb 以太网端口 ( 铜制 ) 2 个冗余热插拔电源模块 2) 2 个 36 端口 QDR (40 Gb/ 秒 ) Infiniband 交换机 智能存储 Scale-out InfiniBand storage Smart Scan query offload 混合列压缩 10x compression for warehouses 15x compression for archives 智能闪存 Accelerates random I/O up to 30x Triples data scan rate 3) 3 台 Exadata 智能存储服务器, 共有 36 个 CPU 核心进行 sql 处理 : 可选择 15,000RPM 高性能磁盘, 每台 12 个 600GB, 共 21.6TB, 或选择 7,200RPM 高容量磁盘,12 个 3TB, 共 108TB 12 个 PCI 闪存卡, 共计 4.8TB 的 Exadata 智能闪存 注 : 以 X4-2 1/4 配为例
数据云的关键技术 : 开放平台极限性能优化专门针对 Oracle 数据库的极限性能优化 极限性能, 突破传统架构瓶颈 数据库服务器 请求 InfiniBand 智能存储服务器 高性能理由 1 Smart Scan 和存储索引 : 计算负载部分卸载至并行智能存储层, 并只传输经筛选的有用数据 高性能理由 2 混合列压缩 (EHCC) : 技术获得 10-50 倍超高压缩比, 并提高磁盘 I/O 效率 高性能理由 3 Smart Flash Cache :89.6 TB 的 Flash Cache, 随机 I/O 性能高达 4M IOPS 高性能理由 4 Infiniband : 提供 40Gb/s 端口带宽, 聚合带宽高达 880Gb/s, 端口延时 (0.1um ) 小于以太网的 1/1000, 打通任督二脉 Smart Scan EHCC Smart Flash Cache 等是 Oracle Exadata 独有的关键性能突破技术
Exadata 是一套数据库系统而非服务器 vs. Enterprise SMP Server Systems + SAN Network + High end Enterprise Storage Arrays Exadata X5 Enterprise Server and Storage Systems Exadata 是一个高可靠 每个层面冗余的系统, 不是单一机器 ; 集成了机架 PDU 服务器 交换机 存储 软件等 Exadata 是完整 集成设计 极限性能的系统, 采用了 Infiniband 闪存 SmartScan EHCC 等一系列先进的软硬件技术 ; 组装的系统远不能达到其性能 Exadata 是预配置好的系统, 极大降低集成的风险, 节省了 60%~ 90% 的实施工作量和时间 节能 节省空间, 开箱即用 原厂服务, 易于维护, 降低运营成本
数据库软件特性对比 特性 方案 1: Exadata ASM 自动存储管理 Yes 集成商 方案 1: 传统小机 作用 减少 90% 的存储管理需求, 单一表空间 SmartScan Yes X 10x 100x 查询速度提升 EHCC 混合型列压缩 Yes X 存储索引 Storage Index Yes X 减少 90% 以上索引 5x-50x 信息密度提升, 并提升查询速度 11g 内存管理 SQL 管理 DOP 并发排队等新技术 Yes Yes 减少 80% 以上调优工作 IORM Yes X 云特性 Yes X 确保各业务与中心共享数据时的资源合理调配 确保向数据库云方向发展, 符合未来技术发展趋势
Exadata 中国区用户的实际使用和测试结果 Project Config Poc Results Competitor Timetable FSI: DW project V2,¼ Rack 25x IBM/Teradata 21 Days,May 2010 电力 : 低压集超 (DW) V1 10x HP 8640 (32CPU)+ 存储 EV 8000 7 Days, Jan 2010 电力 : 电力营销 (--) V1 16x IBMP6570(16core)+DS8300 2 days 交通 :ETC (DW) V2,¼ Rack 300x, 秒级 N/A 14 Days May 2010 物流 : ODS/DW V2,¼ Rack 62x 3-nodes RAC, IBM P570 14 Days May 2010 制造 :MES Report V2, ½ Rack 28/10x HP SD 72Cores, EVA8000 64dsks Mar-Apr 2010 政府 :DATES & DW V2,¼ Rack 10x 450x HP Itanimum Server, EVA SAN Storage Jul5-16,2010 电信 :BASS system V1 10x P595(2x32CPU)+DB2 7 Days Sep 2009 电信 :BASS V2, ¼ Rack 168x SUN 25K*2 EMC Storage Jul26-Jul28,2010 政府 :DW V2, ½ Rack 12x - 460x HP Itaninum,EVA4400 Jul5-Jul15,2010 电信 :BASS V2, ¼ Rack 235x 2 个 IBM595(96 Core),EMC DMX-4 300 Sep8-Sep15,2010 电信 : 综合告警 (DW) V1, ¼ Rack 105 /352 x SUN M5000 Oct11-18,2010 44 ~ 127x on OLTP X2-2,¼ Rack Average 2000x on DW E6900 48Core,F6800 32Core Jan,2011 电信 : 网管 (OLTP+DW) 社保 DW X2-2,¼ Rack 5-2000 ~ times 2 HP RX8640(12 core each) Jan 2011 物流 : OLTP X2-2, ½Rack 9.3x~310x 3-nodes RAC, IBM P570 Jan 2011
Exadata 每个层面都提供高可靠性 无单点故障, 统一管理, 动态调配, 满足业务按需扩展 FIN HR EAM 联机添加和删除节点 BI Apps Oracle 真正应用集群 : 可防范数据库服务器故障 冗余 InfiniBand 交换机 双口网卡 Oracle 自动存储管理 : 所有数据库文件都有镜像, 磁盘故障不中断读写过程 Oracle Exadata Storage Server 软件 : 可防范存储级的设备故障 ; 即使一个存储完全崩溃, 数据不会丢失 修改和查询操作不受影响 所有服务器的冗余电源 使用 Oracle Recovery Manager 来做备份 Flashback 进行即时恢复
开放的体系架构, 维护简单 统一管理 Exadata 是开放平台, 不绑定客户, 可以和传统平台之间相互迁移 采用 Exadata 云数据库 开箱即用 原厂实施, 一般 4 小时完成所有的安装 配置工作 预先集成好, 标准化生产, 不存在兼容性问题, 云服务器的性能 可靠性远远超越传统架构 统一集成的管理模式, 一个浏览器实现整个系统的监控和统一管理, 自动化管理 单一服务接口 一站式服务, 出现问题不存在推诿现象 白金服务, 主动管理, 战略产品的贴心服务 传统服务器 存储 交换机和软件集成 需要有经验的集成人员, 协调各个厂家进行硬件 软件的安装集成, 通常需数星期 对集成能力要求高, 存在不兼容的风险, 可靠性跟集成经验有关, 需要大量的优化工作 单独对不同厂商的主机 存储 交换机 数据库分别进行管理 出现问题需要协调多家厂商解决, 很难准确定位责任, 处理问题的周期长
<Insert Picture Here> 案例分析
大量客户迁移到 Exadata 云数据库服务器 中国工商银行中国银行中国建设银行中国农业银行人民银行征信中心广发证券招商证券海通证券郑州商品交易所北京移动上海移动广东移动深圳燃气集团深圳航空公司 山东航空公司中远集运京沈高速皖新高速青海省交通厅京东商城 1 号店百度公司顺丰速运德邦物流中国华为中国神华青岛海尔东风汽车 中冶集团中建八局步步高超市华联超市百家福超市新疆特变电兰石集团宝马中国壳牌统一润滑油蒙牛乳业特驱希望冀东水泥中煤集团贵州茅台
客户成功 东莞电子政务中心 基于 Exadata+Oracle Database 12c+ 多租户架构实现高性能数据库云 客户概览 东莞市使用传统的方式部署了中国东莞 ( 政府热线 ) 行政审批目录管理系统数据库 中国东莞 ( 外网 ) 中国东莞( 内网 ) 东莞政府公共资源共享平台 东莞企业数据平台等相关系统 客户挑战 原有主机是小型机以及各种 X86 机器 数据资源分散, 不利于同步共享和安全管控, 数据交互复杂 Oracle 10g/11g 数据库利用率不均衡, 分散主机不利于计算资源共享 ; 各系统使用独立数据库主机, 维护和扩容成本较高 现有架构下由于数据各自独立交换困难无法实施智慧东莞相关项目 产品方案 1/4 配置 Exadata X4-2 HC
客户成功 东莞电子政务中心 应用名称 数据库版本 资源共享平台前置机 Oracle11g 资源共享平台前置机 Oracle11g 资源共享平台前置机 Oracle11g 资源共享平台前置机 Oracle11g 资源共享平台前置机 Oracle11g 资源共享平台前置机 Oracle11g 资源共享平台前置机 Oracle11g 资源共享平台前置机 Oracle11g 资源共享平台前置机 oracle9i 资源共享平台前置机 oracle9i 资源共享平台前置机 Oracle11g 资源共享平台前置机 Oracle11g 资源共享平台前置机 Oracle11g 集群数据库 ( 短信平台, 企业数据共享平台等 ) 10.2.0.1.0 中国东莞数据库 ( 政府热线 ) oracle11.2.0.1.0 中国东莞 ( 外网数据库 ) oracle9.2.0.4.0 中国东莞 (DMZ 中转数据库 ) oracle9.2.0.4.0 中国东莞 ( 内网数据库 ) oracle10.2.0.1.0 网上办事数据库 oracle11.2.0.3.0 行政审批目录管理系统数据库 oracle11.2.0.3.0
佛山市智能卫生数据中心原有架构
居民健康档案妇幼保病监域检验区医佛山智能卫生平台的 DBaaS 建议架构 - 系统拓扑结构图 数据库整合到一台 Exadata 云数据库服务器 网络 健社疗应挥卫健康档案妇幼保健社区卫生 客户端 急指督疾VM POOL 生监测区应急指挥 卫生监督 VM Server VM Server VM Server 疾病监测 区域检验 数据库云 客户端层 虚拟化平台 数据库云平台
已经部署超过 20 多套不同开放商的应用 佛山健康卡管理系统 佛山区域卫生信息管理平台 市民健康信息管理系统卫生信息标准管理系统卫生管理系统卫生业务协同平台领导查询居民健康卡管理卫生监督信息系统疾病症状监测系统卫生应急指挥系统阳光用药监察系统职业卫生信息系统学生健康监护干部保健信息系统数据交换应用用户权限管理系统应用门户数据采集交换应用 上海万达信息 社区卫生服务系统 社区卫生信息管理平台 综合统计分析系统绩效考核系统地理信息分布系统 杭州创业 综合统计分析系统上报系统 综合统计分析系统上报系统 妇幼信息管理平台 出生证系统 区域影像信息管理平台 区域影像信息管理平台 深圳恒泰 实施效果 : 查询性能平均提升 2-10 倍 执行年度报表查询时性能提升 15 倍以上 集中化管理方便管理和维护
完整的企业级私有云基础架构组合满足您当前和未来业务目标最适合的解决方案 私有云 Applications Middleware Database OS and Virtualization Servers SaaS PaaS IaaS 混合云 SaaS PaaS IaaS 传统最佳 Storage 企业级云基础架构 工程化系统云平台 Customer integrated Predictable, lower risk guided deployments Extreme performance, efficiency 50
欢迎参观 Oracle 中国绿色云数据中心先进 节能环保的绿色云计算数据中心, 每年仅电费就能节省 100 万