Exadata技术建议

Size: px

Start display at page:

Download "Exadata技术建议"

伴奉冀
7 years ago
Views:

1 <Insert Picture Here> Exadata 数据库云打造新型数据中心 --Exadata 技术不案例分享

2 ERP 在传统平台上的挑战客户是如何说的在我们呼叫中心的销售和客户电话沟通的时候, 屏幕需要 5 秒钟才能显示客户信息, 太难接受清算, 结算需要很长时间, 增加硬件还是不能缩短时间我们的 ERP 有超过 30 台的服务器以及不同品牌的存储予以支撑我们在 IT 上难以找到足够的专家来支持这样复杂的运行环境我们的业务通过 Portal 来开展 ERP 性能极限频繁出现我们不知道什么时候一个业务模块就可能导致系统崩溃我们需要尽快调整以适应业务环境的迅速变化

3 业务场景实例 : 某大型饮料公司例子销售交货单创建 SAP & Oracle 10g 安装在基于 HA 架构的满配 4 路小机上 ; 对 SAP 的销售交货单创建场景进行分析, 当用户从 Web 页面提交请求以后, 该请求很快经由 Tomcat 下发至 SAP 系统, 接着瓶颈出现在 SAP 系统中的功能模块 : SAPLZRFC_SD_CREDIT2 该模块执行时间普遍在 15 分钟以上, 甚至更长与此同时, 终端用户的 Web 界面一直处于等待系统响应状态 SAPLZRFC_SD_CREDIT2 的瓶颈在于表 VBFA 及其索引 VBFA~0 的读取上, 对应 SQL 语句的 SQL_ID 为 10sz72yrhf20a 分析该 SQL 语句的执行情况可知, 等待事件 db file sequential read 占到了总执行时间 59.57%, 等待事件 read by other session 占到了 34.55%;

4 计算机世界对 SAP 用户满意度的调查近 50% 的客户丌满意系统的响应时间

5 证券行业的挑战, 转变和成长作者 : 万建华现任国泰君安证券股份有限公司董事长 20 世纪 80 年代中至 90 年代初, 万建华曾任职于中国人民银行总行 1993 年加入招商银行, 先后担任总行副行长常务副行长, 期间曾兼任招商证券公司董事长长城证券公司董事长等职 2001 年主持筹建中国银联, 为首任中国银联董事长总裁 2007 年任上海国际集团总裁 2010 年 9 月起任职国泰君安证券公司

6 证券基金行业典型的业务系统逻辑框图

7 例 : 广发证券数据中心 IT 逻辑架构

8 围绕业务建设, 数据中心也需要体现 IT 价值 - 优化数据中心架构, 降低总体拥有成本, 便利 IT 管控不治理 Gartner 咨询机构认为 - 未来十年, 世界范围内 IT 发展的三个主流趋势是整合云计算社交化 (CRM) 和移动化

9 传统数据中心 IT 建设模式反思设备利用率低资源利用率大部分低于 10% 硬件规模大, 采购成本高, 消耗大量机房空间和电力资源业务响应慢系统扩容慢, 扩展性较低新应用部署周期长业务需求出现较大变化时, 无法提供快捷灵活的服务能力可用性低处于控制成本考虑, 部分系统无冗余备份, 系统可用性较低, 无法提供业务连续性保证管理复杂设备数量大, 种类多, 分散的基础架构硬件, 给管理维护造成巨大困难

10 基于云计算的 IT 战略构建设想结合成熟的 IaaS 服务, 制定以 PaaS 为建设核心的企业云计算战略提供的云层次越高, 每个应用程序的构建工作就越少但是定制能力越弱由用户构建由用户构建 SaaS PaaS( 平台云 ) IaaS( 虚拟化方法 ) 平台 (PaaS) - 尽量减少手工工具 - 最大的灵活性和控制 - 通过 PaaS 平台进一步实现最出色的整合最大化 ROI

11 甲骨文推荐的云计算数据中心逻辑架构构建两朵云 : 应用云 + 数据库云 ; IT 物理和逻辑架构完全统一 ` 交易 ` 经纪 ` 行情 End Users Firewall 应用云如虚拟化数据库云 Exadata 用户平台应用硬件 + 软件管理数据库 + 存储管理云管理平台

12 应用云 : IaaS 已经大行其道虚拟化主要适用应用服务, 提升应用层的可用性和弹性服务器 1 服务器 2 EMR 服务器 HIS/LI S 库服务器其它服务器报表虚拟化服务器池 VM Server VM Server VM Server VM Server VM Server 硬件服务器硬件服务器硬件服务器硬件服务器硬件服务器优点 : 适合应用整合 ; 提高服务器利用率通过虚拟机迁移, 提升单机应用可用性简化应用的管理, 部署, 利旧易于搭建研发测试环境, 进行应用验证 NAS, SAN, iscsi 更多解读 : 丌能替代应用集群丌适合 CPU/MEM&I/O 密集型应用在 3:1 整合之下, VMWARE 丌能降低购买成本虚拟化技术已经非常成熟, 各家产品区分不大, 我们推荐 Oracle VM 或者虚拟一体机 : 1. 总体拥有成本不到 VMWARE 的 25%; 2. Hyper-V 和 VMWARE 一样安全, 不同于 MS Hyper-V 以及 Xen Hyper-V

13 数据库云是信息中心, 企业建设的中心面向复杂负载应用环境 : 交易应用 (OLTP) 管理应用 (OLAP) 数据挖掘 (DW)

14 Oracle 数据库云是数据库云技术的最杰出代表 Exadata 代表成熟和领先的平台云技术, 是 Oracle DB 的技术发展路线代表性能的极致, 业务的保障 15 年前 :SMP 对称多处理集群技术 10 年前 :RAC 真实应用集群技术 5 年前 : Exadata 数据库云技术 ; 今年 : 基于 Exadata 的内存数据库 + 多租户数据库云技术

15 Exadata 数据库云替代了传统的数据库软硬件环境简化了设计简化了部署简化了维护更高的可用性更强悍的性能

16 数据库整合及云服务简化数据中心架构节省数据中心的总体投资整合数据库环境复杂的存储网络服务器设备需求标准化多业务系统数据, 消除计算孤岛, 快速提供新服务耗电量为 1/8 ~ ¼ 机房占地面积为 1/4 提高资产利用率 3 倍以上总拥有成本为 1/5 ~ 1/2 3X

17 关于灾备基于数据库的逻辑复制才能真正保证容灾安全存储和操作系统级别的复制只会简单进行比特级别的拷贝而不知道他们的含义如果第一份的数据发生了损坏和不一致, 这些损坏和不一致会被保证复制到第二份数据拷贝 Exadata 本地和远程容灾采用基于 SQL 逻辑的复制本地阵列容灾是复制 SQL 数据集远程容灾的 Active DataGuard 技术通过 Redo Log 只复制被精确定义的数据结构 &SQL 语义的变化,SQL 逻辑被校验 ; 可以防止数据错误的传递

18 例 : 传统存储故障导致瑞典政府网站崩溃 : 即便其使用了存储容灾环境一台在 Tieto 的 VNX 存储变得不正常并崩溃. 存储的高速缓存失效了, 导致在磁盘上的数据损坏, 而且其拷贝也一起被破坏了这个故障导致了包括机动车管理局,, Sollentuna and Nacka 政府当局, Stockholm 市的学校和国家卫生部等关键部门在内的网站 5 天的混乱愤怒的瑞典人无法登机机动车的所有权医生处方无法被处理, 还有很多其他的 IT 服务无法提供其中包括中央学生授权委员会,, Malmo 大学和国家卫生部年 1 月 13 日 Oracle Confidential

19 例 : 艺龙旅行网宕机事故 : 存储系统故障艺龙网站的无法访问, 是由于存储系统出现故障, 导致全部服务中断 Oracle Confidential

20 某商品交易所两地三中心灾备架构现状大连主数据中心应用服务器区应用服务器应用服务器应用服务器应用服务器应用服务器应用服务器前置数据库区前置数据库区应用服务器区应用服务器应用服务器应用服务器应用服务器应用服务器应用服务器大连同城灾备中心

21 整合及两地三中心灾备架构一期建设推荐大连主数据中心应用服务器区应用服务器应用服务器应用服务器应用服务器应用服务器应用服务器前置数据库区前置数据库区前置数据库应用服务器区应用服务器区 Shareplex 应用服务器应用服务器应用服务器应用服务器应用服务器应用服务器大连同城灾备中心应用服务器应用服务器应用服务器应用服务器应用服务器应用服务器上海异地灾备中心

23 Exadata 投资回报 Full Rack X3-2 X4-2 Improvement DB CPU % HP Disk(TB) % % 650% HC Disk(TB) % Flash(TB) % % 290% V1 V2 X2-2 X3-2 X IOPS 1,500,000 2,660, % Performance relative to Exadata V1 XD Price/Perf(Spec) 1. 随着 Exadata 每一代接近 50% 的性能增长, 单位性能的成本 5 年时间下降了 4.9 倍

24 华南某大型证券公司案例

25 外围系统架构 2 台 Dell R910 x86 架构每台配 4*4CPU 内存 128GB Oracle 10gR2 企业版 RAC 数据库存储 EMC VMAX10K, 存储容量 20T, 数据量 7.7T 应用 : 由顶点 + 吉贝克 + 港澳等应用组成, 分别做 CRM DW 资讯产品

26 系统架构的问题数据量非常大数据分析计算时间非常长 ( 比如客户特征统计批量利息结算等 ) 数据查询反应非常慢 ( 比如客户高级查询 ) 业务高峰期数据库 CPU IO 经常 100% 并且导致数据库服务器宕机烟囱式建议造成数据分散数据采集质量差, 造成报表系统数据不准确

27 Oracle Exadata 测试场景场景分类场景编号内容描述管理类 GF-001 客户特征统计结果数据采集 ( 整个场景封装存储过程中, 包含对多个表的增删改查操作 ) 管理类 GF-002 客户特征集合数据采集管理类 GF-003 客户日交易分析数据采集管理类 GF-004 客户高级查询管理类 GF-005 客户产品定制信息查询管理类 GF-006 现场出题 (9 月 20 日 POC 第一阶段验收, 对大表进行 delete 操作 ) 交易类 GF-007 批量利息结算过程执行交易类 GF-008 批量利息归本过程执行 GF-009 过程资金表初始化执行交易类 GF-010 过程交易资金表初始化执行 GF-011 过程利息积数更新执行通用场景 GF-013 至 GF-041 Exadata 标准测试场景, 包含 29 个模拟生产环境中的 SQL 语句, 涵盖了大部分耗时操作

28 场景测试结果比较场景编号广发证券测试环境执行时间 ( 秒 ) Exadata 执行时间 ( 秒 ) 提高倍数 GF GF GF GF GF GF GF GF GF-009 至 GF-011 时间总计 GF GF GF GF GF GF

29 某商证券案例 : 改造前的问题 CRM 单实例, 架构没有高可用性 ; 停机时间长达 6 小时 ; 严重性能瓶颈 : CPU 在 9:40 就开始繁忙, 到 10 点左右, 用 CPU 使用率 >98%. 响应很慢, I/O 很高非交易时间段,CPU 在 17:20~20:21 左右,CPU 达到峰值 100%; 进程诸塞 ; I/O 很小证通机房科技园机房 1 单实例数据库 2 历史数据使用不同的 Schema 3 3T 活动数据 4 XXT 历史数据 5 2*8Gb 光纤存储通道 CRM 千兆网络 NFS expdp 备份文件 CRM 1 单实例数据库 2 以不同 Schema 的方式同时存放其它 2 个应用系统的数据 3 需要时才导入数据中心的数据 4 估计导入时间 6 小时 IBM P570 8C 64GB IBM P590 SAN FC 网 SAN FC 网 IBM DS4800 IBM XIV

30 某商证券案例 : 改造后的部分结果使用 1 台 1/4 配置 X3-2; 实现 CRM 数据库集群, 并通过 ADG 实现实时数据容灾 ; 性能提升举例 : 某存储过程在原生产环境要跑 160 多秒, 在 XD 上运行只需要 6 秒某存储过程, 原生产环境要运行接近 3 小时, 在 XD 上只需要 15 分钟计算基金经理人工资的存储过程, 之前要跑 440s, 在 XD 上运行 32s ¼ Exadata X4-2: 硬件 : Exadata ¼ 配置 : 总计算能力 2*24+3*12=84 核总内存数 :256*2+96*3=800GB 存储容量 : 裸存储容量 144TB, 可使用容量 63TB( 未压缩 ) 闪存 :9.6TB 提供高达 570,000IOPS 读,360,000IOPS 写存储网络 :2 个 36 口 Infiniband 交换机, 每端口 40Gb/s CRM 1 RAC 集群数据库 ( 高可用性扩展性 ) 2 混合列压缩, 提供 5~50 倍的数据压缩 3 智能存储存储索引智能扫描 4 FlashCache 热数据缓存 5 历史数据使用不同的 Schema 使用数据仓库级别压缩

31 Exadata 带给湘财证券的价值 44 倍 + 历叱数据查询 27 倍 +DW 查询效率提升, 25 倍 + 核心交易处理能力 ( 测试 ) 25 倍 + 的核心交易处理效率提升, 提升业务效率 44 倍 + 历史数据查询效率提升, 提升运营服务效率 27 倍 + 复杂 DW 查询效率提升, 提升管理决策效率高可用高可扩展技术架构和数据库集中部署, 降低扩容成本, 提高系统近期及远期的投资回报率

32 谢谢!

册子0906

册子0906 IBM SelectStack ( PMC v2.0 ) 模块化私有云管理平台是跨主流虚拟化技术的统一资源云管理平台 01 亮点 : 快速可靠地实现集成化私有云管理平台 02/03 丰富的功能支持企业数据中心云计算扩展性强 : 简单易用 : 04/05 功能丰富 : 06/07 为什么选择 IBM SelectStack (PMC v2.0)? 快速实现价值提高创新能力降低 IT 成本降低复杂度和风险