创新技术与实测分享 徐行 IBM System 大中华区品牌经理 3/3/2010
内容 ex5 架构五大技术创新 ex5 服务器全接触 案例 1: 桌面云计算 案例 2: 金证科技 ex5 实测分享
ex5 架构五大技术创新
IBM 的高端 x86 创新史 EXA 架构引领企业级服务器十年发展 IBM 是高端 x86 系统的市场领袖, 推出企业级 X 架构已有十年之久 下一代的 ex5 再次履行了这个承诺 第 1 代 : 采用可扩展的 16 处理器设计的第一款 x86 服务器 第 2 代 : 在 100 个基准测试中获得第 1 名的第一个 x86 服务器 第 3 代 : 配备热插拔内存的第一款 x86 服务器 第 4 代 : 突破 100 万次 tpmc 大关的第一款 x86 服务器 2010 第 5 代 2001 第 1 代 2003 第 2 代 2005 第 3 代 2007 第 4 代 4
IBM 企业 X-Architecture TM 源自业经验证的企业级系统设计, 移植到 IBM System x 工业标准服务器平台上 System x System i System p System z 性能 扩展性 高可用性
内存容量限制了系统利用率 虽然技术在不断进步, 但内存容量仍然受到限制 现在, 频率对处理器性能的影响超过了内核数量 内核数 缓存和线程数随频率的降低而增加 : 造成内存失衡 64 位应用和操作系统需要更多内存 2006: Xeon 7100 2007: Xeon 7300 2008: Xeon 7400 2010: Nehalem EX 每 CPU 内核数 :2 个 每 CPU 内核数 :4 个 每 CPU 内核数 :6 每 CPU 内核数 :8 个 频率 :3.4GHz 频率 :2.93GHz 频率 :2.66GHz 频率 :2.26GHz Dimm 数 /Core:2 个 Dimm 数 /Core:2 个 Dimm 数 /Core:4/3 个 Dimm 数 /Core:2 个 7
ex5 五大创新之一 :MAX5 加速器 CPU 内嵌内存控制器可以提高性能, 但是 扩内存先要添加处理器 远端内存的访问性能显著降低 某些情况下必须使用昂贵的大容量内存 使用 MAX5 加速器 : 支持的最大虚机数量是竞争产品的两倍 支持更高的数据库性能 允许您使用更经济的内存硬件满足特定内存容量需求 内嵌探听过滤器, 提供更高的内存访问性能 内存可以分配给多个 CPU 或者汇聚成内存池 8
复杂的数据分析需要提高数据库性能 传统配置通过添加磁盘 / 转子来提高性能 超大规模数据集需要多排存储器 20K IOPs 10K IOPs 15K IOPs 22K IOPs 18K IOPs 配置 设置 调试和维护, 需要丰富的数据中心技能 大量的工作和高昂的成本 传统的存储解决方案生成负担不起的配置 9
随着数据量的继续增长, 这种做法无法再维持下去数据库的平均规模是 100GB, 需要每秒执行 1.5 万次 I/O 运算 业务部门平均运行 30 个数据库 20K IOPs 10K IOPs 15K IOPs 22K IOPs 18K IOPs 每个数据库平均需要 15k IOPs 每秒执行 45 万次 I/O 运算的 3 年硬件 管理 电力和维护成本 230 万美元 10
ex5 五大创新之二 : 高性能的 exflash 20K IOPs 性能相当于 10K IOPs 15K IOPs 22K IOPs 800 传统磁盘 18K IOPs 97% 成本节约 为 1000 个用户数据库提供同样的性能 功耗相当于 1% 传统磁盘 11
系统需要更高的带宽, 但 10Gb 还未完全普及 A 1Gb Port 1Gb 没有中间的解决方案! B 10Gb Port 10Gb IBM Virtual Fabric C Emulex Virtual Fabric Adapter 每个 10Gb 端口可以虚拟出 4 个虚拟端口 BNT Virtual Fabric 10Gb Switch Module 1Gb/10Gb 12
ex5 五大创新之三 : 虚拟化 IO 2.5Gb HR 5Gb Virtual NICs CNA Accounting 2.5Gb Supply Chain Virtual Groups Emulex Virtual Fabric Adapter 性能比竞争产品高 30% 业内第一个虚拟光纤适配器支持 8 个 vnic 和 vcna CNA 10Gb Database 适配器减少 50% 交换机减少 75% 电源降至 45% 线缆减少 80% 13
ex5 五大创新之四 :IBM OnForever TM 的的可靠性 Node FailOver X X 多重内存保护技术 X Chipkill Memory ProteXion 内存镜像 内存擦洗 预测性故障告警 QPI Cable 14
ex5 五大创新之五 : 企业级的扩展能力 FlexNode 4 路系统 2x2 路系统 8 路系统 2x4 路系统 内存扩展 200 2- 处理器 4- 处理器 8- 处理器 192 100 DIMMs 18 32 40 64 64 80 96 128 128 15
ex5 五大创新之五 : 企业级的扩展能力 普通应用内存饥渴型计算密集型复杂大型应用 HX5 2S 16DIMM 8 I/O, 30mm 2S 40 DIMM 8 I/O 60mm 4S 32DIMM 16 I/O 60mm 4S 80DIMM 16 I/O 120mm x3690 X5 2S 32 DIMM 2S 64 DIMM 4S 64 DIMM 4S 128 DIMM x3850 X5 4S 64 DIMM 4S 96 DIMM 8S 128 DIMM 8S 192 DIMM
ex5 服务器全接触
x3850 X5 2 个 1975W 热插拔冗余电源 2x 10Gb 网卡 8 内存卡 共 64 个内存插槽 6 个 PCIe Gen2 通用插槽 +2 个额外插槽 4 颗 Intel Xeon CPU s (2x) 120mm 热插拔风扇 标配 RAID 0/1R 选配 RAID 5/6 2x 60mm 热插拔风扇 DVD 驱动器 8 个 Gen2 2.5 驱动器或 2 exflash 双 USB 端口 光通路诊断
x3690 X5 扩展口 1 个 x16 全高全长或 2 个 x8( 一个全尺寸,1 个全高 / 半长 ) (2x) PCIe x8 半高 (1x) PCIe x4 半高 - RAID 卡专用 32 x DDR3 内存插槽 4 个 N+N 冗余 675W 热插拔冗余风扇 光通路诊断 8 个 Memory Buffers (4x) 60mm 热插拔风扇 双 USB DVD 驱动器 16 个 Gen2 2.5 驱动器或者 3 个 exflash
HX5 2x IO 扩展槽 (1x CIOv + 1x CFFh) 2x SSD (1.8 ) 16x VLP DDR3 Memory 2x Intel Xeon CPUs 8x memory buffers 2x 30mm 节点 扩展端口
MAX5 光通量诊断 热插拔风扇 整块板子可以从系统里取出 32 个内存插槽 QPI 端口 ex5 芯片 EXA 端口 QPI attaches to systems Memory Buffers EXA Scalability to other memory drawers
MAX5 for HX5 MAX5 HX5 6x memory buffers 24x VLP DDR3 memory FireHawk 6 SMI lanes 4 QPI ports 3 scalability ports
案例 1: 桌面云计算
汽车 4S 店 IT 架构 升级维护困难 资源利用率低 潜在的安全威胁 24
桌面云架构 Virtual PC / Windows XP 200 : 1 ex5 Platform
+ 新思路 = 新机遇 4S 店 企业总部数据中心 X 4S 店 X 4S 店 X 26
案例 2: 金证科技 ex 5 实测分享 杜玉巍 金证科技技术总监
金证科技简介 金证科技是国内最大的金融证券软件开发商和系统集成商, 上交易主版上市公司, 致力于推动金融证券领域的 IT 技术发展, 主要产品之一是企业级证券交易系统, 国内市场占有率处于领先地位, 为国内半数券商所使用, 为国内超过 6000 万投资者提供证券交易服务 金证公司是 IBM 在国内证券行业最重要的合作伙伴之一, 与 IBM 保持着超过 10 年的深度技术合作关系 IBM3850X5 服务器在发布前 2 个月,IBM 与金证公司合作, 在金证证券交易实验室测试了 3850 作为数据库服务器的性能和可用性测试
应用特点与面临挑战 证券交易系统建设基于大型关系数据库, 数据库硬件设备主要基于 x86 服务器 由于服务的客户群体大, 系统要支持非常大的并发度, 并且, 对于每个投注者的请求都要尽可能快地响应 近 3 年证券市场的快速发展, 导致证券交易系统中出现了一些需要处理的问题 交易量不断扩大, 到 2009 年 11 月达到了新的高峰, 深圳和上海股市成交连续多日维持在 4000 多亿元的水平上,11 月 24 日两市更创出 4767 亿元的历史天量, 很多券商, 数据库服务器 CPU 利用率已接近或超过了警戒值, 为保证交易系统能应对未来可能出现的更大的交易量, 保障投资者的利益, 需要更强性能的服务器 证券行业新业务不断推出, 专业投资者已经开始在不同的交易品种间寻找获利机会, 比如 ETF 套利, 由于套利机会分秒即逝世, 这些业务, 对业务响应时间非常敏感, 对交易系统提出了更严苛的需求, 需要更快的服务器来支持这类业务 即将推出的股指期货业务, 由于之处 T+0 交易及买空卖空, 以及新的套利空间的出现, 预计交投频度将比以前有指数级别的增长, 势必对交易系统的处理能力提出更高的要求 原有的数据库服务器, 包括 x86 服务器和小型机, 由于在 CPU 并发处理性能 内存容量和存取速度 IO 性能等方面, 已经难以应付即将到来的交易洪峰
IBM3850X5 服务器测试情况简介 测试系统网络结构示意图 中间件服务器组 KCBP1 KCBP2 加压服务器 KCBPTest KCBP3 KCBP4 数据库服务器 3850X5 RAID KCBP5 KCBP6
测试环境软硬件配置说明 项目说明 数据库服务器数据库服务器 :IBM 3850X5 服务器 1 台,4 个 8 核 NehalemEX CPU, 主频 2.27GHz, 内存 128G/1066; Chelsio 万兆网卡 ;Windows 2008 64 位 ;SQL Server 2008 64 位中间服务器 6 台 2 路 4 核 Nehalem 服务器,1 台主频 2.8/5 台主频 2.26, 内存 4G/1066;4 台 Chelsio 万兆网卡,2 台 Broadcom 千兆网卡 ; 操作系统 :Windows 2003 企业版,32 位 ; 中间件 KCBP2.0,KCXP 10.0 压力测试服务器 1 台 2 路 4 核 Nehalem 服务器, 主频 2.26, 内存 4G/1066; Chelsio 万兆网卡 ;Windows 2003 企业版,32 位 ; 压力测试程序 : 金证压力测试工具 KCBPTEST;300 个虚拟并发加压客户网络 BNT 8100 24 口万兆交换机
测试数据说明 交易数据库测试数据 营业部 100 个 客户数 400 万个, 每个营业部 4 万客户 资金帐户数 400 万个, 每个营业部 4 万账号 资产帐户数 1200 万, 每个资金帐户对应 3 个币种的资产, 每营业部 120 万资产账号 股东账户数 1600 万, 每个客户 4 个市场股东代码, 每个营业部 16 万个股东代码 股份资产数 3200 万, 每个股东单市场对应 2 条股份记录, 每个营业部 32 万条股份记录 性能测试样本数据 : 上海 A 股买入测试样本 : 50 万 上海 A 股卖出测试样本 : 50 万 资金查询测试样本 : 50 万 股份查询测试样本 : 50 万
金证压力测试程序查询股份业务统计图
测试结果 测试项目 R900 ( 笔 / 秒 ) X3850 X5 ( 笔 / 秒 ) 性能提高 资金查询 36000 88930 247% 股份查询 48000 119028 248%
测试结果说明 这次测试, 由于中间件机器数量不足, 无法发挥数据库服务器的全部 CPU 性能 据我们验证, 新 IBM 3850X5 服务器, 数据库服务器性能是现有系统的 3 倍左右 根据实际测试, 我认为,IBM x3850 X5 服务器有以下特色和优势 : 配置合理 易于使用 可靠性和稳定性 高主频大内存的设计, 对于数据库类的应用非常重要, 可以显著提高系统的性能, 促进 CPU 的利用率的提升 万兆网卡提升了服务器的性能
未来展望 大内存优势可进一步挖掘 : x3850 X5 w/ MAX5 (4S 96 DIMM) 建立 RAMDISK, 极大提高 IO 敏感性数据的存取速率 大内存可缓存大量历史交易数据, 利于提高查询历史交易的性能 对未来系统的期望 : 进一步满足国内证券行业的特定需求, 增加快速启动选项
谢谢! 37