面向未来的解决方案 - 高性能计算的发展趋势
高性能计算已成为现代科学研究的三大支柱之一 高性能计算 理论研究 实验研究
科研领域对于高性能计算的需求似乎永无止境 现在 100-1000 倍的提高 依赖于物理的原型测试, 只能进行部件级的仿真 参考性的 被动的, 长时间的批处理作业 静态的数据互相隔离的系统 不够灵活 不够创造性 全数字化的 虚拟的整体系统模型 可预测的, 互动的实时分析 基于流数据, 实现协同的系统环境 创造更大的可能性
Rmax Performance (GFlops) 高性能计算系统的处理能力也在不断提高 100000 10000 1000 100 10 43.65 PF 2.56 PF 816.6 TF 31.1 TF 1 0.1 0.01 0.001 0.0001 93/06 93/11 94/06 94/11 95/06 95/11 96/06 96/11 97/06 97/11 98/06 98/11 99/06 99/11 00/06 00/07 '01/06 01/11 02/06 02/11 03/06 03/11 04/06 04/11 05/06 05/11 06/06 06/11 07/06 07/11 08/06 08/11 09/06 09/11 10/06 Source: www.top500.org 10/11
我们进入了大规模并行计算的时代 据估计, 大约有 200 多个数据中心拥有超过 25000 个节点, 并且这个数字还在不断增加中
当前高性能计算所面临的主要挑战 应用性能 App. Level Performance 机房环境 Power/Cooling /Footprint 高性能计算 运算效率 Productivity 总体计算成本 TCC
1 应用性能 : 是否能够更快地得到所需的计算结果 Weather Prediction Climate Modeling Nuclear Stockpile Stewardship Ocean/wave Forecasting Weapons Integration
需要选择针对工作负载优化的平台 Cache Cache Cache Cache Cache A A A A A A A A A A A A A A A A Cache Cache 容量 不同的应用需求 带宽
IBM 可以提供灵活的系统选择 向上扩展 ( 共享内存架构 ) 4 插槽以上的 SMP 系统 大型 SMP: Power Systems: Power 780, Power 795 容量计算 Capacity 能力计算 Capability 能力计算定制系统 4 插槽以下的 SMP 系统 企业级 高密度服务器 : BladeCenter: HS22/HS22v, HX5, PS700, PS701, PS702 idataplex: dx360 M3 SMP 集群 : Power Systems: Power 755/750 System x: x3850 X5, x3755 M3 机架式服务器 : x3550 M3, x3650 M3, x3690 M3, Power 740 Blue Gene: BG/P, BG/Q 部门 / 工作组级 单处理器 向外扩展 ( 分布内存架构 ) 数千颗处理器
根据应用特点选择不同的处理器架构 Xeon 5600 Series Xeon 7500 Series 性能价格比计算能力内存带宽内存容量
或者采用新一代的异构计算模式 GPU 1 GPU 2 HS22 BGE #1 BGE #2 BGE #3 BGE #4 HBA IBM HS22 刀片服务器 GPU 扩展刀片 IBM BladeCenter GPU 扩展刀片 GPU 扩展托盘
2 机房环境 : 是否能满足现有系统和未来扩展的需要 20 W/cm 2 Steam Iron: 5 W/cm2 传统架空地板送风局限性 12 Grate tile 100% 80 10 50 60 70 80% 60% 40% 45% 机柜 功率 (kw) 8 6 4 40 20% 2 0% 40 50 60 70 80 90 100 110 (F) 71.6 0 0 100 200 300 400 500 600 700 800 900 1000 [47.2] [94.4] [141.6] [188.8] [236.0] [283.2] [330.4] [377.6] [424.8] [471.9] 地板送风量 (cfm) [L/s]
35 Units 需要部署端到端的绿色数据中心解决方案 100 Units 33 Units Delivered* HVAC, UPS 55% 数据中心 IT Power 45% 服务器硬件 Other 70% ( 电源, 风扇, 内存, 磁盘 ) Processor 30% 处理器 性能 /Watt 高达 95% 空闲资源 服务器负载 典型的利用率 Mainframe UNIX 80 90% 10 20% Wintel 5 12% 大部分应用对资源的平均利用率在 5-20% *Data source: U.S. Department of Energy May 18, 2007 端到端的解决方案 更有效的供电和制冷 更好的服务器设计 先进的处理器设计 + 能源管理 + 处理技术 提高利用率 ( 整合 / 虚拟化 ) 产品与 解决方案
1 11 21 31 41 51 IBM 系统在整体能效上具有极大的优势 QPACE Roadrunner idataplex (6C) Blue Gene/P idataplex (QC) 10 20 30 40 50 60 IBM Cray Sun SGI HP Other IBM 系统的领先地位 前三名系统 前 20 名里占 17 套 前 100 名里占 65 套 dx360 是能效最高的 x86 系统 61 71 81 91 100 Most Energy Efficient TOP500 Systems www.green500.org Ranked by MFlops/watt 70 80 90 100 IBM 201 Avg MF/w Others (non IBM) 102 Avg MF/w The Green500 list (www.green500.org), published twice a year, ranks the TOP500 Supercomputers in the world by energy efficiency based on Linpack MFlops per watt. Little Green500 ranks MF/w of systems that are at least as fast as the 500 th ranked system on the 18 month prior TOP500 list. Avg MF/w is the average energy efficiency of all the systems by a given manufacturer on Green500; the overall Green500 average is 140 MF/w.
idataplex 采用创新的设计来增加服务器密度 热交换背门没有移动组件 100% 热吸收可降低机房温度 Typical Enterprise Rack idataplex
能够大幅度地减少机柜占地空间 Cold Isle 400 CFM* per tile *Cubic Feet per Minute 机柜密度提高 2.5 倍 Std Std Rack Rack w/ 1U s w/ 1U s Hot Aisle X sq. ft Air Cooling Cold Isle idataplex Rack Hot Aisle 0.79X sq. ft Air Cooling Cold Isle idataplex Rack Hot Aisle 0.42X sq. ft Liquid Cooling
3 总体计算成本 : 如何最大化利用现有的投入
传统的高性能计算中心使用方式 研究项目之间互相影响 没有统一的资源管理平台 无法支持多操作系统 受物理资源限制严重 作业管理系统 各学科计算软件 并行运算支撑平台 操作系统平台 所有研究人员将算题提交给作业管理系统 作业管理系统监控后台计算资源 选择空闲资源进行运算 各研究人员
通过云计算实现动态的计算服务平台 专用计算软件并行运算支撑平台操作系统平台 项目一 监测 界面 专用计算软件并行运算支撑平台操作系统平台 项目二 动态产生 回收 部署 数据 策略 脚本 决策 报告 计算管理 各研究人员 计算服务 Portal 专用计算软件 并行运算支撑平台 操作系统平台 项目三 所有计算资源 公众使用人群 服务器 应用软件 数据存储
云计算架构高性能计算平台对比 传统的高性能计算平台 动态的高性能计算服务平台 资源管理 作业管理系统 资源管理系统 + 作业管理系统 为作业找资源 为 ( 用户 应用 作业 ) 动态进行资源创建 回收 只管理处理器 应用软件 处理器 内存 存储 网络 应用软件 虚拟化不支持服务器虚拟化 存储虚拟化 网络虚拟化 用户管理独立的用户管理系统基于 LDAP 的统一用户管理 平台支持 用户无法独享资源 无法修改已安装平台 无法动态修改 用户可以独享资源 可以同时支持多种平台 可以动态修改 数据存储没有备份机制完善的备份 恢复机制 不支持异构存储 异构存储平台支持 用户使用无资源审批流程审批 拒绝 预留机制 无法自定义资源配置 可以自定义资源平台 软件等 安全控制用户认证管理用户 网络 访问控制 能耗管理无高效节能的资源利用技术
4 运算效率 :I/O 是关键 100000 1000 10 0.1 0.001 5,000 drives 4 TF 3.6 GB/s 165,000 drives 11,000 drives 6 PF 6 TB/s 100 TF 120 GB/s 1995 2000 2005 2010 2015 1995 2000 2005 2010 数据来源 : IBM CPU Performance File System Capacity CPU Performance Number of Disk Drives File System Throughput Number of Disk Drives File System Throughput 存储子系统的 I/O 能力要满足计算能力发展的需求
需要解决系统数据访问的瓶颈问题 应用程序文件系统卷管理驱动程序 内存 服务器 SAN FC iscsi IB SAS 缓存 存储系统 LAN SAN 瓶颈 瓶颈
构建统一的 可扩展的高性能数据存储与访问平台 工作站高性能计算集群远程用户 可扩展的高性能数据存储与访问平台 应用协议集中管理高可用性 CIFS NFS HTTP FTP SCP 管理监控文件管理 数据复制数据迁移数据备份 扫描分析结果 TSM/HSM Server 数据 元数据在线存储近线存储 基于分层存储环境的自动化信息生命周期管理 迁移到离线存储环境, 如带库或具有重复数据删除功能的虚拟带库上 离线存储
IBM 提供领先的 GPFS 并行文件系统 经过验证的可扩展性 最大 14 TB 的文件 2PB 以上的单一文件系统 多达 2441 个节点 非凡的并发数据访问带宽 实测 134GB/s ( 单一文件 126GB/s) 采用开放标准 支持 X/Open 4.0 文件系统标准, 应用无需修改 文件系统和数据可以通过 mount/unmount 支持客户端 支持多路径数据访问 得到更好的扩展性和性能 支持文件系统恢复和高可用性 支持 NFS 或 SAMBA 访问 集群外的客户可以通过 NFS 或 SAMBA 访问数据 可以通过 CNFS 实现 NFS 负载均衡 TCP/IP [+RDMA] GPFS 存储 存储 子系统 子系统
用户也可以选择集成的 SONAS 存储 42 MGT Node MGT Node Switches 2 to 6 s Switches Switches Storage Node Storage Node 60 Disks 60 Disks 60 Disks 60 Disks HTTP Clients NFS Clients CIFS Clients IP Network Global Namespace FTP Clients Other Clients Storage Node Storage Node 1 or 2 Storage Controllers 60 disk each 0, 1 or 2 Expansion Units 60 disk each Storage Node Storage Node 60 Disks 60 Disks 60 Disks 60 Disks Management Node IP Mgmt. Network Storage Node Storage Pod Interface Node... Storage Node Interface Node... Interface Node Infiniband Data Network Storage Node Storage Pod Storage Node Tape Storage controller & disk Storage controller & disk... Storage controller & disk Storage controller & disk Storage Expansion Storage Expansion Storage Expansion Storage Expansion SPECsfs2008 公开性能测试结果
Computer Intelligence 高性能计算一直是科技发展和创新的主要推动力量 Within ten years a digital computer will be the world's chess champion 1958, H. A. Simon and Allen Newell Watson (2010) Deep Blue (1997) System/360 (1964) Abacus Antikythera (Circa 3500 BC) Astronomical Computer (ca 87 BC) Napier s rods (Circa 1600) Counting Machine (Circa 1820) Time ENIAC (Circa 1945) 26
建设创新基础设施, 您需要更智慧的 HPC 系统 海量数据 云计算 针对工作负载优化
IBM 可以提供完整的深度计算系列产品和解决方案 idataplex BladeCenter DCS 9900 系统 模块化可扩展应用支持 Blue Gene SONAS Power 755 深度计算 Deep Computing PERCS DCV 全球生态系统 软件与工具 LINUX 稳定可靠开放兼容 xcat GPFS 高性能计算云 业界领先可靠性全球范围资源 实施和调优服务 绿色 HPC 中心 解决方案与服务
总结 高性能计算 (HPC) 系统需要 Performance 优化系统性能 Productivity - 提高整体效率 Power Efficiency - 减少能耗和散热 IBM 提供完整的高性能计算解决方案 针对应用需求提供丰富的系统选择 综合考虑数据中心环境和应用的需求 采用硬件加速和高密度服务器来降低总体计算成本 重视整体 I/O 架构的设计, 提供领先的并行文件系统 希望有机会为您提供代表世界先进水平的产品和服务