幻灯片 1

Size: px

Start display at page:

Download "幻灯片 1"

幽个凌
5 years ago
Views:

1 面向未来的解决方案 - 高性能计算的发展趋势

2 高性能计算已成为现代科学研究的三大支柱之一高性能计算理论研究实验研究

3 科研领域对于高性能计算的需求似乎永无止境现在倍的提高依赖于物理的原型测试, 只能进行部件级的仿真参考性的被动的, 长时间的批处理作业静态的数据互相隔离的系统不够灵活不够创造性全数字化的虚拟的整体系统模型可预测的, 互动的实时分析基于流数据, 实现协同的系统环境创造更大的可能性

4 Rmax Performance (GFlops) 高性能计算系统的处理能力也在不断提高 PF 2.56 PF TF 31.1 TF /06 93/11 94/06 94/11 95/06 95/11 96/06 96/11 97/06 97/11 98/06 98/11 99/06 99/11 00/06 00/07 '01/06 01/11 02/06 02/11 03/06 03/11 04/06 04/11 05/06 05/11 06/06 06/11 07/06 07/11 08/06 08/11 09/06 09/11 10/06 Source: 10/11

5 我们进入了大规模并行计算的时代据估计, 大约有 200 多个数据中心拥有超过个节点, 并且这个数字还在不断增加中

6 当前高性能计算所面临的主要挑战应用性能 App. Level Performance 机房环境 Power/Cooling /Footprint 高性能计算运算效率 Productivity 总体计算成本 TCC

7 1 应用性能 : 是否能够更快地得到所需的计算结果 Weather Prediction Climate Modeling Nuclear Stockpile Stewardship Ocean/wave Forecasting Weapons Integration

8 需要选择针对工作负载优化的平台 Cache Cache Cache Cache Cache A A A A A A A A A A A A A A A A Cache Cache 容量不同的应用需求带宽

9 IBM 可以提供灵活的系统选择向上扩展 ( 共享内存架构 ) 4 插槽以上的 SMP 系统大型 SMP: Power Systems: Power 780, Power 795 容量计算 Capacity 能力计算 Capability 能力计算定制系统 4 插槽以下的 SMP 系统企业级高密度服务器 : BladeCenter: HS22/HS22v, HX5, PS700, PS701, PS702 idataplex: dx360 M3 SMP 集群 : Power Systems: Power 755/750 System x: x3850 X5, x3755 M3 机架式服务器 : x3550 M3, x3650 M3, x3690 M3, Power 740 Blue Gene: BG/P, BG/Q 部门 / 工作组级单处理器向外扩展 ( 分布内存架构 ) 数千颗处理器

10 根据应用特点选择不同的处理器架构 Xeon 5600 Series Xeon 7500 Series 性能价格比计算能力内存带宽内存容量

11 或者采用新一代的异构计算模式 GPU 1 GPU 2 HS22 BGE #1 BGE #2 BGE #3 BGE #4 HBA IBM HS22 刀片服务器 GPU 扩展刀片 IBM BladeCenter GPU 扩展刀片 GPU 扩展托盘

2 机房环境 : 是否能满足现有系统和未来扩展的需要 20 W/cm 2 Steam Iron: 5 W/cm2 传统架空地板送风局限性 12 Grate tile 100% 80 10 50 60 70 80% 60% 40% 45% 机柜功率 (kw) 8 6 4 40 20% 2 0% 40 50 60 70

12 2 机房环境 : 是否能满足现有系统和未来扩展的需要 20 W/cm 2 Steam Iron: 5 W/cm2 传统架空地板送风局限性 12 Grate tile 100% % 60% 40% 45% 机柜功率 (kw) % 2 0% (F) [47.2] [94.4] [141.6] [188.8] [236.0] [283.2] [330.4] [377.6] [424.8] [471.9] 地板送风量 (cfm) [L/s]

13 35 Units 需要部署端到端的绿色数据中心解决方案 100 Units 33 Units Delivered* HVAC, UPS 55% 数据中心 IT Power 45% 服务器硬件 Other 70% ( 电源, 风扇, 内存, 磁盘 ) Processor 30% 处理器性能 /Watt 高达 95% 空闲资源服务器负载典型的利用率 Mainframe UNIX 80 90% 10 20% Wintel 5 12% 大部分应用对资源的平均利用率在 5-20% *Data source: U.S. Department of Energy May 18, 2007 端到端的解决方案更有效的供电和制冷更好的服务器设计先进的处理器设计 + 能源管理 + 处理技术提高利用率 ( 整合 / 虚拟化 ) 产品与解决方案

1 11 21 31 41 51 IBM 系统在整体能效上具有极大的优势 QPACE Roadrunner idataplex (6C) Blue Gene/P idataplex (QC) 10 20 30 40 50 60 IBM Cray Sun SGI HP Other IBM 系统的领先地位前三名系统前 20 名里占 17 套前 100 名里占 65 套 dx360

green500.org), published twice a year, ranks the TOP500 Supercomputers in the world by energy efficiency based on Linpack MFlops per watt.

14 IBM 系统在整体能效上具有极大的优势 QPACE Roadrunner idataplex (6C) Blue Gene/P idataplex (QC) IBM Cray Sun SGI HP Other IBM 系统的领先地位前三名系统前 20 名里占 17 套前 100 名里占 65 套 dx360 是能效最高的 x86 系统 Most Energy Efficient TOP500 Systems Ranked by MFlops/watt IBM 201 Avg MF/w Others (non IBM) 102 Avg MF/w The Green500 list ( published twice a year, ranks the TOP500 Supercomputers in the world by energy efficiency based on Linpack MFlops per watt. Little Green500 ranks MF/w of systems that are at least as fast as the 500 th ranked system on the 18 month prior TOP500 list. Avg MF/w is the average energy efficiency of all the systems by a given manufacturer on Green500; the overall Green500 average is 140 MF/w.

15 idataplex 采用创新的设计来增加服务器密度热交换背门没有移动组件 100% 热吸收可降低机房温度 Typical Enterprise Rack idataplex

16 能够大幅度地减少机柜占地空间 Cold Isle 400 CFM* per tile *Cubic Feet per Minute 机柜密度提高 2.5 倍 Std Std Rack Rack w/ 1U s w/ 1U s Hot Aisle X sq. ft Air Cooling Cold Isle idataplex Rack Hot Aisle 0.79X sq. ft Air Cooling Cold Isle idataplex Rack Hot Aisle 0.42X sq. ft Liquid Cooling

17 3 总体计算成本 : 如何最大化利用现有的投入

18 传统的高性能计算中心使用方式研究项目之间互相影响没有统一的资源管理平台无法支持多操作系统受物理资源限制严重作业管理系统各学科计算软件并行运算支撑平台操作系统平台所有研究人员将算题提交给作业管理系统作业管理系统监控后台计算资源选择空闲资源进行运算各研究人员

19 通过云计算实现动态的计算服务平台专用计算软件并行运算支撑平台操作系统平台项目一监测界面专用计算软件并行运算支撑平台操作系统平台项目二动态产生回收部署数据策略脚本决策报告计算管理各研究人员计算服务 Portal 专用计算软件并行运算支撑平台操作系统平台项目三所有计算资源公众使用人群服务器应用软件数据存储

20 云计算架构高性能计算平台对比传统的高性能计算平台动态的高性能计算服务平台资源管理作业管理系统资源管理系统 + 作业管理系统为作业找资源为 ( 用户应用作业 ) 动态进行资源创建回收只管理处理器应用软件处理器内存存储网络应用软件虚拟化不支持服务器虚拟化存储虚拟化网络虚拟化用户管理独立的用户管理系统基于 LDAP 的统一用户管理平台支持用户无法独享资源无法修改已安装平台无法动态修改用户可以独享资源可以同时支持多种平台可以动态修改数据存储没有备份机制完善的备份恢复机制不支持异构存储异构存储平台支持用户使用无资源审批流程审批拒绝预留机制无法自定义资源配置可以自定义资源平台软件等安全控制用户认证管理用户网络访问控制能耗管理无高效节能的资源利用技术

21 4 运算效率 :I/O 是关键 ,000 drives 4 TF 3.6 GB/s 165,000 drives 11,000 drives 6 PF 6 TB/s 100 TF 120 GB/s 数据来源 : IBM CPU Performance File System Capacity CPU Performance Number of Disk Drives File System Throughput Number of Disk Drives File System Throughput 存储子系统的 I/O 能力要满足计算能力发展的需求

22 需要解决系统数据访问的瓶颈问题应用程序文件系统卷管理驱动程序内存服务器 SAN FC iscsi IB SAS 缓存存储系统 LAN SAN 瓶颈瓶颈

23 构建统一的可扩展的高性能数据存储与访问平台工作站高性能计算集群远程用户可扩展的高性能数据存储与访问平台应用协议集中管理高可用性 CIFS NFS HTTP FTP SCP 管理监控文件管理数据复制数据迁移数据备份扫描分析结果 TSM/HSM Server 数据元数据在线存储近线存储基于分层存储环境的自动化信息生命周期管理迁移到离线存储环境, 如带库或具有重复数据删除功能的虚拟带库上离线存储

24 IBM 提供领先的 GPFS 并行文件系统经过验证的可扩展性最大 14 TB 的文件 2PB 以上的单一文件系统多达 2441 个节点非凡的并发数据访问带宽实测 134GB/s ( 单一文件 126GB/s) 采用开放标准支持 X/Open 4.0 文件系统标准, 应用无需修改文件系统和数据可以通过 mount/unmount 支持客户端支持多路径数据访问得到更好的扩展性和性能支持文件系统恢复和高可用性支持 NFS 或 SAMBA 访问集群外的客户可以通过 NFS 或 SAMBA 访问数据可以通过 CNFS 实现 NFS 负载均衡 TCP/IP [+RDMA] GPFS 存储存储子系统子系统

用户也可以选择集成的 SONAS 存储 42 MGT Node MGT Node Switches 2 to 6 s Switches Switches Storage Node Storage Node 60 Disks 60 Disks 60 Disks 60 Disks HTTP Clients NFS Clients CIFS Clients IP Network Global

25 用户也可以选择集成的 SONAS 存储 42 MGT Node MGT Node Switches 2 to 6 s Switches Switches Storage Node Storage Node 60 Disks 60 Disks 60 Disks 60 Disks HTTP Clients NFS Clients CIFS Clients IP Network Global Namespace FTP Clients Other Clients Storage Node Storage Node 1 or 2 Storage Controllers 60 disk each 0, 1 or 2 Expansion Units 60 disk each Storage Node Storage Node 60 Disks 60 Disks 60 Disks 60 Disks Management Node IP Mgmt. Network Storage Node Storage Pod Interface Node... Storage Node Interface Node... Interface Node Infiniband Data Network Storage Node Storage Pod Storage Node Tape Storage controller & disk Storage controller & disk... Storage controller & disk Storage controller & disk Storage Expansion Storage Expansion Storage Expansion Storage Expansion SPECsfs2008 公开性能测试结果

26 Computer Intelligence 高性能计算一直是科技发展和创新的主要推动力量 Within ten years a digital computer will be the world's chess champion 1958, H. A. Simon and Allen Newell Watson (2010) Deep Blue (1997) System/360 (1964) Abacus Antikythera (Circa 3500 BC) Astronomical Computer (ca 87 BC) Napier s rods (Circa 1600) Counting Machine (Circa 1820) Time ENIAC (Circa 1945) 26

27 建设创新基础设施, 您需要更智慧的 HPC 系统海量数据云计算针对工作负载优化

28 IBM 可以提供完整的深度计算系列产品和解决方案 idataplex BladeCenter DCS 9900 系统模块化可扩展应用支持 Blue Gene SONAS Power 755 深度计算 Deep Computing PERCS DCV 全球生态系统软件与工具 LINUX 稳定可靠开放兼容 xcat GPFS 高性能计算云业界领先可靠性全球范围资源实施和调优服务绿色 HPC 中心解决方案与服务

29 总结高性能计算 (HPC) 系统需要 Performance 优化系统性能 Productivity - 提高整体效率 Power Efficiency - 减少能耗和散热 IBM 提供完整的高性能计算解决方案针对应用需求提供丰富的系统选择综合考虑数据中心环境和应用的需求采用硬件加速和高密度服务器来降低总体计算成本重视整体 I/O 架构的设计, 提供领先的并行文件系统希望有机会为您提供代表世界先进水平的产品和服务

untitled

untitled zhouly@cn.ibm.com 48% 52% 57% 62% 67% 71% 2005 2006 2007 2008 2009 2010 教育信息化的发展需要新一代的绿色数据中心更绿色的环境持续地改善资源的利用率和功耗效率更有效的管理提供可靠的高质量的IT服务更快速的响应满足不断变化的业务需求提供动态响应能力动态简化共享 100 80 60 40 20 0 80 90%