Presentation Title Goes Here and Goes up to Two Lines

Size: px

Start display at page:

Download "Presentation Title Goes Here and Goes up to Two Lines"

樟金
5 years ago
Views:

1 联想直接水冷 HPC 方案 2015 LENOVO RESTRICTED. All rights reserved. This document is Lenovo restricted and intended for viewing by and distribution to only designated individuals or positions. Duplication/reproduction prohibited.

2 DDR/FDR IB 网络最强 Linpack 效率 92%(400 节点 ) 2016/4/15 日完成了高校第一的北京大学排名厂商型号安装地点年份应用领域处理器核 Linpack( Gflops) 来源 Peak(Gfl ops) 效率高性能计算中心的验收 624 个计算节点,447.6 万亿次 1 国防科大天河一号 /3072x2Intel Quad Core Xeon E GHz/E GHz+2560 ATI Radeon 4870X2@575MHz/Infinibabd 国家超算天津中心 2009 科学计算 / 工业 C PB 容量,70GB/s 带宽 56Gb/s IB 网络 2 曙光曙光 5000A/1920x4 AMD Quad Core Barcelona 1.9GHz/DDR Infiniband/WCCS+Linux 上海超级计算中心 2008 科学计算 / 工业 C Linpack 效率 81% 创 Intel E5-2600V3 记录 3 联想深腾 7000/1240x2 Intel Xeon Quad-Core E GHz/140x4 Intel Xeon Quad-Core X GHz Infiniband 4xDDR 中国科学院超级计算中心 2008 科学计算 C IBM BladeCenter HS22 Cluster/Intel Xeon QC GT 2.53 GHz/Giga-E 网络公司 2009 工业 / 游戏 T IBM BladeCenter HS22 Cluster/Intel Xeon QC GT 2.53 GHz/Giga-E 网络公司 2009 工业 / 游戏 T IBM BladeCenter HS22 Cluster/Intel Xeon QC GT 2.53 GHz/Giga-E 网络公司 2009 工业 / 游戏 T 南京大学 HS22 + Infiniband 效率 : 92% 7 IBM IBM BladeCenter HS22 Cluster/400x2 Intel Xeon GHz/Infiniband 南京大学 2009 科学计算 / 教育 C 曙光曙光 5000/420x2 Intel Quad Core 3.0GHz/DDR Infiniband 计算物理国家重点实验室 2009 科学计算 C IBM BladeCenter HS22 Cluster/Intel Xeon QC GT 2.53 GHz/Giga-E 网络公司 2009 工业 / 游戏 T IBM BladeCenter HS22 Cluster/Intel Xeon QC GT 2.53 GHz/Giga-E 网络公司 2009 工业 / 游戏 T

3 联想具有最丰富最完善的高性能计算产品刀片服务器 FlexSystem GPFS + 存储 +SUPOOL 网络 OPA&IB 机架式服务器重新界定了 x86 联想智能超算平台 LICO GPFS 和 Intel Lustre NeXtScale 服务器快捷紧凑灵活系统工具研发平台与 Intel 服务部署优化 LAB&Para(24) Intelligent Cluster 经过了工厂集成和兼容性测试的系统 ( 包含计算存储网络和集群管理 ) 易捷 HPC 解决方案经过了工厂集成和兼容性测试的完整的系统 ( 包含节点, 存储, 网络和集群管理 ) 完全满足您应用的要求预装常见开源 HPC 应用作为一个整体系统为您提供服务 7 24 小时在线运维服务 3

4 4 联想水冷解决方案

能源, 计算和制冷燃油持续 48 小时发电机 N+1 冷却塔 UPS 电池 10-15 分钟 PDU A

5 能源, 计算和制冷燃油持续 48 小时发电机 N+1 冷却塔 UPS 电池分钟 PDU A Data Center 75F eir 85F deg water 55F deg water 95F deg water Static Switch A PDU B Server 45F deg water 制冷 N+1 供电局, 双路 Static Switch B 架空地板 55F deg air 精密空调补水罐 5

数据中心制冷方式的选择 (PUE = 数据中心总设备能耗 /IT 设备能耗 ) 风冷行间空调

1 依靠服务器内部风扇产生的气流适用任何的机房具有最大的灵活性广泛的支持各种设备

NeX) 风冷, 通过机柜水冷和空间封闭增强散热效果制冷机运行更经济 (18C water)

能源循环利用成为可能高密度高电价地区和新机房的理想选择支持最高功耗的处理器广泛的选择

6 数据中心制冷方式的选择 (PUE = 数据中心总设备能耗 /IT 设备能耗 ) 风冷行间空调直接水冷 PUE = ~1.5 PUE = ~1.2 PUE <= 1.1 依靠服务器内部风扇产生的气流适用任何的机房具有最大的灵活性广泛的支持各种设备 Supports Native Expansion nodes (Storage NeX, PCI NeX) 风冷, 通过机柜水冷和空间封闭增强散热效果制冷机运行更经济 (18C water) 机柜摆放密度更高没有内部风扇更高的每瓦特性能 Free cooling (45C water) 能源循环利用成为可能高密度高电价地区和新机房的理想选择支持最高功耗的处理器广泛的选择国内大部分数据中心在 2 到 3 兼顾灵活性和能效实际环境中在 1.4 到 2 或者是这三种方式的混合制冷最高性能和能耗的选择实际全年在 1.4 以下 6

7 42U 机架功率 - kw 数据中心能耗和制冷技术趋势 ASHRAE 预计, 到 2020 年, 最大机架功率约为 50kW 功率跟踪 ( 低于最大值 ):HPC 约低 15%; 企业应用比目标值约低 50% 传统的空气冷却达到了每个机架约 12 kw 的冷却极限, 这限制了节点和机架的密度高密度机架需要非传统的冷却系统服务器最大功率 ASHRAE Update U 1S 1U 2S 1U 4S 2U 2S 2U 4S Intel ½ U, 双 Xeon/ dual KNL 直接水冷 Year 行间空调传统风冷 * 资料来源 - ASHRAE Datacom 系列 2 手册 - Datacom 设备功率趋势和冷却应用

System-X 直接水冷技术发展利用液体冷却技术对风冷服务器进行优化支持 45 C

Blade HS-22 45 C 90% 的热回收 2009 x3550 M3-1U

的热回收 2013 NextScale nx360m5 WCT 45 C-50 C 约

CPU 内存 VR-CPU PCH/BMC/FPGA PSU IO:IB-EDR 或

8 System-X 直接水冷技术发展利用液体冷却技术对风冷服务器进行优化支持 45 C 的进水口温度最大限度地回收热量对流和空气辐射热损失约为 10-15% 2009 Blade HS C 90% 的热回收 2009 x3550 M3-1U % 的热回收 2011 idataplex dx340m4 45 约 85% 的热回收 2013 NextScale nx360m5 WCT 45 C-50 C 约 85% 的热回收 100% w/ 25 C System-x DWC 演化 CPU 内存 VR-CPU PCH/BMC/FPGA PSU IO:IB-EDR 或 100GbE PSU 风扇 PSU 风扇 60% 18% 6% 4% 6% 3% 2% < 1% 8

9 业内第一家大规模生产和安装的 X86 水冷产品 idataplex dx360m4 ( ) 具有 84 台 dx360m4 服务器的 idataplex 机架 dx360 M4 节点 2 个 CPU(130W,115W) 16xDIMMS(4GB/8GB) 1HDD/2SSD 网卡 85% 的热回收, 水温 18 C-45 C,0.5 lpm/ 节点 dx360m4 服务器 idataplex 机架 9

10 联想 NextScale nx360m5 WCT 直接水冷 ( ) NextScale 机箱 (6U/12 节点 ), 每个托盘 2 个节点 nx360m5 WCT 2xCPU( 最高 165W) 16 个 DIMM(8GB/16GB/32GB) 1HDD/2SSD 1 个 ML2 或 PCIe 网卡 82% 的热回收, 水温 18 C-45 C,0.5 lpm/ 节点托盘中的 2 个 nx-360m5 WCT 节点 NextScale 机箱可扩展歧管 nx360m5( 具有 2 个 SSD) 机架配置 10

11 联想 nx360 M5 WCT 主要水冷部件歧管通过进水口与出水口之间的快速连接直接为机箱内的每个计算节点供水和排水由于采用了模块化设计, 因此可通过每个机箱冷却管的子装配构件支持多种配置 6 种型号 : 或 6 个机箱冷却管 n1200 WCT 机箱单个歧管冷却管 ( 每个机箱 1 个 ) 6 冷却歧管 11

nx360 M5 水冷节点 WCT 计算节点每个全宽 1U 托盘 2 个计算节点 Grantley 通过冷却管进行水循环, 以实现组件级冷却 Intel E5-2600 v4 双路处理器 16 个 DIMM 插槽

12 nx360 M5 水冷节点 WCT 计算节点每个全宽 1U 托盘 2 个计算节点 Grantley 通过冷却管进行水循环, 以实现组件级冷却 Intel E v4 双路处理器 16 个 DIMM 插槽 (DDR4) Infiniband 支持 : FDR:ConnectX-3(ML2) FDR:Connect-IB(PCIe) EDR:PCIe Omnipath 板载 GbE NIC 12 WCT Compute Node

13 N1200 WCT 机箱 6U 机箱,6 个托盘每个托盘 2 个节点 ( 每个 6U 机箱 12 个节点 ) 最多 6 颗 900W/1300W/1500W 电源,N+N 或 N+1 配置无风扇 (PSU 除外 ) 风扇和电源控制器滴速传感器错误 LED 以及用于检测漏水的 Web 链路 N1200 风冷机箱 6U 机箱,12 个托架最多 6 颗 900W/1300W/1500W 电源,N+N 或 N+1 配置最多 10 个热插拔风扇风扇和电源控制器混合搭配计算存储或 GPU 节点风扇和电源控制器风扇和电源控制器 3 颗电源 5 个 80 毫米风扇 13

14 联想水冷客户案例 --SuperMUC System 第 1 阶段 (IBM System x idataplex) 最佳性能为 3.2 PFlops 18 个计算节点岛中具有 9216 个 IBM idataplex dx360m4 节点每个计算节点具有 2 个 Intel Xeon E 处理器以及 32 GB 内存 147,456 个计算内核 Infiniband FDR10 网络 ( 胖树拓扑 ) 第 2 阶段 (Lenovo NeXtScale WCT) 最佳性能为 3.6 PFlops 6 个计算节点岛中具有 3072 个 Lenovo NeXtScale nx360m5 WCT 节点每个计算节点具有 2 个 Intel Xeon E5-2697v3 处理器以及 64 GB 内存 86,016 个计算内核 Infiniband FDR14 网络 ( 胖树拓扑 ) 共用 GPFS 文件系统, 分别具有 10 PB 和 5 PB 的可用存储空间共用编程环境直接温水冷却系统技术 14

HPC TOP , HPC 2004SCIDACTOPS PI David Keyes TOP100 HPC Supercomputing in China TOP500 Hans Meuer

HPC TOP , HPC 2004SCIDACTOPS PI David Keyes TOP100 HPC Supercomputing in China TOP500 Hans Meuer TOP100 State-of-the-Art Analysis and Perspectives of China HPC Development: A View from 2011 HPC TOP100 (Yunquan Zhang) GTC Asia 2011 12 14 HPC TOP100 200210, 2004 863 2007 2005 2006 2007 2004 7 2007 130HPC