联想直接水冷 HPC 方案 2015 LENOVO RESTRICTED. All rights reserved. This document is Lenovo restricted and intended for viewing by and distribution to only designated individuals or positions. Duplication/reproduction prohibited.
DDR/FDR IB 网络最强 Linpack 效率 92%(400 节点 ) 2016/4/15 日完成了高校第一的北京大学 排名 厂商型号安装地点年份 应用领域 处理器核 Linpack( Gflops) 来源 Peak(Gfl ops) 效率 高性能计算中心的验收 624 个计算节点,447.6 万亿次 1 国防科大 天河一号 /3072x2Intel Quad Core Xeon E5540 2.53GHz/E5450 3.0GHz+2560 ATI Radeon 4870X2@575MHz/Infinibabd 国家超算天津中心 2009 科学计算 / 工业 24576 563100 C 1206210 0.467 4PB 容量,70GB/s 带宽 56Gb/s IB 网络 2 曙光 曙光 5000A/1920x4 AMD Quad Core Barcelona 1.9GHz/DDR Infiniband/WCCS+Linux 上海超级计算中心 2008 科学计算 / 工业 30720 180600 C 233472 0.774 Linpack 效率 81% 创 Intel E5-2600V3 记录 3 联想 深腾 7000/1240x2 Intel Xeon Quad-Core E5450 3.0GHz/140x4 Intel Xeon Quad-Core X7350 2.93GHz Infiniband 4xDDR 中国科学院超级计算中心 2008 科学计算 12160 106500 C 145293 0.733 4 IBM BladeCenter HS22 Cluster/Intel Xeon QC GT 2.53 GHz/Giga-E 网络公司 2009 工业 / 游戏 7168 38790 T 72540 0.535 5 IBM BladeCenter HS22 Cluster/Intel Xeon QC GT 2.53 GHz/Giga-E 网络公司 2009 工业 / 游戏 7168 38790 T 72540 0.535 6 IBM BladeCenter HS22 Cluster/Intel Xeon QC GT 2.53 GHz/Giga-E 网络公司 2009 工业 / 游戏 7168 38790 T 72540 0.535 南京大学 HS22 + Infiniband 效率 : 92% 7 IBM IBM BladeCenter HS22 Cluster/400x2 Intel Xeon 5550 2.66GHz/Infiniband 南京大学 2009 科学计算 / 教育 3200 31310 C 34048 0.92 8 曙光 曙光 5000/420x2 Intel Quad Core 3.0GHz/DDR Infiniband 计算物理国家重点实验室 2009 科学计算 3360 31048.8 C 400320 0.77 9 IBM BladeCenter HS22 Cluster/Intel Xeon QC GT 2.53 GHz/Giga-E 网络公司 2009 工业 / 游戏 5376 31030 T 54410 0.57 2 1 0 IBM BladeCenter HS22 Cluster/Intel Xeon QC GT 2.53 GHz/Giga-E 网络公司 2009 工业 / 游戏 5376 31030 T 54410 0.57
联想具有最丰富最完善的高性能计算产品 刀片服务器 FlexSystem GPFS + 存储 +SUPOOL 网络 OPA&IB 机架式服务器重新界定了 x86 联想智能超算平台 LICO GPFS 和 Intel Lustre NeXtScale 服务器快捷 紧凑 灵活 系统工具研发平台与 Intel 服务部署 优化 LAB&Para(24) Intelligent Cluster 经过了工厂集成和兼容性测试的系统 ( 包含计算 存储 网络和集群管理 ) 易捷 HPC 解决方案 经过了工厂集成和兼容性测试的完整的系统 ( 包含节点, 存储, 网络和集群管理 ) 完全满足您应用的要求 预装常见开源 HPC 应用 作为一个整体系统为您提供服务 7 24 小时在线运维服务 3
4 联想水冷解决方案
能源, 计算和制冷 燃油持续 48 小时 发电机 N+1 冷却塔 UPS 电池 10-15 分钟 PDU A Data Center 75F eir 85F deg water 55F deg water 95F deg water Static Switch A PDU B Server 45F deg water 制冷 N+1 供电局, 双路 Static Switch B 架空地板 55F deg air 精密空调 补水罐 5
数据中心制冷方式的选择 (PUE = 数据中心总设备能耗 /IT 设备能耗 ) 风冷 行间空调 直接水冷 PUE = ~1.5 PUE = ~1.2 PUE <= 1.1 依靠服务器内部风扇产生的气流 适用任何的机房 具有最大的灵活性 广泛的支持各种设备 Supports Native Expansion nodes (Storage NeX, PCI NeX) 风冷, 通过机柜水冷和空间封闭增强散热效果 制冷机运行更经济 (18C water) 机柜摆放密度更高 没有内部风扇 更高的每瓦特性能 Free cooling (45C water) 能源循环利用成为可能 高密度 高电价地区和新机房的理想选择 支持最高功耗的处理器 广泛的选择 国内大部分数据中心在 2 到 3 兼顾灵活性和能效 实际环境中在 1.4 到 2 或者是这三种方式的混合制冷 最高性能和能耗的选择 实际全年在 1.4 以下 6
42U 机架功率 - kw 数据中心能耗和制冷技术趋势 ASHRAE 预计, 到 2020 年, 最大机架功率约为 50kW 功率跟踪 ( 低于最大值 ):HPC 约低 15%; 企业应用比目标值约低 50% 传统的空气冷却达到了每个机架约 12 kw 的冷却极限, 这限制了节点和机架的密度 高密度机架需要非传统的冷却系统 60 50 服务器最大功率 ASHRAE Update 2012 1U 1S 1U 2S 1U 4S 2U 2S 2U 4S Intel ½ U, 双 Xeon/ dual KNL 40 30 直接水冷 7 20 10 0 2010 2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 Year 行间空调 传统风冷 * 资料来源 - ASHRAE Datacom 系列 2 手册 - Datacom 设备功率趋势和冷却应用
System-X 直接水冷技术发展 利用液体冷却技术对风冷服务器进行优化 支持 45 C 的进水口温度 最大限度地回收热量 对流和空气辐射热损失约为 10-15% 2009 Blade HS-22 45 C 90% 的热回收 2009 x3550 M3-1U 35 100% 的热回收 2011 idataplex dx340m4 45 约 85% 的热回收 2013 NextScale nx360m5 WCT 45 C-50 C 约 85% 的热回收 100% w/ RDHx @ 25 C System-x DWC 演化 CPU 内存 VR-CPU PCH/BMC/FPGA PSU IO:IB-EDR 或 100GbE PSU 风扇 PSU 风扇 60% 18% 6% 4% 6% 3% 2% < 1% 8
业内第一家大规模生产和安装的 X86 水冷产品 idataplex dx360m4 (2010-2013) 具有 84 台 dx360m4 服务器的 idataplex 机架 dx360 M4 节点 2 个 CPU(130W,115W) 16xDIMMS(4GB/8GB) 1HDD/2SSD 网卡 85% 的热回收, 水温 18 C-45 C,0.5 lpm/ 节点 dx360m4 服务器 idataplex 机架 9
联想 NextScale nx360m5 WCT 直接水冷 (2013-2016) NextScale 机箱 (6U/12 节点 ), 每个托盘 2 个节点 nx360m5 WCT 2xCPU( 最高 165W) 16 个 DIMM(8GB/16GB/32GB) 1HDD/2SSD 1 个 ML2 或 PCIe 网卡 82% 的热回收, 水温 18 C-45 C,0.5 lpm/ 节点 托盘中的 2 个 nx-360m5 WCT 节点 NextScale 机箱 可扩展歧管 nx360m5( 具有 2 个 SSD) 机架配置 10
联想 nx360 M5 WCT 主要水冷部件 歧管通过进水口与出水口之间的快速连接直接为机箱内的每个计算节点供水和排水 由于采用了模块化设计, 因此可通过每个机箱冷却管的子装配构件支持多种配置 6 种型号 :1 2 3 4 5 或 6 个机箱冷却管 n1200 WCT 机箱单个歧管冷却管 ( 每个机箱 1 个 ) 6 冷却歧管 11
nx360 M5 水冷节点 WCT 计算节点 每个全宽 1U 托盘 2 个计算节点 Grantley 通过冷却管进行水循环, 以实现组件级冷却 Intel E5-2600 v4 双路处理器 16 个 DIMM 插槽 (DDR4) Infiniband 支持 : FDR:ConnectX-3(ML2) FDR:Connect-IB(PCIe) EDR:PCIe Omnipath 板载 GbE NIC 12 WCT Compute Node
N1200 WCT 机箱 6U 机箱,6 个托盘 每个托盘 2 个节点 ( 每个 6U 机箱 12 个节点 ) 最多 6 颗 900W/1300W/1500W 电源,N+N 或 N+1 配置 无风扇 (PSU 除外 ) 风扇和电源控制器 滴速传感器 错误 LED 以及用于检测漏水的 Web 链路 N1200 风冷机箱 6U 机箱,12 个托架 最多 6 颗 900W/1300W/1500W 电源,N+N 或 N+1 配置 最多 10 个热插拔风扇 风扇和电源控制器 混合搭配计算 存储或 GPU 节点 风扇和电源控制器 风扇和电源控制器 3 颗电源 5 个 80 毫米风扇 13
联想水冷客户案例 --SuperMUC System 第 1 阶段 (IBM System x idataplex) 最佳性能为 3.2 PFlops 18 个计算节点岛中具有 9216 个 IBM idataplex dx360m4 节点 每个计算节点具有 2 个 Intel Xeon E5-2680 处理器以及 32 GB 内存 147,456 个计算内核 Infiniband FDR10 网络 ( 胖树拓扑 ) 第 2 阶段 (Lenovo NeXtScale WCT) 最佳性能为 3.6 PFlops 6 个计算节点岛中具有 3072 个 Lenovo NeXtScale nx360m5 WCT 节点 每个计算节点具有 2 个 Intel Xeon E5-2697v3 处理器以及 64 GB 内存 86,016 个计算内核 Infiniband FDR14 网络 ( 胖树拓扑 ) 共用 GPFS 文件系统, 分别具有 10 PB 和 5 PB 的可用存储空间 共用编程环境 直接温水冷却系统技术 14
2013 LENOVO RESTRICTED. All rights reserved.