PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

筹阳
5 years ago
Views:

1 高性能计算中心的建设运维及安全初探姚舸南京大学物理学院南京微结构国家实验室 ( 筹 ) 人工微结构科学与技术协同创新中心 yaoge@nju.edu.cn my@yaoge123.com

2 高热密度机房行间制冷空调 2

3 高热密度机房密闭制冷机柜 3

4 高热密度机房 28 年开始建设,29 年投入使用 UPS 空调配电加固和装修分别招标采购 4

5 高热密度机房冷热分离, 上送风 ( 下送风?) 热通道冷通道精密空调机柜 UPS & 电池 5

6 高热密度机房自主设计, 整体规划布局, 注意细节精密空调精密空调热通道配电柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜冷通道电池电池电池电池 UPS 6

7 高热密度机房改造后消防精密空调精密空调精密空调热通道配电柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜冷通道电池电池电池电池 UPS 消防 7

8 制冷系统风冷直接膨胀式风冷式冷冻水 8

9 改善压缩机工作环境 9

10 改善机组间不平衡室内外机与压缩机一一对应 1

11 改善室外机安装位置 * 地下车库 ( 距离近 ): 通风不畅, 环境温度高距离远则 >1 米室内机维修频繁 PUE:2.8? 11

12 优点室内机更小巧维护少大容量下效率高多机房共享, 距离远冗余度高 12

13 缺点造价高, 系统复杂施工周期长小容量不适用水风险 13

14 高热密度机房关键点 : 冷热分离其他事项前后维护空间后排风空间湿度控制停电后温升速度参观消防配电 14

15 管理转变统一机房, 课题组自行采购管理集群集群硬件与机房环境的匹配度? 学生管理为主, 精力与更替? 资源使用不均衡统一机房, 各个课题组集群融合统一管理协助选型参与购置统一管理, 资源共享 211 年开始使用培训和 QQ 群 / 微信群在线服务 15

16 集群架构不同品牌 CPU 网络存储, 硬件跨越 7 年 16

17 设备品牌全校院系 IBM/Lenovo Dell HP/HPE 浪潮其他曙光超微我中心 IBM/Lenovo HP/HPE Dell 浪潮曙光 DDN Brocade BNT 17

18 G b S A S F R U 3 G B 1 k GB 1k 3GB 1k 3GB 1k 3GB 1k 3GB 1k 3GB 1k 3GB 1k x24 x24 x24 x24 x24 x24 x G b S A S F R U 3 G B 1 k 6 G b S A S F R U 3 G B 1 k GB 1k 3GB 1k 3GB 1k 3GB 1k 3GB 1k 3GB 1k 3GB 1k x24 x24 x24 x24 x24 x24 x24 Flex System Enterprise Storwize V37 Storwize V37 9GB 1k System x365 M4 9GB 1k 9GB 1k 9GB 1k GB 1k 9GB 1k 9GB 1k 9GB 1k 9GB 1k 9GB 1k 9GB 1k 9GB 1k GB 1k 9GB 1k 9GB 1k 9GB 1k 9GB 1k 9GB 1k 9GB 1k 9GB 1k GB 1k 9GB 1k 6 G b S A S F R U 3 G B 1 k 9GB 1k 9GB 1k G b S A S F R U 3 G B 1 k 6 G b S A S F R U 3 G B 1 k 6 G b S A S F R U 3 G B 1 k 6 G b S A S F R U 3 G B 1 k 6 G b S A S F R U 3 G B 1 k 6 G b S A S F R U 3 G B 1 k 6 G b S A S F R U 3 G B 1 k x 2 4 x 2 4 x 2 4 x 2 4 x 2 4 x 2 4 x G b S A S F R U 3 G B 1 k 6 G b S A S F R U 3 G B 1 k G b S A S F R U 3 G B 1 k 6 G b S A S F R U 3 G B 1 k 6 G b S A S F R U 3 G B 1 k 6 G b S A S F R U 3 G B 1 k 6 G b S A S F R U 3 G B 1 k 6 G b S A S F R U 3 G B 1 k 6 G b S A S F R U 3 G B 1 k x 2 4 x 2 4 x 2 4 x 2 4 x 2 4 x 2 4 x 2 4 F l e x S y s t e m E n t e r p r i s e System x365 M 集群架构管理网千兆网 Infiniband FC/SAS 4TB 4TB 4TB 4TB 4TB 4TB 4TB 4TB 4TB 4TB 4TB 4TB 18

19 统一管理购置要求计算节点刀片架构, 冗余风扇电源, 管理模块统一管理刀箱和刀片内存配置性能最大化,1 个本地硬盘 (SSD) IPMI 2., 远程开关机和设定启动顺序 KVM over IP, 远程加载光盘 /U 盘 (licence) 硬件状态监控,NTP 远程 syslog 报警电源转换效率 Linpack IO 节点机架, 冗余风扇电源本地硬盘 RAID1 系统, 热备盘 19

Time 访存墙 <=16 Cores 均为单节点 12 1 E5-266 E5-2692v2 >=24 Cores E5-266 节点数均大于 E5-2692v2 节点数 8 6 4 访存为主因素 2 核过多反而慢 16 32 48 64 8 96 112 128 CPU Core E5-266 (8C, 2M

20 Time 访存墙 <=16 Cores 均为单节点 12 1 E5-266 E5-2692v2 >=24 Cores E5-266 节点数均大于 E5-2692v2 节点数访存为主因素 2 核过多反而慢 CPU Core E5-266 (8C, 2M Cache, 2.2 GHz, Turbo 2.7GHz, 内存带宽 51.2 GB/s) 4Gb IB E5-2692v2 (12C, 3M Cache, 2.2 GHz, Turbo 2.6GHz, 内存带宽 59.7 GB/s) 4Gb IB 两种 CPU 架构相同制程更新, 属于 Intel 的 Tick 更新 2

21 Time 访存墙只用部分 CPU 更快更省电 Cores N*24 Cores Node E5-2692v2, 4Gb QDR Infiniband 21

22 访存墙 Memory(GB) 24Core Memory(GB) N*24Core Time (s) 24Core Time (s) N*24Core MemRW(GB/s) 24Core MemRW(GB/s) N*24Core Time (s) 24Core Time (s) N*24Core 22

23 访存墙 *Linpack Gflops 24Core Gflops N*24Core Time (s) 24Core Time (s) N*24Core

24 访存墙 LLC Miss% 24Core LLC Miss% N*24Core Time (s) 24Core Time (s) N*24Core 24

25 参数 CPU Node Core INCAR Time (s) e52692v npar e52692v npar e52692v npar e52692v npar e52692v npar e52692v npar e52692v npar e52692v npar e52692v npar1 e52692v npar e52692v npar e52692v npar CPU Node Core INCAR Time (s) e5268v npar e5268v npar e5268v npar e5268v npar e5268v npar e5268v npar e5268v npar e5268v npar e5268v npar e5268v npar e5268v npar e5268v npar

26 测试 E5-268V3 2 vs 24 Cores Core Time (s) 24Core Time (s) 24/2 26

27 内存最佳配置 27

28 型号规格数量单价总价 CPU XEON E5-2696V4 2.2GB 22 核加风扇主板 Intel C612 主板 3 PCI-E 16X 内存 32G RECC 硬盘 KST 24GB SSD 硬盘 4TB SATA 企业显卡 GTX 18 8GB( 公版 ) 机箱超微 W 塔式冗余单电网卡集成 1GB LAN 2 总价 / 元含税 571 查得为 X1DAi 28

29 统一管理购置要求存储双活双控, 缓存掉电保护, 冗余风扇电源 16G FC 或 12G SAS 主机接口, 与 IO 节点冗余连接 RAID2.:SAS RAID5,NL-SAS RAID6, 热备盘带内带外管理, 报警 License 存储服务器 IO 节点要求 RAID 卡缓存掉电保护 SAS RAID5,NL-SAS RAID6, 热备盘 29

30 存储存储独立性品牌独立购置独立容量与性能 SSD SAS NL-SAS 分层手动分层自动分层 ( 存储 ) 自动分层 ( 文件系统 ) License 控制功能与性能 3

31 存储 Licence 性能限制 High Performance Tier Turbo performance Basic (MB/s) High Performance Tier (MB/s) write rewrite read reread write rewrite read reread 9GB 1K 2 个盘 1 组 RAID GB 1K 2 个盘 4 组 RAID TB 7.2K 12 个盘 2 组 RAID OEM NetApp E26 双控 8GB Cache, Write caching with mirroring 31

32 统一管理购置要求网络以太网交换机可网管, 支持 SNNP/LACP/NTP/LLDP/syslog 以太网和 IB 网络线缆合规性散热独立以太网和 Infiniband 交换机散热风向 CPU 可长期满负荷以 Turbo 后频率运行 32

33 网络 Infiniband 必要性全线速无阻塞 ( 胖树 ) 33

34 统一管理硬件要求刀片伪刀片高密机架机架机房环境散热走线服务软件保修可服务软件硬件分别招标, 最佳组合管理并行文件系统作业调度等软件集群运维等服务硬件维保 34

35 散热 35 UPS 电池电池电池电池精密空调机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜机柜配电柜冷通道热通道机柜机柜精密空调精密空调消防消防 24 78dB(A) 28 83dB(A)

36 散热 9U 14Node CPU TDP 95W,55 前方 m/s 83dB(A) 后方 35 1m/s 92dB(a) 36

37 散热 1U 16Node (13Node) CPU TDP 12W,8 前方 m/s 83dB(A) 后方 4 1m/s 89dB(a) 37

38 散热 1U 16Node CPU TDP 95W,65 前方 m/s 84dB(A) 后方 35 13m/s 93dB(a) 38

39 散热 8U 2Node CPU TDP 115W,55 前方 m/s 86dB(A) 后方 m/s 97dB(a) 39

40 散热 5U 14Node (8Node) CPU TDP 95W,75 前方 m/s 87dB(A) 后方 39 14m/s 99dB(a) 4

41 散热 1U 1Node CPU TDP 13W,7 前方 m/s 83dB(A) 后方 m/s 87dB(a) 41

42 散热 2U 4Node 前方 m/s 83dB(A) 后方 m/s 87dB(a) 42

43 散热 43

44 统一管理软硬件要求品牌用户 : 管理和软件的差别管理员 : 硬件品牌的差别服务器 :Lenovo(System X) HP Dell 浪潮曙光 Huawei Cisco Fujitsu Hitachi Oracle SGI 存储 :EMC HDS HP NetApp IBM Dell DDN Fujitsu Oracle Huawei 软件集群管理并行文件系统作业调度 44

45 统一管理计算队列 CPU 和网络不同, 则队列不同保证集群购买者的权益, 同时尽可能共享同一队列, 不同优先级不同优先级队列, 高优先级对低优先级队列抢占 45

46 统一管理文件系统存储系统不同性能不同, 则文件系统不同保证基础服务作业调度编译器共享库公共软件 QoS 计算节点本地 /tmp 46

47 作业统计 (26) 47

48 48

49 性能统计 (26) 计算节点 : CPU 使用率 76% 服务节点 : CPU 使用率 8.7% 49

50 性能统计 (IO) 计算节点 : 服务节点 : 5

51 作业统计 (27) 51

52 收费托管费按照不同节点和数量收费时间系数空间系数统一管理开放共享打 8 折计算费胖节点 GPU 节点单价高存储费 52

53 CPU 过载申请 28 个 CPU Cores, 实际需求 56 个 53

54 CPU 过载计算节点 top 54

55 CPU 过载 55

56 CPU 过载 -C 56

57 CPU 过载申请 CPU 和程序设定使用 CPU 数量不一致 OMP_NUM_THREADS 设置错误 MPI 和 OpenMP 混合作业环境变量 / 程序参数错误 57

58 CPU 欠载申请多个 CPU, 以为就能并行运行没有使用 mpirun/mpiexec 运行 MPI 程序环境变量 / 程序参数错误作业流程一部分单线程 58

59 管理自动化温度监控与告警停电高温自动关机停止派发新作业关闭空闲节点直至关机作业正常退出, 节点正常关机 UPS 短时间支持所有节点作业调度系统自动恢复进程清理与监控非法 / 残余进程超量使用 suspend 是否挂起 59

60 集中管理 NTP 同步时钟日志集中收集存储和分析邮件报警一键无干预自动重装 6

61 三大法宝换电脑重启重装 61

62 在线机时查询 62

63 E-Science 高性能计算安全私有云仪器管理网盘开源镜像房间与门禁信息发布在线考试 PT 行政财务资产 63

64 私有云 HPC 虚拟化管理监控调度认证登录 NFS 互相备份 HPC 存储备份私有云存储 64

65 云盘网页同步客户端挂载盘客户端移动端 Windows/Mac/Linux 全功能同步客户端多终端多路径同步, 支持 Linux CLI 文件历史版本文件夹快照文件共享群组共享上下传外链在线预览与编辑全文检索云盘集群用户 65

66 开源镜像 4TB,162 种软件高性能计算集群本地目录访问 HPC 存储并行文件系统 NFS Httpd Docker 66

67 BTC 价格 67

68 BTC 全网算力 68

69 安全大法升级升级升级升级升级 69

70 升级问题无停机时间长时间作业文件系统驱动与 Kernel 匹配管理成本 7

71 架构云管理平台私有云登录管理堡垒机认证 HPC 公网集群管理网集群维护网 71

72 安全动态密码一次验证两次登录操作过程全留存杜绝账号共享毕业及时停用导师实时查询账号管理权限下放精细化管理 72

73 73

<5C5C444144492D2D3230313331303237565CB1BEB5D8B4C5C5CC202864295CBACDCAA25CBBD45CBDF8D0D0D6D05CD5FEB2C95CCAFDD7D65CC2DBD6A4BBE15C28323031342E31322E3234C2DBD6A4B8E529C3B7D6DDCAD0CAFDD7D6BBAFB3C7CAD0D7DBBACF2E2E2E2E646F63>

<5C5C444144492D2D3230313331303237565CB1BEB5D8B4C5C5CC202864295CBACDCAA25CBBD45CBDF8D0D0D6D05CD5FEB2C95CCAFDD7D65CC2DBD6A4BBE15C28323031342E31322E3234C2DBD6A4B8E529C3B7D6DDCAD0CAFDD7D6BBAFB3C7CAD0D7DBBACF2E2E2E2E646F63> 项目编号 : 招标文件 ( 论证稿 ) 广东和盛招标代理有限公司 Guangdong Hesheng Tendering Agency Co.,Ltd. 目录第一部分 : 投标邀请函 1 第二部分 : 采购项目内容 4 第三部分 : 投标人须知 88 第四部分 : 合同书格式 104 第五部分