浅谈上海市地震局信息虚拟化建设

第 9 卷第 2 期 2014 年 6 月 震灾防御技术 Technology for Earthquake Disaster Prevention Vol. 9,No. 2 Jun.,2014 王小明, 李平, 蔡长青, 秦洪文,2014. 浅谈上海市地震局信息虚拟化建设. 震灾防御技术,9(2):296 303. 1 浅谈上海市地震局信息虚拟化建设 王小明李平蔡长青秦洪文 ( 上海市地震局, 上海 200062) 摘要通过分析当前信息虚拟化技术的发展趋势, 研究上海市地震局现有服务器存在的高功耗 低利用率等弊端, 结合上海市地震局防震减灾大楼建设背景, 提出了适合未来信息化发展的上海市地震局信息虚拟化建设方案 并基于刀片服务器 高性能存储 光纤交换机实现该方案, 降低了能耗, 提高了资源利用率, 方便了服务器的统一管理, 为数据库整合及桌面虚拟化工作打下了坚实基础 关键词 : 虚拟化技术刀片服务器功耗资源利用率统一管理 引言 IBM2011 年全球 CIO 调研报告 CIO 的智胜之道 对全球 71 个国家 18 个行业超过 3000 名 CIO 进行了调查, 其中,60% 的 CIO 表示将在未来 5 年内应用云计算来增强企业竞争力 而云计算 ( 王金波,2009) 的基础, 就是虚拟化 在大大小小的数据中心中, 向服务器虚拟化技术迁移的步伐已经不可阻挡 虚拟化所带来的高资源利用率 高可用性 快速部署以及环保和节能效果等, 对用户而言, 无一不是实实在在的诱惑, 再加上云计算大潮的推动, 服务器虚拟化已经成为行业大趋势 ( 吴朱华,2011) 1 虚拟化概述 1.1 虚拟化定义虚拟化的概念 ( 英特尔开源软件技术中心等,2009) 很广泛, 由于它不是某个人或某个组织提出的, 是在信息技术不断发展的过程中生成的, 因此它没有确切的定义 我们只能从广义上去理解虚拟化 虚拟化是指资源的抽象化, 也就是单一物理资源的多个逻辑表示 (1:N), 或者多个物理资源的单一逻辑表示 (N:1) 通过虚拟化技术, 可以简单地将一个物理服务器逻辑划分为多个物理服务器, 或者将多个物理服务器整合成一个物理服务器资源来供用户使用, 如图 1 和图 2 所示 1 基金项目中国地震局星火计划项目 (XH14020Y) 资助 [ 收稿日期 ] 2013-02-26 [ 作者简介 ] 王小明, 男, 生于 1982 年 兰州大学信息学院硕士, 上海市地震局工程师 主要研究方向 : 计算机网络, 计算机软件与理论 E-mail:xmwang@shea.gov.cn

2 期王小明等 : 浅谈上海市地震局信息虚拟化建设 297 图 1 1:N 服务器资源逻辑图 Fig. 1 Logic diagram of server 1 to N 图 2 N:1 服务器资源逻辑图 Fig. 2 Logic diagram of server N to 1 1.2 虚拟化优势虚拟化的优势在于 :1 虚拟化技术提高了现有资源的利用程度 通过服务器虚拟化整合, 能够将现有的基础构架资源整合在一个资源池中, 任何应用都能够从资源池中调用需要的资源, 这就打破了原有的一台物理服务器仅对应一个或几个应用的模式, 大大提高了服务器资源的利用率 2 虚拟化技术通过缩减物理基础架构, 降低了信息中心的运维成本 刀片服务器的出现, 使得物理服务器及相关的硬件设施不断减少, 无论占用的空间还是电力和制冷需求, 都大大降低 3 提高了服务器的可管理性和安全性, 提高了硬件及应用程序的可用性 虚拟化技术实现了所有虚拟设备的统一化管理, 其高度安全的基础架构能够实时或者计划对服务器进行迁移而不造成业务中断, 避免了现有独立服务器因设备故障导致应用无法正常运行 在数据存储方面, 虚拟化技术实现了在减少复杂度和成本基础上安全管理更多类型数据, 以不同的备份技术 统一的恢复管理系统建立对企业数据的管理机制 2 上海市地震局信息虚拟化建设 2.1 虚拟化建设背景上海市地震局承担着上海市行政区范围内的地震监测预报 地震灾害预防和地震紧急救援等

298 震灾防御技术 9 卷 政府行政管理职能和各区 县防震减灾的指导工作 上海市地震局应急救援与保障中心技术保障部负责全局信息中心的建设, 随着国家 九五 十五 十一五 各项目的逐步完成, 上海市地震局技术保障部配合各部门逐步实现了数字地震观测网 地震前兆观测网 ( 阴朝民,2001) 强震观测网 地震信息通信网和地震应急指挥系统的建设 在 十一五 建设后期及未来即将开展的 十二五 计划中, 上海市地震局浦西防震减灾新大楼建设将成为重点工作, 而围绕着该重点工作进行的浦西防震减灾新大楼信息化建设, 已成为技术保障部门工作的重中之重 本文结合上海市地震局现有信息化建设基础, 讨论服务器虚拟化在上海市地震局信息中心的应用 近年来, 随着震情的频繁发生, 作为地震业务系统重要支撑的信息系统迅速发展 目前, 上海市地震局浦东地震监测中心机房拥有 70 台物理服务器, 浦西机房拥有 15 台物理服务器, 总共 85 台服务器承担了上海市地震局的日常业务工作 所有服务器全年 7 24 小时不间断工作 ( 王小明,2012), 管理好所有服务器, 是关系到地震业务系统正常运行的前提 面对如此多的服务器, 传统管理方式已经跟不上信息中心不断发展的节奏, 在开展虚拟化建设之前, 上海市地震局信息中心面临如下问题 (1) 服务器耗能巨大 上海市地震局信息中心总共 85 台服务器 ( 含存储设备 ), 其功耗如表 1 所示 所有服务器总功耗约为 62kW 表 1 服务器功耗统计表 Table 1 Statistics of server power consumption 服务器型号 服务器数量 单台功耗 总功耗 DELL PE1950 5 550W 2750W DELL PE2950 57 750W 42750W DELL PE6850 2 1470W 2940W DELL PE R710 1 570W 570W DELL PE R900 2 1570W 3140W DELL PS5000 1 440W 440W DELL AMP01 3 470W 1410W SF-X2200 2 450W 900W SF-V490 2 480W 960W H3C IX1000 2 500W 1000W 曙光 A830r-F 1 950W 950W IBM 3 835W 2505W HITACHI 4 500W 2000W (2) 服务器品牌复杂, 操作系统多样化, 统一管理非常困难 上海市地震局信息中心服务器品牌包含 :DELL IBM H3C SUN HITACHI 曙光等; 操作系统包括 :Windows2000 Windows2003 Windows XP Windows2008 SUSE AIX Solaris 等 (3) 服务器占用空间较大 目前浦东约 150m 2 的机房已经被 6 个服务器机柜 2 台 UPS 设备 SDH 线路配线架全部占用 ; 浦西约 50m 2 的机房被 2 个服务器机柜占用 2 个路由交换设备机柜占用 2.2 虚拟化设计思想上海市地震局防震减灾大楼信息机房位于 9 层, 约 100m 2, 机房内需要部署服务器机柜

2 期王小明等 : 浅谈上海市地震局信息虚拟化建设 299 路由交换设备机柜等 信息中心的设计思想主要基于以下几个方面 : (1) 节能环保 当下, 绿色 IT 是信息化发展的大势所趋 作为上海市地震局的重点工作, 浦西防震减灾大楼的信息化建设过程中将环保 节能放在重要位置, 服务器整合 提高服务器利用率 降低整体能耗等工作势必成为达到绿色 IT 目的所必需要开展的工作 (2) 统一管理 由于上海市地震局服务器品牌复杂, 操作系统多样化, 未来信息化建设需要将所有服务器统一管理, 建立一个完整 统一 无缝的管理平台 在该平台上, 不仅能够管理不同品牌 不同操作系统的服务器, 还能够实现物理服务器之间的迁移 (3) 高可用性 上海市地震局信息中心平均每日业务流量高峰能够达到 12000kbps, 平均每日业务总流量能够达到约 37.43GB, 如图 3 和图 4 所示 图 3 业务数据传输速率日统计图 Fig. 3 Daily business data transfer rates 图 4 业务数据总流量日统计图 Fig. 4 Daily business data flow chart

300 震灾防御技术 9 卷 对于如此高的业务流量, 非计划停机对业务工作造成的损失无法估量, 如何降低因此带来的风险及相关成本, 如何保持业务系统环境正常运转, 如何保证工作效率是信息化建设必须要考虑的问题 (4) 减少占地面积 上海市地震局防震减灾大楼 9 层信息中心机房总共约 150m 2 的面积, 将所有服务器和主干网络设备全部部署在该机房, 需要在不影响业务的前提下合理布局, 尽量减少物理服务器的数量 2.3 信息虚拟化的实现 2.3.1 物理环境的搭建采用思科的 UCS-5108 作为虚拟化部署的物理设备基础, 存储采用的是 HDS VSP, 另外, 采用思科 MDS-9148 交换机作为刀片服务器的网络设备 图 5 为物理连接拓扑图 图 5 上海市地震局信息虚拟化物理连接拓扑图 Fig. 5 Topology of information virtualization physical connection of the SHEA 机头 A 和 B 的 PORT1 以及 PORT2 作为 SERVER PORT, 使用 4 根专用 SFP-H10GB-CU5M 线缆交叉连接至 1 号刀箱以及 2 号刀箱 机头 A 和 B 的拓展卡上的端口模式全部改为光纤通道模式, 用于与光纤交换机之间的连接 当前的 LAN 和 SAN 中, 基本上所有的设备都通过 2 台 UCS 主机头来连接 两笼刀箱分别做 2 个集群, 命名为 SHDZJ_HYPER-V_CLUSTER-01 和 SHDZJ_HYPER-V_CLUSTER-02, 每个集群里面 4 把刀片, 刀片配置文件参数如表 2 所示 Table 2 表 2 刀片配置文件参数表 Blade server configuration file parameters 配置文件名称 刀片号 操作系统种类 系统启动方式 内存 SHDZJ_HYPER-V_CLUSTER-01_1 1/4 WINDOWS 2008 R2 SAN BOOT 32G SHDZJ_HYPER-V_CLUSTER-01_2 1/3 WINDOWS 2008 R2 SAN BOOT 32G SHDZJ_HYPER-V_CLUSTER-01_3 1/2 WINDOWS 2008 R2 SAN BOOT 32G

2 期王小明等 : 浅谈上海市地震局信息虚拟化建设 301 续表 配置文件名称 刀片号 操作系统种类 系统启动方式 内存 SHDZJ_HYPER-V_CLUSTER-01_4 1/1 WINDOWS 2008 R2 SAN BOOT 32G SHDZJ_HYPER-V_CLUSTER-02_2 2/6 WINDOWS 2008 R2 SAN BOOT 64G SHDZJ_HYPER-V_CLUSTER-02_3 2/5 WINDOWS 2008 R2 SAN BOOT 64G SHDZJ_HYPER-V_CLUSTER-02_4 2/4 WINDOWS 2008 R2 SAN BOOT 64G 2.3.2 网络环境的搭建上海市地震局原有的网络划分为 vlan101-vlan117, 在原来核心网络的基础上, 我们又新增加了 3 个 VLAN, 各 VLAN 的作用如表 3 所示 表 3 VLAN 划分表 Table 3 VLAN configuration VLAN ID 功 用 网段 VLAN 211 用作独立的管理 VLAN, 能够访问外网 10.31.211.0/24 VLAN 212 用作刀片间的心跳使用, 不包含 VLAN 接口, 不能对其他网段进行访问 10.31.212.0/24 VLAN 213 单独开出给核心数据库使用的网段, 能够访问外网 10.31.213.0/24 VLAN 214 单独开出给虚拟桌面使用的网段, 能够访问外网 10.31.214.0/24 2.3.3 软件环境的搭建操作系统统一采用 Windows2008 Server R2 版本, 虚拟软件采用微软的 Hyper-V, 虚拟服务器管理软件采用 System Center Virtual Machine Manager(SCVMM) 2 个集群总共 8 把刀片, 宿主机上面全部安装了 Windows2008 Server R2 操作系统, 开启了微软的 Hyper-V 角色 除去在刀片上安装的宿主系统外, 还在管理控制刀片上生成了 4 台虚机, 每台虚机上安装的同样是 Windows2008 Server R2 操作系统, 用于对集群进行管理 这 4 台虚机分别为 : 集群域控服务器 (AD) SCVMM 数据库服务器 SCVMM 进程服务器 SCVMM 管理服务器 整个软件环境的逻辑结构如图 6 所示 2.3.4 服务器的创建和迁移服务器虚拟化的物理 网络 软件环境全部搭建完成之后, 接下来的工作就是将上海市地震局信息机房内的 70 台物理服务器全部迁移到刀片之上,85 台物理服务器中, 部分业务系统需要重新建设, 通过与各部门之间的沟通交流, 对所有业务系统进行了统计 其中, 需要新建的业务系统有 18 个, 需要进行物理服务器虚拟化迁移 (P2V) 操作的业务系统有 21 个, 余下的部分业务系统暂时不需要进行虚拟化 为保证上海市地震局各业务系统正常运行, 对需要进行 P2V 操作的业务系统采用实时迁移方式, 避免造成正在运行的各业务系统的中断 对于需要新建的业务系统, 直接在集群的刀片上创建虚拟服务器, 根据业务需要来配置操作系统 硬件环境等信息 最终在新建的虚拟服务器上安装业务软件, 完成新的业务系统的建立

302 震灾防御技术 9 卷 图 6 服务器虚拟化逻辑图 Fig. 6 Logic diagram of server virtualization 3 结论 上海市地震局防震减灾大楼信息虚拟化工作于 2010 年开始, 经过近 2 年的不断论证 测 试及试运行, 上海市地震局整合了近 85 台物理服务器, 大部分业务系统已经在虚拟服务器上 正常运行 从管理角度来说, 服务器虚拟化大大简化了硬件采购周期, 缩短了服务器故障处理 时间, 大幅降低了服务器的运行维护成本, 提高了故障处理效率, 提高了技术保障部的 IT 服 务水平和 IT 人员的工作效率 ; 从技术角度来说, 服务器虚拟化缩短了系统部署 测试 投入 运行的时间, 高可用性 (HA) 解决方案大大缩短了因日常维护操作 ( 计划 ) 和突发的系统崩 溃 ( 非计划 ) 所导致的停机时间, 负载均衡技术将虚拟服务器负载分摊到集群内的多把刀片上, 大大提高了资源利用率 ; 从节能减排的角度来说, 服务器虚拟化技术的应用, 为上海市地震局 每月减少了约 25.2kW 的用电量 ( 见表 1 和表 4), 并大大减少了物理服务器的占地面积 表 4 虚拟化设备功耗统计表 Table 4 Statistics of virtualization device power consumption 设备名称 设备数量 单台功耗 总功耗 UCS-6120XP 2 1100W 2200W UCS-5108 电源模块 8 2500W 20000W MDS-9124 2 300W 600W HDS VSP 1 14000W 14000W

2 期王小明等 : 浅谈上海市地震局信息虚拟化建设 303 随着信息化技术的不断发展和业务应用的不断增多, 上海市地震局数据信息中心所承担的业务量越来越大, 如何让数据信息中心更好的为社会服务 为工作人员服务, 是上海市地震局信息中心面临的巨大挑战 服务器的虚拟化走出了上海市地震局信息虚拟化技术的第一步, 今后上海市地震局信息虚拟化目标还包括 : 数据库整合 网络资源整合 存储资源整合 基于虚拟化技术的桌面虚拟化 应用发布虚拟化, 将是未来上海市地震局信息虚拟化工作的重要内容 参考文献 王小明,2012. 飞信服务在地震软件系统中的集成和应用. 震灾防御技术,7(4):431 443. 王金波,2009. 虚拟化与云计算. 北京 : 电子工业出版社. 吴朱华,2011. 云计算核心技术剖析. 北京 : 人民邮电出版社. 阴朝民,2001. 地震前兆台网技术. 北京 : 地震出版社. 英特尔开源软件技术中心, 复旦大学并行处理研究所,2009. 系统虚拟化 : 原理与实现. 北京 : 清华大学出版社. Brief Introduction about the Information Virtualization Construction of Shanghai Earthquake Administration Wang Xiaoming, Li Ping, Cai Changqing and Qin Hongwen (Shanghai Earthquake Administration, Shanghai 201203, China) Abstract Through analyzing the trends of current information virtualization technology, studying the drawbacks of high power consumption, low utilization, basing on the construction background of earthquake disaster mitigation building of SHEA,we made a proposal for information virtualization of SHEA which was suitable for the future development of information technology, and we achieved the program by blade servers, high performance storage, fiber optic switch, thus we reduced energy consumption, improved resource utilization, facilitated the unified management of servers, and laid a solid foundation for the database integration and desktop virtualization. Key words: Virtualization technology; Blade servers; Power consumption; Resource utilization; Unified management