ZStack 企业版超融合产品 安装与部署 版本 2.0 日期 2017-6-9
版权所有 上海云轴信息科技有限公司 2017 保留一切权利 非经本公司书面许可, 任何单位和个人不得擅自摘抄 复制本文档内容的部分或全部, 并不得以任何形式传播 商标说明 和其他云轴商标均为上海云轴信息科技有限公司的商标 本文档提及的其他所有商标或注册商标, 由各自的所有人拥有 注意您购买的产品 服务或特性等应受上海云轴公司商业合同和条款的约束, 本文档中描述的全部或部分产品 服务或特性可能不在您的购买或使用范围之内 除非合同另有约定, 上海云轴公司对本文档内容不做任何明示或暗示的声明或保证 由于产品版本升级或其他原因, 本文档内容会不定期进行更新 除非另有约定, 本文档仅作为使用指导, 本文档中的所有陈述 信息和建议不构成任何明示或暗示的担保 上海云轴信息科技有限公司 地址 : 上海市闵行区紫竹科学园东川路 555 号 6 号楼邮编 :200241 网址 : http://zstack.io 客户服务邮箱 : support@zstack.com 客户服务电话 : 400-962-2212 版本 2.0 上海云轴版权所有 2 / 37
概述 本文档针对 ZStack 超融合部署过程进行说明 读者对象 本文档适合以下工程师阅读 : l 运维工程师 l 测试工程师 l 存储工程师 l 预研工程师 术语定义 术语超融合基础架构云主机镜像管理节点 HA 节点 概念基于软件定义将计算 存储资源虚拟化为同质融合节点, 并通过高速以太网络互联, 形成软硬一体化架构 ZStack 特制虚拟机, 即运行在物理机上的虚拟机实例, 具有独立的 IP 地址, 可以安装部署应用服务云主机所使用的镜像模板文件, 包含了云主机的操作系统, 也可以定制安装相应的软件本文中也指管理节点主机, 为了正常运行 ZStack 及相关组件, 目前要求最小配置为 8 核心 CPU,16GB 内存 承担 HA 任务的物理机 本产品方案中全为超融合节点, 要求使用三台搭建 HA 环境 为了 HA 机制正常运转, 承担 HA 任务的物理机无论是否运行管理节点主机, 为管理节点保留计算资源 如果这三台物理机计算资源远超过管理节点主机所需, 也可被 ZStack 虚拟化管理平台收为物理机资源使用 本方案 HA 环境下, 所有物理机上管理网和存储网需要融合 一种方 管理网与存储网融合 案是同一个网络, 另一种方案是两个分离的网络, 使用 bond 技术聚 合成一个网络接口来使用 版本 2.0 上海云轴版权所有 3 / 37
中英文术语对照 超融合基础架构物理机云主机镜像云盘管理节点高可用节点 Hyper-converged infrastructure Host VM Instance Image Volume Management Node High Available Node 版本 2.0 上海云轴版权所有 4 / 37
修改记录 修改记录积累了每次文档更新的说明 最新版本的文档包含以前所有文档版本的更新内容 文档版本 1.10(2017-4-13) 第一次正式发布 文档版本 2.0(2017-6-9) 第二次正式发布 版本 2.0 上海云轴版权所有 5 / 37
目录 第一章产品概述... 7 1.1 超融合产品... 7 1.2 高可用技术... 8 1.3 网络拓扑规划... 10 第二章安装部署... 13 2.1 安装操作系统... 13 2.2 管理与存储网... 18 2.3 云主机数据网... 20 2.4 Ceph 存储集群... 22 2.5 高可用套件... 23 2.5.1 功能简介... 23 2.5.2 部署过程... 24 2.6 集群升级... 31 2.6.1 高可用升级... 31 2.6.2 云平台升级... 32 2.6.3 内嵌服务升级... 33 2.7 管理节点迁移... 34 2.8 配置更新... 35 第三章其他操作... 36 3.1 卸载操作... 36 3.2 日志输出... 37 版本 2.0 上海云轴版权所有 6 / 37
第一章产品概述 1.1 超融合产品 超融合基础架构 (Hyper-converged infrastructure, 缩写 HCI), 是一种集成了存储系统及虚拟化系统的信息基础架构框架 在这样的框架下, 每个融合单元将成为存储系统和虚拟化系统的一部分 通过高速以太网络, 将若干个融合单元互联, 构建超融合基础架构平台 ZStack 企业版超融合产品基于超融合基础架构而设计, 采用独有的优化技术, 聚合通用服务器的 CPU 内存 硬盘和网络等资源, 构建稳定可靠产品级交付的统一产品 以下是 ZStack 企业版超融合产品的三节点场景的经典模型 : 图 ZStack 超融合 - 三节点经典模型 ZStack 企业级超融合产品, 通过 Ceph 分布式存储, 由各个融合单元的固态硬盘 (SSD) 和机械硬盘 (HDD) 提供统一的存储系统 ; 通过虚拟化技术提供云主机服务, 并将其数据存放在 Ceph 分布式存储 ; 同时,ZStack 管理节点主机以云主机形式运行, 管理三个超融合单元的计算 存储和网络资源分配与调度 ZStack 企业级超融合产品, 最重要的技术亮点是高可用服务 其中,Ceph 分布式存储提供存储级别高可用能力,zsha 守护服务提供 ZStack 管理节点主机高可用,ZStack 管理节点主机提供业务云主机的高可用 在三重高可用技术保护下, 能有效支撑云主机正常运行, 并对云主机数据提供冗余保障 ( 数据两或三副本 ) 版本 2.0 上海云轴版权所有 7 / 37
1.2 高可用技术 ZStack 企业版超融合产品提供三重高可用技术, 以下分别介绍其功能和作用 分布式存储高可用 ZStack 企业版超融合产品, 是基于 Ceph 分布式存储的 RBD 块存储技术, 实现云主机的云盘存放与访问 ( 包括根云盘和数据云盘 ) 针对不同的业务场景下, 推荐采用合适的数据副本级别 : l 两副本, 份原始数据以两份存放 ; 偏向成本考虑, 适合普通类型业务系统场景 ; l 三副本, 份原始数据以三份存放 ; 偏向数据安全考虑, 适合关键类型业务系统场景 ; Ceph 支持故障域 (Fail Domain) 的保护机制 在相同的故障域内, 存储介质和硬件设备可任意离线或失去 ; 在不相同的故障域内, 存储介质和硬件设备故障的位置和数量需依赖故障域的定义 在三节点经典模型下, 部署 Ceph 时推荐采用 Rack-Node 层级, 并设置基于 Node 的副本冗余机制 关于存储系统的设定, 可参考 Ceph 官方资料或企业版供应商的产品资料 管理节点高可用 ZStack 企业版超融合产品, 通过 zsha 守护服务提供强一致选举机制, 保障 ZStack 管理节点主机的运行状态 在三节点经典模型下, 每个节点均运行 zsha 和 consul 守护服务, 通过两两间建立通信服务 (TCP 8300) 维护强一致共享数据结构 其运行通信原理如下 : 图 zsha 与 consul 服务消息通信原理 版本 2.0 上海云轴版权所有 8 / 37
业务云主机高可用 ZStack 企业版超融合产品, 通过管理节点主机, 对其他超融合节点进行心跳检测, 在网络或节点失效情况下, 将业务云主机自动切换到其他健康的融合单元运行, 能快速恢复业务系统, 提高业务系统的可用性 版本 2.0 上海云轴版权所有 9 / 37
1.3 网络拓扑规划 ZStack 企业版超融合产品中, 融合单元的互连是尤其重要 在科学和合适的网络环境下, 组建超融合架构, 才能获得安全 灵活和高性能的云计算架构 ZStack 企业级超融合产品, 定义两类网络流量模型 : 云主机数据网络 管理网与存储网融合网络 云主机数据网络 : 即云主机向外提供应用服务的网络, 或云主机之间相互沟通的网络 该网络也承载云路由三层流量 根据业务负载类型, 建议采用双链路 1GbE 或 10GbE 以太网 l 若计划部署的云主机采用单 扁平 络, 建议此 络的交换机端 设定 Access 模式, 以下 以此为主体描述 l 若计划部署的云主机考虑多个扁平或云路由 络, 建议此 络的交换机端 设定 Trunk 模式 ; 以下 并未提及该场景操作过程, 如需了解, 请联系 ZStack 企业技术支持管理与存储网融合网络 : 承载 Ceph 存储流量 zsha 守护服务通信和 ZStack 物理主机管理流量 该网络是保障存储集群 管理节点和业务云主机高可用的关键网络 考虑到存储网的业务负载需求, 建议采用双链路 10GbE 以太网 l 建议此 络的交换机端 设定 Access 模式 (Trunk 模式亦支持, 但本 未描述 ) l 查看交换机是否支持巨型帧 (Jumbo Frame), 若支持则建议开启, 全链路 MTU 设定值为 9000 版本 2.0 上海云轴版权所有 10 / 37
终上所述, 在三节点经典网络中, 云主机数据网络 管理与存储网融合网络的拓扑如下 : 图 ZStack 超融合 - 三节点 络拓扑 管理员根据上述的网络架构图, 对网络设备和服务器进行上架并连线 以下是超融合架 构的物理布局示例 : 图三超融合服务器和 络设备上架后示意图 版本 2.0 上海云轴版权所有 11 / 37
此外, 每个超融合节点的配置建议如下 管理员可根据业务性能需求, 合理调配 CPU 内存和硬盘的容量配比, 也达到合适平衡状态 配件型号数量总数 CPU Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz 内存 DDR4 16GB 8 2 超融合节点 主板双路服务器标准主板 1 阵列卡 阵列卡支持 SAS/SATA RAID 0/1/10 支持直通模式 固态硬盘 Intel SSD DC S3610 480GB 2 机械硬盘 1 SAS HDD 300GB 3.5,15k rpm 2 机械硬盘 2 NL SAS HDD 2TB 3.5,7.2k rpm 6 千兆网口以太网 1GbE,RJ45 2 万兆网口以太网 10GbE,SFP+ 2 光电模块 - 光纤 HBA 卡 - 远程管理 DELL idrac 企业版 1 电源标准电源 1100W 2 1 3 个 下一章节, 将描述 ZStack 企业级超融合产品的安装部署过程 版本 2.0 上海云轴版权所有 12 / 37
第二章安装部署 本章节描述 ZStack 企业版超融合产品的安装部署过程 请管理员准备以下必要的软件包, 以便安装部署过程顺利执行 : Ø 企业版操作系统 :ZStack-Enterprise-x86_64-DVD-2.0.iso Ø 管理节点镜像 :ZStack-Enterprise-Management-Server-2.0.qcow2 Ø 高可用服务套件 :ZStack-Enterprise-HA-Suite-2.0.bin Ø 内嵌服务套件 :ZStack-Enterprise-HA-Guest-Agent-2.0.bin 2.1 安装操作系统 管理员对上架的网络设备和服务器加载电源, 手动启动服务器进入 BIOS, 检查以下内容 : l 激活所有 CPU 核 和启用超线程功能, 设定系统性能为最 性能状态 l 打开硬件虚拟化 VT 功能, 支持硬件虚拟化技术加速优化功能 l 进 阵列卡设定, 对两块系统硬盘配置 RAID1(Mirror), 其余硬盘设定直通模式 ZStack 企业版操作系统 ISO 镜像可通过 DVD-RW 设备刻录成安装光盘, 也可通过 UltraISO 工具将把 ISO 文件刻录到 U 盘 打开 UltraISO, 点击 文件 按钮, 选择打开已下载好的 ISO 文件 : 版本 2.0 上海云轴版权所有 13 / 37
图四在 UltraISO 打开 ZStack DVD 镜像 在 UltraISO 点击 启动 按钮, 选择 写入硬盘镜像 : 图五在 UltraISO 写 ZStack DVD 镜像 版本 2.0 上海云轴版权所有 14 / 37
在硬盘驱动器列表选择相应的 U 盘进行刻录, 如果系统只插了一个 U 盘, 则默认以此 U 盘进行刻录和写入, 在刻录前, 注意备份 U 盘内容 其他选项, 按照默认设置 点击 写入 按钮 在新界面中点击 是 按钮进行确认,UltraISO 将会把此 ISO 刻录到 U 盘 图六在 UltraISO 确认写 ZStack DVD 镜像 至此,ISO 镜像已经刻录到 U 盘 此时 U 盘可用来作为启动盘, 支持 Legacy 模式和 UEFI 模式引导 管理员通过安装介质, 引导融合节点启动, 并进入安装导航 : 版本 2.0 上海云轴版权所有 15 / 37
图七 U 盘引导界面默认选择 Install ZStack Enterprise 开始安装操作系统 在进入安装界面后, 已经预先配置默认选项 : 时区 -- 亚洲东八区, 语言 --English, 键盘 --English(United States), 一般情况下管理员无需更改配置 管理员需自行执行硬盘的分区, 推荐分区如下 (UEFI 模式 ): l /boot/efi, 创建分区 500MB l /boot, 创建分区 1GB l 交换分区 (SWAP), 创建分区 32GB l /, 根分区, 配置剩下容量分区配置完后, 选择 Software Selection 进入服务器安装角色候选, 选择 Compute Node 计算节点模式, 确定后回到主界面 点击 Begin Installation 进行安装 安装过程将会自动进行, 管理员需要设定 root 账户 版本 2.0 上海云轴版权所有 16 / 37
密码 安装结束后, 重新引导服务器并拔掉 U 盘 如安装成功, 则服务器重启后进入操作系统登陆提示符, 使用 root 和设置的密码登录到操作系统 管理员可根据自身需要更改密码 版本 2.0 上海云轴版权所有 17 / 37
2.2 管理与存储网 管理员对三节点安装 ZStack 企业版操作系统后, 可对管理与存储网进行设定 三个融合 节点的管理与存储网络信息如下 : 节点 网卡 1 网卡 2 聚合接口 网桥 地址 融合节点 1 p5p1 p5p2 bond0 br_bond0 192.168.93.3/24 融合节点 2 p5p1 p5p2 bond0 br_bond0 192.168.93.4/24 融合节点 3 p5p1 p5p2 bond0 br_bond0 192.168.93.5/24 以上是示例数据, 管理员根据具体部署环境的网卡和网络地址 以融合节点 1 为例, 其 他节点配置相似 执行配置命令 : # 创建聚合网卡 bond0 [root@localhost ~]# zs-bond-lacp -c bond0 # 将网卡 p5p1 与 p5p2 均添加到 bond0 [root@localhost ~]# zs-nic-to-bond -a bond0 p5p1 [root@localhost ~]# zs-nic-to-bond -a bond0 p5p2 # 配置上述链路聚合后, 请管理员在对应的交换机网口配置 LACP 聚合 # 创建网桥 br_bond0, 指定网络 IP 掩码和网关 [root@localhost ~]# zs-network-setting -b bond0 192.168.93.3 255.255.255.0 192.168.93.1 # 查看聚合端口 bond0 是否创建成功 [root@localhost ~]# zs-show-network --------------------------------------------------------------------------------- - Bond Name SLAVE(s) BONDING_OPTS --------------------------------------------------------------------------------- - bond0 p5p1 miimon=100 mode=4 xmit_hash_policy=layer2+3 p5p2 --------------------------------------------------------------------------------- - 版本 2.0 上海云轴版权所有 18 / 37
注意事项 : l p5p1 和 p5p2 加载到 bond0 后, 对应交换机的端 需要配置 LACP 聚合, 否则 络通信将异常 ; 如果交换机不支持 LACP 聚合, 请联系 络设备厂商更换设备 l 通过 bond0 创建 桥后, 桥命名为 br_bond0, 将提供存储集群和管理节点主机通信 l 关于 桥的 IP 地址 掩码和 关参数, 用户需按照实际情况填写 l 管理与存储 络配置完成后, 可通过 ping 命令进 检测 ; 若配置正确, 则融合节点两两互相能 ping 管理与存储网络配置完成后, 随之可配置云主机数据网络 版本 2.0 上海云轴版权所有 19 / 37
2.3 云主机数据网 管理员对三节点安装 ZStack 企业版操作系统后, 可对云主机数据网进行设定 三个融合 节点的云主机数据网信息如下 : 节点网卡 1 网卡 2 聚合接口网桥地址 融合节点 1 em1 em2 bond1 - - 融合节点 2 em1 em2 bond1 - - 融合节点 3 em1 em2 bond1 - - 以上是示例数据, 管理员根据具体部署环境的网卡和网络地址 以融合节点 1 为例, 其 他节点配置相似 执行配置命令 : # 创建聚合网卡 bond1 [root@localhost ~]# zs-bond-lacp -c bond1 # 将网卡 em1 与 em2 均添加到 bond1 [root@localhost ~]# zs-nic-to-bond -a bond1 em1 [root@localhost ~]# zs-nic-to-bond -a bond1 em2 # 配置上述链路聚合后, 请管理员在对应的交换机网口配置 LACP 聚合 # 云数据数据网络, 无需创建网桥 # 查看聚合端口 bond1 是否创建成功 [root@localhost ~]# zs-show-network --------------------------------------------------------------------------------- - Bond Name SLAVE(s) BONDING_OPTS --------------------------------------------------------------------------------- - bond1 em1 miimon=100 mode=4 xmit_hash_policy=layer2+3 em2 --------------------------------------------------------------------------------- 版本 2.0 上海云轴版权所有 20 / 37
注意事项 : l em1 和 em2 加载到 bond1 后, 对应交换机的端 需要配置 LACP 聚合, 否则 络通信将 异常 ; 如果交换机不支持 LACP 聚合, 请联系 络设备厂商更换设备 云主机数据网络配置完成后, 随之可安装 Ceph 存储集群 版本 2.0 上海云轴版权所有 21 / 37
2.4 Ceph 存储集群 ZStack 企业版超融合产品, 可运行在 Ceph 社区版之上, 具体可访问官方网站 http://zstack.io/, 获取 ST1001-Ceph 分布式存储实践指南 此外, 若用户关注数据安全和 IO 性能, 可联系 ZStack 技术团队, 获得 Ceph 企业版产品相关信息 版本 2.0 上海云轴版权所有 22 / 37
2.5 高可用套件 2.5.1 功能简介 ZStack 企业版超融合产品提供了专属的高可用套件, 保障 ZStack 管理服务长期处于在线 运行 与业务云主机高可用机制相结合, 最大程度降低物理设备异常情况下的云主机失效带 来的业务中断风险 高可用套件, 是基于 Consul 开发的强一致性消息通信组件, 部署在融合节点中, 部署数 量满足 2N+1 条件 在三节点经典模型中, 能容忍 1 个融合节点的离线或失效, 保证 ZStack 管理服务正常运行 在部署高可用之前, 确保每个融合节点均安装 libvirt 和 qemu-kvm-ev 软件包 : # 每个超融合节点均安装 libvirt 和 qemu-kvm-ev 软件包 [root@localhost ~]# yum -y --disablerepo=* --enablerepo=zstack-local,qemu-kvm-ev \ install libvirt qemu-kvm-ev qemu-img-ev 版本 2.0 上海云轴版权所有 23 / 37
2.5.2 部署过程 A. 导入镜像 管理员已经获得 ZStack 管理节点镜像 (QCOW2 格式 ), 可将其导入 Ceph 存储集群 执 行以下命令 : # 通过 scp 工具将 QCOW2 镜像传输到融合节点 1 [root@localhost ~]# ls ZStack-Enterprise-Management-Server-1.10.qcow2 # 显示当前 ceph 存储池中的内容 [root@localhost ~]# ceph osd pool ls rbd # 创建存储池 zstack, 默认传递 pg_num 参数为 128 # 若使用 Ceph 企业版, 则无需创建存储池, 直接使用已经创建存储池空间 [root@localhost ~]# ceph osd pool create zstack 128 # 将镜像 mn_ha.qcow2 导入到 ceph 存储池指定路径, 显示导入进度条 [root@localhost ~]# qemu-img convert -p -f qcow2 -O raw \ ZStack-Enterprise-Management-Server-2.0.qcow2 rbd:zstack/mnvm.img # 导入完成后, 显示导入后镜像的信息 [root@localhost ~]# rbd info zstack/mnvm.img rbd image 'mnvm.img': size 500 GB in 128001 objects order 22 (4096 kb objects) block_name_prefix: rbd_data.fa6c238e1f29 format: 2 features: layering, striping flags: stripe unit: 4096 kb stripe count: 1 版本 2.0 上海云轴版权所有 24 / 37
注意事项 : l ZStack-Enterprise-Management-Server-2.0.qcow2 为镜像 件名, 根据版本情况变更 l 示例中,Ceph 存储池命名为 zstack, 可根据具体需要制定命名 l 镜像导 过程中, 会显示时间进度, 整个过程需若 分钟, 请耐 等候 l 若在创建存储池时有误, 需要删除存储池, 请执 : # 若创建存储池有误, 需要删除存储池, 可执行以下命令 [root@localhost ~]# ceph osd pool delete zstack zstack --yes-i-really-really-mean-it l 若在导 镜像时, 发 络中断, 或者其他异常情况, 需删除镜像, 请执 : # 若需要删除镜像, 可通过以下命令 [root@localhost ~]# rbd rm zstack/mnvm.img 版本 2.0 上海云轴版权所有 25 / 37
B. 编写配置 管理员完成 ZStack 管理服务的镜像导入后, 接下来编辑 ZStack 高可用套件的初始化配 置文件 执行以下命令, 生成并编写配置文件 : # 生成的样本配置文件临时保存在 /tmp/sample.config.json, 用户可自行拷贝到其它目录 [root@localhost ~]# chmod +x ZStack-Enterprise-HA-Suite-2.0.bin [root@localhost ~]#./ZStack-Enterprise-HA-Suite-2.0.bin config-sample # 编辑样本配置文件 [root@localhost ~]# cp /tmp/sample.config.json /tmp/config.json [root@localhost ~]# vim /tmp/config.json { "Node": [ "172.20.59.201", // 请修改 Ceph 存储节点的 IP 地址 "172.20.59.202", "172.20.59.203" ], "PoolName": "sample_pool_name", // 管理节点主机的所在的存储池名 (Pool Name) "MemorySizeInGB": 8, // 管理节点主机的内存配置, 最小值为 8GB "CPU": 4, // 管理节点主机的 CPU 数目, 最小值为 4 核 "Bridge": "br_eth0", // 管理节点主机的网卡所挂接的网桥名称 "MacAddress": "4e:e4:20:43:d4:c7", // 管理节点主机的网卡 MAC 地址, 单次随机生成 "MNVM_NetworkInterface": { "Ipaddr": "172.20.59.204", // 管理节点主机的 IP 地址 "Netmask": "255.255.0.0", // 管理节点主机的掩码 "Gateway": "172.20.0.1", // 管理节点主机的网关 "DNS": [ // 管理节点主机的 DNS 信息 "10.0.0.1", "172.20.0.1" ], "ConsoleProxyOverriddenIP": "" //ZStack 管理服务的控制台服务地址 } } 版本 2.0 上海云轴版权所有 26 / 37
管理员需要按照具体部署场景, 修改上述的参数, 以下是样例场景的配置文件 : [root@localhost ~]# cat /tmp/config.json { "Node": [ "192.168.93.3", "192.168.93.4", "192.168.93.5" ], "PoolName": "zstack", "MemorySizeInGB": 8, "CPU": 4, "Bridge": "br_bond0", "MacAddress": "4e:e4:20:43:d4:c7", "MNVM_NetworkInterface": { "Ipaddr": "192.168.203.1", "Netmask": "255.255.252.0", "Gateway": "192.168.200.1", "DNS": [ "223.5.5.5", "223.6.6.6" ], "ConsoleProxyOverriddenIP": "" } 注意事项 : l 关于 CPU 和 memorysizeingb 设置值推荐如下 : 场景配置备注 中小规模 CPU 核 4 个 / 内存 8GB 管理小于 100 个物理主机与 1000 个云主机 特 规模 CPU 核 8 个 / 内存 16GB 管理 于 100 个物理主机与 1000 个云主机内 管理小于 1000 个物理主机与 10000 个云主机 超 规模 CPU 核 12 个 / 内存 32GB 管理 于 1000 个物理主机与 10000 个云主机 l 关于管理节点主机的 卡 MAC 地址, 需确保在 层 络里是唯 的 版本 2.0 上海云轴版权所有 27 / 37
C. HA 初始化 在上一节中, 管理员已完成对 config.json 配置文件的编写, 接下来可执行高可用套件的 初始化 执行以下命令 : # 为三个融合节点安装高可用套件 [root@localhost ~]#./ZStack-Enterprise-HA-Suite-2.0.bin install \ -p password -c /tmp/config.json 注意事项 : l 安装命令中,-p 传递三个融合节点账号 root 密码 建议首次初始化时, 对三个融合节 点设置 致密码, 安装完成后, 基于安全考虑可按需修改或关闭密码登陆 l /tmp/config.json 为填写完成的配置 件路径, 需与上述步骤中真实保存的 件绝对路 径保持 致 版本 2.0 上海云轴版权所有 28 / 37
高可用套件初始化完成后, 可执行以下命令查看集群状态 : # 查看 HA 集群状态 [root@ceph-1 ~]# zsha status >>>MN-VM RUNNING ON 192.168.93.3 : Running >>>LAST START VM RECORD >>>Alive Nodes(ZStack HA Services Running On) 192.168.93.3 : ceph-1 192.168.93.4 : ceph-2 192.168.93.5 : ceph-3 >>>consul members Node Address Status Type Build Protocol DC 192.168.93.3 192.168.93.3:8301 alive server 0.7.2 2 dc1 192.168.93.4 192.168.93.4:8301 alive server 0.7.2 2 dc1 192.168.93.5 192.168.93.5:8301 alive server 0.7.2 2 dc1 >>>ceph status cluster 3360cb03-ccdb-4456-9170-ff58f566be3d health HEALTH_WARN clock skew detected on mon.ceph-3 Monitor clock skew detected monmap e3: 3 mons at {ceph-1=192.168.93.3:6789/0,ceph- 2=192.168.93.4:6789/0,ceph-3=192.168.93.5:6789/0} election epoch 206, quorum 0,1,2 ceph-1,ceph-2,ceph-3 osdmap e496: 12 osds: 12 up, 12 in pgmap v598435: 320 pgs, 3 pools, 12505 MB data, 3234 objects 25424 MB used, 33433 GB / 33457 GB avail 320 active+clean client io 3216 B/s rd, 47037 B/s wr, 9 op/s >>>Management Node IP 192.168.203.1 至此,ZStack 企业版超融合产品高可用云平管理平台安装完成 当所有节点正常加入并开始运行高可用服务程序后, 将选择其中一个融合节点运行管理节点主机, 高可用保护机制 开始正常运转,ZStack 管理节点也开始正常提供服务 版本 2.0 上海云轴版权所有 29 / 37
接下来, 管理员可通过浏览器访问 ZStack 管理服务界面 (http://manage-server-ip:5000), 并完成云平台初始化操作 图 ZStack 管理服务访问界面初始化结束后, 管理员需在 基础设置 中, 设定 物理主机保留内存 计算公式是 : Ceph 存储保留空间 + 管理节点主机保留空间 + 虚拟化保留内存 = 物理主机保留内存其中, 推荐 Ceph 存储保留空间 8GB, 虚拟化保留内存 1GB 管理节点主机保留空间根据上一章节的配置文件设定内存值而定 故计算结果 : Ceph 存储内存 8GB + 管理节点主机内存 8GB + 虚拟化内存 1GB = 物理主机保留内存 17GB 设定值为 17G: 版本 2.0 上海云轴版权所有 30 / 37
图九 ZStack 管理服务基础设置 - 物理主机保留内存 2.6 集群升级 2.6.1 高可用升级 管理员获得新的高可用管理套件后, 可用于升级当前的超融合环境 请管理员登陆其中 一个融合节点执行命令 : # 导出当前的高可用集群配置信息 [root@localhost ~]# zsha export-config output config json file to /tmp/current.config.json # 若新版本升级时, 需要增加 / 删除相关配置信息, 请依照新版本发布说明 # 使用新的高可用套件升级管理三个节点 [root@localhost ~]# chmod +x ZStack-Enterprise-HA-Suite-2.0.bin [root@localhost ~]#./ZStack-Enterprise-HA-Suite-2.0.bin install \ -p password -c /tmp/current.config.json 版本 2.0 上海云轴版权所有 31 / 37
2.6.2 云平台升级 登陆到管理节点主机内部执行升级, 具体参照官网文档 PD1006-ZStack 企业版产品升 级文档 版本 2.0 上海云轴版权所有 32 / 37
2.6.3 内嵌服务升级 管理员获得新的内嵌服务套件后, 可用于升级当前的超融合环境的 ZStack 管理节点主机 请管理员将新的内嵌服务套件上传到 ZStack 管理节点主机的目录 /root/ 上传完成后, 登陆 ZStack 管理节点主机, 执行命令 : # 登陆 ZStack 管理节点主机, 执行内嵌服务升级操作 [root@managementnode ~]# chmod +x ZStack-Enterprise-HA-Guest-Agent-1.10.bin [root@managementnode ~]#./ZStack-Enterprise-HA-Guest-Agent-1.10.bin -i # 升级完成后, 检查版本信息 [root@managementnode ~]# zin -v App Version: 1.0.1.19 Build Date: Sat Apr 1 15:29:31 GMT-8 2017 Branch Name: (detached Commit ID: a490b732093fc6fc2443fbec5deab276b1afbcd3 版本 2.0 上海云轴版权所有 33 / 37
2.7 管理节点迁移 ZStack 超融合集群在正常运行环境下, 若管理员需要临时关闭一个融合节点进行维护, 需在 ZStack 管理界面设定物理机为维护模式 然后, 根据该融合节点是否运行 ZStack 管理节 点主机, 进行对应操作 : Ø 若该融合节点并非运行 ZStack 管理节点主机, 则可以执行关机等维护操作 Ø 若该融合节点运行 ZStack 管理节点主机, 则需要执行手动热迁移操作 : # 登陆到某融合节点, 执行对 ZStack 管理节点主机迁移至目标融合节点 [root@ceph-1 ~]# zsha migrate 192.168.93.4 # 用户也可直接填写目标融合节点的主机名称执行迁移操作 [root@localhost ~]# zsha migrate ceph-3 注意事项 : l 其中 192.168.93.4 为超融合集群中 个正常融合节点的 IP 地址 该地址必须是超融合集群 内的 IP 地址, 否则 法通过检查, 将会报错并且不能执 迁移操作 l 同样的, 其中 ceph-3 必须为超融合集群中 个正常融合节点的主机名称 l 如果目标融合节点指定为正在运 管理节点主机的 HA 节点, 将会报错, 报错格式如下 : 错误 :Requested operation is not valid: domain 'ZStack Management Node VM' is already active l 迁移过程需消耗 定时间, 迁移过程将会显示进度状态 如果 络为万兆 络且状况良 好, 般可在数秒内完成 版本 2.0 上海云轴版权所有 34 / 37
2.8 配置更新 ZStack 管理节点高可用机制将全局配置信息存储在 Consul KV 数据库中, 如果需要修改 诸如管理节点主机配置 管理节点主机网络配置时, 执行以下命令即可 : # 导出当前的高可用集群配置信息 [root@localhost ~]# zsha export-config # 修改导出文件的配置 # 更新三个融合节点的配置信息 [root@localhost ~]# zsha import-config /tmp/current.config.json # 配置更新后, 请登录 ZStack 管理节点主机执行关机操作, 高可用服务将会触发启动 [root@managementnode ~]# halt -p 注意事项 : l 修改后的 /tmp/current.config.json 格式, 应与原配置 件格式相同 l 如需修改融合节点的 IP 地址, 请按照 可用套件的安装过程执 l MemorySizeinGB 和 CPU 管理节点主机性能配置可以按需修改, 但内存不可低于 8G, CPU 不可低于 4 核 l Bridge 为三个融合节点提供给 ZStack 管理节点主机使用的 桥名称 只有当该 桥名称 发 变化时, 才应修改此参数 l NetworkInterface 为管理节点主机内部的 络配置信息, 可以按需修改 版本 2.0 上海云轴版权所有 35 / 37
第三章其他操作 3.1 卸载操作 管理员若需卸载 ZStack 超融合高可用套件, 可执行以下命令 : # 登陆到其中一个节点, 执行关闭高可用套件服务并停止 ZStack 管理节点主机 [root@localhost ~]# zsha stop # 确认管理节点主机已关闭, 避免导致数据损坏或丢失 [root@localhost ~]# zsha status # 登陆到三个节点后, 执行卸载高可用相关服务 [root@localhost ~]# zsha uninstall 执行卸载后,ZStack 管理节点主机数据仍然保留在 Ceph 分布式存储里 管理员可保留 数据, 亦可删除该镜像 若需删除镜像数据和存储池, 可参考导入镜像章节关于删除数据的 内容 版本 2.0 上海云轴版权所有 36 / 37
3.2 日志输出 ZStack 超融合管理套件部署后, 其运行状态日志信息存放在目录 /var/log/z/ 高可用套件守护服务在运行状态时, 会产生详细的日志内容, 并进行按天和容量进行切割 管理员需关注 ZStack 管理节点主机的系统日志分区 (/var/log/) 空间状况, 保证预留一定量的存储空间 根据运行估算, 每年产生日志 10+GB 关于更多的 ZStack 企业版使用说明, 请查看官方网站 :http://www.zstack.io/. 版本 2.0 上海云轴版权所有 37 / 37