多管理节点物理机高可用

Size: px

Start display at page:

Download "多管理节点物理机高可用"

箕莲芮
5 years ago
Views:

1 多管理节点物理机高可用产品版本 ZStack 3.2.0

3 多管理节点物理机高可用 / 版权声明版权声明版权所有上海云轴信息科技有限公司 2018 保留一切权利非经本公司书面许可任何单位和个人不得擅自摘抄复制本文档内容的部分或全部并不得以任何形式传播商标说明 ZStack商标和其他云轴商标均为上海云轴信息科技有限公司的商标本文档提及的其他所有商标或注册商标由各自的所有人拥有注意您购买的产品服务或特性等应受上海云轴公司商业合同和条款的约束本文档中描述的全部或部分产品服务或特性可能不在您的购买或使用范围之内除非合同另有约定上海云轴公司对本文档内容不做任何明示或暗示的声明或保证由于产品版本升级或其他原因本文档内容会不定期进行更新除非另有约定本文档仅作为使用指导本文档中的所有陈述信息和建议不构成任何明示或暗示的担保 I

4 多管理节点物理机高可用 / 目录目录版权声明... I 1 安装与部署概述安装与部署准备软件工具核对硬件设备检查网络连接安装操作系统配置网络配置管理网络配置云主机数据网络安装高可用套件安装许可证集群升级其他操作监控报警日志输出高可用测试与恢复计划运维单管理节点需要维护双管理节点需要维护节点修复单管理节点故障修复双管理节点故障无法修复命令行使用手册简介 h 帮助内容 version 版本信息 installha 安装命令 stopnode 关闭管理节点 startnode 启动管理节点 upgrademn 升级管理节点 upgradeha 升级高可用套件 demote 主备切换 status 状态信息 showconfig 显示配置 collectlog 收集日志...28 术语表 II

5 多管理节点物理机高可用 / 1 安装与部署 1 安装与部署 1.1 概述 ZStack以单独的高可用套件形式提供多管理节点物理机高可用功能当其中任何一个管理节点失联秒级触发高可用切换从而保障管理节点持续提供服务本文档以双管理节点物理机高可用为例进行介绍高可用原理在双管理节点模型下每个管理节点均运行zsha2高可用进程负责实时监控管理节点上的关键服务包括管理节点服务 UI服务数据库服务当任何一个关键服务出现宕机立即通过Keep Alived触发VIP Virtual IP 迁移然后尝试恢复宕机服务如图 1: 双管理节点物理机高可用所示图 1: 双管理节点物理机高可用 1.2 安装与部署本章节主要介绍双管理节点物理机高可用的安装部署 1

6 多管理节点物理机高可用 / 1 安装与部署准备软件工具请管理员准备以下必要的软件包以便安装部署过程顺利执行 ZStack定制版ISO 推荐c74版文件名称 ZStackx86_64DVD3.2.0c74.iso 下载地址点击这里 ZStack安装包文件名称 ZStackinstaller3.2.0.bin 下载地址点击这里多管理节点高可用套件文件名称 ZStackEnterpriseMultinodeHASuite3.2.0.tar.gz 下载地址点击这里注: 软件下载后需通过MD5校验工具核对校验码以确保软件完整无损核对硬件设备本场景采用2个x86服务器部署双管理节点物理机高可用配置信息如表 1: 服务器配置所示管理员可根据业务性能需求合理调配CPU 内存和硬盘的容量配比以达到合适的平衡状态表 1: 服务器配置配件型号 CPU Intel(R) Xeon(R) CPU E GHz 2 内存 DDR4 16GB 8 主板双路服务器标准主板 1 服务器数量阵列卡支持SAS/SATA RAID 0/1 阵列卡 /10 总数 2个 1 支持直通模式 2 固态硬盘 Intel SSD DC S GB 2 机械硬盘1 SAS HDD 300GB 3.5" 15k rpm 2

7 多管理节点物理机高可用 / 1 安装与部署机械硬盘2 NL SAS HDD 2TB 3.5" 7.2k rpm 6 千兆网口以太网1GbE RJ45 2 万兆网口以太网10GbE SFP+ 2 光电模块光纤HBA卡远程管理 DELL idrac企业版 1 电源标准电源1100W 2 此外本场景还配备了1台万兆交换机 1台千兆交换机以及若干五类跳线检查网络连接管理员根据如图 2: 网络拓扑图所示的网络拓扑图对上述服务器和网络设备进行上架并连线图 2: 网络拓扑图安装操作系统操作步骤 1. 准备管理员对上架的网络设备和服务器加载电源手动启动服务器进入BIOS 检查以下内容激活所有CPU核心和启用超线程功能设定系统性能为最高性能状态打开硬件虚拟化VT功能支持硬件虚拟化技术加速优化功能进入阵列卡设定对两块系统硬盘配置RAID1 Mirror 其余硬盘设定直通模式 3

8 多管理节点物理机高可用 / 1 安装与部署 2. 在UltraISO打开ZStack DVD镜像 ZStack企业版操作系统ISO镜像可通过DVDRW设备刻录成安装光盘也可通过UltraISO工具将把ISO文件刻录到U盘打开UltraISO 点击文件按钮选择打开已下载好的ISO文件如图 3: 在UltraISO打开DVD镜像所示图 3: 在UltraISO打开DVD镜像 3. 写入硬盘镜像在UltraISO点击启动按钮选择写入硬盘镜像如图 4: 在UltraISO写入DVD镜像所示图 4: 在UltraISO写入DVD镜像 4

9 多管理节点物理机高可用 / 1 安装与部署 4. 在UltraISO确认写入ZStack企业版DVD镜像如果系统只插了一个U盘则默认以此U盘进行刻录和写入在刻录前注意备份U盘之前的内容其他选项按照默认设置无须额外配置点击写入如图 5: 在UltraISO确认写入ISO镜像所示图 5: 在UltraISO确认写入ISO镜像 5

10 多管理节点物理机高可用 / 1 安装与部署 5. 进入安装导航 ISO镜像已经刻录到U盘此时U盘可用来作为启动盘支持Legacy模式和UEFI模式引导管理员通过安装介质引导节点启动并进入安装导航如图 6: U盘引导界面所示图 6: U盘引导界面 6

11 多管理节点物理机高可用 / 1 安装与部署 6. 安装操作系统默认选择Install ZStack开始安装操作系统在进入安装界面后已经预先配置默认选项时区亚洲东八区语言 English(United States) 键盘 English(US) 一般情况下管理员无需更改配置管理员需自行执行硬盘的分区推荐分区如下 UEFI 模式 /boot/efi 创建分区500MB /boot 创建分区1GB swap 交换分区创建分区32GB / 根分区配置剩下容量分区配置完后选择Software Selection进入服务器安装角色候选选择ZStack Enterprise Management Node管理节点模式确定后回到主界面点击Begin Installation进行安装安装过程将会自动进行管理员需要设定root账户密码安装结束后重新引导服务器并拔掉U盘如安装成功则服务器重启后进入操作系统登录提示符使用root和设置的密码登录到操作系统注: 管理员可根据自身需要更改密码 7

12 多管理节点物理机高可用 / 1 安装与部署配置网络管理员对两台服务器均安装操作系统后可进行网络配置在目录/usr/local/bin/ ZStack提供便利的网络配置脚本管理员可通过此脚本快速配置接口 Interface 和网桥 Bridge 信息本场景对2个管理节点的网络信息以及用于Keep Alived通信的VIP设定如下表 2: 管理网络服务器网卡 1 网卡 2 聚合接口网桥 IP地址掩码网关管理节点1 eth0 eth1 bond0 br_bond 管理节点2 eth0 eth1 bond0 br_bond 网卡 2 聚合接口网桥 IP地址掩码网关管理节点1 em1 em2 bond1 管理节点2 em1 em2 bond1 表 3: 云主机数据网络节点网卡 1 表 4: VIP IP地址掩码 VIP 以上均为示例数据管理员可根据实际部署环境自行更改网关需由物理网络设备提供同时作为网络状态仲裁检测以下分别介绍管理网络和云主机数据网络的配置配置管理网络本场景对管理网络设定如下表 5: 管理网络服务器网卡 1 管理节点1 eth0 8 网卡 2 聚合接口网桥 IP地址掩码网关 eth1 bond0 br_bond

13 多管理节点物理机高可用 / 1 安装与部署服务器网卡 1 管理节点2 eth0 网卡 2 聚合接口网桥 eth1 bond0 br_bond0 IP地址掩码网关对管理节点1执行以下配置命令 # 创建聚合网卡bond1 [root@localhost ~]# zsbondlacp c bond0 # 将网卡eth0与eth1均添加到bond0 [root@localhost ~]# zsnictobond a bond0 eth0 [root@localhost ~]# zsnictobond a bond0 eth1 # 配置上述链路聚合后,请管理员在对应的交换机网口配置LACP聚合 # 创建网桥br_bond0,指定网络IP 掩码和网关 [root@localhost ~]# zsnetworksetting b bond # 查看聚合端口bond0是否创建成功 [root@localhost ~]# zsshownetwork... Bond Name SLAVE(s) BONDING_OPTS bond0 eth0 miimon=100 mode=4 xmit_hash_policy=layer2+3 eth1 对管理节点2执行类似的配置命令注: eth0和eth1加载到bond0后对应交换机的端口需要配置LACP聚合否则网络通信将异常如果交换机不支持LACP聚合请联系网络设备厂商更换设备通过bond0创建网桥后网桥命名为br_bond0 将提供管理网络服务关于网桥的IP地址子网掩码和网关参数用户需按照实际情况填写管理网络配置完成后可通过ping命令进行检测若配置正确则两管理节点的管理网络对应的IP地址可互ping 管理网络建议采用万兆以上带宽若独立部署允许千兆带宽管理网络配置完成后随之可配置云主机数据网络配置云主机数据网络本场景对云主机数据网络设定如下 9

14 多管理节点物理机高可用 / 1 安装与部署表 6: 云主机数据网络节点网卡 1 网卡 2 聚合接口网桥 IP地址掩码网关管理节点1 em1 em2 bond1 管理节点2 em1 em2 bond1 对管理节点1执行以下配置命令 # 创建聚合网卡bond1 [root@localhost ~]# zsbondlacp c bond1 # 将网卡em1与em2均添加到bond1 [root@localhost ~]# zsnictobond a bond1 em1 [root@localhost ~]# zsnictobond a bond1 em2 # 配置上述链路聚合后,请管理员在对应的交换机网口配置LACP聚合 # 云主机数据网络,无需创建网桥 # 查看聚合端口bond1是否创建成功 [root@localhost ~]# zsshownetwork... Bond Name SLAVE(s) BONDING_OPTS bond1 em1 miimon=100 mode=4 xmit_hash_policy=layer2+3 em2 对管理节点2执行类似的配置命令注: em1和em2加载到bond1后对应交换机的端口需要配置LACP聚合否则网络通信将异常如果交换机不支持LACP聚合请联系网络设备厂商更换设备安装高可用套件背景信息本场景下管理员已安装两个最新版ZStack管理节点并对两个管理节点安装许可证完毕现在对其中一个管理节点安装多管理节点高可用套件即可实现双管理节点高可用管理节点管理节点假定对管理节点1安装高可用套件则管理节点1为主管理节点管理节点2为备管理节点 10

15 多管理节点物理机高可用 / 1 安装与部署操作步骤 1. 导入高可用套件管理员已获得高可用套件可将其导入管理节点1并解压执行以下命令 # 通过scp工具将高可用套件传输到管理节点1 [root@localhost ~]# ls ZStackEnterpriseMultinodeHASuite3.2.0.tar.gz # 将高可用套件解压生成两个可执行文件 zsha2和zstackhamon [root@localhost ~]# tar zxvf ZStackEnterpriseMultinodeHASuite3.2.0.tar.gz zsha2 //多管理节点高可用的安装和管理程序 zstackhamon //多管理节点高可用的监控程序 2. HA初始化在管理节点1中安装高可用套件执行以下命令 [root@localhost ~]#./zsha2 installha nic br_bond0 gateway slave "root :password@ " \ vip dbrootpw zstack.mysql.password timeserver cidr /16 yes 注: 安装命令执行后会先自动备份主备管理节点的数据库再执行安装操作安装高可用套件需将zsha2和zstackhamon放在一个目录安装过程中 zsha2 会自动部署zstackhamon以及相关配置文件安装命令中相关参数说明 nic 物理设备名用于配置VIP 生产环境一般是一个管理网络的网桥例如nic br_bond0 gateway 主备管理节点的仲裁网关例如gateway slave 指定备管理节点例如slave "root:password@ " 注: 安装过程中备管理节点的数据库会被主管理节点的数据库覆盖请谨慎配置在安装高可用套件时建议root密码采用普通密码方便快捷部署后续root密码可以修改高可用套件将不再依赖系统root的密码如果root密码里包含shell的特殊字符例如 ' " *? \ ~ `! # $ & 需输入\进行转义 11

16 多管理节点物理机高可用 / 1 安装与部署例如系统密码为' " *? \ ~ `! # $ & 则相应的输入应为 slave "root:\' \" \* \? \\ \~ \` \! \# \$ \& vip 指定Keep Alived通信的VIP 例如 vip dbrootpw 主备管理节点的数据库root密码必须相同例如dbrootpw zstack.mysql.password timeserver 指定时间同步服务器用于统一时间同步例如./zsha2 installha timeserver cidr 可选参数指定网络段需覆盖主备管理节点IP VIP和网关例如./ zsha2 installha cidr /16 注: 如果不指定系统会自动计算出一个最小网络段可能无法满足需求推荐指定网络段 force 可选参数当主备管理节点的数据库始终无法完成自动同步对主管理节点强制执行zsha2安装命令例如./zsha2 installha force 注: 执行强制安装前建议对两个数据库进行备份 repo 可选参数指定Yum源默认为本地源例如./zsha2 installha repo zstacklocal timeout 可选参数主备管理节点的数据库初始化复制超时时间默认值为600 单位为秒例如./zsha2 installha timeout 600 yes 可选参数所有设置均允许高可用套件初始化完成后可执行以下命令查看管理节点的状态 # 查看管理节点1的状态 [root@localhost ~]# zsha2 status Status report from ================================= Owns virtual address: yes //管理节点1已获取VIP 同一时刻只允许一个管理节点获取VIP Self reachable: yes //管理节点1可达 Gateway reachable: yes //当前网关可达 VIP reachable: yes //VIP可达 Peer reachable: yes //管理节点2可达 Keepalived status: active //Keep Alived服务处于工作状态 ZStack HA Monitor: active //高可用监控服务处于工作状态 MySQL status: mysqld is alive //数据库正常工作 MN status: Running [PID:6500] //管理节点正常工作 UI status: Running [PID:9785] //UI正常工作 Slave Status: 12

17 多管理节点物理机高可用 / 1 安装与部署 Slave_IO_Running: Yes //Slave IO正常运行 Slave_SQL_Running: Yes //Slave SQL正常运行 Last_Error: Seconds_Behind_Master: 0 Last_IO_Error: Last_SQL_Error: Warning: Permanently added ' ' (ECDSA) to the list of known hosts. Status report from //查看管理节点2的状态 ================================ Owns virtual address: yes Self reachable: yes Gateway reachable: yes VIP reachable: yes Peer reachable: yes Keepalived status: active ZStack HA Monitor: active MySQL status: mysqld is alive Slave Status: Slave_IO_Running: Yes Slave_SQL_Running: Yes Last_Error: Seconds_Behind_Master: 0 Last_IO_Error: Last_SQL_Error: Note: visit ZStack UI with 注: 安装高可用套件过程中已自动为两个管理节点做SSH免密登录 3. 云平台初始化管理员可通过VIP 访问管理节点1的UI界面 :5000 并完成云平台初始化操作如登录界面所示图 7: 登录界面 13

多管理节点物理机高可用 / 1 安装与部署在管理节点1中执行以下命令管理节点1在线切换为备管理节点管理节点2获取VIP 192.168.199.151 成为主管理节点 [root@localhost ~]# zsha2 demote 管理员可通过该VIP刷新访问管理节点2的UI界面 http://192.168.199.151:5000 并完成云平台初始化操作 1.2.7 安装许可证本场景下 ZStack两个管理节点安装的许可证类型要求完全一致管理员可通过UI方式或CLI方式安装许可证 UI方式假定管理节点1为主管理节点管理节点2为备管理节点 1.

18 多管理节点物理机高可用 / 1 安装与部署在管理节点1中执行以下命令管理节点1在线切换为备管理节点管理节点2获取VIP 成为主管理节点 [root@localhost ~]# zsha2 demote 管理员可通过该VIP刷新访问管理节点2的UI界面并完成云平台初始化操作安装许可证本场景下 ZStack两个管理节点安装的许可证类型要求完全一致管理员可通过UI方式或CLI方式安装许可证 UI方式假定管理节点1为主管理节点管理节点2为备管理节点 1. 通过VIP访问管理节点1的UI界面 2. 进入管理节点1的关于界面进入许可证子页面上传相关许可证更多详情可参考许可#license#更新说明 3. 在管理节点1的关于界面进入更多子页面可对其它管理节点上传相关许可证如图 8: 管理更多节点界面所示图 8: 管理更多节点界面 14

19 多管理节点物理机高可用 / 1 安装与部署 CLI方式管理员可通过CLI方式分别向两个管理节点中导入许可证更多详情可参考ZStack官网教程许可 license 更新说明 1.3 集群升级高可用套件升级管理员获得新版高可用套件后可用于升级当前的zsha2服务当主备管理节点的数据库完成自动同步后请将新版高可用套件导入主管理节点并解压在主管理节点中执行以下命令就可完成高可用套件升级 [root@localhost ~]#./zsha2 upgradeha 管理节点升级在双管理节点高可用场景下管理员只需在一个管理节点中执行以下命令就可对两个管理节点进行升级 15

20 多管理节点物理机高可用 / 1 安装与部署若选择从bin包升级请执行 [root@localhost ~]# zsha2 upgrademn peerpass password./zstackinstaller3.2.0.bin 若选择从ISO升级请执行 [root@localhost ~]# zsha2 upgrademn peerpass password./zstackx86_64dvd3.2.0c74.iso 1.4 其他操作监控报警双管理节点高可用场景下若主管理节点失联管理员可在ZWatch中创建事件报警器并添加相关报警条目指定接收端系统将以邮件/钉钉/HTTP POST方式发送报警信息如图 9: ZWatch监控报警主管理节点失联所示图 9: ZWatch监控报警主管理节点失联更多详情可参考ZStack官网教程 ZWatch监控系统使用教程 16

21 多管理节点物理机高可用 / 1 安装与部署若备管理节点失联管理员可直接在消息中心接收到相关通知如图 10: 消息中心备管理节点失联所示图 10: 消息中心备管理节点失联日志输出双管理节点高可用场景下管理员可执行以下命令收集zsha2服务相关日志 [root@localhost ~]# zsha2 collectlog Collecting logs... Collected log: zsha2log t tgz # 将日志压缩包解压 [root@localhost ~]# tar zxvf zsha2log t tgz tmp/zsha2log / tmp/zsha2log /zsha2status.log tmp/zsha2log /zstackha.log tmp/zsha2log /keepalived.data tmp/zsha2log /zsvip log tmp/zsha2log /keepalived_status.log 17

22 多管理节点物理机高可用 / 2 高可用测试与恢复 2 高可用测试与恢复 2.1 计划运维单管理节点需要维护主管理节点需要维护双管理节点高可用场景下假定管理节点1为主管理节点管理节点2为备管理节点若管理员需要临时关闭管理节点1进行维护 1. 将管理节点1主动切换为备管理节点在管理节点1中执行zsha2 demote命令管理节点1在线切换为备管理节点管理节点2获取VIP 成为主管理节点 2. 关闭管理节点1 若管理节点1没有被复用为计算节点添加到ZStack 1. 对管理节点1执行zsha2 stopnode 关闭zsha2相关服务 2. 对管理节点1进行shutdown关机操作 3. 对管理节点1下电后进行维护若管理节点1被复用为计算节点并已添加到ZStack 1. 对管理节点1执行zsha2 stopnode 关闭zsha2相关服务 2. 将管理节点1进入维护模式 3. 对管理节点1进行shutdown关机操作 4. 对管理节点1下电后进行维护 3. 启动管理节点1 a. 对管理节点1通电后通过手动或IPMI启动服务器 b. 等待管理节点1启动成功引导操作系统 c. 对管理节点1执行zsha2 startnode 启动zsha2相关服务 d. 对管理节点1执行zsha2 status 查看zsha2服务是否正常运行 e. 对管理节点1执行zstackctl status 查看管理节点服务是否正常运行 UI服务是否正常运行 18

23 多管理节点物理机高可用 / 2 高可用测试与恢复备管理节点需要维护双管理节点高可用场景下假定管理节点1为主管理节点管理节点2为备管理节点若管理员需要临时关闭管理节点2进行维护 1. 关闭管理节点2 若管理节点2没有被复用为计算节点添加到ZStack 1. 对管理节点2执行zsha2 stopnode 关闭zsha2相关服务 2. 对管理节点2进行shutdown关机操作 3. 对管理节点2下电后进行维护若管理节点2被复用为计算节点并已添加到ZStack 1. 对管理节点2执行zsha2 stopnode 关闭zsha2相关服务 2. 将管理节点2进入维护模式 3. 对管理节点2进行shutdown关机操作 4. 对管理节点2下电后进行维护 2. 启动管理节点2 a. 对管理节点2通电后通过手动或IPMI启动服务器 b. 等待管理节点2启动成功引导操作系统 c. 对管理节点2执行zsha2 startnode 启动zsha2相关服务 d. 对管理节点2执行zsha2 status 查看zsha2服务是否正常运行 e. 对管理节点2执行zstackctl status 查看管理节点服务是否正常运行 UI服务是否正常运行双管理节点需要维护双管理节点高可用场景下假定管理节点1为主管理节点管理节点2为备管理节点若管理员需要临时关闭两个管理节点进行维护 1. 对两个管理节点执行zsha2 stopnode 关闭zsha2相关服务 2. 对两个管理节点进行shutdown关机操作 3. 对两个管理节点下电后进行维护 4. 对两个管理节点通电后通过手动或IPMI启动服务器 5. 等待两个管理节点启动成功引导操作系统 6. 对两个管理节点执行zsha2 startnode 启动zsha2相关服务 19

24 多管理节点物理机高可用 / 2 高可用测试与恢复 7. 对两个管理节点执行zsha2 status 查看zsha2服务是否正常运行 8. 对两个管理节点执行zstackctl status 查看管理节点服务是否正常运行 UI服务是否正常运行 2.2 节点修复单管理节点故障修复双管理节点高可用场景下若其中某个管理节点损坏后需要执行修复 1. 对故障节点执行zsha2 stopnode 关闭zsha2相关服务 2. 尝试恢复故障节点如果不能恢复需使用相同版本的ZStack定制版ISO修复原节点或安装新节点 3. 以安装新节点为例 a. 调配备用服务器使得硬件规格与故障节点相近 b. 安装基础操作系统安装完成后配置root的密码和网络信息与故障节点一致详情可参考安装与部署章节 c. 对置换节点安装高可用套件详情可参考安装与部署章节 d. 对置换节点执行zsha2 status 查看zsha2服务是否正常运行 e. 对置换节点执行zstackctl status 查看管理节点服务是否正常运行 UI服务是否正常运行双管理节点故障无法修复双管理节点高可用场景下若两个管理节点均损坏无法修复 20

25 多管理节点物理机高可用 / 3 命令行使用手册 3 命令行使用手册 zsha2下有多条子命令本手册将对zsha2每条子命令的作用和使用方法进行说明 3.1 简介 zsha2是zstack针对多管理节点物理机高可用场景设计的命令帮助用户快速完成该场景下的多种操作 3.2 h 帮助内容描述显示帮助可查看zsha2全部子命令使用方法 [root@localhost ~]# zsha2 h usage: zsha2 [ global options ] command [ command options ] Global options: h,help Display this message Commands: installha install twonode HA environement stopnode stop zstack service in HA environement startnode start zstack service in HA environement upgrademn upgrade the MN in HA environment upgradeha upgrade the HA suites demote demote current node as backup status show HA status showconfig show HA configuration collectlog collect HA related log files help show this help message 3.3 version 版本信息描述查看版本信息包括版本号和Commit ID 使用方法 [root@localhost ~]# zsha2 version 21

26 多管理节点物理机高可用 / 3 命令行使用手册 version , commit 2b1b06788e4e1d4b514342db1f381b460f7242e6 3.4 installha 安装命令描述安装命令假定用户已安装两个ZStack管理节点对主管理节点执行zsha2安装命令即可切换到双管理节点高可用模式使用方法参数介绍示例物理设备名用于配置VIP 生 nic 产环境一般是一个管理网络的网桥 gateway 主备管理节点的仲裁网关./zsha2 installha nic br_bond 0./zsha2 installha gateway 指定备管理节点注: 安装过程中备管理节点的数据库会被主 slave 管理节点的数据库覆盖请谨慎配置./zsha2 installha slave "root :password@ " 如果root密码里包含shell的特殊字符需进行转义 vip dbrootpw timeserver 指定Keep Alived通信的VIP./zsha2 installha vip 主备管理节点的数据库root密./zsha2 installha dbrootpw 码必须相同 zstack.mysql.password 指定时间同步服务器用于统./zsha2 installha timeserver 一时间同步可选参数指定网络段需覆盖主备管理节点IP VIP和网 cidr 关./zsha2 installha cidr 注: 如果不指定系统.0.0/16 会自动计算出一个最小网络段可能无法满 22

27 多管理节点物理机高可用 / 3 命令行使用手册参数介绍示例足需求推荐指定网络段可选参数当主备管理节点的数据库始终无法完成自动同步对主管理节点强制执 force 行zsha2安装命令./zsha2 installha force 注: 执行强制安装前建议对两个数据库进行备份 repo 可选参数指定Yum源默认./zsha2 installha repo zstack 为本地源 local 可选参数主备管理节点的数 timeout 据库初始化复制超时时间默./zsha2 installha timeout 600 认值为600 单位为秒 yes 可选参数所有设置均允许./zsha2 installha yes [root@localhost ~]#./zsha2 installha nic br_bond0 gateway slave "root:passwor d@ " \ vip dbrootpw zstack.mysql.password timeserver cidr /16 yes Master IPv4 address: ZStack : ZStack : Calculated CIDR: /16 Backuping databases on (/var/lib/zstack/mysqlbackup/zstackbackupdb T gz)... Start installation... x checking network interface and gateway... Task 1: checking network interface and gateway... completed. x prepare HAservices... Task 2: prepare HAservices... completed. + setting up DB config before replication... Task 3: setting up DB config before replication... completed. x creating DB user for replication... Task 4: creating DB user for replication... completed. + update iptables rules... Task 5: update iptables rules... completed. + starting the initial replication... *************************** 1. row *************************** File: mysqlbin Position: 1844 Binlog_Do_DB: 23

28 多管理节点物理机高可用 / 3 命令行使用手册 Binlog_Ignore_DB: + starting the initial replication... Local database backuped to /var/lib/zstack/mysqlbackup/zstackbackupdb t gz Task 6: starting the initial replication... completed. x wait peer slave sync status... Slave_IO_Running: Yes Slave_SQL_Running: Yes Last_IO_Error: Last_SQL_Error: Last_Error: Last_Errno: 0 Task 7: wait peer slave sync status... completed. + wait local DB sync status... *************************** 1. row *************************** File: mysqlbin Position: 245 Binlog_Do_DB: Binlog_Ignore_DB: x wait local DB sync status... Slave_IO_Running: Yes Slave_SQL_Running: Yes Last_IO_Error: Last_SQL_Error: Last_Error: Last_Errno: 0 Task 8: wait local DB sync status... completed. + setting up keepalived... Task 9: setting up keepalived... completed. x check slave virtual IP settings... Task 10: check slave virtual IP settings... completed. x configuring ZStack servers... Task 11: configuring ZStack servers... completed. x installing HA scripts... Task 12: installing HA scripts... completed. x starting ZStack HA service... Task 13: starting ZStack HA service... completed. x waiting management node up and running... Task 14: waiting management node up and running... completed. OK, installation completed. Hints: Stop server with: zsha2 stopnode, Start server with: zsha2 startnode, Get HA status with: zsha2 status peer

29 多管理节点物理机高可用 / 3 命令行使用手册 Please also setup SSH pubkeylogin between and stopnode 关闭管理节点描述在双管理节点高可用场景下关闭其中一个管理节点同时关闭所有zsha2服务使用方法 [root@localhost ~]# zsha2 stopnode stopping zstackha service... stopping zstack management node... stopping keepalived startnode 启动管理节点描述在双管理节点高可用场景下将处于停止状态的管理节点启动同时启动所有zsha2服务使用方法 [root@localhost ~]# zsha2 startnode starting keepalived... starting zstackha service... starting zstack management node upgrademn 升级管理节点描述在双管理节点高可用场景下仅升级两个管理节点使用方法参数介绍示例 force 可选参数强制升级管理节点./zsha2 upgrademn force ZStackinstaller3.2.0.bin 可选参数输入Peer管理节./zsha2 upgrademn peerpass password ZStackinstaller3.2 peerpass yes 点SSH登录密码可选参数所有设置均允许.0.bin./zsha2 upgrademn yes 25

30 多管理节点物理机高可用 / 3 命令行使用手册若选择从bin包升级请执行 [root@localhost ~]# zsha2 upgrademn peerpass password./zstackinstaller3.2.0.bin 若选择从ISO升级请执行 [root@localhost ~]# zsha2 upgrademn peerpass password./zstackx86_64dvd3.2.0c74.iso 3.8 upgradeha 升级高可用套件描述在双管理节点高可用场景下升级当前的zsha2服务使用方法 [root@localhost ~]#./zsha2 upgradeha Start upgrading... + Stopping HAservices... Task 1: Stopping HAservices... completed. + Upgrading HA suites... Task 2: Upgrading HA suites... completed. x starting ZStack HA service... Task 3: starting ZStack HA service... completed. OK, upgrade HA completed. Hints: Stop server with: zsha2 stopnode, Start server with: zsha2 startnode, Get HA status with: zsha2 status peer demote 主备切换描述在双管理节点高可用场景下将主管理节点在线切换为备管理节点 26

31 多管理节点物理机高可用 / 3 命令行使用手册使用方法 [root@localhost ~]# zsha2 demote 3.10 status 状态信息描述在双管理节点高可用场景下显示当前管理节点的状态包括是否已获取VIP 自身可达性网关可达性 VIP可达性 Peer管理节点可达性 Keep Alived服务状态高可用监控服务状态数据库状态管理节点状态 UI状态 Slave状态以及查看Peer管理节点的状态使用方法 [root@localhost ~]# zsha2 status Status report from ================================= Owns virtual address: yes Self reachable: yes Gateway reachable: yes VIP reachable: yes Peer reachable: yes Keepalived status: active ZStack HA Monitor: active MySQL status: mysqld is alive MN status: Running [PID:6500] UI status: Running [PID:9785] Slave Status: Slave_IO_Running: Yes Slave_SQL_Running: Yes Last_Error: Seconds_Behind_Master: 0 Last_IO_Error: Last_SQL_Error: Warning: Permanently added ' ' (ECDSA) to the list of known hosts. Status report from ================================ Owns virtual address: yes Self reachable: yes Gateway reachable: yes VIP reachable: yes Peer reachable: yes Keepalived status: active ZStack HA Monitor: active MySQL status: mysqld is alive Slave Status: Slave_IO_Running: Yes Slave_SQL_Running: Yes Last_Error: Seconds_Behind_Master: 0 Last_IO_Error: Last_SQL_Error: 27

32 多管理节点物理机高可用 / 3 命令行使用手册 Note: visit ZStack UI with showconfig 显示配置描述在双管理节点高可用场景下显示当前环境的配置信息使用方法 [root@localhost ~]# zsha2 showconfig { "nodeip": " ", "peerip": " ", "dbvip": " ", "nic": "br_bond0", "gw": " ", "dbnetwork": " /16", "repo": "zstacklocal", "version": 0 } 3.12 collectlog 收集日志描述在双管理节点高可用场景下收集zsha2服务相关日志使用方法 [root@localhost ~]# zsha2 collectlog Collecting logs... Collected log: zsha2log t tgz # 将日志压缩包解压 [root@localhost ~]# tar zxvf zsha2log t tgz tmp/zsha2log / tmp/zsha2log /zsha2status.log tmp/zsha2log /zstackha.log tmp/zsha2log /keepalived.data tmp/zsha2log /zsvip log tmp/zsha2log /keepalived_status.log 28

33 多管理节点物理机高可用 / 术语表术语表区域 Zone ZStack中最大的一个资源定义包括集群二层网络主存储等资源集群 Cluster 一个集群是类似物理主机 Host 组成的逻辑组在同一个集群中的物理主机必须安装相同的操作系统虚拟机管理程序 Hypervisor 拥有相同的二层网络连接可以访问相同的主存储在实际的数据中心一个集群通常对应一个机架 Rack 管理节点 Management Node 安装系统的物理主机提供UI管理云平台部署功能计算节点 Compute Node 也称之为物理主机或物理机为云主机实例提供计算网络存储等资源的物理主机主存储 Primary Storage 用于存储云主机磁盘文件的存储服务器支持本地存储 NFS Ceph Shared Mount Point等类型镜像服务器 Backup Storage 也称之为备份存储服务器主要用于保存镜像模板文件建议单独部署镜像服务器镜像仓库 Image Store 镜像服务器的一种类型可以为正在运行的云主机快速创建镜像高效管理云主机镜像的版本变迁以及发布实现快速上传下载镜像镜像快照以及导出镜像的操作云主机 VM Instance 运行在物理机上的虚拟机实例具有独立的IP地址可以访问公共网络运行应用服务镜像 Image 云主机或云盘使用的镜像模板文件镜像模板包括系统云盘镜像和数据云盘镜像 29

34 多管理节点物理机高可用 / 术语表云盘 Volume 云主机的数据盘给云主机提供额外的存储空间共享云盘可挂载到一个或多个云主机共同使用计算规格 Instance Offering 启动云主机涉及到的CPU数量内存网络设置等规格定义云盘规格 Disk Offering 创建云盘容量大小的规格定义二层网络 L2 Network 二层网络对应于一个二层广播域进行二层相关的隔离一般用物理网络的设备名称标识三层网络 L3 Network 云主机使用的网络配置包括IP地址范围网关 DNS等公有网络 Public Network 由因特网信息中心分配的公有IP地址或者可以连接到外部互联网的IP地址私有网络 Private Network 云主机连接和使用的内部网络 L2NoVlanNetwork 物理主机的网络连接不采用Vlan设置 L2VlanNetwork 物理主机节点的网络连接采用Vlan设置 Vlan需要在交换机端提前进行设置 VXLAN网络池 VXLAN Network Pool VXLAN网络中的 Underlay 网络一个 VXLAN 网络池可以创建多个 VXLAN Overlay 网络即 VXLAN 网络这些 Overlay 网络运行在同一组 Underlay 网络设施上 VXLAN网络 VXLAN 使用 VXLAN 协议封装的二层网络单个 VXLAN 网络需从属于一个大的 VXLAN 网络池不同 VXLAN 网络间相互二层隔离 30

35 多管理节点物理机高可用 / 术语表云路由 vrouter 云路由通过定制的Linux云主机来实现的多种网络服务安全组 Security Group 针对云主机进行第三层网络的防火墙控制对IP地址网络包类型或网络包流向等可以设置不同的安全规则弹性IP EIP 公有网络接入到私有网络的IP地址快照 Snapshot 某一个时间点上某一个磁盘的数据备份包括自动快照和手动快照两种类型 31