运维手册

Transcription

1 运维手册 产品版本 ZStack 2.3.2

2

3 运维手册 / 版权声明 版权声明 版权所有 上海云轴信息科技有限公司 2018 保留一切权利 非经本公司书面许可 任何单位和个人不得擅自摘抄 复制本文档内容的部分或全部 并不得以任 何形式传播 商标说明 ZStack商标和其他云轴商标均为上海云轴信息科技有限公司的商标 本文档提及的其他所有商标或注册商标 由各自的所有人拥有 注意 您购买的产品 服务或特性等应受上海云轴公司商业合同和条款的约束 本文档中描述的全部或部 分产品 服务或特性可能不在您的购买或使用范围之内 除非合同另有约定 上海云轴公司对本文 档内容不做任何明示或暗示的声明或保证 由于产品版本升级或其他原因 本文档内容会不定期进行更新 除非另有约定 本文档仅作为使用 指导 本文档中的所有陈述 信息和建议不构成任何明示或暗示的担保 I

4 运维手册 / 目录 目录 版权声明... I 1 引言 概述 系统架构 ZStack功能架构 ZStack资源结构 网络配置 安装部署 环境准备 网卡归一化(可选) 安装ZStack ZStack管理节点模式(企业版/社区版) ZStack计算节点模式 ZStack OCFS2存储节点模式 ZStack专家模式 管理ZStack 升级ZStack 基于CentOS 7.2 升级 基于CentOS 7.4 升级 系统登录 HTTPS方式登录UI Wizard引导设置 首页 大屏监控 关于 云资源池 云主机 云盘 镜像 亲和组 计算规格 云盘规格 硬件设施 区域 集群 计算服务器 物理机 GPU设备透传 USB设备透传 裸机管理 主存储 本地存储 NFS II

5 运维手册 / 目录 Shared Mount Point Ceph FusionStor 镜像服务器 网络资源 网络拓扑 二层网络资源 VXLAN Pool 二层网络 三层网络 扁平网络 云路由网络 VPC VPC路由器 VPC网络 网络服务 安全组 虚拟IP 弹性IP 端口转发 负载均衡 IPsec隧道 vcenter 基础资源 云主机 网络 网络服务 虚拟IP(ESX类型) 弹性IP 端口转发 负载均衡 IPsec隧道 云盘 镜像 平台运维 性能TOP 性能分析 消息中心 操作日志 ZWatch 通知服务 平台管理 用户管理 计费管理 定时 定时器 定时任务 邮箱服务器 AD/LDAP III

6 运维手册 / 目录 15.6 控制台代理 设置 全局设置 基础设置 高级设置 管理节点高可用 管理节点高可用方案 基本运维 安装部署 启动服务 zstack-ctl命令 zstack-cli命令 重连物理机 重连主存储 重连镜像服务器 云主机异常 机房维护步骤 日志分析 端口占用 网络脚本 其他配置运维 安装多个管理节点 配置独立的MySQL服务器 配置独立的RabbitMQ服务器 zstack.properties核心配置文件 ZStack云平台硬件资源密码变更 ZStack管理节点更改物理环境 ZStack数据库备份与恢复 本地存储空间扩容 云主机根云盘扩容 快速入门 安装部署 系统登录 云资源池 硬件设施 网络 vcenter 平台管理运维 常见问题 术语表 IV

7 运维手册 / 1 引言 1 引言 产品版本 目前与本文档相对应的产品版本为 ZStack企业版 读者对象 本文档详述了ZStack企业版 2.3.2在安装部署使用过程中需要注意的事项 以及管理运维过程中的 常见问题解决方案 本文档主要适用于以下读者 部署运维工程师 技术支持工程师 对ZStack有兴趣研究的相关人员 版本更新 /05/11主要更新 1. 云资源池 云主机根云盘/数据云盘容量在线扩展 通过FTP和SFTP方式在线添加镜像模板 2. 硬件设施 分布式存储Ceph以存储池 Pool 粒度显示容量使用情况 识别物理机CPU架构 识别主流Intel和AMD处理器 集群按照物理机CPU架构定义属性 为云主机提供丰富的CPU多媒体指令集 以及提升热迁 移兼容性 指定集群云主机热/冷迁移网络 3. 网络服务 负载均衡监听协议支持HTTPS 需绑定证书使用 强化监听器功能 4. VMware vcenter接管 vcenter云主机迁移 克隆 vcenter物理机维护模式 1

8 运维手册 / 1 引言 5. 平台运维 TOP5性能分析 支持对应项搜索排序 6. 平台管理 强化定时任务功能 在管理界面上修改控制台代理地址 7. 大屏监控 解决登录会话超时失效 8. 混合云 对接大河云联SD-WAN服务 提供混合云高速链路 9. 超融合解决方案 管理节点云主机管理员密码重置 管理节点云主机跨网段创建/启动 跨网络异地部署 管理节点云主机部署/迁移至非超融合节点 适应更广泛场景 10.其它相关功能和优化 新增多个操作场景进度条 操作助手和帮助文档 优化界面交互 优化部分业务逻辑 /04/03主要更新 1. 网络拓扑 2. 新版菜单导航 新版首页 3. ZWatch 全新监控报警系统 4. ZStack定制版ISO新增 基于CentOS 7.4深度定制版本 5. 亲和组 6. 增强vCenter接管功能 接管vCenter云盘 基于vCenter云路由网络提供网络服务 7. 一个云主机加载多个ISO 8. 多种策略创建云主机 9. 一个二层网络可用于创建多个三层网络 10.操作日志/审计全新改版 11.HTTPS安全访问UI管理界面 12.内部访问业务流量的负载均衡 2

9 运维手册 / 1 引言 13.优化自定义UI 14.多个场景新增进度条 操作助手和帮助文档 优化UI交互 15.优化部分业务逻辑 /02/08主要更新 1. 专有网络VPC 2. 混合云灾备 混合云版支持 3. 大屏监控 4. 用户自定义UI 5. ImageStore类型镜像服务器支持Ceph类型主存储 6. 支持vSwitch 7. 支持vCenter资源同步 8. ESXi云主机支持扁平网络 9. 云主机更换操作系统 10.跨NFS存储数据迁移 11.虚拟IP支持QoS 12.支持AD认证 13.云主机自定义MAC地址 14.强化浏览器上传镜像功能 15.新增云盘镜像资源 16.数据云盘扩容 17.数据云盘规格支持QoS 18.停止NeverStop状态的云主机 19.开放云路由公网IP 并支持同一虚拟IP多网络服务复用 20.支持USB设备透传 强化外接设备透传功能 21.增加VDI SPICE流量优化选项 22.支持修改已设置的存储网络 23.支持设置VXLAN对普通账户的配额 24.支持ImageStore类型镜像服务器间的数据同步 25.管理节点数据库自动备份到远程服务器 3

10 运维手册 / 1 引言 26.多个场景新增进度条 操作助手和帮助文档 优化UI交互 27.优化部分业务逻辑 /10/16主要更新 1. 公有网络创建云主机 2. 自定义DHCP模式 3. 新增系统网络 4. 云主机根云盘扩容 5. 浏览器添加镜像 目前支持ImageStore类型镜像服务器 6. 管理节点高可用 多网络配置 7. 跨Ceph存储数据迁移 8. 增强Ceph存储功能 9. 增强VDI功能 10.LDAP自定义过滤规则 11.增强裸机管理 12.单集群支持多类型主存储 目前支持本地存储+NFS/SMP类型 13.更换License支持本地上传 14.共享存储指定存储网络 增强云主机高可用 15.多个场景新增进度条 操作助手和帮助文档 优化UI交互 16.优化部分业务逻辑 /08/14主要更新 1. VDI 2. 裸机管理 3. GPU透传 4. 智能报警 5. 集群挂载多个主存储 6. 新版定时器 7. 静态路由 4

11 运维手册 / 1 引言 8. User Data导入 9. 云路由加载多个公有网络 10.增量升级 11.优化部分业务逻辑 5

12 运维手册 / 2 概述 2 概述 产品概述 ZStack是下一代开源的云计算IaaS 基础架构即服务 软件 它主要面向未来的智能数据中心 通 过提供灵活完善的APIs来管理包括计算 存储和网络在内的数据中心资源 用户可以利用ZStack快 速构建自己的智能云数据中心 也可以在稳定的ZStack之上搭建灵活的云应用场景 例如VDI 虚 拟桌面基础架构 PaaS 平台即服务 SaaS 软件及服务 等 图 1: 系统架构示意图 6

13 运维手册 / 2 概述 产品功能 ZStack作为产品级私有云平台 提供了对用户数据中心的计算 存储 网络等资源的管理和调度 用户使用ZStack可以快速配置私有云环境 并快速创建云主机 分配云盘和自动配置云主机网络 7

14 运维手册 / 2 概述 ZStack企业版功能列表 类别 特性 ZStack企业版 用户可以根据实际情况创建并管理多个区域 一般情况下可将 区域 管理多个区域 一个物理数据中心归为一个Zone来管理 用户根据不同的业 务需求 每个Zone内建立自己独立的集群 主存储 网络等 资源 支持对现有数据中心中的VMware虚拟化环境进行管理 能够 查看VMware vcenter Server所管理的vSphere服务器资源和 管理vCenter 虚拟机资源 能够在虚拟数据中心中使用VMware vsphere资 源 并在VMware vcenter集群中完成对云主机的常用操作 支持以vCenter为单元对其下资源进行数据同步 保证信息一 致 支持云主机的创建 启动 停止 迁移 克隆 重启 暂停 ESXi云主机 恢复 关闭电源 修改计算规格 设置高可用 打开控制台 设置控制台密码 删除等全生命周期管理及常用功能 vcenter 支持创建云路由网络和扁平网络 云路由网络支持所 网络 有ZStack网络服务 支持vSwitch/dvSwitch 存储 支持按datastore区分主存储和镜像服务器 镜像 支持添加 启用 停用 删除镜像 物理机 云盘 存储架构 物理主机 集群 云主机 集群功能 支持维护模式 支持云盘的创建 删除 加载 卸载 集群内使用同构存储服务 存储服务挂载到集群 提供云主机 高可用 集群内管理物理主机 集群内管理云主机 提供高可用特性 支持VLAN VXLAN网络加载到集群并统一管理 提供网络自 网络服务 助服务 IP池管理和弹性网络 支持集群指定迁移网络 支 持定义集群的CPU模式 物理主机 8 虚拟化 支持KVM虚拟化技术 支持VMware虚拟化

15 运维手册 / 2 概述 类别 特性 ZStack企业版 支持使用最新英特尔 至强 可扩展处理器 例如支持部 署在DELL EMC R740 14代服务器上 进一步提升平台稳 ZS-OS升级至7.4 定性 初装用户推荐安装c74 ISO 资源设定超分 嵌套虚拟化 实时监控 停用与启用 维护模式 支持CPU 内存和存储空间设定超分比例 适应云环境资源 使用 支持KVM/ESXi嵌套虚拟化 云主机内部开启CPU硬件虚拟化 功能 采集物理主机的CPU 内存 存储和网络运行数据 提供图 形可视化 对物理主机设定可用属性 以便停止在该物理主机上创建云主 机 对物理主机设定维护状态 设定维护模式后 物理主机上的云 主机将会迁移 共享存储 通过PXE技术 使管理员自动化完成对新上线物理裸机的 裸机管理 批量部署 支持对裸机进行远程电源管理 支持VNC无人值守模式 GPU透传 支持物理机GPU设备透传 让云主机拥有高性能计算和图形 处理能力 USB透传 支持USB透传 满足多种USB应用场景 操作日志 展示物理主机执行任务的事件审计 批量操作 批量管理云主机 创建云主机 云主机生命周期 云主机 云主机控制台 提供多种策略创建云主机 高效利用资源 支持创建 停止 启动 重启 关闭电源 删除 暂停 恢复 等基本生命周期控制 用户可通过终端方式访问云主机 而不依赖云主机远程工 具 支持控制台设置密码 在云主机运行过程中进行快照 云主机快照 在线快照 支持ImageStore/Ceph/FusionStor类型的镜像 服务器 9

16 运维手册 / 2 概述 类别 特性 ZStack企业版 关机快照 支持ImageStore/Sftp/Ceph/FusionStor类型的 镜像服务器 云盘在线快照 在使用云盘的过程中进行快照 云主机在线修改密码 支持Windows/Linux的云主机在线修改密码 云主机在线创建镜像 运行中的云主机在线创建镜像 云主机QGA开关 云主机RDP模式开关 灵活控制qemu guest agent的状态 针对VDI用户界面 启用后默认以RDP模式打开控制台 云主机显卡切换 支持选择云主机显卡类型 qxl cirrus vga 云主机显卡透传 支持英伟达和AMD GPU设备透传给云主机 User Data导入 支持创建云主机时导入User Data 基于云主机快速克隆若干个云主机 云主机克隆 在线克隆 支持ImageStore/Ceph类型的镜像服务器 关机克隆 支持ImageStore/Ceph类型的镜像服务器 更换系统盘 支持云主机关机状态下修改操作系统 重置云主机 支持恢复云主机状态为模板初始状态 根云盘扩容 基于ISO部署 支持在线/关机状态下的云主机根云盘扩容 方便修改云主机 配置 基于ISO系统光盘部署云主机 引导安装系统 允许一个云主机加载多个ISO 提升业务部署效率 基于模板部署 基于系统模板创建云主机 制作镜像模板 基于当前某个云主机制作模板 云主机运行中在线创建镜像 在线创建镜像 支持ImageStore/Ceph类型的镜像服务 创建镜像 器 关机创建镜像 支持ImageStore/Sftp/Ceph/FusionStor类 型的镜像服务器 自定义MAC地址 云主机启动顺序 10 支持创建云主机时指定MAC地址 支持云主机修改MAC地址 调整云主机的启动顺序 用于切换ISO引导

17 运维手册 / 2 概述 类别 特性 动态加载 卸载云盘 动态加载 卸载网卡 共享云盘 实时性能监控 高可用特性 在线修改云 主机CPU/内存 实时更新云 盘和网络QoS SSH密钥注入 自定义计算规格 自定义标签 资源删除保护 冷迁移 在线迁移 存储迁移 操作日志 ZStack企业版 云主机可动态加载和卸载云盘 支持优化驱动模型 支 持SCSI WWN号唯一识别 云主机可动态加载和卸载网卡 支持设置默认网卡 支持Ceph存储下多云主机共享使用同一数据云盘 采集云主机的CPU 内存 存储和网络运行数据 提供图形 可视化 物理主机故障 云主机自动重启 支持在线修改云主机配置 不用重启VM 提供云盘和网络的限速能力 避免单个云主机占用过量资源 支持Linux和BSD操作系统SSH密钥注入 支持创建和删除秘 钥 支持自定义计算规格 满足各种应用资源消耗特性 支持自定义标签 满足查询和编写定时任务 云资源删除后 将移入回收站 提供恢复和确认销毁 支持本地主存储类型上的云主机进行关机状态迁移 支持所有主存储类型上的云主机进行在线迁移 目前支持多NFS主存储之间的云主机跨存储设备冷迁移 以及 多Ceph主存储之间的云主机跨存储设备冷迁移 展示云主机操作过程的事件审计 Windows系统性能优化 提供Windows云主机性能优化加速 USB重定向 云盘 云盘管理 云盘规格 云盘规格管理 计算规格 计算规格管理 镜像管理 系统模板 支持将VDI客户端USB设备重定向至云主机 支持云盘的创建 启用 停用 加载 卸载 迁移 创建快 照 创建镜像 扩容 更改所有者 存储迁移 删除 支持云盘规格的创建 启用 停用 全局共享 全局召回 云 盘规格QoS 删除 支持计算规格的创建 启用 停用 磁盘QoS 网络QoS 全 局共享 全局召回 删除 支持系统模板 支持QCOW2和RAW格式 自动匹配镜像类 型 11

18 运维手册 / 2 概述 类别 特性 ISO镜像 ZStack企业版 支持ISO镜像 支持从ISO镜像引导云主机 系统镜像上传 支持URL上传和本地浏览器上传 云盘镜像上传 支持URL上传和本地浏览器上传 镜像迁移 支持Ceph主存储上的镜像跨存储设备迁移 支持NFS主存储 上的镜像跨存储设备迁移 镜像存放 存放镜像数据 包括ISO和系统模板 镜像导出 支持镜像导出下载链接 镜像同步 支持镜像仓库间的镜像互传 可以跨区域使用 标准系统镜像 支持标准的系统 支持Windows 红帽 Ubuntu和其他开 源Linux系统 支持众多的软件运行环境 支持Windows IIS和Dot Net Framework运行环境 支持Linux Tomcat JAVA Apache 镜像仓库 预设运行镜像 Web Jboss PHP Node JS Golang Python等语言和运 行环境 支持数据库Oracle MySQL Postgres Mongodb Influxdb Cassandra和Redis等数据库服务 支持广泛的应 用中间件 支持众多的应用系统 论坛BBS 社交SNS 博客Blog 微博 预设应用镜像 的常用应用系统 支持phpmyadmin等运维管理应用 支持厂 商提供的应用镜像 支持管理员根据标准系统镜像和预设运行镜像 定义满足自身 自定义镜像 业务系统运行环境的镜像 以增量方式保存镜像内容 并实现 智能去重功能 存储支持 与本地存储 NFS SMP Ceph类型的主存储无缝支持 本地存储 支持云盘存放到物理机本地 支持云盘存放到NFS协议存储 物理主机共享访问 NFS存储 存储管理 共享文件系统管理节点高可用方案 支持指定存储网络 支持存储网络和管理网络分离 增强 云主机高可用 支持云盘存放到POSIX兼容的共享存储 支持iSCSI/FC存 共享挂载存储 储 共享文件系统管理节点高可用方案 12

19 运维手册 / 2 概述 类别 特性 ZStack企业版 支持指定存储网络 支持存储网络和管理网络分离 增强 云主机高可用 支持共享云盘 超融合管理节点高可用方案 支持指定不同性能的磁盘卷创建云盘 Ceph存储 支持云盘存放到Ceph分布式存储 支持数据冷迁移 支持指定存储网络 支持存储网络和管理网络分离 增强 云主机高可用 支持创建Ceph pool 并设置显示名 支持云盘存放到FusionStor分布式存储 FusionStor存储 支持指定存储网络 支持存储网络和管理网络分离 增强 云主机高可用 多主存储支持 VLAN二层隔离 VXLAN网络 网络管理 支持同一集群挂载多个主存储 包括 多个本地存储 多 个NFS存储 一个本地存储和一个NFS/SMP 支持VLAN 802.1q作为网络隔离手段 支持VXLAN网络 有效解决云数据中心逻辑网段不足 上层 交换机MAC地址溢出等问题 支持云主机的跨地域迁移 分布式扁平网络 支持云主机直接使用真实网络IP资源 分布式弹性网络 支持云主机使用虚拟网络地址 与真实网络映射 分布式DHCP服务 支持云主机自动获取分配的IP地址 网络地址空间预留 支持预留网络地址空间 以便与物理网络混合使用 动态和静态分配IP 支持动态分配IP地址 支持指定使用某个IP地址 多级网络管理 支持云主机接入多个网络 构建复杂场景的业务 虚拟IP的QoS设置 MTU 支持对虚拟IP做QoS限制 对网络服务的高效分配管理 自定义限制网络传输数据包的大小 支持创建VPC路由器的全生命周期管理 包括 创建 删除 VPC路由器 修改 VPC网络的加载/卸载 东西向流量的设置 云路由网 络的所有网络服务 VPC网络 支持创建VPC网络 添加网络段 添加DNS 加载/卸载VPC 路由器 删除 13

20 运维手册 / 2 概述 类别 特性 公有网络 系统网络 ZStack企业版 支持创建云主机 支持为网络服务提供虚拟IP 可作为管理网络 存储网络 迁移网络等使用 支持基于云路由的弹性IP 支持基于云路由的端口转发 支持基于云路由的外部负载均衡以及内部访问业务流量的 负载均衡 云路由网络 支持基于云路由的IPsec隧道服务 支持多个弹性IP绑定同一个云主机网卡 支持一个云路由器接多个公有网络 支持配置静态路由表 支持分布式DHCP提升服务性能 网络拓扑 定时任务 自定义选择资源展示拓扑图 定时对象 支持云主机 云盘的定时操作 定时操作 可对云主机关闭/重启 云盘快照等设置定时操作 三层安全策略 安全管理 全局网络拓扑查看 支持高亮显示 安全组统一管理 性能TOP5 支持基于TCP/UDP端口的安全策略 支持安全组统一管理云主机安全策略 实现组内互通 组间策 略 支持物理机 云主机 路由器 虚拟IP 三层网络等多种资源 排序 并可自定义不同时间段查看 支持自定义时间段查看 指定资源范围 对云主机CPU使用 云主机性能统计 性 卡出速度 网卡入包率 网卡出包率 网卡入错误速率 网卡 出错误速率进行过滤分析排序 能TOP5 支持自定义时间段查看 指定资源范围 对路由器CPU使用 和性 能分析 率 内存使用率 磁盘读速度 磁盘写速度 网卡入速度 网 路由器性能分析 率 内存使用率 磁盘读速度 磁盘写速度 网卡入速度 网 卡出速度 网卡入包率 网卡出包率 网卡入错误速率 网卡 出错误速率进行过滤分析排序 支持自定义时间段查看 指定资源范围 对物理机CPU使用 物理主机性能统计 率 内存使用率 磁盘读速度 磁盘写速度 磁盘读IOPS 磁盘写IOPS 磁盘已用量百分比 网卡入速度 网卡出速 14

21 运维手册 / 2 概述 类别 特性 ZStack企业版 度 网卡入包率 网卡出包率 网卡入错误速率 网卡出错误 速率进行过滤分析排序 三层网络性能分析 支持自定义时间段查看 指定资源范围 对三层网络已用IP 数 已用IP百分比 可用IP数 可用IP百分比行过滤分析排序 支持自定义时间段查看 指定资源范围 对虚拟IP的下行网络 虚拟IP性能分析 流量 下行网络入包速率 上行网络流量 上行网络入包速率 进行过滤分析排序 镜像服务器性能分析 物理主机监控 云主机监控 支持自定义时间段查看 指定资源范围 对镜像服务器的可用 容量百分比进行过滤分析排序 对物理主机运行实时监控 显示CPU 内存 磁盘和网络时 序监控图 对云主机运行实时监控 显示CPU 内存 磁盘和网络时序 监控图 支持对系统时序数据进行监控 例如云主机内存使用率 ZWatch 监控 物理机CPU使用率等 支持对系统事件进行监控 例如云主机状态变化事件 物 理机失联事件等 报警 多接收端 对时序性数据和事件设置报警器 并通过SNS通知系统接收报 警信息 支持邮件/钉钉/HTTP POST方式接收报警信息 支持邮件/钉钉/HTTP应用等多种接收端 支持ZStack所有资源的审计查询 用户能对该资源的所有 操作行为审计 有效保障用户在云环境下核心数据的安全 审计 资源审计 支持查看调用API名称 消耗时间 任务结果 操作员 任 务创建/完成时间 以及API行为的消息详情 且支持csv格 式导出 支持查看操作描述 任务结果 操作员 登录IP 任务创 操作日志 操作日志 建/完成时间 以及操作返回的消息详情 实现更细粒度管 理 且支持csv格式导出 账户和用户管理 账户管理 AD/LDAP账户 账户管理功能 分为账户和用户 其中账户是资源计量团 体 用户可定义操作权限 支持添加AD/LDAP账户 并绑定普通账户 支持自定义清除规则 15

22 运维手册 / 2 概述 类别 特性 ZStack企业版 支持自定义分配账户最大可用资源 包括云主机运行数 账户云资源配额 量 CPU 内存 云盘数量 云盘总容量 镜像数量 镜像 总容量 弹性IP数量等 用户组权限分配 支持用户组权限分配 统一编排用户权限 用户操作权限分配 支持对用户进行权限分配 云主机更改所有者 支持变更云主机所有者 指定云主机所属账户 云盘更改所有者 支持变更云盘所有者 指定云盘所属账户 计算规格指定分配 支持计算规格共享特性 可指定账户是否可使用 镜像资源指定分配 支持镜像资源共享特性 可指定账户是否可使用 云盘规格指定分配 支持云盘规格共享特性 可指定账户是否可使用 网络资源指定分配 支持网络资源共享特性 可指定账户是否可使用 管理员可以直接在UI上对很多特性进行全局配置 全局配置 所有的全局配置都有一个默认值 更新全局配置并不需要重启管理节点 修改admin账户密码 忘记admin账户的登录密码 可以使用zstack-ctl reset_p assword还原默认值 支持自定义CPU 内存 系统云盘和数据云盘的计费单 自定义计费单价 价 其计费单价支持秒 分 小时和天 支持删除某时段的计 费设置 计费 基于账户计费 基于账户进行计费 统计账户各项目消费情况 灵活计费单价 动态可调的计费单价 满足周期性促销需求 TUI 支持常用运维操作 定制化OS界面 支持以HTTP/HTTPS方式访问图形界面的云管理平台 账 图形界面 登录访问 访问 命令行 API接口 操作助手 16 户 用户名密码方式或AD/LDAP方式 和用户支持图形界面 智能提示 支持通过命令行方式访问云管理平台 命令行支持全功能访 问 账户和用户支持命令行登录访问 支持全功能的API交付 API支持消息总线访问和HTTP接口访 问 对ZStack的核心操作给出智能的环境检查和操作指导

23 运维手册 / 2 概述 类别 特性 亲和组 反亲和组 自定义产品信息 UI强化 ZStack企业版 目前提供针对云主机与物理机的两种亲和组策略 反亲和 组(非强制) 反亲和组(强制) 从而合理调度平台资源 对UI上的产品Logo和产品名称等进行自定义 首页大屏 华丽大屏展示平台整体情况 加密访问 支持HTTPS安全访问登录平台 过程展示 增加多个场景进度条 通过定制客户端 支持SPICE RDP VNC等协议 并进 行了优化 支持指定VDI网络 VDI 解决方案 支持USB重定向 兼容多种USB设备 支持设置独立VDI网络 支持多屏显示 支持麦克风 支持SPICE流量优化 UI导航 UI信 息导出 license 快速入口 列表信息csv导出 更换license/到期提醒 增加快速进入产品与服务的入口 并支持高亮标注 导出云主机和物理机主列表的信息 离线管理便于图表编辑 支持本地浏览器上传license license到期提醒 支持基于Ceph的超融合场景 管理节点 管理节点高可用 支持基于NFS SMP的共享文件系统场景 支持多网络灵活配置 安装 升级 一键安装 一条命令 30分钟完成从裸机到云平台的安装部署 无缝升级 ZStack支持低版本至高版本的无缝升级 差量升级 支持差量升级 大幅提高升级速度 环境升级 可以指定只升级部署环境 通过专家模式自定义安装升级 17

24 运维手册 / 3 系统架构 3 系统架构 ZStack作为新一代产品级私有云管理平台 通过提供灵活完善的APIs来管理包括计算 存储和网络在内 的数据中心各种资源 3.1 ZStack功能架构 ZStack功能架构如图 2: ZStack功能架构所示 图 2: ZStack功能架构 ZStack提供了对企业数据中心基础设施的计算 存储 网络等资源的管理 底层支持KVM 和VMware虚拟化技术 支持DAS/NAS/SAN/DFS等存储类型 支持本地存储 NFS存储 SAN存 储 分布式块存储 支持VLAN/VXLAN等网络模型 ZStack的核心云引擎 使用消息总线RabbitMQ同数据库MariaDB及各服务模块进行通信 提供了云 主机管理 物理机管控 存储调度 网络功能 账号计费 实时监控等功能 ZStack还提供了Java 和Python的SDK 且支持RESTful APIs进行资源调度管理 基于ZStack打造的专有云管理平台充分 体现专有云的4S优势 即 简单Simple 健壮Strong 弹性Scalable 智能Smart ZStack核心架构设计特点 1. 全异步架构 异步消息 异步方法 异步HTTP调用 ZStack使用消息总线RabbitMQ进行各服务的通信连接 在调用服务时 源服务发消息给目的 服务 并注册一个回调函数 然后立即返回 一旦目的服务完成任务 就会触发回调函数回 复任务结果 异步消息可以并行处理 ZStack服务之间采用异步消息进行通信 对于服务内部 一系列相关组件或插件 也是通过 异步方法来调用 调用方法与异步消息一致 18

25 运维手册 / 3 系统架构 ZStack采用的插件机制 给每个插件设置相应的代理程序 ZStack为每个请求设置了回 调URL在HTTP的包头 任务结束后 代理程序会发送应答给调用者的URL 基于异步消息 异步方法 异步HTTP调用这三种方式 ZStack构建了一个分层架构 保证了 所有组件均能实现异步操作 基于全异步架构机制 单管理节点的ZStack每秒可并发处理上万条API请求 还可同时管理上 万台服务器和数十万台云主机 2. 无状态服务 单次请求不依赖其他请求 ZStack的计算节点代理 存储代理 网络服务 控制台代理服务 配置服务等 均不依赖其 他请求 一次请求可包含所有信息 相关节点无须维护存储任何信息 ZStack使用一致性哈希环对管理节点 计算节点或者其他资源以UUID为唯一ID进行认证的哈 希环处理 消息发送者无需知道待处理消息的服务实例 服务也无须维护 交换相关的资源 信息 服务只需单纯的处理消息即可 ZStack管理节点间共享的信息非常少 两个管理节点即可满足高可用性和可扩展性需求 无状态服务机制让系统更为健壮 重启服务器不会丢失任何状态信息 数据中心的弹性扩展 和伸缩性维护更为简单 3. 无锁架构 一致性哈希算法 一致性哈希算法保证了同一资源的所有消息均被同一个服务实例来处理 这种聚合消息到特 定节点的方法 降低了同步与并行的复杂度 ZStack使用工作队列来避免竞争锁的问题 串行任务以工作队列的方式保存在内存中 工作 队列可对任意资源的任意操作进行并行处理来提高系统并行度 ZStack基于队列的无锁架构 使得任务可以简单地控制并行度 从而提升系统性能 4. 进程内微服务 微服务解耦 ZStack使用消息总线对各服务进行隔离控制 例如 云主机服务 身份认证服务 快照服 务 云盘服务 网络服务 存储服务等 所有的微服务都集合在管理节点的进程内 各服务 之间利用消息总线进行交互 所有消息发送到消息总线后 再通过一致性哈希环选择目的服 务进行转发处理 进程内微服务 以星状架构实现各服务独立运行 将高度集中的控制业务进行解耦 实现了 系统的高度自治和高度隔离 任何服务出现故障并不影响其他组件 可靠性与稳定性得到有 效保障 5. 全插件结构 插件支持横向扩展 19

26 运维手册 / 3 系统架构 ZStack使用中任何新加入的插件对目前其他的插件没有任何影响 均是独立自主提供服务 ZStack支持策略模式和观察者模式进行插件设计 策略插件会继承父类的接口然后执行具体 实现 观察者插件 会注册listener进行监控内部的业务逻辑的事件变化 当应用内部发现事 件时 插件会对此事件做出自响应 在插件自身的代码里执行相应的业务流 ZStack支持插件的横向扩展 云平台可以快速更迭 而整体系统架构依然健壮 6. 工作流引擎 顺序管理 出错回滚 ZStack工作流基于XML对每个工作流程进行清晰定义 在任何步骤出现错误均可按照原本执 行路径进行回滚 清理掉执行过程的垃圾资源 每个工作流还可以包含子工作流用于扩展业务逻辑 7. 标签系统 支持业务逻辑变更 增加资源属性 ZStack支持利用系统标签和插件机制对原本的业务逻辑进行扩展变更 使用标签机制 可对资源进行分组划分 支持对指定标签进行资源搜索 8. 瀑布流架构 支持资源的级联操作 ZStack使用Cascade Framework对资源管理进行瀑布状的级联操作 对资源进行卸载或者删 除时 会对相关的资源进行级联操作 资源也可以通过插件形式加入到瀑布框架中 加入或者退出瀑布框架 并不影响其他资源 级联机制使得ZStack的配置灵活轻便 快速满足客户资源配置的变更 9. 全自动化Ansible部署 Ansible无代理自动部署 ZStack使用Ansible进行无代理的全自动化安装依赖 配置物理资源 部署代理程序 全过程 对用户透明 无须额外干预 可透过重连代理程序对代理进行升级 10.全API查询 任意资源的任意属性均可查询 ZStack支持数百万个条件的资源查询 支持全API查询 支持任意组合 3.2 ZStack资源结构 ZStack在本质上是云资源的配置管理系统 ZStack管理的相关资源在结构上如图 3: ZStack资源结 构所示 图 3: ZStack资源结构 20

27 运维手册 / 3 系统架构 ZStack主要包括以下资源 区域 ZStack中最大的一个资源定义 包括集群 二层网络 主存储等资源 集群 一组物理机 计算节点 的逻辑集合 物理机 也称之为计算节点 主要为云主机实例提供计算 网络 存储等资源的物理服务器 主存储 用于存储云主机磁盘文件 包括 根云盘 数据云盘 根云盘快照 数据云盘快照 镜 像缓存等 的存储服务器 支持本地存储 NFS Shared Mount Point Ceph FusionStor类 型 镜像服务器 用于保存镜像模板的存储服务器 支持镜像仓库 Sftp Ceph FusionStor类型 VXLAN Pool VXLAN网络中的Underlay网络 一个 VXLAN Pool可以创建多个VXLAN Overlay 网络 这些Overlay网络运行在同一组Underlay网络设施上 二层网络 对应于一个二层广播域 进行二层相关的隔离 一般用物理网络的设备名称标识 支 持 L2NoVLANNetwork L2VLANNetwork VXLANNetwork类型 三层网络 云主机使用的网络配置 包含了IP地址范围 网关 DNS 网络服务等 计算规格 云主机的CPU 内存 磁盘带宽 网络带宽的数量或大小规格定义 云盘规格 云主机使用的云盘的大小规格定义 云主机 运行在物理机上的虚拟机实例 具有独立的IP地址 可以访问公共网络 运行应用服 务 是ZStack的核心组成部分 21

28 运维手册 / 3 系统架构 镜像 云主机或云盘所使用的镜像模板文件 镜像模板包括系统云盘镜像和数据云盘镜像 其中 系统云盘镜像支持ISO和Image类型 数据云盘镜像支持Image类型 根云盘 安装云主机操作系统的磁盘 用于支撑云主机的系统运行 数据云盘 为云主机提供了额外的存储空间 用于云主机的存储扩展 快照 采用增量机制对云盘在特定时间点上的数据进行备份 网络服务模块 用于提供网络服务的模块 在UI界面已隐藏 网络服务 给云主机提供的各种网络服务 主要包括安全组 虚拟IP 弹性IP 端口转发 负载 均衡 IPsec隧道等 安全组 给云主机提供三层网络防火墙控制 云路由规格 指定云路由器使用的CPU 内存 云路由镜像 管理网络 公有网络等资源定义 云路由器 为云主机提供分布式DHCP DNS SNAT 弹性IP 端口转发 负载均衡 IPsec隧 道 安全组等各种网络服务的定制云主机 VPC路由器 基于云路由规格直接创建的路由器 拥有公有网络和管理网络 是VPC的核心 公 有网络作为默认网络 用于提供各种网络服务 包括 DHCP DNS SNAT 弹性IP 端口转 发 负载均衡 IPsec隧道 安全组等 ZStack资源间存在以下关系 父子关系 一个资源可以是另一个资源的父亲或孩子 例如集群和物理机 物理机和云主机 兄弟关系 拥有同样父资源的资源为兄弟关系 例如集群和二层网络 集群和主存储 祖先和后裔关系 一个资源可以是另一个资源的直系祖先或者直系后裔 例如集群和云主机 区 域和物理机 朋友关系 一些资源与资源之间没有以上三种关系 但是这些资源在某些情境下需要分工合 作 这时它们是朋友关系 例如主存储和镜像服务器 区域和镜像服务器 注: 主存储和镜像服务器的关系为 创建VM时 主存储会从镜像服务器下载复制云主机的镜像模板文件作为缓存 创建镜像时 主存储会将根云盘拷贝到镜像服务器保存为模板 ZStack资源均含有以下基本属性 UUID 通用唯一识别码UUIDv4 Universally Unique Identifier 来唯一标识一个资源 名称 用于标记资源的可读字符串 名称可以重复 一般为必选项 描述 也称之为简介 用于概述资源 可选项 创建日期 资源创建的日期 22

29 运维手册 / 3 系统架构 上次操作日期 资源上次被更新的时间 ZStack资源一般都支持CRUD操作 创建 创建或者添加新的资源 查询 读取查询资源信息 更新 更新资源信息 删除 删除资源 ZStack使用的瀑布框架级联机制 使得父资源被删除后 相关子资源和后裔资 源均会被删除 23

30 运维手册 / 4 网络配置 4 网络配置 ZStack支持复杂的网络场景 根据业务需求和实际环境 下面列出了几种常见的网络架构 1. 本地存储+扁平网络架构 其架构如图 4: 本地存储 +扁平网络所示 此架构支持以下特性 物理机使用本地存储来存储云主机的系统盘和数据盘 云主机数据保护需要依赖物理机的RAID阵列技术 物理机和云主机在同一个二层网络 云主机IP可与物理机IP互通 支持分布式DHCP 分布式弹性IP Userdata服务 云主机在线迁移受限 成本低廉 并发性能高 适用于软件开发测试环境 应用层可提供高可用的场景 图 4: 本地存储 +扁平网络 管理网络 负责管理各计算节点及存储节点资源的网络 图示的em01即为管理节点使用的网卡 是管理节点用于和计算节点及镜像服务器通信的网络 数据网络 给云主机使用的网络 图示的em02即为创建云主机使用的网络 云主机的网络如果设置与物理机同一网段 就可以与物 理机互通 IP互通时 注意IP段不可重叠 可以设置VLAN或VXLAN进行二层隔离 网络隔离后 云主机只能在私网内使用 无法直接访问外 部网络 需要使用弹性IP机制来实现网络互通 镜像服务器 镜像服务器可以使用单独的服务器提供服务 在小型的数据中心 也可与管理节点使用同一台机器 2. NAS/SAN +云路由网络架构 其架构如图 5: NAS/SAN +云路由网络所示 此架构支持以下特性 云主机数据存放在集中存储 云盘数据通过存储双控和RAID技术提供保护 需要准备存储网络 准备集中存储 建议万兆以上网络 云主机受高可用保护 添加到ZStack时 可添加为NFS或Shared Mount Point主存储 构建了存储网 云主机支持高可用 数据支持安全保护 IO性能有瓶颈 建议8 10计算节点共用 一个存储 使用云路由器提供DNS SNAT 弹性IP 端口转发 负载均衡 IPsec 安全组等网络服务 支持分布式DHCP网络 24

31 运维手册 / 4 网络配置 需要一定的投资 适用于传统应用 应用数据紧密 SLA高可用保证 数据安全场景 图 5: NAS/SAN +云路由网络 管理网络 负责管理各计算节点及存储节点资源的网络 图示的em01即为管理节点使用的网卡 是管理节点用于和计算节点及镜像服务器通信的网络 数据网络 同一个物理接线通过VLAN设置为公有网络和私有网络 其中公有网络为不带VLAN的em02 可以访问互联网 私有网络为VLAN编号为10的em02 交换 机端需设置Trunk模式 云主机可以通过云路由器访问互联网 云路由网络使用云路由器来提供各 种网络服务 云路由器的网络默认IP为公有网络的IP地址 注: 如果物理机网卡较少 管理网络和数据网络可以合并为同一个网络 存储网络 用于提供NAS/SAN存储的网络 建议使用万兆以太网或FC 加速存储访问 图示使用的是em03来专门提供存储网络流量的访问 镜像服务器 镜像服务器可以使用单独的服务器提供服务 在小型的数据中心 也可与管理节点使用同一台机器 3. Ceph+VXLAN云路由网络架构 其架构如图 6: Ceph + VXLAN云路由网络所示 此架构支持以下特性 云主机数据存放在分布式存储 数据通过多副本和纠删码机制提供保护 需要准备存储网络 云主机受高可用保护 Ceph主存储和Ceph镜像服务器使用同一套分布式存储 构建了存储网 云主机支持高可用 数据支持多副本 计算和存储都可以横向扩展 使用VXLAN的VTEP提供二层逻辑子网 VXLAN Underlay网络供云主机访问 使用云路由器提供DNS SNAT 弹性IP 端口转发 负载均衡 IPsec 安全组等网络服务 支持分布式DHCP网络 适用于租用平台 通用型应用 应用数据紧密 SLA高可用保证 大规模环境 图 6: Ceph + VXLAN云路由网络 25

32 运维手册 / 4 网络配置 管理网络 负责管理各计算节点及存储节点资源的网络 图示的em01即为管理节点使用的网卡 是与计算节点和分布式存储通信的网络 公有网络 可以访问外部互联网的网络 云主机可以通过云路由器访问互联网 云路由网络使用云路由器来提供各种网络服务 云路由器的 网络默认IP为公有网络的IP地址 图示使用的em02来提供公有网络服务 如果网卡不足 也可将管理网络和公有网络合并为一个网 络使用 VXLAN Underlay网络 给云主机使用的VXLAN Underlay私有网络 基于三层IP地址的二层逻辑网络 例如图示采用的是 x/24的VTEP来提供VNI为201的私 有网络 存储网络 用于提供分布式块存储的网络 用于提供分布式块存储的网络 建议使用万兆以太网或FC 加速存储访问 例如图示的em03的存储网络 Ceph分布式存储至少需要有一个Mon IP可与管理网络互通 4. Ceph+VPC网络架构 其架构如图 7: Ceph + VPC网络所示 此架构支持以下特性 云主机数据存放在分布式存储 数据通过多副本和纠删码机制提供保护 需要准备存储网络 云主机受高可用保护 Ceph主存储和Ceph镜像服务器使用同一套分布式存储 构建了存储网 云主机支持高可用 数据支持多副本 计算和存储都可以横向扩展 使用VPC路由器提供DNS SNAT 弹性IP 端口转发 负载均衡 IPsec 安全组等网络服务 支持分布式DHCP网络 适用于租用平台 通用型应用 应用数据紧密 SLA高可用保证 大规模环境 图 7: Ceph + VPC网络 26

33 运维手册 / 4 网络配置 管理网络 负责管理各计算节点及存储节点资源的网络 图示的em01即为管理节点使用的网卡 是管理节点用于和计算节点及镜像服务器通信的网络 数据网络 同一个物理接线通过VLAN设置为公有网络和私有网络 其中公有网络为不带VLAN的em02 可以访问互联网 私有网络 VPC网络 包括 VLAN编号 为10的em02 以及VLAN编号为20的em02 交换机端需设置Trunk模式 云主机可以通过VPC路 由器公有网络访问互联网 VPC网络使用VPC路由器来提供各种网络服务 VPC路由器的网络默 认IP为公有网络的IP地址 注: 如果物理机网卡较少 管理网络和数据网络可以合并为同一个网络 存储网络 用于提供分布式块存储的网络 用于提供分布式块存储的网络 建议使用万兆以太网或FC 加速存储访问 例如图示的em03的存储网络 Ceph分布式存储至少需要有一个Mon IP可与管理网络互通 27

34 运维手册 / 5 安装部署 5 安装部署 本章主要介绍ZStack企业版 2.4.0的安装/升级过程 5.1 环境准备 前提条件 安装/升级ZStack都必须使用ZStack定制版ISO 特性如下 1. ZStack定制版ISO提供以下两个版本 基于CentOS 7.2深度定制 ZStack-x86_64-DVD-2.3.x-c72.iso 基于CentOS 7.4深度定制 ZStack-x86_64-DVD-2.3.x-c74.iso 注: c72 ISO不支持英特尔新一代铂金/金/银/铜系列处理器 Intel Xeon Scalable Processors 如已部署ZStack 基于c72 ISO 可升级至最新版本 详情请参考基 于CentOS 7.2 升级章节 c74 ISO支持英特尔新一代铂金/金/银/铜系列处理器 Intel Xeon Scalable Processors 例如支持部署在DELL EMC R740 14代服务器上 如初次安 装ZStack 推荐安装c74 ISO 如已部署ZStack 基于c74 ISO 可升级至最新版 本 详情请参考基于CentOS 7.4 升级章节 2. 友好的TUI管理界面 支持多种系统配置 3. 安装ZStack无需连接外网 也无须配置yum源 就可以实现完全离线安装 4. 提供五种安装模式 企业版管理节点模式 社区版管理节点模式 计算节点模式 存储节点模 式 专家模式 用户按需选择即可 5. 取消了eth设置 采用系统默认的网卡命名规则 6. 默认选项 DATE&TIME为亚洲东八区 LANGUAGE为English(United States) KEYBOARD为English(US) 由于c72 ISO与c74 ISO的初始安装步骤基本相同 因此以初装c72 ISO为例进行介绍 操作步骤 1. 安装ZStack之前 请管理员准备好以下必要的软件包 以便安装部署过程顺利执行 ZStack定制版ISO 文件名称 ZStack-x86_64-DVD-2.3.x-c72.iso 28

35 运维手册 / 5 安装部署 下载地址 点击这里 ZStack安装包 文件名称 ZStack-installer-2.3.x.bin 下载地址 点击这里 注: 软件下载后 需通过MD5校验工具核对校验码 以确保软件完整无损 2. 使用UltraISO 将此ISO镜像刻录到U盘 a) 在UltraISO打开ISO镜像 打开UltraISO 点击文件按钮 选择打开已下载好的ISO镜像文件 如图 8: 在UltraISO打 开ISO镜像所示 图 8: 在UltraISO打开ISO镜像 b) 写入硬盘镜像 在UltraISO 点击启动 > 写入硬盘映像 如图 9: 在UItraISO写入硬盘映像所示 图 9: 在UItraISO写入硬盘映像 29

36 运维手册 / 5 安装部署 c) 在硬盘驱动器列表选择相应的U盘进行刻录 注: 如果系统只插了一个U盘 则默认以此U盘进行刻录和写入 在刻录前 注意备份U 盘之前的内容 其他选项 按照默认设置 无须额外配置 点击写入 如图 10: 在UltraISO确认写入ISO镜像所示 图 10: 在UltraISO确认写入ISO镜像 30

37 运维手册 / 5 安装部署 d) 在新界面中点击是进行确认 UltraISO将会把ISO镜像刻录到U盘 e) 此时U盘可用来作为启动盘 支持Legacy模式和UEFI模式引导 3. 安装操作系统 a) 管理员需要预先在服务器进行以下配置 确认服务器内硬盘的数据已作备份 安装过程会覆盖写入 进入BIOS 开启CPU VT选项 开启超线程HT选项 进入阵列卡配置合适的RAID级别 以提供一定的数据冗余特性 设置U盘为第一启动顺序 b) 以上设置完毕后 服务器重启或上电后 进入安装导航 31

38 运维手册 / 5 安装部署 如图 11: U盘引导界面所示 进入ISO引导安装界面 默认选择Install ZStack开始安装操作系 统 图 11: U盘引导界面 注: ZStack提供了三种安装方式 图形界面安装 通过VNC安装和字符界面安装 用户 可根据实际情况选择 ZStack建议图形界面安装是最好的选择 考虑到某些服务器是不带VGA接口的 只能通过串口连接 这时用户可以选择VNC 或者Text Mode c) 进入系统安装界面后 已经预先配置如下默认选项 一般情况下管理员无需更改配置 DATE&TIME 为亚洲东八区 LANGUAGE English(United States) KEYBOARD English(US) 如图 12: 系统安装界面所示 图 12: 系统安装界面 32

39 运维手册 / 5 安装部署 d) 选择安装模式 在系统安装界面 点击SOFTWARE SELECTION进入服务器安装模式候选 如图 13: 选择安 装模式所示 注: 有五种安装模式可供选择 1. ZStack Enterprise Management Node ZStack企业版管理节点模式 2. ZStack Community Management Node ZStack社区版管理节点模式 3. ZStack Compute Node ZStack计算节点模式 4. ZStack OCFS2 Storage Node ZStack OCFS2存储节点模式 5. ZStack Expert Node ZStack专家模式 在五种模式中 首次安装建议选择ZStack Enterprise Management Node 图 13: 选择安装模式 33

40 运维手册 / 5 安装部署 e) 配置硬盘分区 在系统安装界面 点击INSTALLATION DESTINATION进入硬盘分区配置界面 如图 14: 系 统预先默认设置 - 自动硬盘分区所示 图 14: 系统预先默认设置 - 自动硬盘分区 34

41 运维手册 / 5 安装部署 注: 安装系统时 建议只勾选系统盘需要使用的硬盘 其他硬盘如果有特殊用途 建议 不做勾选 系统预先默认设置 Automatically configure partitioning ZStack建议遵循默认设置 执 行自动硬盘分区 如果选择自定义手动分区 建议如下 分区模式有UEFI 模式和Legacy模式两种 应与BIOS设置的引导模式一致 UEFI 模式 /boot 创建分区 1GB /boot/efi 创建分区 500MB swap 交换分区 创建分区 32GB / 根分区 配置剩下容量 Legacy模式 /boot 创建分区 1GB swap 交换分区 创建分区 32GB / 根分区 配置剩下容量 35

42 运维手册 / 5 安装部署 以上数值为ZStack建议分区容量 硬盘总容量在300G以上 Legacy模式不支持单盘容量大于2T 而UEFI模式没有此限制 且还支持GPT分区 因 此ZStack推荐手动分区用户采用UEFI模式来分区 如图 15: 手动分区推荐UEFI模式所示 图 15: 手动分区推荐UEFI模式 f) 配置网络 1. 配置网卡 在系统安装界面 点击NETWORK & HOST NAME进入网卡配置主界面 如图 16: 网卡配 置主界面所示 1. 选中待配置网卡 如eth0 2. 开启网卡 选择On 3. 查看获取的DHCP地址 图 16: 网卡配置主界面 36

43 运维手册 / 5 安装部署 2. 网卡归一化(可选) 如果在实际生产环境中安装部署ZStack 建议进行网卡归一化配置 网卡归一化可进一步 提高网络带宽以及网络可靠性 详细配置步骤请参考网卡归一化(可选)章节 如果仅POC测试可选择跳过网卡归一化配置 直接进行以下步骤即可 3. 如果eth0无法获取DHCP地址 需手动配置eth0的静态地址 a. 在图 16: 网卡配置主界面 选中Ethernet eth0 点击Configure... 打开eth0配置 界面 如图 17: 配置eth0静态IP所示 b. 进入eth0的IPv4 Settings选项页 c. 在Method列表选择Manual以进行手动配置 d. 点击Add增加新的配置条目 e. 根据实际情况配置网卡地址信息 f. 点击Save保存 图 17: 配置eth0静态IP 37

44 运维手册 / 5 安装部署 4. 设置eth0自动连接 a. 在图 16: 网卡配置主界面 选中Ethernet eth0 点击Configure... 打开eth0配置 界面 如图 18: 设置eth0自动连接所示 b. 进入General选项页 c. 确认已勾选Automatically connect to this network when it is available d. 点击Save保存 图 18: 设置eth0自动连接 38

45 运维手册 / 5 安装部署 g) 网络配置完后 回到系统安装主界面 点击Begin Installation开始安装 如图 19: 点击Begin Installation所示 图 19: 点击Begin Installation 39

46 运维手册 / 5 安装部署 h) 安装过程自动进行 安装过程中请设置ROOT PASSWORD 如图 20: 系统安装过程界面所示 图 20: 系统安装过程界面 40

47 运维手册 / 5 安装部署 i) 安装完毕后 点击重启 即可启动进入ZStack定制版CentOS 7.x系统 后续操作 选择企业版管理节点模式/社区版管理节点模式/计算节点模式/OCFS2存储节点模式 系统重启后 会自动安装对应的ZStack安装包 选择专家模式 系统重启后进入shell界面 由高级用户自定义安装 网卡归一化(可选) 本章节主要介绍网卡归一化配置方法 如果在实际生产环境中安装部署ZStack 建议采用网卡归一 化方式配置网络 如果仅POC测试可选择跳过本章节 以下介绍网卡归一化的两种配置方式 命令行方式和图形界面方式 命令行方式 管理员可在ZStack安装完成后 按照具体部署场景需求 参考以下命令快速实现网卡归一化 # 修改网卡名 zs-change-nic -c [old-nic-name] [new-nic-name] zs-change-nic -c eth0 em1 41

48 运维手册 / 5 安装部署 # 创建链路聚合虚拟接口 基于LACP模式 zs-bond-lacp -c [bond-name] zs-bond-lacp -c bond0 # 创建链路聚合虚拟接口 基于主备模式 zs-bond-ab -c [bond-name] zs-bond-ab -c bond0 # 加载物理接口到聚合接口 zs-nic-to-bond -a [bond-name] [nic-name] zs-nic-to-bond -a bond0 em1 # 创建VLAN接口 zs-vlan -c [nic-name] [vlan] zs-vlan -c bond0 10 # 创建网桥并配置网络地址 zs-network-setting -b [interface] [ipaddress] [netmask] [gateway] zs-network-setting -b bond 图形界面方式 1. 配置网卡 在系统安装界面 点击NETWORK & HOST NAME进入网卡配置主界面 如图 21: 网卡配置主 界面所示 1. 选中待配置网卡 如eth0 2. 开启网卡 选择On 3. 查看获取的DHCP地址 图 21: 网卡配置主界面 42

49 运维手册 / 5 安装部署 2. 添加一个Bond设备 点击左下角的"+"号 弹出Add device界面 在下拉菜单中选择Bond 点击Add 如图 22: 添 加一个Bond设备所示 图 22: 添加一个Bond设备 43

50 运维手册 / 5 安装部署 3. 配置Bond 弹出Editing Bond connection 1界面的Bond子页面 如图 23: 配置Bond所示 用户需手动配 置的主要有两项 Add 添加Bond Slave 详见添加Bond Slave Mode 选择Bond模式 详见选择Bond模式 其它可选择默认或按需自定义设置 图 23: 配置Bond 44

51 运维手册 / 5 安装部署 4. 添加Bond Slave 在Bond配置界面 点击Add 添加Bond Slave 如图 24: 添加Bond Slave所示 图 24: 添加Bond Slave 45

52 运维手册 / 5 安装部署 弹出Chooes a Connection Type界面 在下拉菜单中选择Bond Slave连接类 型 如Ethernet 点击Create... 如图 25: 选择Bond Slave连接类型所示 图 25: 选择Bond Slave连接类型 46

53 运维手册 / 5 安装部署 弹出Editing bond0 slave1界面的ethernet子页面 在Device下拉菜单中选择需 要Bond的Slave设备 如eth0 相应MAC地址 其它选择默认或按需自定义设置 点 击Save 如图 26: 选择Bond Slave设备所示 图 26: 选择Bond Slave设备 至此 Bond Slave已成功添加 5. 选择Bond模式 在Bond配置界面 Mode下拉菜单中 按需选择Bond模式 如Active backup 主备模式 其 它选择默认或按需自定义设置 点击Save 如图 27: 选择Bond模式所示 图 27: 选择Bond模式 47

54 运维手册 / 5 安装部署 6. Bond Slave的IPv4设置为禁用 回到网卡配置主界面 选中Bond Slave 如eth0 点击Configure... 如图 28: 打开Bond Slave配置界面所示 图 28: 打开Bond Slave配置界面 48

55 运维手册 / 5 安装部署 进入Editing eth0界面的ipv4 Settings子页面 Method下拉菜单中 选择Disabled 点 击Save 如图 29: Bond Slave的IPv4设置为禁用所示 图 29: Bond Slave的IPv4设置为禁用 49

56 运维手册 / 5 安装部署 7. 网卡归一化完成 如图 30: 网卡归一化完成所示 注: 请检查Bond配置项 必须保证On开启且配置了地址 同时Bond Slave 如eth0 也On 开启 否则ZStack无法正常安装 图 30: 网卡归一化完成 8. 如果Bond无法获取DHCP地址 需手动配置Bond的静态地址 a. 在图 21: 网卡配置主界面 选中Bond bond0 点击Configure... 打开Bond配置界 面 如图 31: 配置Bond静态IP所示 b. 进入Bond的IPv4 Settings选项页 c. 在Method列表选择Manual以进行手动配置 d. 点击Add增加新的配置条目 e. 根据实际情况配置网卡地址信息 f. 点击Save保存 图 31: 配置Bond静态IP 50

57 运维手册 / 5 安装部署 9. 设置Bond自动连接 a. 在图 21: 网卡配置主界面 选中Bond bond0 点击Configure... 打开Bond配置界 面 如图 32: 设置Bond自动连接所示 b. 进入General选项页 c. 确认已勾选Automatically connect to this network when it is available d. 点击Save保存 图 32: 设置Bond自动连接 51

58 运维手册 / 5 安装部署 10.至此 基于网卡归一化配置网络的方法介绍完毕 5.2 安装ZStack 本节主要介绍ZStack企业版 2.4.0的五种安装模式以及TUI的功能介绍 ZStack TUI简介 ZStack TUI是专为ZStack 集群中物理服务器准备的一套用户界面 其意义包含两方面 分流UI的部分功能 将针对服务器的配置密码 配置网络 重启机器等操作从UI中剥离出来 集中显示在TUI中 降低管理员登录服务器的频率 这是为了在降低物理机维护难度的同时 保护物理机内部的配置不被损坏 52

59 运维手册 / 5 安装部署 用户可以使用Ctrl + Alt + F2进入命令行模式 使用Ctrl + Alt + F1退出命令行模式 按下Ctrl + Alt + F11可以进入保留终端 用户可以在里面执行常规命令 但是请谨慎使用 以免对系统造成破 坏 影响ZStack 服务运行 ZStack定制版ISO五种安装模式 ZStack定制版ISO提供了以下五种安装模式 企业版管理节点模式 社区版管理节点模式 计算节点模式 存储节点模式 专家模式 五种安装模式的步骤介绍 1. 企业版管理节点模式 安装基础系统 安装MariaDB RabbitMQ等ZStack依赖包 安装企业版管理节点TUI 自动安装并启动ZStack及其UI 2. 社区版管理节点模式 安装基础系统 安装MariaDB RabbitMQ等ZStack依赖包 安装社区版管理节点TUI 自动安装并启动ZStack及其UI 注: 企业版管理节点模式与社区版管理节点模式的区别在于license的不同导致相关功能的 不同 企业版管理节点模式与社区版管理节点模式在安装步骤上完全相同 3. 计算节点模式 安装基础系统 安装Libvirt Qemu等虚拟化组件 安装计算节点TUI 53

60 运维手册 / 5 安装部署 4. OCFS2存储节点模式 安装基础系统 安装Libvirt Qemu等虚拟化组件 安装UEK内核及OCFS2组件 安装存储节点TUI 5. 专家模式 安装基础系统 注: 专家模式基本等同于CentOS 7.x最小安装模式 当管理员需要做更深度的定制时 可以选择进入专家模式 手动转化为其它四种模式 中的任何一种 五种安装模式如图 33: 五种安装模式示意图所示 图 33: 五种安装模式示意图 ZStack管理节点模式(企业版/社区版) 如前所述 企业版管理节点模式与社区版管理节点模式的区别在于license的不同导致相关功能的不同 54

61 运维手册 / 5 安装部署 企业版管理节点模式与社区版管理节点模式在安装步骤上完全相同 下面将企业版/社区版管理节点模式合为一篇 以管理节点TUI为主介绍其功能和使用方法 自动安装ZStack管理节点 如果选择企业版/社区版管理节点模式 重启后会自动安装ZStack管理节点 安装完成后将自动进 入TUI 如图 34: 自动安装管理节点所示 图 34: 自动安装管理节点 管理节点TUI主界面 管理节点TUI主界面实时显示物理机的主要信息 如图 35: 管理节点TUI主界面所示: 图 35: 管理节点TUI主界面 55

62 运维手册 / 5 安装部署 NODE INFO 显示管理节点当前状态 包括服务是否运行 UI是否运行 ZStack版本 UI地址以及License类 型等 TIME INFO 显示服务器启动时间 当前时间 服务器运行时长 服务器平均负载等 DISK INFO 显示默认安装目录以及日志目录等的剩余磁盘空间 NIC INFO 显示管理节点所有网卡的信息 包括物理网卡和逻辑网卡 其中DOWN表示网卡关闭 UP表示 网卡启动 MN表示该网卡为管理网卡 HOST INFO 显示当前集群共有多少台计算节点 其中Enabled和Connected的各有多少 VM INFO 显示当前集群共有多少台云主机 其中Running和Stopped的各有多少 56

63 运维手册 / 5 安装部署 CPU USAGE和MEM USAGE 分别显示该管理节点的实时资源利用率 注: 主界面底部还提供了进入系统配置和重启/关机两个入口 根据提示按下F2或者F12即可进入 相应窗口 系统密码 在主界面按下F2或者F12时 需要首先输入系统密码 因为无论系统配置还是重启/关机都属于特权 操作 下图中显示了输入系统密码的窗口 根据提示输入ROOT密码 回车即可 图 36: 输入密码 若密码不正确 操作会被阻止 TUI返回主界面 57

64 运维手册 / 5 安装部署 注: 任何时候 只要按下ESC键 就可以退出当前窗口 返回系统配置界面 图 37: 输入密码错误 系统配置 系统配置的功能包括 修改密码 重命名网卡 测试网络 配置网络 配置管理网络 配置控制台代理 收集日志 备份数据库 启动/关闭/重启ZStack服务 58

65 运维手册 / 5 安装部署 重装ZStack服务 重装ZStack服务并删除数据库 终端信息 注: 系统配置界面提供若干系统配置入口 使用上下键移动光标 选择需要的配置按钮 按下 回车即可进入相应配置界面 对于熟悉Vim的用户 也可以使用j和k实现光标上下移动 根据提示 按下F2可以退出至主界面 再次回到系统配置界面时需要重新输入ROOT密 码 如图 38: 系统配置所示 图 38: 系统配置 以下将逐一介绍系统配置各功能条目 1. 修改密码 将光标移动至Change Passwords处 按下回车 即可进入密码配置窗口 59

66 运维手册 / 5 安装部署 该配置项集中了管理节点需要的四种密码修改动作 1. 修改系统root密码 2. 修改root账号的MySQL密码 3. 修改ZStack账号的MySQL密码 4. 修改ZStack账号的RabbitMQ密码 如图 39: 四种密码修改动作所示 图 39: 四种密码修改动作 四种密码修改动作具体介绍 1. 修改系统root密码 根据提示输入旧系统密码 新系统密码以及新密码确认 回车即可 如图 40: 修改系统root密 码所示 图 40: 修改系统root密码 60

67 运维手册 / 5 安装部署 如果旧系统密码不正确 或者密码确认不一致 都会弹出错误窗口 如图 41: 错误窗口所 示 图 41: 错误窗口 61

68 运维手册 / 5 安装部署 需要根据提示 按Y键以确认 如图 42: 修改系统root密码的确认界面所示 修改系统root密 码成功 如图 43: 修改系统root密码成功所示 图 42: 修改系统root密码的确认界面 62

69 运维手册 / 5 安装部署 图 43: 修改系统root密码成功 63

70 运维手册 / 5 安装部署 2. 修改root账号/ZStack账号的MySQL密码 修改root账号/ZStack账号的MySQL密码 需要MySQL的root权限 因此首先需要输 入MySQL root密码 然后根据提示输入新密码和密码确认 回车即可 如果MySQL root密码不正确 或者密码确认不一致 都会弹出错误窗口 此操作需要重启ZStack服务 耗时较长 需要用户按Y键确认 如图 44: 修改root账号/ZStack账号的MySQL密码所示 图 44: 修改root账号/ZStack账号的MySQL密码 64

71 运维手册 / 5 安装部署 3. 修改ZStack账号的RabbitMQ密码 修改ZStack账号的RabbitMQ密码需要管理员权限 因此首先需要输入系统root密码 然 后根据提示再输入新密码和密码确认 回车即可 如果系统密码不正确 或者密码确认不一致 都会弹出错误窗口 此操作需要重启ZStack服务 耗时较长 需要用户按Y键确认 如图 45: 修改ZStack账号的RabbitMQ密码所示 图 45: 修改ZStack账号的RabbitMQ密码 65

72 运维手册 / 5 安装部署 2. 重命名网卡 将光标移动至Rename NIC处 按下回车 即可进入重命名网卡窗口 用户可以在此修改网卡名 修改完成后 按下回车 此操作需要按Y键确认 如图 46: 重命名网卡所示 图 46: 重命名网卡 66

73 运维手册 / 5 安装部署 3. 测试网络 将光标移动至Test Network处 按下回车 即可进入网络测试窗口 这里默认填写了 用户测试外网连接 若要测试内网连接 请自行填写内 网IP 如图 47: 测试网络所示 图 47: 测试网络 67

74 运维手册 / 5 安装部署 4. 配置网络 将光标移动至Configure Networks处 按下回车 即可进入网络配置窗口 如图 48: 配置网络所示 图 48: 配置网络 68

75 运维手册 / 5 安装部署 这里罗列了管理节点中所有处于启动状态的网卡 包括物理网卡和逻辑网卡 由于前文已做网卡 归一化 这里仅需关心Bond的配置即可 将光标移动至目标Bond 如bond0 再次回车 即可进入该设备的配置界面 注: 如果目标Bond后带有 MN 的标记 则意味着修改管理网络配置 需要较长的等待 时间 请谨慎操作 如图 49: 填写信息所示 图 49: 填写信息 69

76 运维手册 / 5 安装部署 所选Bond设备的已有配置会默认显示在输入框中 网关除外 用户可根据实际情况修改 如果出现以下任何一种情况 均认为输入有误 有某个或某些输入项为空 有某个或某些输入项不是合法的IP地址 IP地址和网关不在掩码所确定的同一个子网内 确认界面如图 50: 确认界面所示 图 50: 确认界面 70

77 运维手册 / 5 安装部署 5. 配置管理网络 将光标移动至Set Management Network处 按下回车 即可进入管理网络配置窗口 注: 配置管理网络耗时较长 请谨慎操作 如图 51: 配置管理网络所示 图 51: 配置管理网络 71

78 运维手册 / 5 安装部署 确认界面如图 52: 确认界面所示 图 52: 确认界面 72

79 运维手册 / 5 安装部署 6. 配置控制台代理 将光标移动至Configure Console Proxy处 按下回车 即可进入终端代理配置窗口 输入代理IP和代理端口 回车即可 控制台代理的原值将被读出并填充在输入项内 用户可按实际需要进行修改 如果出现以下任何一种情况 均认为输入有误 代理地址和端口均为空 代理地址不是合法的IP地址 端口号不是1024至65535之间的数字 注: 此操作只需要在管理节点执行 此操作需要重置RabbitMQ服务 耗时较长 需要用户按Y键确认 73

80 运维手册 / 5 安装部署 如图 53: 配置控制台代理所示 图 53: 配置控制台代理 7. 收集日志 将光标移动至Collect Logs处 按下回车 即可进入日志收集窗口 如图 54: 收集日志所示 图 54: 收集日志 74

81 运维手册 / 5 安装部署 点击回车 即可将整个集群的日志收集 并导出至HTTP服务器中 以供下载/在线浏览 如图 55: 日志导出成功所示 图 55: 日志导出成功 75

82 运维手册 / 5 安装部署 根据提示 用户可以通过浏览器直接访问所有日志内容 支持下载/在线浏览日志 如图 56: 导出日志至HTTP服务器中所示 图 56: 导出日志至HTTP服务器中 76

83 运维手册 / 5 安装部署 图 57: 在线浏览日志 8. 备份数据库 将光标移动至Backup Database处 按下回车 即可进入数据库备份窗口 回车即可导出数据库至HTTP服务器中 以供下载 如图 58: 备份数据库和图 59: 备份数据库成功所示 图 58: 备份数据库 77

84 运维手册 / 5 安装部署 图 59: 备份数据库成功 78

85 运维手册 / 5 安装部署 注: 目前 ZStack支持以cli方式将管理节点数据库备份到远程服务器 执行以下操作 可实现管理节点数据库自动备份到远程服务器 并定时执行自动远程备 份 1. 手动执行以下命令将管理节点数据库进行远程备份 # 为远程服务器IP地址 zstack-ctl dump_mysql --host root@ d --keep-amount 执行crontab -e命令将管理节点数据库自动备份脚本修改为以下格式 30 */2 * * * zstack-ctl dump_mysql --host root@ d --keep-amount 24 该操作表示每两小时将管理节点数据库备份到远程服务器 IP地址 的/ var/lib/zstack/from-zstack-remote-backup/目录下 注: -d表示只保留最新的指定份数的备份 79

86 运维手册 / 5 安装部署 需提前配置管理节点到远程服务器的SSH免密登录 如需更多技术支持 请联系ZStack官方技术支持团队 9. 启动/关闭/重启ZStack服务 将光标移动至Start/Stop/Restart ZStack Servicec处 按下回车 即可进入启动/关闭/重 启ZStack服务窗口 回车后 再次移动光标 选择具体操作并回车 如图 60: 启动/关闭/重启ZStack服务所示 图 60: 启动/关闭/重启ZStack服务 根据提示 输入start zstack以确认启动zstack 输入stop zstack以确认停止zstack 输 入restart zstack以重启zstack 如图 61: 启动ZStack服务所示 图 61: 启动ZStack服务 80

87 运维手册 / 5 安装部署 如图 62: 关闭ZStack服务所示 图 62: 关闭ZStack服务 81

88 运维手册 / 5 安装部署 如图 63: 重启ZStack服务所示 图 63: 重启ZStack服务 82

89 运维手册 / 5 安装部署 10.重装ZStack服务 将光标移动至Reset ZStack Service 按下回车 即可进入重装ZStack服务窗口 该操作属于极其危险的操作 需要用户输入reset zstack 才能回车确认 如图 64: 重装ZStack服务所示 图 64: 重装ZStack服务 83

90 运维手册 / 5 安装部署 11.重装ZStack服务并删除数据库 将光标移动至Reset ZStack Service&Drop Database处 按下回车 即可进入重置ZStack和数 据库窗口 该操作与上一操作一样属于极其危险的操作 而且在重装ZStack的同时还会清空已有的数据 库 需要用户输入reset zstack drop database 才能回车确认 注: 请谨慎使用此功能 如图 65: 重装ZStack服务并删除数据库所示 图 65: 重装ZStack服务并删除数据库 84

91 运维手册 / 5 安装部署 12.进入终端 ZStack TUI为用户保留了进入终端的入口 将光标移动至Terminal Info处 回车即可看到入口 信息 按下Ctrl + Alt+ F2可以进入保留终端 用户可以在里面执行常规命令 但是请谨慎使用 以 免对系统造成破坏 影响ZStack服务运行 按下Ctrl + Alt + F3可以进入zstack-cli命令行界面 任何时候都可以通过按下Ctrl + Alt + F1返回ZStack TUI 如图 66: 进入终端提示所示 图 66: 进入终端提示 85

92 运维手册 / 5 安装部署 重启/关机 在主界面按下F12即可进入重启/关机界面 用户选择将光标移动至Reboot或Poweroff按钮 回车即可进入确认界面 如图 67: 重启/关机所示 图 67: 重启/关机 86

93 运维手册 / 5 安装部署 两种操作都需要用户根据提示输入REBOOT或POWEROFF才可以回车确认 以免误操作 如图 68: 重启确认所示 图 68: 重启确认 87

94 运维手册 / 5 安装部署 如图 69: 关机确认所示 图 69: 关机确认 88

95 运维手册 / 5 安装部署 异常情况处理 在安装管理节点模式下 如果由于缺少网卡配置或其他原因导致ZStack安装失败 都会退出到终 端 例如在安装ISO时 如果服务器没有可用IP 会导致无法正常安装ZStack管理节点 请先配置好网 络 再执行以下命令安装ZStack安装包 ZStack企业版安装执行bash /opt/zstack*installer.bin -E ZStack社区版安装执行bash /opt/zstack*installer.bin 如图 70: 网卡异常情况处理所示 图 70: 网卡异常情况处理 89

96 运维手册 / 5 安装部署 ZStack计算节点模式 如果用户选择计算节点模式 重启后会自动安装ZStack计算节点 安装完成后将自动进入TUI 注: 部分场景下 需要all in one的模式来搭建zstack 这时应选用ZStack管理节点模式安 装 计算节点TUI主界面 计算节点TUI拥有管理节点TUI的部分功能 可以视为精简版的管理节点TUI 使用方法与ZStack管 理节点模式(企业版/社区版)相同 VM_INFO 列出了当前计算节点所运行的云主机信息 包括UUID CPU核心数 内存容量和允许状态等 其他信息模块与管理节点意义相同 不再赘述 如图 71: 计算节点TUI主界面所示 图 71: 计算节点TUI主界面 90

97 运维手册 / 5 安装部署 系统配置 计算节点系统配置与管理节点系统配置相比 仅拥有其中部分功能条目的配置 如图 72: 系统配置所示 图 72: 系统配置 补充说明 管理节点可以添加计算节点的个数在技术上无限制 跟license有关 程序模拟过100万 个计算节点 ZStack OCFS2存储节点模式 如果用户选择OCFS2存储节点模式 重启后会自动安装ZStackOCFS2存储节点 安装完成后将自 动进入TUI 注: 部分场景下 需要all in one模式来搭建 这时应选用ZStack管理节点模式安装 OCFS2存储节点TUI主界面 存储节点TUI与计算节点TUI极为相似 使用方法与ZStack计算节点模式相同 91

98 运维手册 / 5 安装部署 如图 73: OCFS2存储节点TUI主界面所示 图 73: OCFS2存储节点TUI主界面 系统配置 存储节点系统配置与管理节点系统配置相比 仅拥有其中部分功能条目的配置 如图 74: 系统配置所示 图 74: 系统配置 92

99 运维手册 / 5 安装部署 ZStack专家模式 背景信息 如果用户选择专家模式 重启后会进入终端界面 如图 75: 终端界面所示 图 75: 终端界面 安装完专家模式后 用户可根据实际场景需求 自定义安装所需ZStack环境 93

100 运维手册 / 5 安装部署 5.3 管理ZStack 操作步骤 1. 首次安装后 系统将自动启动ZStack服务 2. 管理节点重启后 ZStack服务将自动开机自启 3. 在管理节点因维护或其他异常原因停止服务后 需手动启动服务 启动ZStack服务的方法为 [root@localhost ~]#zstack-ctl start #此命令将同时启动管理节点和WEB UI服务 4. 用户可以使用zstack-ctl status命令查看zstack管理节点相关服务的运行状态 [root@ ~]# zstack-ctl status ZSTACK_HOME: /usr/local/zstack/apache-tomcat/webapps/zstack zstack.properties: /usr/local/zstack/apache-tomcat/webapps/zstack/web-inf/classes/ zstack.properties log4j2.xml: /usr/local/zstack/apache-tomcat/webapps/zstack/web-inf/classes/log4j2.xml PID file: /usr/local/zstack/management-server.pid log file: /usr/local/zstack/apache-tomcat/logs/management-server.log version: (ZStack-enterprise ) MN status: Running [PID:3498] UI status: Running [PID:8459] 5. 用户也可以使用zstack-ctl ui_status命令单独查看web UI服务状态 [root@ ~]# zstack-ctl ui_status UI status: Running [PID:8459] 6. 在使用过程中如需重启管理节点服务 则需执行 zstack-ctl restart_node 7. 在使用过程中不建议全部停止及重启所有服务 如果确需重启所有服务 可执行以下命令进行重 启 zstack-ctl stop && zstack-ctl start 5.4 升级ZStack 基于CentOS 7.2 升级 本章节主要介绍基于CentOS 7.2的升级场景 建议管理节点与计算节点均为 基于CentOS 7.2 旧版 升级至基于CentOS 7.2 新版 只需升级管理节点 计算节点会自动完成升级 94

101 运维手册 / 5 安装部署 升级前 管理员需对数据库进行备份 升级过程中 可访问管理平台界面和命令入口 运行状态的云主机服务不受升级影响 支持增量升级和离线升级两种方案 增量升级 为了提升用户的升级体验 ZStack支持增量升级方案 相比离线升级方案 即 用户需下载相应版本的ISO并升级本地源 然后升级ZStack 增量升 级方案 用户只需要下载最新的ZStack安装包 执行升级安装 该安装包会自动检测ISO版本 1. 在线升级ZStack之前 请管理员准备好以下必要的软件包 且均存放在管理服务器目录/opt/下 ZStack安装包 文件名称 ZStack-installer-2.3.x.bin 下载地址 点击这里 2. 在线升级ZStack之前 管理员需对数据库进行备份 3. 管理员执行以下命令升级ZStack管理服务 [root@zstack-1 opt]# bash ZStack-installer-2.3.x.bin -u 注: 若数据库root密码采用系统默认的zstack.mysql.password 执行上述命令进行升级 即可 若数据库root密码采用自定义非空密码 需执行以下命令进行升级 [root@zstack-1 opt]# bash ZStack-installer-2.3.x.bin -u -P MYSQL_ROOT_PASSWORD 4. 执行升级安装 该安装包会自动检测ISO版本 如果检测到ISO版本过低 会自动将本地源同步到最新 然后开始ZStack的安装 如图 76: 自 动将本地源同步到最新所示 图 76: 自动将本地源同步到最新 95

102 运维手册 / 5 安装部署 如果在同步本地源过程中报错 将会提示用户采用离线升级方案 如图 77: 同步本地源过程 中报错所示 图 77: 同步本地源过程中报错 注: 整个增量升级过程需在联网状态下进行 支持采用增量升级方案无缝升级至最新版 离线升级 1. 离线升级ZStack之前 请管理员准备好以下必要的软件包 且均存放在管理节点目录/opt/下 ZStack定制版ISO 文件名称 ZStack-x86_64-DVD-2.3.x-c72.iso 下载地址 点击这里 ZStack安装包 96

103 运维手册 / 5 安装部署 文件名称 ZStack-installer-2.3.x.bin 下载地址 点击这里 升级脚本 文件名称 zstack-upgrade 下载地址 点击这里 注: 软件下载后 需通过MD5校验工具核对校验码 确认与发行信息一致 2. 离线升级ZStack之前 管理员需对数据库进行备份 3. 管理员执行以下命令升级ZStack管理服务 #离线升级的两种方式: # 1. 升级本地仓库和管理服务 [root@zstack-1 opt]# bash zstack-upgrade ZStack-x86_64-DVD-2.3.x-c72.iso # 2. 如果先升级本地仓库再升级管理服务: [root@zstack-1 opt]# bash zstack-upgrade -r ZStack-x86_64-DVD-2.3.x-c72.iso [root@zstack-1 opt]# bash ZStack-installer-2.3.x.bin -u 注: 若数据库root密码采用系统默认的zstack.mysql.password 执行上述命令进行升级 即可 若数据库root密码采用自定义非空密码 需执行以下命令进行升级 #离线升级的两种方式: # 1. 升级本地仓库和管理服务 [root@zstack-1 opt]# bash zstack-upgrade ZStack-x86_64-DVD-2.3.x-c72.iso # 2. 如果先升级本地仓库再升级管理服务: [root@zstack-1 opt]# bash zstack-upgrade -r ZStack-x86_64-DVD-2.3.x-c72.iso [root@zstack-1 opt]# bash ZStack-installer-2.3.x.bin -u -P MYSQL_ROOT_PASSWORD 4. 升级成功界面如图 78: 升级成功所示 图 78: 升级成功 97

104 运维手册 / 5 安装部署 基于CentOS 7.4 升级 本章节主要介绍基于CentOS 7.4的升级场景 建议管理节点与计算节点均为 基于CentOS 7.4 旧版 升级至基于CentOS 7.4 新版 只需升级管理节点 计算节点会自动完成升级 升级前 管理员需对数据库进行备份 升级过程中 可访问管理平台界面和命令入口 运行状态的云主机服务不受升级影响 支持增量升级和离线升级两种方案 98

105 运维手册 / 5 安装部署 增量升级 为了提升用户的升级体验 ZStack支持增量升级方案 相比离线升级方案 即 用户需下载相应版本的ISO并升级本地源 然后升级ZStack 增量升 级方案 用户只需要下载最新的ZStack安装包 执行升级安装 该安装包会自动检测ISO版本 1. 在线升级ZStack之前 请管理员准备好以下必要的软件包 且均存放在管理服务器目录/opt/下 ZStack安装包 文件名称 ZStack-installer-2.3.x.bin 下载地址 点击这里 2. 在线升级ZStack之前 管理员需对数据库进行备份 3. 管理员执行以下命令升级ZStack管理服务 [root@zstack-1 opt]# bash ZStack-installer-2.3.x.bin -u 注: 若数据库root密码采用系统默认的zstack.mysql.password 执行上述命令进行升级 即可 若数据库root密码采用自定义非空密码 需执行以下命令进行升级 [root@zstack-1 opt]# bash ZStack-installer-2.3.x.bin -u -P MYSQL_ROOT_PASSWORD 4. 执行升级安装 该安装包会自动检测ISO版本 如果检测到ISO版本过低 会自动将本地源同步到最新 然后开始ZStack的安装 如图 79: 自 动将本地源同步到最新所示 图 79: 自动将本地源同步到最新 99

106 运维手册 / 5 安装部署 如果在同步本地源过程中报错 将会提示用户采用离线升级方案 如图 80: 同步本地源过程 中报错所示 图 80: 同步本地源过程中报错 注: 整个增量升级过程需在联网状态下进行 支持采用增量升级方案无缝升级至最新版 离线升级 1. 离线升级ZStack之前 请管理员准备好以下必要的软件包 且均存放在管理节点目录/opt/下 ZStack定制版ISO 文件名称 ZStack-x86_64-DVD-2.3.x-c74.iso 下载地址 点击这里 ZStack安装包 100

107 运维手册 / 5 安装部署 文件名称 ZStack-installer-2.3.x.bin 下载地址 点击这里 升级脚本 文件名称 zstack-upgrade 下载地址 点击这里 注: 软件下载后 需通过MD5校验工具核对校验码 确认与发行信息一致 2. 离线升级ZStack之前 管理员需对数据库进行备份 3. 管理员执行以下命令升级ZStack管理服务 #离线升级的两种方式: # 1. 升级本地仓库和管理服务 [root@zstack-1 opt]# bash zstack-upgrade ZStack-x86_64-DVD-2.3.x-c74.iso # 2. 如果先升级本地仓库再升级管理服务: [root@zstack-1 opt]# bash zstack-upgrade -r ZStack-x86_64-DVD-2.3.x-c74.iso [root@zstack-1 opt]# bash ZStack-installer-2.3.x.bin -u 注: 若数据库root密码采用系统默认的zstack.mysql.password 执行上述命令进行升级 即可 若数据库root密码采用自定义非空密码 需执行以下命令进行升级 #离线升级的两种方式: # 1. 升级本地仓库和管理服务 [root@zstack-1 opt]# bash zstack-upgrade ZStack-x86_64-DVD-2.3.x-c74.iso # 2. 如果先升级本地仓库再升级管理服务: [root@zstack-1 opt]# bash zstack-upgrade -r ZStack-x86_64-DVD-2.3.x-c74.iso [root@zstack-1 opt]# bash ZStack-installer-2.3.x.bin -u -P MYSQL_ROOT_PASSWORD 执行zstack-upgrade命令前需确认所准备的ISO是基于CentOS 7.4的 避免使用基 于CentOS 7.2的ISO覆盖本地源 4. 升级成功界面如图 81: 升级成功所示 图 81: 升级成功 101

108 运维手册 / 5 安装部署 102

109 运维手册 / 6 系统登录 6 系统登录 1. ZStack安装部署完毕后 支持HTTP与HTTPS两种方式登录UI管理界面 2. HTTP方式默认支持5000端口 假定管理节点IP地址为 那么使用UI进行控制的URL需要 输入 3. HTTPS方式默认不启用 如需启用 详情可参考HTTPS方式登录UI章节 4. 建议使用Chrome或Firefox打开浏览器 5. 系统首次登录时 默认账户名 admin 默认初始密码 password 6. 默认登录时效为2小时 超时需重新登录 超时时间可以在全局设置界面进行配置 7. ZStack登录方式支持 账户登录 需输入账户名和账户密码 用户登录 需输入用户名和用户密码 AD/LDAP登录 需输入登陆属性名和AD/LDAP密码 AD/LDAP需提前设置AD/LADP服务器和AD/ LDAP账户绑定 注: 登录失败需检查管理节点服务 确保管理服务和UI服务均正常运行 6.1 HTTPS方式登录UI 默认HTTPS方式 以下介绍使用系统默认证书以HTTPS方式登录UI的方法 1. 在管理节点停止管理节点服务 执行 zstack-ctl stop 2. 在管理节点配置证书 执行 openssl pkcs12 -in /usr/local/zstack/zstack-ui/ui.keystore.p12 -out /usr/local/zstack/zstack-ui/ ui.keystore.pem -nodes 注: 执行过程中要求输入默认密码 password 3. 修改zstack.properties配置文件 将证书路径设置为绝对路径 进入/usr/local/zstack/apache-tomcat/webapps/zstack/WEB-INF/classes/zstack.properties 添 加一行记录 consoleproxycertfile = /usr/local/zstack/zstack-ui/ui.keystore.pem 103

110 运维手册 / 6 系统登录 4. 配置HTTPS UI登录模式 zstack-ctl config_ui --enable-ssl=true 5. 启动管理节点管理服务 执行 zstack-ctl start 自定义HTTPS方式 以下介绍使用自定义证书以HTTPS方式登录UI的方法 1. 准备好自定义证书 可使用相关工具生成自签证书 也可购买正规CA签发证书 例如使 用Keytool Java数据证书管理工具 生成自签证书 执行 mkdir certs keytool -genkey -alias tomcat -storetype PKCS12 -keyalg RSA -keysize keystore./ certs/keystore.p12 -validity 在管理节点停止管理节点服务 执行 zstack-ctl stop 3. 在管理节点配置证书 执行 openssl pkcs12 -in /root/certs/keystore.p12 -out ui.keystore.pem -nodes 注: 执行过程中要求输入密码 4. 修改zstack.properties配置文件 将证书路径设置为绝对路径 进入/usr/local/zstack/apache-tomcat/webapps/zstack/WEB-INF/classes/zstack.properties 添 加一行记录 consoleproxycertfile = /usr/local/zstack/zstack-ui/ui.keystore.pem 5. 配置HTTPS UI登录模式 zstack-ctl config_ui --enable-ssl=true \ --ssl-keyalias=tomcat --ssl-keystore=/root/certs/keystore.p12 --ssl-keystore-type=pkcs12 \ --ssl-keystore-password=password --server-port= 启动管理节点管理服务 执行 zstack-ctl start 恢复HTTP方式 如需取消HTTPS方式 恢复HTTP方式登录UI 104

111 运维手册 / 6 系统登录 1. 关闭HTTPS UI登录 执行 zstack-ctl config_ui --enable-ssl=false 2. 重启管理节点服务 执行 zstack-ctl stop_ui zstack-ctl start_ui 105

112 运维手册 / 7 Wizard引导设置 7 Wizard引导设置 首次登录ZStack 系统界面将引导进行基本的初始化环境配置 1. 区域 一般对应了数据中心的一个机房 包含集群 二层网络 主存储等资源 规划区域时 需注意 同一个物理二层广播域中的物理机应该在同一个区域 可被划分为一个或多个集群 物理二层广播域不应跨域多个区域 应规划为单个区域的二层网络 同一个主存储不应跨越多个区域 2. 集群 一组物理机的逻辑集合 一个集群一般对应了一个机架 规划集群时 需注意 本集群内所有的物理机必须拥有相同的操作系统 本集群内所有的物理机必须拥有相同的网络配置 本集群内所有的物理机必须能够访问相同的主存储 3. 物理机 为云主机实例提供计算 网络或存储的物理主机 添加物理机需要输入物理机的IP SSH端口 用户 名和用户密码 添加物理机时 需注意 需使用ZStack定制版ISO安装CentOS 7.2或CentOS 7.4系统 BISO需打开Intel VMX或AMD SVM的硬件虚拟化功能 需确保IP地址 用户名 密码正确 输入的用户名须拥有sudo权限 SSH端口需开启iptables允许 管理节点的管理IP需正常访问物理机的SSH端口以部署软件和代理程序 物理机的IP地址需可以访问管理节点的8080端口 4. 镜像服务器 用于保存镜像模板的存储服务器 首次创建云主机/云盘时 镜像模板会下载到主存储的镜像缓存中 镜像服务器支持以下类型 1. ImageStore ImageStore镜像仓库采用内容相联存储的方式 支持在线快照 在线创建镜像 在线克隆等功 能 添加镜像仓库服务器需输入镜像服务器的IP URL SSH端口 用户名和用户密码 例如 IP为 URL为/zstack_bs SSH端口为22 用户名为root 密码 为password 表示使用 此机器的/zstack_bs目录来存储镜像文件 2. Sftp 仅ZStack社区版支持 Sftp镜像服务器采用文件方式存储镜像文件 支持关机创建快照 支持关机创建镜像等功能 添加Sftp镜像服务器需输入镜像服务器的IP URL SSH端口 用户名和用户密码 106

113 运维手册 / 7 Wizard引导设置 例如 输入IP为 URL为/zstack_bs SSH 端口为22 用户名为root 密码 为password 表示使用 此机器的/zstack_bs目录来存储镜像文件 3. Ceph Ceph镜像服务器采用了Ceph集群提供的分布式块存储作为镜像存储 添加Ceph镜像服务器需输入Ceph存储集群的监控节点Mon IP SSH端口 用户名和用户密 码 Ceph 存储池名 为可选项 默认会自动创建 如果指定 则需提前在Ceph存储集群自行创建 此存储池 例如 输入Mon IP为 SSH 端口为22 用户名为root 密码为password 表示使用Mon IP为 所在的Ceph存储集群来存储镜像文件 4. FusionStor FusionStor镜像服务器采用了FusionStor集群提供的分布式块存储作为镜像存储 添加FusionStor镜像服务器需输入FusionStor存储集群的监控节点Mon IP SSH端口 用户名 和用户密码 FusionStor存储池名 为可选项 默认会自动创建 如果指定 则需提前在FusionStor存储集群 自行创建此存储池 例如 输入Mon IP为 SSH端口为22 用户名为root 密码为password 表示使用Mon IP为 所在的FusionStor存储集群来存储镜像文件 注: 使用FusionStor存储时 必须使用此存储集群的节点作为计算节点融合使用 添加镜像服务器 需注意 需确保IP地址 用户名 密码正确 输入的用户名须拥有sudo权限 SSH端口需开启iptables允许 针对Sftp或镜像仓库类型 输入的URL对应的目录需提前挂载大容量存储 管理节点的管理IP需正常访问镜像服务器的SSH端口以部署软件和代理程序 镜像服务器的IP地址需可以访问管理节点的8080端口 UI为便于管理镜像服务器和区域的关系 特别设置了一个镜像服务器只能对应一个区域 添加镜像服务器时 默认挂载到了当前区域 在删除区域的同时会直接删除挂载此区域的镜像服务器 5. 主存储 用于存储云主机的磁盘文件 根云盘 数据云盘 根云盘快照 数据云盘快照 镜像缓存等 的存储 服务器 主存储支持以下类型 1. 本地存储 使用各物理机的本地硬盘上指定的目录作为主存储 所有的物理机都会使用此目录来存放云主机的磁盘文件 本地主存储容量由各物理机的主存储目录的容量累加 建议提前对每个物理机的此目录提前挂载大容量存储 添加本地存储 需输入URL 例如/zstack_ps 107

114 运维手册 / 7 Wizard引导设置 2. NFS 使用网络文件系统作为主存储 需提供NFS的共享文件目录 ZStack会在所有的物理机上自动挂载此目录作为主存储 添加NFS主存储的URL格式为 :/nfs_root 其中 为NFS 服务器的IP地址 /nfs_root是nfs服务器上可被挂载的目录 NFS的挂载目录需提供读写权限 NFS的挂载参数 为可选项 需NFS Server端支持 每个参数以逗号隔开 例如 输入nfsvers=3,sec=sys,tcp,intr,timeo=5, 表示NFS Server端的版本为3 采用标准的unix验证机制 采用tcp作为传输协议 允许通知中 断一个nfs调用 设置超时时间为0.5秒 5/10 3. Shared Mount Point 采用共享文件系统存储为主存储 支持SAN存储 格式化为MooseFS GlusterFS OCFS2 GFS2等文件系统 需在各物理机提前挂载各挂载点 挂载到相同目录 添加Shared Mount Point主存储时 需输入共享文件系统存储挂载到物理机的本地目录 例如/ mnt/nfs 4. Ceph 使用Ceph集群提供的分布式块存储作为主存储 关闭CEPHX 可选项代表关闭Ceph密钥认证 如果存储节点和计算节点的网络较安全 可关闭 此项 以避免Ceph使用时的认证失败错误 如果指定了镜像缓存 根云盘 数据云盘的Ceph存储池名 则这些存储池需提前在Ceph集群自 行创建 镜像缓存 根云盘 数据云盘的Ceph存储池名 为可选项 默认会自动创建 如果指定 则需 提前在Ceph存储集群自行创建此存储池 添加Ceph主存储需输入与Ceph镜像服务器同一存储集群的监控节点Mon IP SSH端口 用户 名和用户密码 例如 输入Mon IP为 SSH端口为22 用户名为root 密码为password 表示使用Mon IP为 所在的Ceph存储集群来存储镜像文件 5. FusionStor 使用FusionStor存储集群提供的分布式块存储作为主存储 镜像缓存 根云盘 数据云盘的FusionStor存储池名 为可选项,默认会自动创建 如果指 定 则需提前在FusionStor存储集群自行创建此存储池 使用FusionStor存储需注意 使用FusionStor存储时 必须使用此存储集群的节点作为计算节点 融合使用 添加FusionStor主存储需输入与FusionStor镜像服务器同一存储集群的监控节点Mon IP SSH端口 用户名和用户密码 例如 输入Mon IP为 SSH端口为22 用户名为root 密码为password 表示使用Mon IP为 所在的FusionStor存储集群来存储镜像文件 添加主存储 需注意 主存储与镜像服务器的依赖关系 如果镜像服务器使用了ImageStore镜像仓库类型 那么主存储可以使用本地存储 NFS Shared Mount Point Ceph类型 108

115 运维手册 / 7 Wizard引导设置 如果镜像服务器使用了Sftp类型 那么主存储可以使用本地存储 NFS Shared Mount Point类 型 如果镜像服务器采用了Ceph 那么主存储也需使用同一个Ceph集群做镜像存储 如果镜像服务器采用了FusionStor 那么主存储也需使用同一个FusionStor集群做镜像存储 如果类型不匹配 系统会提示当前选择的主存储与镜像服务器不匹配 需确保相应的URL IP地址 用户名 密码正确 输入的用户名须拥有sudo权限 相应的端口需开启iptables允许 针对本地存储或Shared Mount Point存储 输入的URL对应的目录需提前挂载大容量存储 NFS或者Shared Mount Point提供的目录需提供读写权限 管理节点的管理IP需正常访问Ceph Fusionstor Mon IP的SSH端口以部署软件和代理程序 Ceph Fusionstor Mon IP的IP地址需可以访问管理节点的8080端口 6. 计算规格 用于定义云主机的CPU 内存 磁盘带宽 网络带宽的数量或大小规格 使用计算规格 需注意 当创建虚拟机时 ZStack会根据选择的计算规格 来指定此云主机的CPU数量 内存大小 磁盘 或网络带宽的规格定义 内存大小不能小于16M 否则计算规格会添加失败 因为主流操作系统 例如Linux 需要的最小 内存为16M 磁盘带宽 网络上下行带宽均为可选项 代表不做限制 如果限制带宽 则需注意不可过低 否则 会导致云主机不能正常工作 首次创建 可按照默认的1CPU 1G内存来配置 7. 镜像 云主机或云盘所使用的镜像模板文件 镜像模板包括系统云盘镜像和数据云盘镜像 系统云盘镜像支 持ISO和Image类型 数据云盘镜像支持Image类型 Image类型支持raw和qcow2两种格式 镜像保存在镜像服务器上 在首次创建云主机/云盘时下载到主存储上作为镜像缓存使用 平台类型 Platform 决定创建虚拟机时是否使用KVM virtio驱动 包括磁盘驱动和网卡驱动 Linux 使用virtio驱动 WindowsVirtio 使用virtio驱动 请确保镜像的Windows操作系统里已安装了virio-disk和virtionetwork驱动 Paravirtualization 使用virtio驱动 镜像的操作系统可以是安装了virtio驱动的任何操作系统 Windows 不使用virtio驱动 镜像操作系统是未安装virtio的Windows Other 不使用virtio驱动 镜像操作系统可以是任何操作系统 URL URL支持以下两种格式 1. HTTP/HTTPS URL ZStack会使用wget下载该镜像 例如 2. 镜像服务器的绝对路径 可以先手动将镜像放到镜像服务器的某个目录 再指定添加 例如 file:///opt/zstack-dvd/zstack-image-1.4.qcow2 添加镜像 需注意 输入的URL需可被镜像服务器访问 且存在此镜像文件 109

116 运维手册 / 7 Wizard引导设置 如果镜像文件比较大 下载的时间会比较长 请耐心等待 建议在本地数据中心搭建一个HTTP服务器保存常用的镜像 可获得较快的镜像下载速度 使用file格式添加镜像 暂不支持Ceph或FusionStor镜像服务器 已安装Qemu guest agent选项 勾选表示待添加的镜像已安装了Qemu guest agent 创建出的云 主机默认支持在线修改密码功能 8. 二层网络 二层网络对应了二层广播域 进行二层相关的隔离 一般以设备编号进行识别 在初始化引导时 支持选择以下类型 L2NoVlanNetwork L2NoVlanNetwork类型表示相关的物理机对应的网络设备不设置VLAN 如果交换机端口设置了VLAN 则需在交换机端配置Access模式 如果交换机端口没有设置VLAN 则无须特别设置 创建二层网络 会根据输入的网络设备号创建网桥设备 L2VlanNetwork L2VlanNetwork类型表示相关的物理机对应的网络设备需设置VLAN 从逻辑上划分虚拟局域网 支持1-4094个子网 此类型需在物理机接入的交换机端进行Trunk设置 创建二层网络 会根据输入的网络设备号创建VLAN设备 并基于此VLAN设备创建网桥 例如输入eth0 VLAN 10会创建eth0.10设备 并基于此设备创建网桥 添加二层网络 需注意 NovlanNetWork和VlanNetwork作为一组物理定义的二层网络 主要差异在于是否支持VLAN 在 添加时 指定的是网卡设备编号 与物理机网卡端口在交换机端的设置应相同 添加二层网络 会检查集群内的物理机是否存在此网络设备 如果不存在将会添加失败 9. 三层网络 定义了云主机使用的网络配置 包含了IP地址范围 网关 DNS 网络服务等 三层网络属于二层网络的子资源 创建时默认选择了已创建的二层网络 初始化界面的网络配置默认采用扁平网络 可实现云主机和物理机直接互通 网络服务会根据选择的扁平网络 配置DHCP 弹性IP 安全组 UserData等网络服务 扁平网络的网络服务采用分布式的DHCP 分布式的EIP结构 扁平网络的DHCP服务也包含了DNS的功能 添加三层网络的网络段可使用IP范围和CIDR 无域间路由 两种方式 IP范围的添加可指定 到 子网掩码指定 网关指定 CIDR无域间路由可以使用 例如 /24 DNS用于设置云主机网络的DNS解析服务 例如指定

117 运维手册 / 8 首页 8 首页 首页主要对当前区域/所有区域的数据中心资源实时状态进行统一直观展示 首页主要分为四大部分 总物理机资源使用率及性能监控 通过对当前区域/所有区域的全部物理机CPU 内存 磁盘 网络资源使用情况进行统计分析 以全部 物理机的总CPU负载压力 总内存负载压力 总网络吞吐性能 以及总磁盘IO性能为指标 分别进行 实时展示监控 实时显示的数据结合动态曲线图 可直观告知用户当前全部物理机的整体资源使用状 态以及性能状态 KVM云主机 物理机的运行状态统计 通过对当前区域/所有区域的全部KVM云主机 物理机运行状态进行统计分析 对处于各状态的资源数 量进行实时展示监控 并结合进度条的绿 红 黄比例提示 可直观告知用户当前全部KVM云主机 物理机的运行情况 CPU 内存 主存储 镜像服务器 公网IP 私网IP的实时资源用量统计 通过对当前区域/所有区域的相关物理资源使用情况进行统计分析 挑选出CPU 内存 主存储 镜像 服务器 公网IP 私网IP等资源 对它们的资源用量分别进行实时展示监控 实时显示的百分比结合 进度条的蓝 黄 红三色提示可直观告知用户当前资源的使用量 同时提供详实的数据 已用/总量 虚拟/物理 供用户参考 计算 存储 网络 平台的资源可用性统计 通过对当前区域 或所有区域 数据中心的计算 存储 网络 平台的相关资源可用性进行统计分 析 对各资源以可用资源数量与不可用资源数量之比的形式进行实时展示监控 并结合进度条的蓝 黄比例提示 可直观告知用户当前资源的可用情况 首页右上方从左到右的功能按钮依次为 产品与服务快速入口 区域切换 大屏监控入口 报警消息 操作日志 帮助信息 个人中心 产品与服务快速入口 基于UI Map为用户提供了ZStack私有云全局资源概览 区域切换 可选择不同区域进行切换 大屏监控入口 可在新页面打开大屏监控界面 对所有区域的数据中心实时资源状态进行统一直观展 示 报警消息 可查看最新报警消息 操作日志 可查看最近的进行中操作日志和已完成操作日志 帮助信息 可选择进入常见问题解答界面或关于界面 常见问题解答 跳转至ZStack官网常见问题界面 获取最新FAQ帮助 关于 跳转至关于界面 详情可参考关于章节 个人中心 支持对当前账户进行修改密码 UI界面语言切换和登出操作 8.1 大屏监控 ZStack支持数据中心大屏监控特性 大屏监控主要分为四大部分 左侧 Top5云主机CPU负载 Top5云主机内存负载 Top5物理机CPU负载 Top5物理机内存 负载 111

118 运维手册 / 8 首页 通过对所有区域数据中心的云主机 物理机的CPU 内存资源使用情况进行统计分析 以云主 机CPU负载 云主机内存负载 物理机CPU负载 物理机内存负载为指标 分别挑选出各指标 下负载压力最高的前五台机器 进行实时展示监控 实时显示的百分比排行榜结合进度条的蓝 黄 红三色提示 可直观告知用户当前哪些机器资源告急 中间上侧 总物理机的CPU负载 内存负载 磁盘IO 网络吞吐量 通过对所有区域数据中心的全部物理机的CPU 内存 磁盘 网络资源使用情况进行统计分 析 以全部物理机的总CPU负载压力 总内存负载压力 总磁盘IO性能 以及总网络吞吐性能 为指标 分别进行实时展示监控 实时显示的动态曲线图结合不同监控项目的颜色区分 可直观 告知用户当前全部物理机的整体资源使用状态以及性能状态 右侧 CPU 内存 主存储 镜像服务器 私网IP 公网IP的实时资源用量统计 通过对所有区域数据中心的相关物理资源使用情况进行统计分析 挑选出CPU 内存 主存储 镜像服务器 私网IP 公网IP等资源 对它们的资源用量分别进行实时展示监控 实时显示的百 分比结合进度条的蓝 黄 红三色提示可直观告知用户当前资源的使用量 下侧 云主机 物理机 镜像 集群的实时资源总览 通过对所有区域数据中心的云主机 物理机 镜像 集群等资源使用情况进行统计分析 对它们 的资源总用量分别进行实时展示监控 大屏标题支持自定义编辑 点击设置 > 自定义UI 在自定义UI界面编辑即可 注意事项 手动登出管理节点 大屏会停止工作 管理节点自动登出后 大屏正常工作 重新登录后 需要重启大屏 终端锁屏后 大屏会停止工作 8.2 关于 ZStack提供多种协议 可根据需求免费使用开源社区版或者购买ZStack软件的授权 具体相关事宜 请在关于界面了解 版本说明 版本说明主要介绍当前使用的ZStack软件的相关授权协议说明 ZStack提供五种使用协议 具体协议授权范围如下表所示 112

119 运维手册 / 8 首页 授权协议类型 授权协议说明 免费使用 不限计算节点数量 不限授权期限 仅限使用ZStack私有 社区版 云的部分功能 不提供官方售后技术支持服务 该版本不适合用于企 业生产环境 推荐社区爱好者做技术研究使用 企业版 试用许可证 免费使用 可以添加许可证指定数量CPU的物理机 在许可证授权期 限内可使用ZStack私有云的全部功能 不提供官方售后技术支持服务 企业版 无限 免费使用 可以免费添加1台物理机 并无限期使用ZStack私有云的 期免费许可证 全部功能 不提供官方售后技术支持服务 付费授权使用 可管理的计算节点数量按购买的物理CPU颗数计 企业版 付费许可证 算 在许可证授权期限内可使用ZStack私有云的全部功能 在售后服 务期内可获得官方售后技术支持服务 该版本适于企业部署生产环境 的私有云 ZStack和阿里云联合推出的ZStack for Alibaba Cloud 付费授权使 用 可管理的计算节点数量按购买的物理CPU颗数计算 在许可证授 混合云版 权期限内可使用ZStack私有云的全部功能以及"阿里云-ZStack"混合云 的全部功能 在售后服务期内可获得官方售后技术支持服务 该版本 适于企业部署生产环境的私有云和混合云 如您需要试用企业版或打算购买付费企业版 请点击请求码后面的 将请求码和您的需求发 送电子邮件至 sales@zstack.io 我们将尽快与您联系 我们也欢迎您直接与sales@zstack.io 咨询购买的相关事宜 如您需要升级到其它版本或更新许可证 我们将尽快与您联系 加载许可 如果您获得了ZStack的新许可证 可点击更换许可证 弹出更换许可证界面 直接将获得的新的许 可证本地上传即可 ZStack支持License到期提醒 当许可证使用期限剩余14天时 登录云平台后智能操作助手将弹出许可证即将过期的提醒信息 点击暂不处理 提醒信息暂时关闭 点击查看详情 将直接跳转至关于页面 为不影响您的正常使用 请尽快联系云平台相关服 务人员进行续费 以继续使用本产品 当许可证已经过期 登录云平台后将自动跳转至关于页面 113

120 运维手册 / 9 云资源池 9 云资源池 9.1 云主机 云主机 运行在物理机上的虚拟机实例 具有独立的IP地址 可以访问公共网络 运行应用服 务 是ZStack的核心组成部分 创建云主机最重要的三个输入 1. 计算规格 用于确定云主机的CPU 内存大小 在分配资源前 ZStack会筛选拥有这些资源的物理机作为 候选来创建云主机 2. 镜像 用于确定使用哪个镜像来创建云主机 选择镜像时 假如此镜像对应的镜像服务器为ImageStore镜像服务器 则ZStack会自动选择那些挂载了本 地存储 NFS SharedMountPoint Ceph主存储的集群作为备选集群 假如此镜像对应的镜像服务器为Sftp镜像服务器 仅社区版支持 则ZStack会自动选择那 些挂载了本地存储 NFS SharedMountPoint主存储的集群作为备选集群 假如此镜像对应的镜像服务器为Ceph镜像服务器 则ZStack会自动选择挂载了此Ceph镜像 服务器对应的Ceph主存储的集群 假如此镜像对应的镜像服务器为Fusionstor镜像服务器 则ZStack会自动选择挂载了 此Fusionstor镜像服务器对应的Fusionstor主存储的集群 3. 网络 用于指定云主机的网络 在选择镜像后 待创建的云主机的可用集群已经确定下来 ZStack会根 据此集群挂载的网络来提供可选网络 注: 在确定完毕以上输入后 创建此云主机需要的各种资源已经确定 此时可选的资源被筛选 为 使用此镜像对应的镜像服务器 接着根据此镜像服务器可选择的集群 根据此集群确 定的相关网络 如果有满足条件的多个集群挂载已选择的网络 那么高级选项还可以继续筛选相应的集 群 主存储 物理机等资源 114

121 运维手册 / 9 云资源池 创建云主机的多主存储分配策略 创建云主机时多主存储分配策略 一个集群挂载多个本地主存储 创建云主机可指定任意的本地主存储 如不指定主存储 系统将自动选择可用容量最充足的本地主存储 一个集群挂载多个共享主存储 目前支持多个NFS主存储 创建云主机可指定任意的NFS主存储 如不指定步主存储 系统将随机分配可用的NFS主存储 一个集群挂载混合主存储 目前支持1个LocalStorage + 1个NFS 1个LocalStorage + 1个SMP 创建云主机可指定任意的主存储 如果创建云主机的同时创建并加载数据云盘 则需指定数据云盘所使用的主存储 如不指定主存储 系统将默认使用本地主存储来创建云主机 云主机相关操作定义 启动 启动云主机 将停止状态的云主机启动起来 使其正常运行 云主机启动默认会使用上次所在的 物理机启动 注意以下几种场景 场景 此云主机所在集群只挂载了本地存储 一个或 多个 云主机启动 此云主机只能在上次所在的物理机上启动 此云主机所在集群只挂载了共享存储 一个或 此云主机可在使用此主存储的可用物理机上启 多个 目前支持多个NFS主存储 动 1. 如果此云主机使用了本地存储的根云盘或数 此云主机所在集群挂载了不同类型的主存 储 目前支持1个LocalStorage + 1个NFS 1 个LocalStorage + 1个SMP 据盘 则此云主机只能在上次所在的物理机 启动 2. 如果此云主机只使用了共享存储 也可带数 据云盘 则此云主机可在使用此主存储的 可用物理机上启动 115

122 运维手册 / 9 云资源池 启动云主机失败 需检查以下资源 其所在集群内是否有物理机连接并启用 如果没有可用连接的物理机 会提示找不到可用物 理机 其所在集群内物理机的资源 CPU 内存 是否充足 如果所有的物理机各自可用的CPU 内存资源不足以支持此云主机的CPU 内存大小 则会提示找不到可用物理机 其所在集群是否挂载了二层网络 如果集群未挂载二层网络 则此云主机上也不会存在三层 网络 则会提示此云主机无网络 无法启动 其所在集群对应的二层网络是否存在三层网络 如果此集群挂载的二层网络均无三层网 络 则此云主机上也不会存在三层网络 则会提示此云主机无网络 无法启动 其所在集群是否挂载了主存储 如果集群未挂载主存储 一般发生在卸载主存储后 则会 提示此云主机的根云盘文件找不到 需挂载回原本的主存储才可正常启动 其所在集群的主存储可用容量是否充足 创建云主机时判断 如果主存储无法提供云主机 需要的容量 则会提示容量不足 停止 停止云主机 将运行状态的云主机停止起来 使其正常关机 重启 重启云主机 将运行状态的云主机重新启动 重启过程中会更新其全部配置 包括启动顺序 控 制台密码 控制台模式 USB设备重定向 屏幕数量控制 关闭电源 关闭电源 将运行状态的云主机直接断电 强制关闭 此操作存在丢失数据的风险 需谨慎操 作 暂停 暂停云主机 云主机继续消耗内存或资源 但是暂时不调度hypervisor 可以恢复到运行状 态 也可删除 恢复 Resume 从暂停状态恢复正常运行 云主机内可继续运行 删除 destroy 如果云主机运行状态 则将其关闭电源并置为已删除状态 如果云主机处于其他状态 则将其直 接置为已删除状态 116

123 运维手册 / 9 云资源池 恢复 Recover 将VM从已删除状态恢复为停止状态 彻底删除 彻底删除 会将云主机从ZStack彻底移除 并且移除根云盘真实占用的存储空间 打开控制台 通过VNC方式访问云主机 要求浏览器所在电脑可以访问控制台代理IP 如果打开控制台返回 成功 但是无内容 需确保控制台代理指定的IP地址可以被用户的客户机 笔记本电脑 正常访 问 如有必要 需修改控制台代理IP 并重启MN服务 注: 修改步骤如下 命令行方式 1. 修改/usr/local/zstack/apache-tomcat/webapps/zstack/WEB-INF/classes/zstack.properties中的consoleProxyOverriddenIp为外部可访问的IP地址 2. 重启管理节点服务 zstack-ctl restart_node UI方式 1. 在平台管理 > 控制台代理页面手动修改 本地存储迁移 主要是指冷迁移 主要迁移根云盘或数据云盘 冷迁移前需卸载相关的数据云盘 本地存储也支持热迁移 需全局打开支持 且Windows云主机不支持 本地存储在热迁移前也需 要先卸载数据云盘 网络共享存储迁移 为在线实时迁移 主要拷贝内存及CPU相关寄存器状态 支持跨集群迁移 只需目的集群与原本 集群均挂载云主机使用的网络和主存储 多个不同主存储的情况下 加载了不同类型存储后 需 要卸载云盘后才可迁移 创建镜像 将云主机封装成镜像 可以使用此镜像再创建更多云主机 在线创建 云主机运行时 镜像仓库和Ceph镜像服务器支持在线创建镜像 关机创建 云主机关机后 各种镜像服务器均支持创建镜像 117

124 运维手册 / 9 云资源池 创建快照 针对根云盘或数据云盘在指定的时间点创建的数据映像 可以在数据丢失时 有效恢复数据 在线快照 云主机运行时 镜像仓库和Ceph镜像服务器支持增量快照备份 关机快照 云主机关机后 各种镜像服务器均支持创建快照 恢复快照 将云主机恢复至当前快照点 云盘内相关的数据会恢复至快照点 恢复快照前 需提前备份云盘 数据 克隆 只涉及根云盘的克隆 用户在克隆前对云主机根云盘安装的程序或进行的配置都会复制到新 克隆出的云主机 目前镜像仓库和Ceph镜像服务器支持在线克隆和关机克隆 克隆会复制此云主机相关的系统标签 例如NeverStop QGA等系统标签 创建灾备数据 将本地云主机备份到异地或公有云的灾备服务器中 云主机备份为镜像 创建云盘 从云主机所属集群已挂载的主存储创建数据云盘 在多主存储的情况下 可指定主存储来创建云盘 针对多个本地主存储 默认会选择可用容量大的存储来创建 针对多个NFS主存储 默认会随机选择主存储来创建 针对本地主存储+NFS/Shared Mount Point类型主存储 默认会选择与当前根云盘不在同一个 主存储的存储来创建 支持基于云盘镜像创建云盘 若云盘镜像来自于镜像仓库类型的镜像服务器 支持创建云盘 到Ceph主存储上 加载云盘/卸载云盘 加载云盘 可选择云主机所属集群已挂载的主存储上可用云盘来加载 卸载云盘 将云盘从云主机卸载 本地存储冷迁移和存储迁移 需要先卸载相关数据云盘 云盘扩容 云主机停止后可按需进行数据云盘扩容 更改容量将在启动云主机后生效 数据云盘扩容容量只 增不减 创建云盘镜像 118

125 运维手册 / 9 云资源池 将云盘封装成镜像 可以使用此镜像再创建更多云盘 且支持Ceph主存储上的云盘创建云盘镜 像到镜像仓库类型的镜像服务器 加载ISO/卸载ISO 加载或卸载ISO 需要提前添加ISO镜像 加载ISO镜像后 可在云主机内识别并加载 如果打算进行系统修复或系统重新安装 可以加载ISO 调整启动顺序以ISO优先 并重启云 主机 用ISO引导系统 支持加载多个ISO 最多支持加载3个 不支持批量加载 加载SSH Key/删除SSH Key SSH Key注入需注意 SSH Key注入需要云主机提前安装cloud-init CentOS可执行yum install cloud-init来安 装Cloud-init 输入指定主机的对应用户的公钥 公钥由ssh-keygen生成 存放在~/.ssh/ id_rsa.pub 安装cloud-init后 ssh密码认证默认关闭 需将/etc/cloud/cloud.cfg的ssh_pwauth选项设置 为1才能开启 添加SSH Key时 如果云主机之前已注入过SSH Key 则需在云主机中手动执行 rm -rf /var/ lib/cloud/instances 以清理先前配置并重启云主机 删除SSH Key只删除系统中记录的SSH Key信息 并不从云主机中删除相关的Key信息 并 不移除已经生效的Key 如果需要再次注入 需手动清理/var/lib/cloud/instances里面的信 息 如果需要删除已经生效的Key 则需手动清理云主机里~/.ssh/authorized_keys的Key 设置高可用 设置为NeverStop的云主机在资源允许的条件下永不停机 如果云主机的云盘使用了本地存储 在其物理机异常关机后 此云主机不能再次启动 直到 物理机恢复可用连接状态 如果云主机的云盘使用了共享存储 则在资源可用的情况下 云主机会始终保持开机 即使 停止也会再次启动 假定其所在物理机异常断电关机 此云主机也会在其他可用物理机再次 启动 NeverStop云主机可设置本次关机不自动启动 修改计算规格/修改CPU 内存 修改云主机的CPU 内存 磁盘QoS 网络QoS等 119

126 运维手册 / 9 云资源池 在线修改 需全局开启NUMA模式 再重启或者新建的云主机才能生效 不支持在线修 改Windows云主机的计算规格 在线修改计算规格 只能增加CPU 内存的配置 不能降低 配置 关机修改 云主机关机后 可修改云主机的配置信息 设置启动顺序 在加载ISO后 修改云主机的启动顺序 可用于系统修复或系统重新安装 设置启动顺序 以CdRom优先 需重启云主机生效 只生效一次 下次再重启后会默认再从硬盘引导 用户在 第一次创建云主机选择ISO进行安装时 无需选择启动顺序 系统会自行从ISO引导 启动 指定物理机 从可用的物理机列表选择指定的物理机来启动云主机 适用于共享存储 使用本地存储的云主 机 只能使用根云盘所在的物理机启动 设置控制台密码/取消控制台密码 设置控制台密码后 打开VNC控制台则需要正确输入控制台密码后才可访问控制台 取消控 制台密码后 访问此云主机的控制台则无须输入密码 设置和取消控制台密码需要云主机重 启 靠ZStack重启 才会生效 重置云主机 将停止状态的云主机恢复到镜像模板的初始状态 云主机内目前已修改的数据会被擦除 重置云 主机前 需提前备份云盘数据 更改所有者 变更云主机的所有者给其他普通账户 设置RDP模式 设置VDI场景下的RDP模式 默认以RDP模式打开控制台 设置后立刻生效 USB重定向 USB重定向主要用于VDI 将客户端插入的USB设备重定向至云主机 修改后 需重启生效 QGA选项 开启前需确保云主机已安装并运行qemu-guest-agent 开启后云主机默认支持在线修改密码 在线修改密码 需要打开QGA选项 且云主机需安装并运行qemu guest agent 支持Linux和Windows云主 机 需确保输入的用户名已存在 120

127 运维手册 / 9 云资源池 系统扩容 将云主机的根云盘容量扩容增加 使用LVM分区的Linux云主机可使用lvextend直接扩容系统分区 Windows云主机也可以右击磁盘管理进行系统扩容 切换控制台模式 控制台模式支持VNC和SPICE VNC可以直接在浏览器上打开控制台 SPICE协议需SPICE客 户端打开 支持两种模式切换 重启后生效 存储迁移 云主机支持关机状态下跨网络共享存储的数据迁移 目前支持跨Ceph存储迁移以及跨NFS存储 迁移 跨Ceph存储迁移 云主机进行跨Ceph存储迁移之前 需先卸载所有数据云盘 所涉及的两个Ceph存储所在集群需加载到相同的二层网络 且彼此的mon节点可以互通 跨NFS存储迁移 云主机进行跨NFS存储迁移之前 需先卸载所有数据云盘 所涉及的两个NFS存储所在集群需加载到相同的二层网络 且目标NFS存储能够被挂载到 待迁移云主机所在集群 绑定/解绑亲和组 绑定云主机到亲和组 或从亲和组解绑云主机 目前ZStack提供针对云主机与物理机的两种亲和组策略 反亲和组(非强制) 反亲和组(强制) 反亲和组(非强制) 将亲和组内的云主机尽量分配到不同物理机上 当没有更多物理机可分配时 回归普通分配 策略 反亲和组(强制) 将亲和组内的云主机严格分配到不同物理机上 当没有更多物理机可分配时 则分配失败 更换系统 将云主机停止后 可指定目标镜像更换系统 目标镜像需为Image类型 更换系统后 云主机保 持关机状态 121

128 运维手册 / 9 云资源池 更换系统操作 会彻底删除原系统盘及其快照 务必确认更换系统前做好相关备份 以免丢 失数据 创建云主机快照的定时任务会失效 需要重新设置 云主机挂载数据盘时 支持更换不同类型的操作系统 例如从Linux更换为Windows 在做跨平台的操作系统更换时 数据盘的分区格式可能会无法识别 QoS设置 限制云主机云盘 网络上下行带宽的设置 无须重启立刻生效 过低的QoS可能导致云主机工作 异常 User Data注入 支持导入User Data 即用户自定义数据 通过上传自定义的参数或脚本 对主机做一些定制化 配置或完成特定任务 Linux云主机导入User Data Linux云主机导入User Data 云主机镜像需提前安装Cloud-Init Linux云主机导入User Data样例 #cloud-config users: - name: test shell: /bin/bash groups: users sudo: ['ALL=(ALL) NOPASSWD:ALL'] ssh-authorized-keys: - ssh-rsa AAAAB3NzaC1LXCJfjroD1lT root@ bootcmd: - mkdir /tmp/temp write_files: - path: /tmp/zstack_config content: Hello,world! permissions: '0755' hostname: Perf-test disable_root: false ssh_pwauth: yes chpasswd: list: root:word expire: False runcmd: - echo ls -l / >/root/list.sh 上述样例脚本实现以下功能 1. 创建云主机时 创建用户test 使用ssh-key 2. 开机写入文件/etc/hosts 创建/tmp/temp目录 并创建文件写入内容 122

129 运维手册 / 9 云资源池 3. 设置hostname 开启root用户 允许ssh密码登录 修改root密码 4. 执行echo ls -l /命令 Windows云主机导入User Data Windows云主机导入User Data 云主机镜像需提前安装Cloudbase-Init 具体安装方法 可参考Cloudbase官方文档 Windows云主机导入User Data样例 #cloud-config write_files: - encoding: b64 content: NDI= path: C:\b64 permissions: '0644' - encoding: base64 content: NDI= path: C:\b64_1 permissions: '0644' - encoding: gzip content:!!binary H4sIAGUfoFQC/zMxAgCIsCQyAgAAAA== path: C:\gzip permissions: '0644' 上述样例脚本实现以下功能 云主机启动过程中 在c盘下创建b64 b64_1 gzip三个文件 修改平台 修改云主机的平台 可选择Linux Windows WindowsVirtio Other Paravirtualization 模式 其中Linux WindowsVirtio Paravirtualization支持Virtio类型的设备驱动 Windows Other使用Qemu模拟的设备 需重启后生效 修改屏幕数量 VDI场景下云主机可接入的最多屏幕数量 默认为1 修改后 需重启生效 支持SPICE模式 加载网卡 从可用的三层网络列表 选择可用网络加载至云主机 卸载网卡 将云主机的网卡卸载 如果云主机没有任何网卡 停止后 将无法启动 需至少加载一个网卡 更改默认网络 支持更改云主机的默认网络 需要在云主机内部重启网络服务后生效 设置MAC 123

130 运维手册 / 9 云资源池 创建云主机时可以指定MAC地址 停止云主机后 可设置或更改MAC地址 从可用的IP地址段 选择可用IP指定给云主机使用 需避免IP冲突 设置静态IP 设置云主机的静态IP 从可用的IP地址段选择可用IP指定给云主机使用 需避免IP冲突 加载GPU设备 将物理机的GPU设备加载给云主机使用 使得云主机独占使用GPU设备 拥有GPU设备的云主 机不支持在线迁移 卸载GPU设备 将云主机上已独占的GPU设备卸载 加载USB设备 开启USB透传功能 云主机可加载USB设备 一旦USB设备加载到某个云主机 该USB设备就 为该云主机独享 一台云主机加载的所有USB设备只能处于同一台物理机上 卸载USB设备 云主机卸载USB设备 加载其它外接设备 开启其他外接设备透传功能 云主机可加载其他外接设备 卸载其它外接设备 云主机卸载其他外接设备 定时任务 基于定时器 创建定时任务 支持定时关机 定时开机 定时重启 定时快照等任务 报警 创建报警器并添加相关报警条目 系统可自动监控已添加云主机CPU 磁盘 网卡 内存相关的 多项报警条目 以邮件/钉钉/HTTP POST方式发送报警信息 审计 支持对云主机的所有操作行为审计 有效保障云环境下核心数据的安全 云主机支持多种操作 依据不同的约束条件可支持的操作不同 124 需要重启云主机才可以生效 需要关机才可以执行 云主机运行中即刻生效 设置NUMA结构 启动云主机 克隆云主机

131 运维手册 / 9 云资源池 需要重启云主机才可以生效 需要关机才可以执行 云主机运行中即刻生效 修改显卡类型 存储迁移 Network Anti-Spoofing 修改云主机CPU模式 更换系统 绑定 解绑亲和组 修改云主机缓存模式 恢复快照 创建 删除快照 修改云主机控制台模式 启动指定物理机 创建 删除 加载 卸载云 设置 取消控制台密码 设置MAC 设置USB重定向 重置云主机 创建云盘镜像 设置平台类型 设置 取消静态IP 创建云主机镜像 设置启动顺序 盘 创建灾备数据 混合云版支 持 定时任务 更改所有者 在线修改密码 加载 卸载网卡 加载 卸载GPU设备 加载 卸载ISO 加载 卸载USB设备 设置 取消网卡QoS 设置 取消网盘QoS 设置QGA状态 设置RDP模式 设置VDI设备最多支持的屏 幕数量 设置高可用 云盘扩容 云主机高可用全局开关 在线迁移 共享存储 主存储超分率 主存储使用阈值 在线修改内存 修改彻底删除时延 修改计算规格 系统扩容 注意事项 使用云主机需注意 125

132 运维手册 / 9 云资源池 云主机的快照链如果过长 可能会导致云主机IO性能下降 如果SSH Key注入和User Data同时注入 User Data生效 而注入的SSH Key不生效 数据云盘默认采用Virtio设备 需安装相应驱动才可识别使用 Linux各发行版默认已集成Virtio驱 动 无须额外安装 Windows需额外安装驱动 共享云盘需要使用Virtio SCSI类型云盘 可使用OCFS2文件系统 各挂载的云主机可同时进行 读写 Ceph存储支持共享云盘 GPU透传功能需要物理机支持IOMMU及BIOS打开VT-d选项 云主机多网卡的情况下 修改默认网卡 需要在云主机内部重启网络服务后生效 云主机加载/卸载云盘是动态操作 而云主机的/etc/fstab是静态配置文件 如果加载云盘后修改 云主机fstab文件 对该云主机在线创建镜像 使用该镜像创建其它云主机时 由于fstab文件没 有相应的挂载信息 再创建的云主机会hang住无法启动 Linux云主机加载云盘后不能修改/etc/fstab文件 正确的做法 进入/etc/rc.local执行mount命令来挂载云盘 # chmod +x /etc/rc.local # mount -t 云盘UUID 目标挂载路径 注: 建议使用云盘的ID来挂载而非/dev/vdb类似的盘符来挂载 9.2 云盘 云盘 为云主机提供存储 可分为 根云盘 云主机的系统云盘 用于支撑云主机的系统运行 数据云盘 云主机使用的数据云盘 一般用于扩展的存储使用 云盘管理主要涉及数据云盘的管理 云盘相关操作定义 启用 将停用的云盘启用 启用后 可以加载到云主机 针对已经加载的云盘 停用不影响其正常工 作 在其卸载后就不可再加载 停用 将启用的云盘停用 停用后 此云盘不可作为候选加载到其他云主机 126

133 运维手册 / 9 云资源池 加载 将云盘加载到云主机 云主机运行或关机状态均可加载 卸载 从云主机将云盘卸载 卸载后可加载到其他云主机 迁移 本地存储的云盘可以在卸载后 迁移至其他物理机 迁移后 可以加载到目的物理机的其他云主 机上 创建灾备数据 对当前云主机 镜像或云盘进行灾备备份 云主机和镜像会备份成镜像进行保存 云盘会备份成 云盘备份进行保存 创建镜像 将云盘封装成镜像 可以使用此镜像再创建更多云盘 且支持Ceph主存储上的云盘创建云盘镜 像到镜像仓库类型的镜像服务器 云盘扩容 支持在线扩容功能 按需求进行数据云盘扩容 数据云盘扩容后容量实时生效 扩容容量只增不 减且增量不得小于4MB 创建快照 针对云盘在指定的时间点创建数据映像 可以在数据丢失时 有效恢复数据 与云主机根云盘创 建快照类似 卸载后 均可创建快照 针对已加载到运行状态的云主机的云盘 恢复快照 把云盘还原到当前快照状态 只能操作一个已卸载或已停止的云主机上的云盘 删除快照 删除当前快照 更改所有者 变更云盘的所有者给其他普通账户 存储迁移 云盘支持跨网络共享存储的迁移 目前支持跨Ceph存储迁移以及跨NFS存储迁移 跨Ceph存储迁移 127

134 运维手册 / 9 云资源池 云盘进行跨Ceph存储迁移之前 需先确认该云盘没有被挂载到任何云主机上 所涉及的两个Ceph存储 要求彼此的mon节点可以互通 跨NFS存储迁移 云盘进行跨NFS存储迁移之前 需先确认该云盘没有被挂载到任何云主机上 所涉及的两个NFS存储 要求目标NFS存储能够被挂载到待迁移云盘所在集群 删除 将已挂载 未挂载或未实例化的云盘删除掉 未实例化云盘删除操作为立即删除 删除后系统不 再记录此云盘 恢复 将已删除的云盘恢复到就绪状态 彻底删除 将已删除的云盘彻底删除 系统将不再记录此云盘 并删除真实的数据 定时任务 基于定时器 创建定时任务 目前云盘定时任务只支持数据云盘快照任务 支持创建 启用 停 用 删除定时任务 注意事项 使用云盘需注意 不同Hypervisor上的云盘不可挂载到不同类型的云主机上 例如 KVM云主机的云盘不能 被VMWare云主机加载 云盘占用空间采用虚拟容量来计算 创建云盘时扣除的是云盘的虚拟容量大小 而本身只占用少 量实际容量 随着写入文件额增加 实际容量会逐步增加 非共享 云盘同一时间只能挂载到一个云主机 Ceph类型的主存储支持共享云盘 共享云盘 可被多个云主机识别并同时访问 根云盘作为云主机的附属 不能卸载 数据云盘可在相同类型Hypervisor的不同云主机之间挂载和卸载 多个主存储环境下 可以指定主存储创建云盘 如果未指定主存储 针对本地主存储 云盘默认会从容量大的主存储创建 针对NFS主存储 云盘默认会随机选择一个主存储创建 128

135 运维手册 / 9 云资源池 针对本地主存储+NFS/Shared Mount Point类型主存储 默认会选择与当前根云盘不在同一个 主存储的存储来创建 数据云盘可设置QoS进行磁盘带宽限速 需注意限速不可过低 过低的QoS可能导致IO性能过 低 云盘存储在主存储中 需确保主存储可用 为可连接状态 云盘才可正常工作 创建云盘时 需要指定云盘规格 创建云盘时 如果未指定主存储 则创建出的云盘为未实例化云盘 未实例化云盘不占用存储空间 只有挂载到云主机 实例化后会占用真实存储空间 指定主存储后 如果选定的云盘规格超过目前主存储的可用虚拟容量 创建云盘会失败 提示主 存储可用容量不足 指定的主存储如果是本地存储 则同时需选择挂载此主存储的集群下可用的物理机 VirtioSCSI类型的云盘表示采用VirtioSCSI总线 云盘属于SCSI类型 支持IO多队列 可以通过 唯一识别ID WWN 识别 Ceph类型的主存储支持共享云盘 共享云盘可被多个云主机识别并同时访问 本地存储的云盘在卸载后 支持迁移到其他物理机上 迁移后 可加载到新物理机上的云主机 可对云盘创建快照 表示在特定时间点上的数据进行备份 可在数据丢失时 有效恢复数据 本 地存储 NFS和SMP存储创建的快照为树状模式 删除树根快照 树叶快照也会被删除 Ceph 存储下创建的快照是独立的 删除某一快照 不影响其他快照 云盘快照均增量快照 恢复后 快照点当时的数据会恢复并覆盖云盘内所有数据 需谨慎操作 多主存储时创建云盘策略 存在多个主存储时 可以指定主存储来创建云盘 如果未指定主存储 存在多个本地主存储时 创建云主机会优先选择可用容量大的存储来创建云盘 存在多个NFS主存储时 创建云主机会随机选择主存储来创建云盘 针对本地主存储+NFS/Shared Mount Point类型主存储 默认会选择与当前根云盘不在同 一个主存储的存储来创建 针对云盘 可设置QoS进行磁盘带宽限速 需注意限速不可过低 过低的QoS可能导致IO性能过 低 129

136 运维手册 / 9 云资源池 加载/卸载云盘是动态操作 而云主机的/etc/fstab是静态配置文件 如果加载云盘后修改云主 机fstab文件 再卸载云盘 此时一旦重启云主机 云主机将无法启动 因为fstab文件没有相应 挂载信息 云主机会hang住无法启动 正确的做法 进入/etc/rc.local执行mount命令来挂载云盘 # chmod +x /etc/rc.local # mount -t 云盘UUID 目标挂载路径 注: 建议使用云盘的ID来挂载而非/dev/vdb类似的盘符来挂载 9.3 镜像 镜像 云主机或云盘所使用的镜像模板文件 镜像模板包括系统云盘镜像和数据云盘镜像 系统云盘镜像支持ISO和Image类型 数据云盘镜像支持Image类型 Image类型支持raw和qcow2两种格式 镜像保存在镜像服务器上 首次创建云主机/云盘时 会下载到主存储上作为镜像缓存 镜像平台类型决定了创建云主机时是否使用KVM Virtio驱动 包括磁盘驱动和网卡驱动 支持以 下类型 Linux 使用Virtio驱动 Windows 不使用Virtio驱动 使用Qemu模拟设备 镜像操作系统是未安装Virtio的Windows WindowsVirtio 使用Virtio驱动 镜像操作系统是已安装Virtio驱动 包括磁盘驱动和网卡驱 动 的Windows Other 不使用Virtio驱动 使用Qemu模拟设备 镜像操作系统可以是任何操作系统 Paravirtualization 使用Virtio驱动 镜像操作系统可以是已安装Virtio驱动的任何操作系统 镜像路径支持添加URL路径或本地文件上传两种方式 1. URL 采用指定的URL路径来添加镜像 支持HTTP/HTTPS方式 填写格式为 例如 130

137 运维手册 / 9 云资源池 支持FTP方式 填写格式为 匿名模式 ftp://hostname[:port]/path/file 例如 ftp:// /pub/zstack-image.qcow2 非匿名模式 ftp://user:password@hostname[:port]/path/file 例如 ftp://zstack:password@ /pub/zstack-image.qcow2 支持SFTP方式 填写格式为 指定密码模式 sftp://user:password@hostname[:port]/path/file 例如 sftp://root:password@ /pub/zstack-image.qcow2 免密模式 sftp://user@hostname[:port]/path/file 例如 sftp://root@ /pub/zstack-image.qcow2 镜像服务器上的绝对路径 支持Sftp镜像服务器和镜像仓库 例如 file:///opt/zstack-dvd/zstack-image-1.4.qcow2 注: 输入URL时 需确保可被镜像服务器访问 且存在此镜像文件 使用SFTP免密模式上传镜像时 需提前确保镜像服务器与Sftp服务器可互相SSH免密 登录 关于平滑连续进度条显示和断点续传 若使用镜像仓库 支持平滑连续进度条显示 且支持断点续传 若使用Ceph或FusionStor镜像服务器 支持平滑连续进度条显示 不支持断点续 传 若使用Sftp镜像服务器 不支持平滑连续进度显示 且不支持断点续传 关于file:///方式上传镜像 若使用Ceph或FusionStor镜像服务器 目前暂不支持file:///格式的输入 file:///是三个/ 对应的路径应为镜像服务器的绝对路径 例如file:///opt/zstack-dvd/ zstack-image-1.4.qcow2 在镜像服务器的/opt/zstack-dvd目录下应存放有zstackimage-1.4.qcow2文件 131

138 运维手册 / 9 云资源池 2. 本地文件上传 表示选择当前浏览器可访问的镜像直接上传 支持镜像仓库和Ceph镜像服务 器 注: 添加本地文件作为镜像 采用了本地浏览器作为中转上传镜像 请勿刷新或关闭当前浏览 器 也不可停止管理节点服务 否则会添加失败 镜像相关操作定义 启用 将停用的镜像启用 可作为候选来创建云主机 停用 将镜像停用 此镜像不可作为候选使用来创建云主机 导出 将镜像仓库的镜像导出 可直接下载 导出的镜像默认存放在镜像仓库目录下的export子目录 下 针对Sftp镜像服务器 可以直接拷贝镜像所在的地址 进行拷贝导出 针对Ceph镜像服务器 可参考镜像所在的Pool信息使用rbd export进行手动导出 全局共享 将镜像共享给所有账户 使得所有普通账户均可使用 共享 将镜像共享给指定的一个或多个账户 全局召回 将共享的镜像全部召回 不再共享 全局召回不影响单独共享 单独指定共享的镜像 普通账户 依然可以使用 召回 将镜像从指定的用户召回 不再共享 更改所有者 变更镜像的所有者给其他普通账户 存储迁移 镜像支持跨网络共享存储的数据迁移 目前支持跨Ceph类型镜像服务器的迁移 132

139 运维手册 / 9 云资源池 将Ceph存储里面的镜像跨存储迁移至其他Ceph存储 迁移后 新的Ceph存储可使用此镜 像 原本的Ceph存储则不再保留原本镜像 进行存储迁移前 需确保目的Ceph存储容量充足 删除 将镜像删除 删除后可进行彻底删除或恢复 恢复 将已删除的镜像恢复为就绪状态 彻底删除 将已删除的镜像彻底删除 并删除镜像服务器上的真实数据 下载已导出镜像 将已导出的镜像下载到浏览器对应本地硬盘中 复制URL 将已导出的镜像的URL拷贝出来 可以添加到其他云平台 也可直接使用wget下载此URL 删除已导出镜像 将已导出的镜像从镜像从镜像仓库删除 不再占用存储容量 修改平台 修改镜像的平台类型 修改后新建的云主机会以新的类型来决定云主机的设备驱动 Linux Windows virtio Paravirtualization采用了virtio的驱动 Windows和Other采用了Qemu模拟设 备 修改QGA选项 打开QGA选项 表示镜像里面已经预装并开机运行qemu-guest-agent 使用此镜像创建的云主 机 支持在线修改密码 刷新容量 刷新镜像所在镜像服务器的真实容量 注意事项 使用镜像需注意 使用file格式添加镜像 暂不支持Ceph或FusionStor镜像服务器 输入的URL需可被镜像服务器访问 且存在此镜像文件 如果镜像服务器无法访问输入的URL 则会提示下载镜像失败 133

140 运维手册 / 9 云资源池 Qemu guest agent勾选表示镜像已安装了qemu-guest-agent 创建出的云主机默认支持在线修 改密码 添加ISO镜像时 此选项禁用 admin可共享镜像给普通账户 分享后 普通账户可使用此镜像创建云主机 普通账户可添加镜像创建云主机 也可使用admin共享的镜像资源 普通账户可以删除自身添加 的镜像 不可删除其他镜像 镜像停用后 此镜像不可作为候选来创建云主机 镜像容量为虚拟容量 表示此镜像的虚拟大小 镜像真实容量为镜像占用的镜像服务器的空 间 类似du -sm读取的文件大小 镜像仓库类型的镜像支持导出功能 导出后 可使用提供的URL下载镜像 9.4 亲和组 亲和组 Affinity Group 是一种针对IaaS资源的简单编排策略 可用于保障用户业务的高性能或高 可用 亲和组策略 目前ZStack提供针对云主机与物理机的两种亲和组策略 反亲和组(非强制) 反亲和组(强制) 反亲和组(非强制) 将亲和组内的云主机尽量分配到不同物理机上 当没有更多物理机可分配时 回归普通分配策 略 反亲和组(强制) 将亲和组内的云主机严格分配到不同物理机上 当没有更多物理机可分配时 则分配失败 如图 82: 反亲和组(非强制)与反亲和组(强制)所示 图 82: 反亲和组(非强制)与反亲和组(强制) 134

141 运维手册 / 9 云资源池 应用场景 以下介绍反亲和组(非强制)和反亲和组(强制)策略的应用场景 反亲和组(非强制)策略应用场景举例 希望Hadoop不同角色的节点尽量分散部署在不同的物理机上 提高系统整体性能 例如用户部署Hadoop系统 对于namenode datanode jobtracker tasktracker等不同角 色 事先并不能预知总共有多少个节点 但显然部署到不同物理机上效率更高 采用反亲和 组(非强制)策略 可使Hadoop集群尽量分散部署在不同物理机上 分散IO压力提高系统整体 性能 反亲和组(强制)策略应用场景举例 承载主备数据库的两台云主机要求部署在不同的物理机上 保障业务高可用 例如用户部署两台业务云主机分别承载主备MySQL数据库 并要求主备数据库不能同时宕 机 因此两台云主机必须部署在不同物理机上 由于部署自动化 用户事先并不能预知哪些 物理机上有资源 采用反亲和组(强制)策略 可选出两个不同的物理机分别运行这两台云主 机 保障业务高可用 亲和组相关操作定义 亲和组支持以下操作 创建 在当前区域中创建一个新的亲和组 启用 重新启用选中的亲和组 将检查组内云主机是否满足所属组策略 若均满足 亲和组成功 启用 否则亲和组启用失败 停用 停止使用选中的亲和组 组内云主机将停止遵循所属组策略 绑定云主机 绑定新的云主机到亲和组 组策略即时生效 解绑云主机 将云主机从从亲和组解绑 组策略即时生效 更改所有者 更改亲和组的所有者 删除 删除选中的亲和组 组内云主机下次启动时不再遵循组策略 云主机支持以下关于亲和组的操作 创建云主机指定亲和组 创建云主机时可以指定一个亲和组 云主机将基于指定组策略创建 克隆云主机指定亲和组 克隆云主机时可以指定一个亲和组 云主机将基于指定组策略克隆 绑定亲和组 绑定云主机到亲和组 组策略对该云主机即时生效 解绑亲和组 将云主机从从亲和组解绑 组策略对该云主机即时失效 135

142 运维手册 / 9 云资源池 注意事项 亲和组策略目前支持反亲和组(非强制)和反亲和组(强制) 亲和组类型目前支持HOST 即云主机 与物理机的亲和 亲和组绑定的云主机数量可自行控制 没有上限限制 亲和组也没有配额限制 可创建无限个 亲和组的作用域为整个区域 作用对象为区域内全部满足条件的物理机 一个云主机同一时间只允许属于一个亲和组 当云主机处于运行状态或已停止状态 才允许变更所属亲和组 本地存储上的云主机变更所属亲和组后 将优先选择last host启动 而不是遵循新的组策略启 动 避免不必要的迁移 共享存储上的云主机变更所属亲和组后 将遵循新的组策略启动 绑定云主机/解绑云主机操作 组策略均即时生效 只有共享存储上处于已停止状态的云主机绑 定到亲和组 组策略在云主机下次启动时生效 迁移云主机也需遵循亲和组策略 所有云路由器和VPC路由器默认都属于一个亲和组 可称之为系统组 该亲和组只允许启用和 停用 不允许其它操作 admin账户以及普通账户均支持创建亲和组 admin账户可对所有亲和组进行操作 普通账户只能对本账户拥有的亲和组进行操作 创建云主机时 如果在高级设置中同时指定了亲和组和物理机 指定亲和组策略为反亲和组(非强制) 当指定物理机满足创建云主机条件 但不满足指定亲和组策略时 云主机创建成功 当指定物理机不满足创建云主机条件时 云主机创建失败 指定亲和组策略为反亲和组(强制) 当指定物理机满足创建云主机条件 但不满足指定亲和组策略时 云主机创建失败 当指定物理机不满足创建云主机条件时 云主机创建失败 9.5 计算规格 计算规格 云主机的CPU 内存 物理机分配策略 磁盘带宽 网络带宽的数量或大小规格定义 物理机分配策略 包括 运行云主机数量最少 CPU使用率最低 内存使用率最低 运行云主机最大数量 默认为运 行云主机数量最少策略 136

143 运维手册 / 9 云资源池 运行云主机数量最少 优先选择云主机最少的物理机来创建云主机 CPU使用率最低 优先选择CPU使用率最低的物理机来创建云主机 注: 系统会采集一段时间内物理机CPU负载数据 计算出这段时间的平均CPU使用率 然 后优先选择CPU使用率最低的物理机来创建云主机 数据采集周期默认10分钟 在设置 > 全局设置 > 高级设置中 修改物理机CPU使用率 最低采集间隔参数 更改数据采集时间 内存使用率最低 优先选择内存使用率最低的物理机来创建云主机 注: 系统会采集一段时间内物理机内存负载数据 计算出这段时间的平均内存使用率 然 后优先选择内存使用率最低的物理机来创建云主机 数据采集周期默认10分钟 在设置 > 全局设置 > 高级设置中 修改物理机内存使用率 最低采集间隔参数 更改数据采集时间 运行云主机最大数量 用户需要先设置物理机最多运行云主机的数量 然后系统会筛选出满足此 要求的物理机来创建云主机 如果没有满足条件的物理机 那么云主机创建失败 计算规格相关操作定义 计算规格支持以下操作 创建计算规格 创建一个新的计算规格 启用 将处于停用状态的计算规格启用 支持批量操作 停用 停止使用某个计算规格 停止后不能再用其创建云主机 但不影响之前已创建的云主 机 支持批量操作 全局共享 将计算规格进行全局共享后 所有的账户都可以使用此计算规格 支持批量操作 全局召回 将已全局共享的计算规格进行全局召回后 其他账户将看不见此计算规格 支持批量 操作 删除 删除计算规格时 会弹出确认删除窗口 支持批量操作 搜索 计算规格的搜索目前支持名称 UUID 以及高级搜索 注意事项 使用计算规格需注意 计算规格的内存需大于16M 过低的规格会无法启动云主机 137

144 运维手册 / 9 云资源池 磁盘网络带宽均为可选项 限制了过低的带宽 可能导致云主机工作异常 首次创建 可按照默认的1CPU-1G内存来配置 计算规格支持在线修改 需要全局配置打开NUMA支持 不支持在线修改Windows云主机 用户需完全理解磁盘带宽和网络带宽配置的含义后 才能进行对应的设置 否则可能会导致无法 从云主机下载文件 创建云主机时 如果同时指定了亲和组策略和物理机分配策略 指定亲和组策略为反亲和组(非强制) 物理机分配策略优先 指定亲和组策略为反亲和组(强制) 亲和组策略优先 9.6 云盘规格 云盘规格 云主机使用的云盘的大小规格定义 云盘规格可以用来创建根云盘和数据云盘 云盘规格支持启用 停用 共享 召回等操作 使用ISO安装云主机时 需指定云盘规格来指定根 云盘大小 云盘规格相关操作定义 云盘规格支持操作如下 创建云盘规格 创建一个新的云盘规格 启用 将处于停用状态的云盘规格启用 支持批量操作 停用 停止使用某个云盘规格 停止后不能再用其创建云盘 但不影响之前已创建的云盘 支持 批量操作 全局共享 将云盘规格进行全局共享后 所有的账户都可以使用此云盘规格 支持批量操作 全局召回 将已全局共享的云盘规格进行全局召回后 其他账户将看不见此计算规格 支持批量 操作 删除 删除云盘规格时 会弹出确认删除窗口 支持批量操作 搜索 云盘规格的搜索目前支持名称 UUID以及高级搜索 138

145 运维手册 / 10 硬件设施 10 硬件设施 10.1 区域 区域 ZStack中最大的一个资源定义 包括集群 二层网络 主存储等资源 在数据中心中 区域一般对应了一个机房 区域定义了一个可见的边界 同一区域内的子资源互相可见并且可以形成某种关系 但不同区域 内的子资源是不可见的 不能互相发生关系 如图 83: 区域资源结构所示 区域中的资源以如下形式组织 图 83: 区域资源结构 规划区域时 需注意 139

146 运维手册 / 10 硬件设施 1. 同一个物理二层广播域中的物理机应该在同一个区域 可属于同一个集群或分属于多个集群 2. 同一个物理二层广播域不应该跨越多个区域 而应该映射为单个区域的二层网络 3. 同一个主存储不应该跨越多个区域 而应该映射为单个区域的主存储 4. 一个数据中心可以有多个区域 5. 一个区域可以挂载一个或多个镜像服务器 一个区域中的资源 例如主存储 只能访问挂载在同一区域中的镜像服务器 一个镜像服务器可以从一个区域中卸载 卸载后 区域中的资源不能再看见该镜像服务器 当数据中心的网络拓扑改变导致一个镜像服务器不能再被一个区域中的资源访问时 可以将 镜像服务器从区域中卸载 UI界面为便于管理镜像服务器和区域的关系 特别设置了一个镜像服务器在同一时间内只能 挂载到一个区域不能再挂载到其它区域 UI界面上 添加镜像服务器 默认会挂载到当前区 域 删除区域的同时会直接删除挂载此区域的镜像服务器 注意事项 使用区域需注意 禁用区域 禁用区域会导致此区域下的所有集群及集群内所有物理机均被禁用 此时本区域的所 有集群内均不可再申请新资源 需再次启用才可申请 启用区域 启用区域会导致此区域下的所有集群及集群内所有物理机均会被启用 删除区域 删除区域会删除此区域下所有资源包括其子资源 包括集群 二层网络 主存储及其 子资源物理机 云主机 云盘 快照 三层网络 各网络服务等 此操作非常危险 请极其慎重 操作 这里的删除所有资源 只是移除所有资源在ZStack中的记录 并不删除真实的数据 UI为便于管理镜像服务器和区域的关系 特别设置了一个镜像服务器只能对应一个区域 在删除 区域的同时会直接删除与挂载此区域的镜像服务器 10.2 集群 集群 一组物理机 计算节点 的逻辑集合 在数据中心中 一个集群一般对应了一个机架 集群的目的 用于提高整体系统的计算能力 IO能力 提高服务的可靠性 提升系统的规模扩展能力 降低系统的运维成本 140

147 运维手册 / 10 硬件设施 规划集群时 需注意 1. 集群内所有物理机须拥有相同的操作系统 2. 集群内所有物理机须拥有相同的网络配置 3. 集群内所有物理机须能够访问相同的主存储 4. 集群需挂载主存储 二层网络后 才可提供云主机服务 5. 集群的规模 也就是每个集群中可以包含物理机的最大数量 没有限制 集群相关约束条件 1. 集群 区域 支持多集群操作 可在一个区域内创建多个集群 新增的物理机可以按需添加到不同的集群之 中 2. 集群 主存储 一个主存储可以加载到多个集群 一个集群可以挂载多个主存储 目前支持的场景有 一个集群可以挂载一个或多个本地主存储 一个集群可以挂载一个或多个NFS主存储 一个集群可以挂载一个本地主存储和一个NFS主存储 一个集群可以挂载一个本地主存储和一个Shared Mount Point主存储 一个集群只能挂载一个Ceph主存储 除此外不能再挂载新的存储 一个集群只能挂载一个FusionStor主存储 除此外不能再挂载新的存储 一个主存储可以挂载到多个集群 主存储与集群的依赖关系如表 1: 主存储与集群关系所示 表 1: 主存储与集群关系 主存储 集群 LocalStorage 支持挂载一个或多个本地存储 NFS 支持挂载一个或多个NFS Share Mount Point 支持挂载一个SMP Ceph 为挂载到集群的Cpeh 有且仅有一个 141

148 运维手册 / 10 硬件设施 主存储 集群 FusionStor 为挂载到集群的FusionStor 有且仅有一个 LocalStorage + NFS 支持挂载1个LocalStorage + 1个NFS LocalStorage + SMP 支持挂载1个LocalStorage + 1个SMP 集群挂载多个本地存储时 务必在添加物理机以及添加主存储之前 提前在物理机对应URL 上做好分区 确保每个本地存储部署在独占的逻辑卷或物理磁盘上 主存储可以被所在集群中的所有物理机访问 如果数据中心的网络拓扑发生改变导致主存储不能被集群中的物理机继续访问时 主存储可 以从集群卸载 删除使用本地存储的集群 会删除集群内所有的物理机 也会删除所有的云主机 但不删除 物理机内所有的云盘和快照真实数据 删除使用共享存储的集群 相关的云主机会被停止 如果这些已停止的云主机设置了高可用 标签 那么可以在其他可用的集群上的物理机再次启动 如果不同集群挂载了相同网络和相同主存储 则支持云主机跨集群迁移 从集群卸载主存储 ZStack会停止集群内所有的云主机 只有再次加入挂载此主存储 这些 云主机才可正常启动 云主机不支持在多个不同类型主存储之间进行迁移 云主机的数据盘所在的主存储进入维护模式 云主机会停止且无法启动 3. 集群支持定义集群的CPU模式 此设置生效前提 在设置 > 全局设置 > 高级设置中将物理机CPU型号检测设置为ture 集群指定CPU类型后 集群内只能添加所指定的CPU类型的物理机 对于之前版本环境中已创建的集群 升级到2.3.2版本后 集群的CPU类型为None 不可更 改 4. 集群 二层网络 一个集群可以加载一个或多个二层网络 一个二层网络可以挂载到多个集群 集群可以挂载VXLAN Pool VXLAN Pool下不同的Vni可用于创建不同的VxlanNetwork 一个网卡只能创建一个NoVlanNetwork 对于VlanNetwork 不同VLAN ID代表不同的二层网络 如果数据中心的网络拓扑发生改变导致集群中的物理机不再在二层网络所代表的物理二层广 播域中 二层网络也可以从集群卸载 142

149 运维手册 / 10 硬件设施 此外 从集群卸载网络 ZStack会卸载掉集群内所有云主机的网卡 此时云主机没有网 卡 运行中的云主机一旦停止 将无法再次开机 需要再次给集群加载网络后 再给云主机 添加网卡 才可正常开机 集群支持添加迁移网络 可用于迁移操作 如果不设置该网络 迁移默认使用管理网络 5. 集群 镜像服务器 集群与镜像服务器没有直接依赖关系 一个镜像服务器可以为多个集群提供服务 注: 集群中所加载的主存储和镜像服务器具有相关性 Ceph主存储支持与镜像仓库类型的镜像服务器一同工作 主存储 PS 和镜像服务器 BS 的相关性如表 2: 主存储与镜像服务器的关系所 示 表 2: 主存储与镜像服务器的关系 PS\BS ImageStore Sftp Ceph FusionStor LocalStorage NFS Shared Mount Point Ceph FusionStor 6. 集群 物理机 停用集群后 会停用此集群下所有的物理机 停用后 此集群就不能作为候选用于申请新资 源 原本运行的云主机不受影响 但这些运行的云主机停止后就不能再次在此集群启动 启用集群后 会同时启用此集群下所有的物理机 7. 集群 VDI网络 在VDI场景 创建集群时 如果已经部署了VDI单独使用的网络 可以指定VDI网络 的CDIR 此网络用于VDI连接的协议流量 例如输入 /16 则在物理机上以此网络 进行VDI协议流量的传输 如果输入错误或不存在的网络CIDR 则会默认使用管理节点添加物理机时的管理网络 143

150 运维手册 / 10 硬件设施 10.3 计算服务器 物理机 物理机 也称之为计算节点 主要为云主机实例提供计算 网络 存储等资源的物理服务器 如图 84: 物理机所示 图 84: 物理机 添加物理机注意事项 添加物理机需注意 管理节点的管理IP需正常访问物理机的SSH端口以部署代理程序 物理机的用户名须拥有sudo权限 SSH端口需开启防火墙或iptables允许 需支持Intel VMX AMD SVM的硬件虚拟化特性 添加或更改物理机的信息 需与实际环境相匹配 物理机有一个字段managementIp 用于表示如果此物理机有多个IP的情况下 添加的IP地址用 于管理节点对此物理机进行连接部署代理程序的IP 144

151 运维手册 / 10 硬件设施 管理节点会周期性的向物理机发送ping命令以检查通道的健康状态; 一旦某个物理机响应失 败 或者ping命令超时 此物理机就会变为失联状态 失联后物理机上运行的云主机会变 成unknown状态 待物理机恢复连接后 会再次同步其上云主机的状态 管理节点会提供ntpdate时间服务器对各物理机进行时间同步 物理机使用注意事项 使用物理机需注意 物理机维护模式 主要用于管理员对物理机打算进行关机实施维护操作 例如添加硬盘 更换 网卡等 物理机维护模式 若主存储为本地存储 则会停止此物理机上所有云主机 若主存储为共享存 储 则会自动迁移其上云主机到可用物理机上 如果其他物理机资源不足 则会停止这些云主 机 物理机停用后 原本运行的云主机依然保持运行状态 如果停止后将不能使用此物理机启动 物理机停用或维护后 此物理机不能再作为候选用于申请新资源 只有再次启用后 才可正常使 用 物理机失联或者进入维护模式后 才可删除物理机 删除本地存储上的物理机会直接彻底删除此物理机上所有的云主机或云盘 这里的删除 只是 移除物理机 云主机 云盘等信息在ZStack中的记录 并不删除真实的数据 删除共享存储上的物理机 不会直接删除其上的云主机或云盘 这些资源可在其他物理机上重新 启用或使用 删除物理机后 即使再次添加回来 系统也将无法识别删除的云主机 需慎重删除 如果打算使用GPU透传功能 物理机的BIOS需开启VT-d功能 添加物理机时 需勾选IOMMU选 项 以扫描IOMMU设备 IOMMU启用状态为启用 IOMMU就绪状态为可用时 才可使用GPU 设备透传功能 物理机运维异常检查事项 物理机运维出现异常需检查 管理节点日志 在管理节点检查/usr/local/zstack/apache-tomcat/logs/management-server.log是否存在异常 物理机agent进程 在物理机检查ps -ef grep kvmagent 检查kvmagnet代理进程是否存在异常 145

152 运维手册 / 10 硬件设施 物理机日志 在物理机检查/var/log/zstack/zstack-kvmagent.log是否存在异常 物理机libvirt状态 在物理机检查service libvirtd status状态是否存在异常 物理机系统日志 在物理机检查/var/log/messages是否存在异常 物理机与主存储连接 检查物理机是否与主存储连接是否出现异常 GPU设备透传 GPU设备透传 将物理机的GPU显卡设备 直接透传给云主机使用 云主机独占显卡设备 适用于 视频渲染 游戏 人工智能等场景 加载GPU设备后 需要安装对应的驱动程序 请在AMD官网或NVIDIA官网获取官方驱动程序 Linux支持AMD的计算卡 游戏卡 专业卡 Linux自带社区驱动 如需支持计算加速和显示加速 功能 请点击这里安装官方驱动 Linux支持NVIDIA的计算卡 游戏卡 专业卡 Linux自带社区驱动 如需支持计算加速和显示加 速功能 请点击这里安装官方驱动 Windows支持AMD的计算卡 游戏卡 专业卡和NVIDIA的计算卡 请点击这里根据显卡类型 和Windows操作系统版本下载合适的显卡驱动 Windows仅支持NVIDIA的计算卡 请点击这里根据显卡类型和Windows操作系统版本下载合适 的显卡驱动 注意事项 使用GPU设备透传需注意 需在物理机上准备GPU设备 支持AMD全系列显卡 支持NVIDIA计算卡 在BIOS开启VT-d或IOMMU支持 添加物理机时 需勾选扫描物理机的IOMMU设备 以支持GPU设备透传 勾选此项后 会遍历 物理机可用的GPU设备 扫描后 需重启物理机以使得IOMMU配置在内核生效 IOMMU启用状态 表示IOMMU设备直通的状态 勾选表示已在内核启用IOMMU配置 需系统 重启后生效 146

153 运维手册 / 10 硬件设施 IOMMU就绪状态 确保物理机IOMMU为就绪状态才可正常使用GPU设备透传 如果不就绪 表 示物理机BIOS或者内核的IOMMU选项未打开 使用GPU透传后物理机的GPU设备透传给云主机后 接入的显示器只显示云主机的界面 物理 机的界面将不再显示 GPU设备透传需先建立云主机后 再动态加载GPU设备到相应的云主机上 加载后 需安装相 应的显卡驱动 才可正常显示 拥有GPU透传设备的云主机不支持迁移功能 需卸载后迁移 拥有GPU透传设备的云主机关机后 只能从原本拥有GPU设备的物理机启动 不支持跨物理机 启动 共享存储上的云主机 在关机情况下加载GPU设备时 可以选择任意物理机 但启动时会从选 定的物理机启动 如果此物理机资源不足 会启动失败 单个云主机可以挂载多个GPU设备 但是这些GPU设备只能来源于同一个物理机 USB设备透传 USB设备透传 物理机USB设备可直接透传至该物理机上所运行的云主机 从而让云主机能够直接 使用物理机上的USB设备 注意事项 使用USB设备透传需注意 USB设备没有统一的命名规范 管理员需要通过生产商 类型 USB版本等信息建立起与实 际USB设备之间的关联 支持修改设备名 进一步提高USB设备的辨识度 一旦USB设备加载到某个云主机 该USB设备就为该云主机独享 云主机处于运行中状态时 只能选择当前所在物理机的可用USB设备 不支持跨物理机USB设备 的加载 云主机处于已停止状态时 如果此前未挂载USB设备 可从所在集群的全部可用USB设备中选择 如果该云主机加载多 个USB设备 需确保所有USB设备处于同一物理机上 如果此前已加载USB设备 只能从该USB设备所在物理机选择其它可用USB设备 总原则 一台云主机加载的所有USB设备只能处于同一台物理机上 云主机加载USB设备 可能会影响其调度结果 该云主机只能在USB设备所在物理机上运行 如 果物理机没有足够的资源 可能导致云主机无法开机 147

154 运维手册 / 10 硬件设施 Windows 2003 Windows 2008和Windows 7系统 不支持USB 3.0设备的直接加载 需要手动安 装驱动 请在ZStack官方百度云盘获取驱动文件 地址 vg 提取码 mc7y 然后双击文件完成安装 注: 对于USB2.0设备 Linux和Windows云主机均可加载并识别 对于USB3.0设备 Linux云主机可加载并识别 Windows云主机中 Windows 2003 Windows 2008和Windows 7系统需要手动安装 或将USB3.0设备插在USB2.0口 中 以提高识别率 云主机加载USB设备的数量有上限限制 USB1.0设备 最多支持加载1个 USB2.0设备 最多支持加载6个 USB3.0设备 最多支持加载4个 裸机管理 裸机管理表示使用PXE服务实现物理裸机的远程自动系统部署 并对裸机进行远程电源管理 裸机管理相关操作定义 安装服务 在管理节点指定网卡上部署PXE服务 配置DHCP和TFTP服务 可远程引导安装裸机系统 裸机安装 配置裸机的IPMI信息 并使用IPMI进行远程电源管理 并配置裸机安装系统 DHCP侦听网卡 管理节点上连通裸机安装网络的网卡设备编号 例如eth0 要求此网卡连接到裸机安装网络 且 已配置IP地址 DHCP起始IP/结束IP 用于定义遍历DHCP服务的IP地址范围 可留空不填 系统将根据DHCP侦听网卡IP侦测并过滤 已用的IP地址作为IP范围 停用PXE服务 148

155 运维手册 / 10 硬件设施 表示停止使用此PXE服务 停用后 会导致裸机安装服务不可用 需启用才可继续使用PXE服 务 添加裸机 添加物理裸机的IPMI信息 使用IPMI进行远程管理裸机 需提前配置IPMI 输入IPMI的用户 名 密码 裸机的安装网络与管理节点的DHCP监听网卡应在同一个二层 可获取DHCP服务 安装系统 给裸机安装部署操作系统 需输入以下字段 1. root密码 提供裸机打算预置的root系统密码 2. 启用VNC 启用VNC界面可用来查看控制安装过程 建议启用 3. 启用无人值守 启用无人值守安装 将所有硬盘均划归为单个LVM分区 把大部分容量分给 根分区 如果需要定制分区 可选否 并在VNC界面自定义分区 4. PXE启动网卡 表示选择哪个网卡来安装部署系统 多网络的情况下 需确保此网卡已接入 交换机且与管理节点提供PXE服务的网卡互通 5. 配置网卡 可对系统当前网卡设置静态IP地址 对应的设置应与物理环境一致 否则网卡会 工作异常 6. 配置网卡绑定 可对系统内多个网卡实现绑定 实现模式1或模式4的绑定 其中模式1表示平 衡轮询策略 模式4表示动态链路聚合模式 模式4需要在安装完系统后 在交换机端对对应 的链路设置链路聚合 重装系统 重装系统表示对当前裸机重新安装系统 当前系统内的所有数据会重新覆盖 需谨慎操作 注意事项 使用PXE服务需注意 会在管理节点部署PXE服务 配置TFTP和DHCP服务 远程引导安装裸机系统 管理节点用于裸机安装的二层网络 不能存在其他DHCP服务器 以免冲突 管理节点上提供PXE服务的网卡 需配置IP地址 管理节点需存在IPMI网络 可通过IPMI远程管理物理机 裸机的启动项是硬盘优先 系统会自动配置PXE启动 安装系统后会从硬盘引导 裸机的安装网络与管理节点的DHCP监听网卡应在同一个二层 可获取DHCP服务 149

156 运维手册 / 10 硬件设施 10.4 主存储 主存储 用于存储云主机磁盘文件 包括 根云盘 数据云盘 根云盘快照 数据云盘快照 镜像 缓存等 的存储服务器 如图 85: 主存储所示 图 85: 主存储 主存储支持类型分为两大类 本地存储 Local Storage 使用物理机的硬盘进行存储 网络共享存储 支持NFS Shared Mount Point Ceph和FusionStor四种类型 NFS为网络文件系统的存储方式 Shared Mount Point支持常用的分布式文件系统提供的网络共享存储 支持的常见类型 有MooseFS GlusterFS OCFS2 GFS2等 Ceph采用了分布式块存储方式 FusionStor采用了华云网际提供的分布式块存储方式 150

157 运维手册 / 10 硬件设施 注意事项 使用主存储需注意 本地存储 NFS Shared Mount Point主存储基于qcow2 Ceph存储和FusionStor存储使用的是分布式块存储 以虚拟容量来计算云主机的根云盘和数据云盘消耗 主存储停用后 将不能使用此主存储申请新资源 但不影响当前运行中的云主机 只是不能新建 云主机和新建数据盘 主存储维护后 将不能使用此主存储申请新资源 原本运行中的云主机也会被停止 主存储 镜像服务器之间的约束关系 本地存储 NFS Shared Mount Point Ceph主存储支持匹配镜像仓库类型镜像服务器使 用 本地存储 NFS Shared Mount Point主存储支持匹配Sftp类型镜像服务器使用 Ceph主存储支持匹配镜像仓库类型镜像服务器使用 以及匹配同一Ceph镜像服务器使用 FusionStor主存储支持匹配同一FusionStor镜像服务器使用 主存储的使用基于瘦身模式 支持超分 超分比例设置过大时 需留意真实物理容量的使用 ZStack创建云盘时使用的是虚拟大小 如果虚拟大小不足以提供需要的容量 此时创建云盘会提 示失败 删除主存储会删除主存储所有的云主机 云盘和快照 需谨慎操作 这里的删除 只是移除主存 储 云主机 云盘和快照等信息在ZStack中的记录 并不删除真实的数据 共享存储可以设置独立的存储网络与管理网络隔离 管理节点依据此存储网络来判断云主机健康 状态 如果不存在独立的存储网络 可以留空不填 表示采用管理网络来判断云主机健康状态 本地存储 本地存储 使用各物理机的本地硬盘上指定的目录作为主存储 本地存储特性 使用物理机的本地存储空间 存放云盘数据 云主机数据保护需依赖节点RAID阵列技术 投资低 性能高 大规模 但云主机热迁移存在问题 需要业务层高可靠 适用于软件开发测试环境 分布式应用 应用与数据分离的场景 151

158 运维手册 / 10 硬件设施 注意事项 使用本地主存储需注意 不能使用以下 / /dev/ /proc/ /sys/ /usr/bin /bin等系统目录 使用这些目录可能会导致物 理机异常 本地主存储的状态一般为Connected 本地主存储容量由各物理机的主存储目录的容量累加 镜像缓存在添加镜像后 会自动分发到各物理机的主存储目录进行缓存 使用此镜像的不同云主 机共享使用此镜像缓存作为base 因为存储的隔离性 使用本地存储的云主机 不支持高可用 不支持指定物理机启动 使用本地存储的云主机默认支持冷迁移 使用本地存储的云主机支持在线热迁移 默认关闭 需要在全局设置打开 本地存储的云主机不 支持带数据盘的热迁移 Windows操作系统的云主机不支持热迁移 本地存储的镜像缓存在删除镜像后 如果没有任何云主机使用 此镜像缓存会自动删除 本地存储一般都处于可连接状态 若某物理机失联 则此物理机上的本地存储容量将被扣除 一 旦物理机再次连接 容量会被再次计算进来 一个集群支持挂载多个本地主存储 创建云主机时 可指定任意主存储 若未指定 系统自动选 择可用容量最充足的本地主存储 NFS NFS主存储 使用网络文件系统作为主存储 需提供NFS的共享文件目录 NFS主存储特性 云盘存放在集中存储 数据需通过存储双控和RAID技术保护 需要构建万兆存储网络 购买集中存储 云主机受高可用保护 特点 构建了存储网 云主机支持高可用 数据支持安全保护 IO性能有瓶颈 8 10节点/一个 存储 场景 适用于传统应用 应用数据紧密 SLA高可用保证 数据安全场景 注意事项 使用NFS主存储需注意 NFS使用时添加的URL格式参考如下 :/nfs_root NFS的挂载目录需提供读写权限 NFS的挂载参数需NFS Server端支持 152

159 运维手册 / 10 硬件设施 ZStack会在所有的物理机上自动挂载此目录作为主存储 只要集群内任一物理机可访问NFS主存储 则主存储就处于可连接状态 NFS属于共享存储 支持云主机在线迁移 NFS主存储是所有物理机共享带宽访问同一目录 效率和性能具有瓶颈 NFS主存储只会拷贝一份镜像缓存到主存储的共享目录 NFS存储支持输入存储网络CIDR 表示基于此存储网络来判断云主机的健康状态 一个集群支持挂载多个NFS主存储 创建云主机时 可指定任意主存储 若未指定 系统随机分 配可用主存储 一个集群支持挂载一个NFS主存储和一个本地主存储 在创建云主机时 可指定任意主存储 如 果带数据云盘 则需指定数据云盘所使用的主存储 如果不指定主存储 则使用本地主存储来创 建云主机 使用NFS+本地主存储的云主机 进行迁移前 需卸载其本地主存储上的云盘 这里的迁移仅限 于同一主存储内部 不可跨主存储迁移 Shared Mount Point Shared Mount Point主存储 采用共享文件系统存储为主存储 支持SAN存储 格式化为MooseFS GlusterFS OCFS2 GFS2等文件系统 Shared Mount Point主存储特性 云盘存放在集中存储 数据需通过存储双控和RAID技术保护 需要构建万兆存储网络 购买集中存储 云主机受高可用保护 特点 构建了存储网 云主机支持高可用 数据支持安全保护 IO性能有瓶颈 8 10节点/一个 存储 场景 适用于传统应用 应用数据紧密 SLA高可用保证 数据安全场景 注意事项 使用Shared Mount Point主存储需注意 需在各物理机提前挂载各挂载点 挂载到相同目录 在添加到ZStack时 需提供挂载到物理机的本地目录 支持在线迁移 对应挂载目录需提供读写权限 Shared Mount Point存储支持输入存储网络CIDR 表示基于此存储网络来判断云主机的健康状 态 153

160 运维手册 / 10 硬件设施 一个集群支持挂载一个Shared Mount Point和本地主存储 创建云主机时 可指定任意主存 储 如果带数据云盘 则需指定数据云盘所使用的主存储 如果不指定主存储 则使用本地主存 储来创建云主机 使用Shared Mount Point+本地主存储的云主机 进行迁移前 需卸载其本地主存储上的云盘 这里的迁移仅限于同一主存储内部 不可跨主存储迁移 Ceph Ceph主存储 Ceph集群提供的分布式块存储作为主存储 Ceph分布式存储特性 云盘存放在分布式存储 数据通过多副本和纠删码机制提供保护 需要构建存储网络 基于x86通用服务器提供存储服务 云主机受高可用保护 特点 构建了存储网 云主机支持高可用 数据支持多副本 计算和存储都可以横向扩展 适用场景 租用平台 通用型应用 应用数据紧密 SLA高可用保证 大规模环境 支持以Pool为单位显示其容量 注意事项 使用Ceph主存储需注意 需输入Mon IP节点信息以部署相关的代理程序 如果指定了镜像缓存 根云盘 数据云盘的Ceph存储池名 则这些存储池需提前在Ceph集群自 行创建 存储池名为可选项 如果不指定 则ZStack会自动创建以uuid相关命名的存储池 如果指定了存 储池名 但是实际不存在 添加Ceph主存储会提示失败 添加Ceph主存储 可添加镜像仓库类型的镜像服务器 或者添加同一Ceph集群存储作为镜像服 务器 Ceph主存储可指定多个Mon IP 需至少一个Mon处于连接状态 Ceph存储支持共享云盘 要求使用VirtioSCSI类型作为前提 Ceph集群工作异常时 主存储会失联 可通过ceph -s检查状态 Ceph存储支持输入存储网络CIDR 表示基于此存储网络来判断云主机的健康状态 Ceph存储支持添加扩展池 用于存储数据云盘 可表示不同性能的云盘 可添加或创建Ceph存 储池 添加表示使用Ceph集群中已经存在的Pool 如果Ceph存储池已经存在 需进行添加 如 果不存在 可指定存储池名来创建 创建时 会采用默认的CRUSH Map 154

161 运维手册 / 10 硬件设施 删除扩展池 会删除Pool下所有的数据盘 这里的删除只移除Ceph Pool在ZStack的记录 并不 删除真实数据 Ceph存储集群依然可看到此Pool及其上数据 拥有独立存储网络的Ceph存储 节点管理IP表示管理节点连接存储节点的IP Mon IP表示存储 网络的监控节点IP 可以通过ceph -s读取 FusionStor FusionStor主存储 采用FusionStor分布式块存储作为主存储 FusionStor分布式存储特性 云盘存放在分布式存储 数据通过多副本和纠删码机制提供保护 需要构建存储网络 基于x86通用服务器提供存储服务 云主机受高可用保护 特点 构建了存储网 云主机支持高可用 数据支持多副本 计算和存储都可以横向扩展 适用场景 租用平台 通用型应用 应用数据紧密 SLA高可用保证 大规模环境 注意事项 使用FusionStor主存储需注意 需输入Mon IP节点信息以部署相关的代理程序 如果指定了镜像缓存 根云盘 数据云盘的FusionStor存储池名 则这些存储池需提前 在FusionStor集群自行创建 存储池名为可选项 如果不指定 则ZStack会自动创建以uuid相关命名的存储池 如果指定了存 储池名 但是实际不存在 添加FusionStor主存储会提示失败 添加FusionStor主存储 需添加同一FusionStor集群存储作为镜像服务器 FusionStor主存储可指定多个Mon IP 需至少一个Mon处于连接状态 FusionStor存储支持输入存储网络CIDR 表示基于此存储网络来判断云主机的健康状态 使用FusionStor存储 需添加FusionStor存储集群内的存储节点作为计算节点 以超融合方式部 署 FusionStor集群工作异常时 主存储会失联 可通过lich stat检查状态 10.5 镜像服务器 镜像服务器 用于保存镜像模板的存储服务器 镜像服务器必须挂载到区域之后 区域中的资源才能访问它 通过镜像服务器 可在多个区域之 间共享镜像 155

162 运维手册 / 10 硬件设施 如图 86: 镜像服务器所示 图 86: 镜像服务器 注: UI界面为便于管理镜像服务器和区域的关系 特别设置了一个镜像服务器只能对应一个区 域 UI界面上 添加镜像服务器 默认会挂载到当前区域 删除区域的同时会直接删除挂 载此区域的镜像服务器 镜像服务器 主存储 镜像服务器的类型与主存储的类型有关联性要求 如主存储与镜像服务器关系所示 表 3: 主存储与镜像服务器的关系 156 PS\BS ImageStore Sftp Ceph FusionStor LocalStorage NFS Shared Mount Point Ceph

163 运维手册 / 10 硬件设施 FusionStor 当主存储为本地存储 LocalStorage NFS或Share Mount Point类型时 镜像服务器的默认类 型为ImageStore 企业版 或Sftp 社区版 当主存储为NFS或Shared Mount Point类型时 可将相应共享目录手动挂载到相应镜像服务器的 本地目录上 从而使主存储和镜像服务器均能使用网络共享存储方式 当主存储为Ceph类型时 镜像服务器可以使用同一个Ceph集群作为镜像服务器 也可以使用镜 像仓库类型的镜像服务器 Ceph集群提供分布式块存储方式存储镜像文件 当主存储为FusionStor类型时 镜像服务器必须使用同一个FusionStor集群作为镜像服务 器 FusionStor集群提供分布式块存储方式存储镜像文件 注意事项 使用镜像服务器需注意 四种镜像服务器类型 1. ImageStore 镜像仓库 以镜像切片方式存储镜像文件 支持云主机的在线/关机快照 在线/关机创建镜像和在线/关机克隆 支持导出镜像 ImageStore类型的镜像服务器间支持镜像同步 2. Sftp 仅开源版本支持 以文件方式存储镜像文件 支持云主机的关机快照 关机创建镜像 创建的镜像可以在镜像服务器上 以对应的镜像路径访问 拷贝到其他云环境可直接使 用 3. Ceph镜像服务器 以Ceph分布式块存储方式存储镜像文件 支持云主机的在线/关机快照 在线/关机创建镜像和在线/关机克隆 导出镜像需在镜像服务器上导出 假定使用的镜像路径为 ceph://bak-t-c9923f9821bf45498fdf9cdfa /61ece0adc7244b0cbd12dafbc5494f0c 157

164 运维手册 / 10 硬件设施 则需镜像服务器执行 rbd export -p bak-t-c9923f9821bf45498fdf9cdfa image 61ece0adc7244b 0cbd12dafbc5494f0c /root/export-test.image # bak-t-c9923f9821bf45498fdf9cdfa 表示镜像所在的pool的名字 # 61ece0adc7244b0cbd12dafbc5494f0c表示镜像的名字 # /root/export-test.image表示导出的目标文件名字 4. FusionStor镜像服务器 以FusionStor分布式块存储方式存储镜像文件 支持云主机的在线/关机快照 关机创建镜像 不支持在线创建镜像和在线/关机克隆 导出镜像需要在镜像服务器上执行类似命令 lichbd export bak-t-8e694c40cf214db1af9e5d641b2e792d/8f1e0debfae042e5ae a59c0622 /root/test.img -p nbd 注: 企业版和混合云版支持ImageStore Ceph和FusionStor类型 社区版支持Sftp Ceph 和FusionStor类型 删除镜像服务器会删除所有镜像文件 且无法恢复 需谨慎操作 这里的删除 只是移除镜像服 务器和镜像在ZStack中的记录 并不删除真实的数据 关于镜像服务器支持克隆和快照的关系 在线克隆 镜像仓库 Ceph支持 关机克隆 镜像仓库 Ceph支持 在线快照 镜像仓库 Ceph FusionStor支持 关机快照 镜像仓库 Sftp Ceph FusionStor均支持 在线创建镜像 镜像仓库和Ceph支持 关机创建镜像 镜像仓库 Sftp Ceph FusionStor均支持 158

165 运维手册 / 11 网络资源 11 网络资源 11.1 网络拓扑 ZStack 支持网络拓扑功能 不仅支持云平台的全局拓扑 还支持针对自定义资源生成拓扑图 快速 定位资源状态 全局拓扑支持的操作 全局拓扑支持以下操作 查看 支持对整个云平台网络拓扑的直观查看 刷新 点击界面左上方刷新按钮 可显示当前最新全局拓扑 导出图片 点击界面左上方导出图片按钮 支持当前全局拓扑以png格式图片导出 搜索 点击界面右上方搜索按钮 弹出搜索框 支持按资源类别以及资源属性进行搜索 资源类别目前支持 云主机 路由器 云路由器/VPC路由器 私有网络 公有网络 资源属性目前支持 资源名称 资源UUID IP地址 弹性IP 放大/缩小 点击界面右下方放大/缩小按钮 可将网络拓扑进行放大/缩小查看 还原 点击界面右下方还原按钮 可将放大/缩小的网络拓扑还原至默认尺寸查看 选中资源高亮显示 当选中某一资源 可对该资源及其关联资源进行高亮突出 资源信息悬浮显示 当鼠标悬浮至某一资源上 该资源相关信息将自动浮现 打开控制台 当鼠标悬浮至某一资源上 该资源相关信息自动浮现 点击右上角控制台按钮 可 进入控制台 路由器/云主机状态显示 通过路由器/云主机右上角圆点的颜色变化可实时掌握其运行状态 详 情请参考表 4: 路由器/云主机状态显示定义 表 4: 路由器/云主机状态显示定义 路由器/云主机状态 右上角圆点颜色 启动中 蓝色 运行中 绿色 停止中 蓝色 已停止 红色 重启中 蓝色 159

166 运维手册 / 11 网络资源 路由器/云主机状态 右上角圆点颜色 删除中 蓝色 已删除 灰色 迁移中 蓝色 彻底删除中 蓝色 暂停中 蓝色 已暂停 灰色 恢复中 蓝色 未知 黄色 自定义拓扑支持的操作 自定义拓扑支持以下操作 指定资源生成拓扑并查看 通过指定资源 目前包括 云主机 路由器 云路由器/VPC路由 器 私有网络 公有网络 生成相应的拓扑 并直观查看 刷新 点击界面左上方刷新按钮 可显示当前最新拓扑 导出图片 点击界面左上方导出图片按钮 支持当前拓扑以png格式图片导出 搜索 点击界面右上方搜索按钮 弹出搜索框 支持按资源类别以及资源属性进行搜索 需提前生成自定义拓扑 该搜索操作针对当前自定义拓扑上的资源进行搜索 资源类别目前支持 云主机 路由器 云路由器/VPC路由器 私有网络 公有网络 资源属性目前支持 资源名称 资源UUID IP地址 弹性IP 放大/缩小 点击界面右下方放大/缩小按钮 可将当前拓扑进行放大/缩小查看 还原 点击界面右下方还原按钮 可将放大/缩小的拓扑还原至默认尺寸查看 选中资源高亮显示 当选中某一资源 可对该资源及其关联资源进行高亮突出 资源信息悬浮显示 当鼠标悬浮至某一资源上 该资源相关信息将自动浮现 打开控制台 当鼠标悬浮至某一资源上 该资源相关信息自动浮现 点击右上角控制台按钮 可 进入控制台 路由器/云主机状态显示 通过路由器/云主机右上角圆点的颜色变化可实时掌握其运行状态 详 情请参考Table 1 160

167 运维手册 / 11 网络资源 11.2 二层网络资源 VXLAN Pool VXLAN Pool表示使用UDP进行报文封装的VXLAN类型的集合 是基于IP网络组建的大二层网 络 可满足大规模云计算中心的需求 最大支持16M个逻辑子网 VXLAN Pool和VxlanNetwork共同提供了VxlanNetwork类型的配置 使用VxlanNetwork需先创 建VXLAN Pool VxlanNetwork对应了VXLAN Pool里的一个虚拟网络 VXLAN Pool最大可支持 M 个虚拟网络 其Vni VXLAN网络ID 范围可从 设置 在创建VXLAN Pool时 如果需要加载到相应集群 则需设置相应的VTEP VXLAN隧道端 点 VTEP一般对应于集群内计算节点中的某一网卡的IP地址 ZStack对VTEP的设置基于相应 的CIDR进行配置 例如 假定计算节点某网卡的IP为 子网掩码为 网关为 则VTEP输入 的CIDR应为 /8 假定计算节点某网卡的IP为 子网掩码为 网关为 则VTEP输入的CIDR应为 /16 VXLAN Pool与集群进行挂载时 检查的是VTEP相关的IP地址 与物理的二层设备无关 VXLAN Pool支持的操作 VXLAN Pool支持以下操作 修改名称 修改VXLAN Pool的名称 修改简介 修改VXLAN Pool的简介 加载集群 加载VXLAN Pool到集群 需指定VTEP对应的CIDR 请确保此CIDR在集群内各物理 机均存在对应的IP 否则加载会失败 卸载集群 从集群卸载VXLAN Pool 删除 删除VXLAN Pool 其对应的子资源VxlanNetwork将被删除 相关的三层网络和云主机的 网卡也将被删除 共享 将此VXLAN Pool共享给指定的普通账户使用 召回 将此VXLAN Pool从普通账户召回 使其不可见 全局共享 将此VXLAN Pool共享给全部普通账户使用 161

168 运维手册 / 11 网络资源 全局召回 将此VXLAN Pool从全部普通账户召回 使其不可见 创建Vni范围 创建一个Vni范围给VXLAN Pool 删除Vni范围 从VXLAN Pool中删除一个Vni范围 创建VXLAN网络 基于VXLAN Pool创建VxlanNetwork 每个VxlanNetwork对应了VXLAN Pool 中的一个Vni 删除VXLAN网络 删除VxlanNetwork 其对应的子资源三层网络将被删除 使用此三层网络的 云主机的网卡也将被删除 审计 查看VXLAN Pool的相关操作 注意事项 VXLAN Pool和VxlanNetwork作为一组基于三层网络上叠加的逻辑定义的二层网络 是专门提 供VxlanNetwork使用 在使用VxlanNetwork前 需要先建立VXLAN Pool 与集群发生关系的是 三层VTEP 基于VTEP进行VXLAN报文的封装和解封装 创建完毕VXLAN Pool后 可指定或随 机选择Vni来创建VxlanNetwork 最后基于VxlanNetwork来创建三层网络 再创建云主机 VXLAN Pool挂载集群时 需检查集群内所有的物理机在对应网段是否存在可用IP来匹配VTEP 如果不存在 则此VXLAN Pool不能正确挂载集群 只有VXLAN Pool可以挂载集群和卸载集群的操作 VxlanNetwork作为VXLAN Pool的子资 源 不可进行挂载集群和卸载集群的操作 二层网络 二层网络主要支持的三种类型 二层网络主要支持以下三种类型 1. L2NoVlanNetwork NoVlanNetwork类型表示相关的物理机对应的网络设备不设置VLAN 如果交换机端口设置了VLAN 则需在交换机端配置Access模式 如果交换机端口没有设置VLAN, 则无须特别设置 2. L2VlanNetwork VlanNetwork类型表示相关的物理机对应的网络设备需设置VLAN 从逻辑上划分虚拟局域网 支持1-4094个子网 此类型需在物理机接入的交换机端进行Trunk设置 3. VxlanNetwork 162

169 运维手册 / 11 网络资源 VxlanNetwork类型表示使用VXLAN的子网进行网络配置 需要先建立VXLAN Pool 再建 立VxlanNetwork 注: 在添加NoVlanNetWork和VlanNetwork时 需要输入网卡设备名称 在CentOS 7系列系统中 ethx格式的网卡名称会在系统重启后导致网卡顺序随机改 变 建议将各计算节点的网卡设备名称修改成非ethx格式 例如 可修改成em01格式 尤其是带多网卡的云主机环境中 L2NoVlanNetwork和L2VlanNetwork类型 L2NoVlanNetwork和L2VlanNetwork类型的网络支持以下操作 修改名称 修改二层网络的名称 修改简介 修改二层网络的简介 加载集群 挂载网络到集群 卸载集群 从集群卸载网络 删除 删除二层网络 其对应的子资源三层网络将被删除 使用此三层网络的云主机的网卡也将 被删除 审计 查看L2NoVlanNetwork和L2VlanNetwork的相关操作 VxlanNetwork类型 VxlanNetwork类型的网络支持以下操作 修改名称 修改VxlanNetwork的名称 修改简介 修改VxlanNetwork的简介 共享 将此VxlanNetwork共享给指定的普通账户使用 召回 将此VxlanNetwork从普通账户召回 使其不可见 全局共享 将此VxlanNetwork共享给全部普通账户使用 全局召回 将此VxlanNetwork从全部普通账户召回 使其不可见 删除 删除VxlanNetwork 其对应的子资源三层网络将被删除 使用此三层网络的云主机的网 卡也将被删除 审计 查看VxlanNetwork的相关操作 163

170 运维手册 / 11 网络资源 注意事项 使用二层网络需注意 NovlanNetWork和VlanNetwork作为一组物理定义的二层网络 主要差异在于是否支持Vlan 在 添加时 指定的是网卡设备号 与物理机网卡端口在交换机端的设置应相同 NoVlanNetWork VlanNetwork 以及VXLAN Pool均可挂载集群 VxlanNetwork只是Vni Range的子集 不能挂载集群 当使用Vlan设备时 无需在物理机上创建带有Vlan号的网卡 例如eth 用户只需要输 入设备名为eth0 Vlan号为2016 ZStack就会自动创建eth 如果已经存在eth0.2016网 络设备时 用户又输入了Vlan号为2016 ZStack会创建一个新的名为eth 的网络设 备 11.3 三层网络 三层网络 云主机使用的网络配置 包含了IP地址范围 网关 DNS 网络服务等 IP地址范围包含起始和结束IP地址 子网掩码 网关等 例如可指定 到 子网掩码指定 网关指定 也可使用CIDR无域间路由来表示 例 如 /24 DNS用于设置云主机网络的DNS解析服务 公有网络 可直接连通互联网的网络 在云路由网络 VPC中可以提供网络服务 可用于扁平网络创建使用公网的云主机 可用于云路由网络环境 单独创建使用公网的云主机 可用于VPC网络环境 单独创建使用公网的云主机 系统网络 管理节点用于特定用途的网络 可用于部署配置相关资源的管理网络 例如部署物理机 主存储 镜像服务器 云路由等资源 可用于云主机迁移的迁移网络 如果网络资源不足 可与公有网络共用 独立的系统网络用于特定用途 例如管理云路由器的网络 系统网络不能用于创建普通云主机 164

171 运维手册 / 11 网络资源 私有网络 可称之为业务网络或接入网络 云主机使用的网络 一般情况下设置为私网 私有网络指定为云主 机使用的网络 支持三种网络架构模型 扁平网络 云路由网络 VPC 特定场景网络 管理网络 作为系统网络的一种 用于管理控制对应的物理资源 例如物理机 镜像服务器 主存储等需提供IP进行访问的资源时使用的网络 创建云路由器/VPC路由器时需要云路由器/VPC路由器存在管理节点互通的IP 以便部 署agent及agent代理消息返回 存储网络 特指在进行分布式存储部署时 底层存储系统通信使用的网络 在添加主存储时 可标识存储网 络的CIDR 表示使用此网络来判断云主机健康状态 VDI网络 在创建集群时 可以指定VDI网络的CDIR 此网络用于VDI连接的协议流量 注意事项 创建云主机时 可指定多个网络 可指定多个扁平网络 或多个云路由网络 或多个VPC网 络 或指定扁平网络 云路由网络 VPC网络的混合使用 支持多级网络 而且多级网络的二层网络可以实际通信 需要特别避免IP地址空间冲突的问题 一个二层网络可用于创建多个三层网络 其中 二层网络涵盖L2NoVlanNetwork L2VlanN etwork VxlanNetwork类型 三层网络涵盖公有网络 私有网络 / 扁平网络 云路由网络 VPC 11.4 扁平网络 扁平网络具备以下特性 物理机和云主机均处于同一个二层广播域 提供User Data 弹性IP DHCP 安全组等服务 分布式EIP 分布式DHCP可规避DHCP服务器的单点故障 高并发时 可有效提高系统整体并 发性 扁平网络提供以下网络服务 165

172 运维手册 / 11 网络资源 User Data 使用cloud-init进行云主机开机加载并执行特定的用户数据 例如ssh-key注入 弹性IP 分布式EIP实现的弹性IP地址 可通过公有网络访问内部私有网络 DHCP 分布式DHCP实现动态获取IP地址 注: DHCP服务包含了DNS的功能 安全组 由安全组网络服务模块提供安全组服务 使用iptables进行云主机防火墙的安全控制 扁平网络架构如图 87: 扁平网络架构图所示 图 87: 扁平网络架构图 注意事项 使用扁平网络需注意 扁平网络在每台物理机上均独立运行DHCP服务器进行云主机IP地址的分配 扁平网络使用dnsmasq来提供DHCP服务 如果某物理机上所有的云主机都无法获取IP 此时需要在物理机上检查dnsmasq进程及/var/lib/ zstack/dnsmasq/对应二层网卡目录下的dnsmasq.log日志 扁平网络使用Linux的namespace和iptables来实现弹性IP的转发 扁平网络的弹性IP需要云主机存在通向私网网关的默认路由 166

173 运维手册 / 11 网络资源 11.5 云路由网络 云路由网络 主要使用定制的Linux云主机作为路由设备 提供DHCP DNS SNAT 弹性IP 端 口转发 负载均衡 IPsec隧道 安全组等网络服务 云路由主要包括云路由镜像 云路由规格和云路由器 云路由镜像 封装多种网络服务 只为创建云路由提供服务 云路由规格 定义云路由器使用的CPU 内存 云路由镜像 公有网络 管理网络等 云路由器 作为定制的Linux云主机提供DHCP DNS SNAT 弹性IP 端口转发 负载均 衡 IPsec隧道 安全组等网络服务 云路由网络拓扑 云路由主要涉及以下3个基本网络 公有网络 用于提供弹性IP 端口转发 负载均衡 IPsec隧道等网络服务需要提供虚拟IP的网络 公有网 络一般要求可直接接入互联网 管理网络 用于管理控制对应的物理资源 例如物理机 镜像服务器 主存储等需提供IP进行访问的资源时 使用的网络 私有网络 也称之为业务网络或接入网络 是云主机使用的内部网络 云路由网络部署方式 公有网络和管理网络合并 私有网络独立部署 如图 88: 部署方式-1所示 图 88: 部署方式-1 167

174 运维手册 / 11 网络资源 公有网络 管理网络 私有网络均独立部署 如图 89: 部署方式-2所示 图 89: 部署方式-2 云路由网络服务 云路由提供了DHCP DNS SNAT 弹性IP 端口转发 负载均衡 IPsec隧道 安全组等网络服 务 DHCP 在云路由器中 默认由扁平网络服务模块提供分布式DHCP服务 DNS 云路由器可作为DNS服务器提供DNS服务 168

175 运维手册 / 11 网络资源 在云主机中看到的DNS地址默认为云路由器的IP地址 由用户设置的DNS地址由云路由器负 责转发配置 SNAT 云路由器可作为路由器向云主机提供原网络地址转换 云主机使用SNAT可直接访问外部互联网 弹性IP 使用云路由器可通过公有网络访问云主机的私有网络 端口转发 提供将指定公有网络的IP地址端口流量转发到云主机对应协议的端口 负载均衡 将公网地址的访问流量分发到一组后端的云主机上 并自动检测并隔离不可用的云主 机 IPsec隧道 使用IPsec隧道协议实现虚拟私有网络 VPN 的连接 安全组 由安全组网络服务模块提供安全组服务 使用iptables进行云主机防火墙的安全控制 云路由网络使用注意事项 使用云路由网络需注意 需先建立公有网络 再建立管理网络 再建立云路由规格 再创建云路由私有网络 在创建云主 机时 会自动创建云路由器 创建云路由器至少需要一个集群 同时挂载了管理网络 公有网络 私有网络 而且此集群要求 有可用物理机来创建云路由器 创建云路由规格时 管理网络可从系统网络和公有网络里选择 如果公有网络和管理网络合 一 需选择公有网络作为管理网络 如果存在独立的管理网络 则需在系统网络选择 注: 如果条件有限 管理网络可以与公有网络使用同一个网络 出于安全和稳定性考虑 建议部署独立的管理网络 并与公有网络隔离 云路由器的默认IP为公有网络的IP 会从公有网络的网络段中选择IP地址 提供各种网络服务 云路由器的私有网络段地址如果是类似 /24 那么云路由器的私网IP默认为 并以此作为使用此云路由网络的普通云主机的默认网关 普通云主机使用此网关 在云路由 器里 进行路由转发以访问互联网 云路由器中公有网络 管理网络 私有网络或其他网络的网络段之间 其CIDR不可重叠 169

176 运维手册 / 11 网络资源 例如 假定私有网络网络段为 /8 云路由器加载网络时 新的网络段就不可为 /16 后者作为前者的子集 存在IP地址冲突的风险 路由表和路由条目使用注意事项 云路由器支持加载多网卡 并支持路由表和路由条目 使用时需注意 加载多网卡一般用于多网互联的场景 例如混合云互通 云路由器支持加载路由表 加载后 路由表内的路由条目会添加至云路由器 对使用云路由的私 有网络进行相应的路由功能 添加路由条目时 需指定目标网段 并输入下一跳的地址 需确保下一跳可达 路由类型一般 设置静态路由 为防止环路 也可设置黑洞路由 表示丢弃匹配的数据包 路由优先级的数字越 大 表示优先级越低 如果打算两个云路由器的私有网络互通 需设置以下路由 前提 1. 云路由器1 公网IP 私有网络段 /24 2. 云路由器2 公网IP 私有网络段 /24 执行以下步骤进行互通 1. 创建路由表1 挂载到云路由器1 添加路由条目下一跳为云路由器2的公网IP 目 标网络段为 /24 2. 创建路由表1 挂载到云路由器2 添加路由条目下一跳为云路由器1的公网IP 目 标网络段为 /24 云路由器创建失败检查事项 云路由器创建失败需检查 云路由规格定义的镜像 如果存放在ImageStore镜像服务器 则应存在挂载了本地存储 NFS SharedMountPoint 或者Ceph主存储的集群 170

177 运维手册 / 11 网络资源 如果存放在Sftp镜像服务器 则应存在挂载了本地存储 NFS或者SharedMountPoint主存储 的集群 如果存放在Ceph镜像服务器 则应存在挂载了此Ceph镜像服务器对应的Ceph主存储的集 群 如果存放在FusionStor镜像服务器 则应存在挂载了此Fusionstor镜像服务器对应的Fusions tor主存储的集群 需存在可用集群同时加载了公有网络 管理网络和私有网络 此集群内有可用的物理机满足云路 由规格定义的CPU 内存大小 11.6 VPC 专有网络VPC Virtual Private Cloud 以下简称VPC 是基于VPC路由器和VPC网络共同组成 的自定义私有云网络环境 帮助企业用户构建一个逻辑隔离的私有云 VPC路由器和VPC网络 VPC由VPC路由器和VPC网络组成 1. VPC路由器 基于云路由规格直接创建的云路由器 拥有公有网络和管理网络 VPC路由器是VPC的核心 可主动创建基于指定云路由规格的VPC路由器 须提前创建云路由规格所需的公有网络和管理网络 云路由镜像资源 VPC路由器可灵活挂载或卸载VPC网络或其他公有网络 云路由规格定义的公有网络和管理网络 不可卸载 同一个云路由规格可以创建多个VPC路由器 这些VPC路由器共享使用同一个云路由规格里 定义的公有网络段和管理网络段 公有网络作为默认网络 用于提供网络服务 2. VPC网络 作为VPC的私有网络 可挂载至VPC路由器 须提前创建二层网络 用于创建三层的VPC网络 可在创建VPC网络时指定待挂载的路由器 也可创建VPC网络后再挂载路由器 如有云主机使用VPC网络 不支持从VPC路由器卸载 新建的网络段不可与VPC路由器内任一网络的网络段重叠 VPC特点 VPC具有以下特点 171

178 运维手册 / 11 网络资源 灵活的网络配置 不同的VPC网络可灵活挂载到VPC路由器 每个VPC网络可自定义独立的网络 段和独立的网关 VPC路由器支持加载/卸载网卡 并支持动态配置路由表和路由条目 安全可靠的隔离 不同VPC下的VPC网络互相逻辑隔离 支持VLAN和VXLAN进行二层逻辑隔 离 不同账户的VPC互不影响 多子网互通 同一VPC下的多个VPC网络互联互通 网络流量优化 支持分布式路由功能 优化东西向网络流量 并有效降低网络延迟 VPC网络服务 VPC网络作为VPC的私有网络 使用VPC路由器提供各种网络服务 DHCP 默认采用扁平网络服务模块提供分布式DHCP服务 DNS VPC路由器作为DNS服务器提供DNS服务 在云主机中看到的DNS地址默认为VPC路由 器的IP地址 用户设置的DNS地址由VPC路由器负责转发配置 SNAT VPC路由器向云主机提供原网络地址转换 云主机使用SNAT可直接访问外部互联网 安全组 由安全组网络服务模块提供安全组服务 使用iptables进行云主机防火墙的安全控制 弹性IP 可绑定弹性IP到VPC网络 实现公有网络到云主机私有网络的互联互通 端口转发 提供公网IP到云主机私有网络IP的端口到端口的相关网络协议的互通 负载均衡 将公网地址的访问流量分发到一组后端的云主机上 并自动检测并隔离不可用的云主 机 IPsec隧道 使用IPsec隧道协议实现虚拟私有网络 VPN 的互联互通 VPC路由器 VPC路由器 基于云路由规格直接创建的云路由器 拥有公有网络和管理网络 VPC路由器是VPC的核心 可主动创建基于指定云路由规格的VPC路由器 须提前创建云路由规格所需的公有网络和管理网络 云路由镜像资源 VPC路由器可灵活挂载或卸载VPC网络或其他公有网络 云路由规格定义的公有网络和管理网络 不可卸载 同一个云路由规格可以创建多个VPC路由器 这些VPC路由器共享使用同一个云路由规格里定义 的公有网络段和管理网络段 公有网络作为默认网络 用于提供网络服务 172

179 运维手册 / 11 网络资源 VPC路由器 普通云路由器 对比 VPC路由器 普通云路由器 相同点 VPC路由器 普通云路由器 不同点 实质相同 均采用vyos实现的Linux云主机作 VPC路由器 可由用户手动创建 普通云路 为路由设备 由器目前仅支持随着使用此云路由的私网的 云主机一同创建 不支持手动创建 均需创建云路由规格定义的公有网络和管理 网络 云路由镜像资源 手动创建的VPC路由器运行状态可以只有公 有网络和管理网络 但普通的云路由器必须 均支持DHCP DNS SNAT 安全组 弹 存在公有网络 管理网络和私有网络 性IP 端口转发 负载均衡 IPsec隧道等网 络服务 VPC路由器 支持加载和卸载VPC网络 普 通的云路由器不支持加载和卸载私有网络 均不可卸载云路由规格里定义的公有网络和 管理网络 同一个云路由规格可以创建多个VPC路由 均支持路由表和路由条目的配置 器 这些路由器共享使用同一个计算规格里 均支持高可用 共享存储下 资源充足的条 定义的公有网络段和管理网络段 但同一个 件下永不停机 云路由规格只可创建一个普通云路由器 均支持加载和卸载新的公有网络 普通的云路由网络可以看做VPC下的一个 特例 即只有一个不可卸载的私有网络下 的VPC 注意事项 使用VPC路由器需注意 需先建立云路由规格里的二层公有网络 三层公有网络 二层管理网络和三层管理网络 不同VPC路由器下的VPC网络在二层默认互相隔离 同一个VPC路由器下不同VPC网络的IP地址段不可重叠 任意两个VPC网络的网关不可相同 普通账户创建VPC路由器前 需admin共享云路由规格 否则无法创建VPC VPC网络 VPC网络 作为VPC的私有网络 可挂载至VPC路由器 须提前创建二层网络 用于创建三层的VPC网络 可在创建VPC网络时指定待挂载的路由器 也可创建VPC网络后再挂载路由器 如有云主机使用VPC网络 不支持从VPC路由器卸载 新建的网络段不可与VPC路由器内任一网络的网络段重叠 173

180 运维手册 / 11 网络资源 VPC网络 普通私有网络 对比 VPC网络 普通私有网络 相同点 VPC网络 普通私有网络 不同点 VPC路由器/云路由器均支持灵活挂载多 VPC网络作为VPC的私有网络 使用了VPC 公网 云路由规格定义的公有网络不可卸 路由器提供的各种网络服务 普通私有网络 载 VPC路由器/云路由器的默认IP均为云 支持扁平网络和云路由两种结构 路由规格定义的公有网络的IP 从该公有网 络的网络段中选择IP地址 提供各种网络服 务 在创建云路由规格时 管理网络可从系统网 络和公有网络里面选择 如果公有网络和 管理网络合一 需选择公有网络作为管理网 络 如果存在独立的管理网络 则需在系统 网络选择 注: VPC路由器支持灵活挂载多个VPC网络 如果VPC路由器下挂载的某一VPC网络段地 址是类似 /24 那么VPC路由器 对应此VPC网络的私网IP默认为 并以此作为使用此VPC网络的普通云主机 的默认网关 普通云主机使用此网关 在VPC路由器 里 进行路由转发以访问互联网 云路由器允许挂载的普通私有网络有且仅有 如果条件有限 管理网络可以与公 有网络使用同一个网络 出于安全和稳定性考虑 建议部署 独立的管理网络 并与公有网络隔 离 云路由器中公有网络 管理网络 私有网络 或其他网络的网络段之间 其CIDR不可重 叠 一个 如果云路由器的私有网络段地址是类似 /24 那么云路由器的私网IP默认 为 并以此作为使用此云路由网 络的普通云主机的默认网关 普通云主机使用此网关 在云路由器里 进 行路由转发以访问互联网 例如 假定私有网络网络段为 /8 云 路由器加载网络时 新的网络段就不可为 /16 后者作为前者的子集 存在IP地 址冲突的风险 同样地 VPC路由器内任一网络的网络段不 可重叠 且新建的VPC网络段不可与VPC路 由器内任一网络的网络段重叠 路由表和路由条目使用注意事项 VPC路由器支持加载多网卡 并支持路由表和路由条目 使用时需注意 加载多网卡一般用于多网互联的场景 例如混合云互通 VPC路由器支持加载路由表 加载后 路由表内的路由条目会添加至VPC路由器 对使用VPC路 由器的VPC网络进行相应的路由功能 174

181 运维手册 / 11 网络资源 添加路由条目时 需指定目标网段 并输入下一跳的地址 需确保下一跳可达 路由类型一般 设置静态路由 为防止环路 也可设置黑洞路由 表示丢弃匹配的数据包 路由优先级的数字越 大 表示优先级越低 VPC路由器创建失败检查事项 VPC路由器创建失败需检查 云路由规格定义的镜像 如果存放在ImageStore镜像服务器 则应存在挂载了本地存储 NFS SharedMountPoint 或者Ceph主存储的集群 如果存放在Sftp镜像服务器 则应存在挂载了本地存储 NFS或者SharedMountPoint主存储 的集群 如果存放在Ceph镜像服务器 则应存在挂载了此Ceph镜像服务器对应的Ceph主存储的集 群 如果存放在FusionStor镜像服务器 则应存在挂载了此Fusionstor镜像服务器对应的Fusions tor主存储的集群 需存在可用集群同时加载了公有网络 管理网络和私有网络 此集群内有可用的物理机满足云路 由规格定义的CPU 内存大小 175

182 运维手册 / 12 网络服务 12 网络服务 ZStack给云主机提供各种网络服务 主要包括安全组 虚拟IP 弹性IP 端口转发 负载均衡 IPsec隧 道等 支持以下三种网络架构模型 扁平网络 云路由网络 VPC 网络服务模块 网络服务模块 用于提供网络服务的模块 在UI界面已隐藏 主要有以下四种 1. VirtualRouter 虚拟路由器网络服务模块 不建议使用 提供以下网络服务 DNS SNAT 负载均衡 端口转发 弹性IP DHCP 2. Flat Network Service Provider 扁平网络服务模块 提供以下网络服务 Userdata 使用cloud-init进行云主机开机加载并执行特定的用户数据 例如ssh-key注入 弹性IP 分布式EIP实现的弹性IP地址 可通过公有网络访问内部私有网络 DHCP 分布式DHCP实现动态获取IP地址 注: DHCP服务包含了DNS的功能 VipQos 虚拟IP限速 限制上行及下行带宽 仅作用于弹性IP 3. vrouter 云路由网络服务模块 提供以下网络服务 IPsec 使用IPsec隧道协议实现虚拟私有网络 VPN 的连接 VRouterRoute 通过云路由路由表 用户可管理自定义路由 CentralizedDNS 在启用分布式DHCP服务的场景下 提供DNS服务 VipQos 虚拟IP限速 限制上行及下行带宽 DNS 使用云路由器提供DNS服务 SNAT 云主机使用SNAT可以直接访问外部互联网 176

183 运维手册 / 12 网络服务 负载均衡 将公网地址的访问流量分发到一组后端的云主机上 并自动检测并隔离不可用的 云主机 端口转发 提供将指定公有网络的IP地址端口流量转发到云主机对应协议的端口 弹性IP 使用云路由器可通过公有网络访问云主机的私有网络 DHCP 集中式DHCP服务 4. SecurityGroup 安全组网络服务模块 提供以下网络服务 安全组 使用iptables进行云主机防火墙的安全控制 扁平网络实践 生产环境中 一般建议使用以下网络服务的组合 扁平网络服务模块 Userdata 使用cloud-init进行云主机开机加载并执行特定的用户数据 例如ssh-key注入 弹性IP 分布式EIP实现的弹性IP地址 可通过公有网络访问内部私有网络 DHCP 分布式DHCP实现的动态获取IP地址 注: DHCP服务包含了DNS的功能 安全组网络服务模块 安全组 使用iptables进行云主机防火墙的安全控制 云路由网络实践 生产环境中 一般建议使用以下网络服务的组合 扁平网络服务模块 DHCP 分布式DHCP实现的动态获取IP地址 云路由网络服务模块 DNS 使用云路由器提供DNS服务 SNAT 云主机使用SNAT可以直接访问外部互联网 弹性IP 使用云路由器可通过公有网络访问云主机的私有网络 端口转发 提供将指定公有网络的IP地址端口流量转发到云主机对应协议的端口 177

184 运维手册 / 12 网络服务 负载均衡 将公网地址的访问流量分发到一组后端的云主机上 并自动检测并隔离不可用的 云主机 IPsec隧道 使用IPsec隧道协议实现虚拟私有网络 VPN 的连接 安全组网络服务模块 安全组 使用iptables进行云主机防火墙的安全控制 VPC网络实践 生产环境中 一般建议使用以下网络服务的组合 扁平网络服务模块 DHCP 分布式DHCP实现的动态获取IP地址 云路由网络服务模块 DNS 使用VPC路由器提供DNS服务 SNAT 云主机使用SNAT可以直接访问外部互联网 弹性IP 使用VPC路由器可通过公有网络访问云主机的私有网络 端口转发 提供将指定公有网络的IP地址端口流量转发到云主机对应协议的端口 负载均衡 将公网地址的访问流量分发到一组后端的云主机上 并自动检测并隔离不可用的 云主机 IPsec隧道 使用IPsec隧道协议实现虚拟私有网络 VPN 的连接 安全组网络服务模块 安全组 使用iptables进行云主机防火墙的安全控制 12.1 安全组 安全组 给云主机提供三层网络防火墙控制 控制TCP/UDP/ICMP等数据包进行有效过滤 对指定 网络的指定云主机按照指定的安全规则进行有效控制 扁平网络 云路由网络和VPC均支持安全组服务 安全组服务均由安全组网络服务模块提供 使 用方法均相同 使用iptables进行云主机防火墙的安全控制 安全组实际上是一个分布式防火墙 每次规则变化 加入/删除网卡都会导致多个云主机上的防 火墙规则被更新 安全组规则 安全组规则按数据包的流向分为两种类型 178

185 运维手册 / 12 网络服务 入方向 Ingress 代表数据包从外部进入云主机 出方向 Egress 代表数据包从云主机往外部发出 安全组规则对通信协议支持以下类型 ALL 表示涵盖所有协议类型 此时不能指定端口 TCP 支持 端口 UDP 支持 端口 ICMP 默认起始结束端口均为-1 表示支持全部的ICMP协议 安全组规则支持对数据来源的限制 目前源可以设置为CIDR和安全组 CIDR作为源 仅允许指定的CIDR才可通过 安全组作为源 仅允许指定的安全组内的云主机才可通过 注: 如果两者都设置 只取两者交集 如图 90: 安全组所示 图 90: 安全组 安全组的约束条件 安全组有以下约束条件 安全组可以挂载到多个云主机 它们会共享相同的安全组规则 安全组可以挂载到多个三层网络 它们会共享相同的安全组规则 179

186 运维手册 / 12 网络服务 安全组支持白名单机制 即设置的所有规则均为允许机制 一旦对指定端口设置了允许机制 那 么没有被允许的端口就无法通过 新建安全组时 默认配置了两条规则 即 协议类型为ALL的进口规则和出口规则 用于设置 组内互通 用户可以删除这两条默认规则 取消组内互通 新建安全组时 如果没有设置任何规则 则默认所有的外部访问均禁止进入安全组内的云主 机 安全组内云主机访问外部不受限制 12.2 虚拟IP 虚拟IP VIP 在桥接网络环境中 使用虚拟IP地址来提供弹性IP 端口转发 负载均 衡 IPsec隧道等网络服务 数据包会被发送到虚拟IP 再路由至云主机网络 虚拟IP一般是将可以访问互联网的公有IP地址 路由到云主机的私有网络 虚拟IP分为自定义虚拟IP和系统虚拟IP两类 1. 自定义虚拟IP 创建 由用户手动创建 提供网络服务 扁平网络下的自定义虚拟IP仅用于弹性IP服务 云路由网络/VPC下的自定义虚拟IP可用于弹性IP 端口转发 负载均衡 IPsec隧道服 务 一个自定义虚拟IP仅用于一个弹性IP服务实例 一个自定义虚拟IP可同时用于端口转发 负载均衡 IPsec隧道服务 且支持一种服务 的多个实例 注: 不同类型服务不能使用相同的端口号 自定义虚拟IP不支持跨普通云路由器/VPC路由器使用 删除 删除自定义虚拟IP 将自动删除其上绑定的所有服务 删除自定义虚拟IP的某一服务 并不影响其上绑定的其它服务运行 2. 系统虚拟IP 创建 180

187 运维手册 / 12 网络服务 普通云路由器/VPC路由器成功创建后 由系统自动创建 该系统虚拟IP地址就是路由设备 的默认公网IP地址 提供网络服务 云路由网络/VPC下的系统虚拟IP可用于端口转发 负载均衡 IPsec隧道服务 一个系统虚拟IP可同时用于端口转发 负载均衡 IPsec隧道服务 且支持一种服务的 多个实例 注: 不同类型服务不能使用相同的端口号 系统虚拟IP与普通云路由器/VPC路由器一一对应 删除 删除系统虚拟IP的某一服务 并不影响其上绑定的其它服务运行 删除普通云路由器/VPC路由器 将自动删除相应的系统虚拟IP以及其上绑定的所有服 务 虚拟IP支持QoS 通过设置端口 限制上行及下行带宽 实现虚拟IP的端口流量控制 扁平网络下的自定义虚拟IP仅用于弹性IP服务 因此虚拟IP的QoS功能仅作用于弹性IP 云路由网络/VPC下的自定义虚拟IP可用于弹性IP 端口转发 负载均衡 IPsec隧道服务 因 此提供这四种服务的自定义虚拟IP均支持QoS设置 云路由网络/VPC下的系统虚拟IP可用于端口转发 负载均衡 IPsec隧道服务 因此提供这三 种服务的系统虚拟IP均支持QoS设置 若使用VirtualRouter类型的云路由镜像创建云路由网络 不支持虚拟IP的QoS设置 同一虚拟IP可设置多个QoS规则 不设置端口的QoS规则优先级最低 如图 91: 虚拟IP-负载均衡所示 云路由网络/VPC下虚拟IP提供负载均衡服务 图 91: 虚拟IP-负载均衡 181

188 运维手册 / 12 网络服务 虚拟IP支持的操作 虚拟IP支持以下操作 创建虚拟IP 自定义虚拟IP由用户手动创建 系统虚拟IP由系统自动创建 修改名称和简介 修改虚拟IP的名称和简介 更改所有者 变更虚拟IP的所有者 删除 自定义虚拟IP 删除自定义虚拟IP 将自动删除其上绑定的所有服务 删除自定义虚拟IP的某一服务 并不影响其上绑定的其它服务运行 系统虚拟IP 删除系统虚拟IP的某一服务 并不影响其上绑定的其它服务运行 删除普通云路由器/VPC路由器 将自动删除相应的系统虚拟IP以及其上绑定的所有服务 添加/删除QoS 自定义虚拟IP和系统虚拟IP均支持添加/删除QoS 进入其详情页的QoS子页面 进行添加/删除QoS即可 报警 ZStack支持虚拟IP报警功能 创建报警器并添加相关报警条目 系统可自动监控已添加虚 拟IP相关的多项报警条目 以邮件/钉钉/HTTP POST方式发送报警信息 查看监控数据 实时显示虚拟IP的网络流量和网络包速率情况 审计 查看此虚拟IP的相关操作 182

189 运维手册 / 12 网络服务 12.3 弹性IP 弹性IP EIP 定义了通过公有网络访问内部私有网络的方法 内部私有网络是隔离的网络空间 不能直接被外部网络访问 弹性IP基于网络地址转换 NAT, 将一个网络 通常是公有网络 的IP地址转换成另一个网 络 通常是私有网络 的IP地址 通过弹性IP 可对公网的访问直接关联到内部私网的云主机IP 弹性IP可动态绑定到一个云主机 或从一个云主机解绑 云主机使用的扁平网络 云路由网络 VPC均可使用弹性IP服务 扁平网络 分布式EIP实现的弹性IP地址 可通过公有网络访问内部私有网络 云路由网络/VPC 使用云路由器/VPC路由器可通过公有网络访问云主机的私有网络 扁平网络下弹性IP的应用场景 如图 92: 扁平网络下弹性IP的应用场景所示 图 92: 扁平网络下弹性IP的应用场景 公有网络可通过防火墙连接到互联网 私有网络为各个计算节点内云主机提供私有网络IP地址 此IP地址默认情况下无法连接到互联 网 每个计算节点分别部署分布式EIP 可分布独立实现公有网络与私有网络的绑定 183

190 运维手册 / 12 网络服务 云路由网络/VPC下弹性IP的应用场景 如图 93: 云路由网络/VPC下弹性IP的应用场景所示 图 93: 云路由网络/VPC下弹性IP的应用场景 弹性IP支持的操作 弹性IP支持以下操作 修改名称和简介 修改弹性IP的名称和简介 绑定 将弹性IP绑定到云主机网卡 解绑 将弹性IP与云主机网卡解绑 更改所有者 变更弹性IP的所有者 删除 删除弹性IP 将自动删除其提供的弹性IP服务 如需同时删除相应的虚拟IP 请勾选删除 虚拟IP 审计 查看此弹性IP的相关操作 12.4 端口转发 端口转发 PF 基于云路由器/VPC路由器提供的三层转发服务 可将指定公有网络的IP地址端 口流量转发到云主机对应协议的端口 在公网IP地址紧缺的情况下 通过端口转发可提供多个云主 机对外服务 节省公网IP地址资源 启用SNAT服务的私有网络中 云主机可访问外部网络但不能被外部网络所访问 使用端口转发 规则 允许外部网络访问SNAT后面云主机的某些指定端口 184

191 运维手册 / 12 网络服务 弹性端口转发规则可动态绑定到云主机 或从云主机解绑 端口转发服务限于云路由器/VPC路由器提供 端口转发规则创建于云路由器/VPC路由器公有网络和云主机私有网络之间 如图 94: 端口转 发所示 图 94: 端口转发 通过虚拟IP提供端口转发服务 虚拟IP对应于公网IP地址资源池中的一个可用IP 端口转发使用虚拟IP有两种方法 新建虚拟IP 使用已有虚拟IP 端口转发指定端口映射有两种方法 单个端口到单个端口的映射 端口区间的映射 如图 95: 虚拟IP-端口转发所示 图 95: 虚拟IP-端口转发 185

192 运维手册 / 12 网络服务 端口转发的约束条件 端口转发有以下约束条件 端口转发要求云主机内部的防火墙策略对指定的转发端口开放 同一个虚拟IP 在提供端口转发服务时 该虚拟IP所用的端口之间不可重复 同一个虚拟IP 可对同一个三层网络上的多个云主机网卡的不同端口提供端口转发服务 同一个云主机 只能使用一个虚拟IP来提供端口转发服务 虚拟IP从云主机解绑后 再次绑定云主机时 只能选择解除绑定关系前的同一个三层网络上的云 主机网卡 端口转发区间需一一对应 例如 设置了源端口22-80端口的端口区间 在云主机私网 默认也 选择22-80端口 12.5 负载均衡 负载均衡 LB 将公网地址的访问流量分发到一组后端的云主机 并支持自动检测并隔离不可用 的云主机 从而提高业务的服务能力和可用性 负载均衡自动把访问用户应用的流量分发到预先设置的多个后端云主机 以提供高并发高可靠的 访问服务 根据实际情况 动态调整负载均衡监听器中的云主机来调整服务能力 且不会影响业务的正常访 问 186

193 运维手册 / 12 网络服务 负载均衡监听器支持TCP/HTTP/HTTPS三种协议 当监听协议为HTTPS 需绑定证书使用 支持上传证书和证书链 负载均衡器支持灵活配置多种转发策略 实现高级转发控制功能 如图 96: 虚拟IP-负载均衡所示 云路由网络/VPC下虚拟IP提供负载均衡服务 图 96: 虚拟IP-负载均衡 负载均衡支持的操作 负载均衡器支持以下操作 修改名称和简介 修改负载均衡器的名称和简介 创建监听器 创建一个新的监听器 删除 删除负载均衡器 将自动删除所有的监听器和相关负载均衡服务 相应的虚拟IP以及其上 绑定的其它服务不受影响 审计 查看此负载均衡器的相关操作 监听器支持以下操作 修改名称和简介 修改监听器的名称和简介 绑定云主机网卡 绑定云主机网卡到负载均衡器的某个监听器 使云主机成为监听器规则的一个 负载均衡资源 解绑云主机网卡 从监听器上解绑云主机网卡 将其从负载均衡池中移除 187

194 运维手册 / 12 网络服务 绑定证书 当监听协议为HTTPS 需绑定证书使用 绑定一个证书或证书链到监听器 当监听 协议为TCP/HTTP 该按钮禁用 解绑证书 当监听协议为HTTPS 从监听器上解绑证书 当监听协议为TCP/HTTP 该按钮禁 用 删除 删除监听器 将自动删除其提供的负载均衡服务 审计 查看此监听器的相关操作 负载均衡的约束条件 负载均衡有以下约束条件 一个负载均衡器可以支持多个监听器 一个负载均衡器支持的监听器指定的云主机网卡必须在同一个三层网络 当监听协议为HTTPS 一个监听器同一时间只能绑定一个证书 如需更换证书 需先解绑当前 证书 ZStack支持内部访问业务流量的负载均衡 如果内部用户希望通过虚拟IP访问负载均衡 需进行 如下设置 进入设置 > 全局设置 > 高级设置 将三层网络安全默认规则设置为accept 且重连云路由器生 效 注意事项 云路由器/VPC路由器提供的系统虚拟IP支持用于负载均衡服务 负载均衡监听器支持HTTPS协议 需绑定证书使用 支持上传证书和证书链 12.6 IPsec隧道 IPsec隧道 透过对IP协议的分组加密和认证来保护IP协议的网络传输数据 实现站点到站点 siteto-site 的虚拟私有网络 VPN 连接 IPsec隧道的特性 IPsec连接模式 基于安全考虑 只支持主动模式 Main Mode 不支持积极模式 Aggressive Mode 仅支 持ESP封装协议 IPsec传输模式 188

195 运维手册 / 12 网络服务 仅支持站点到站点的隧道模式 不支持PC点对点模式 基于云端网络模型考虑 不支持两端 存在NAT网络 IPsec路由模型 仅支持基于对端网段配对模型 仅支持路由配对模式 不支持路由转发模式 不支持OSPF 或BGP等动态路由协议 云路由网络下IPsec隧道的典型场景 在两套隔离的ZStack私有云环境中 使用云路由网络 两套环境中云主机的私有网络无法直接通 信 使用IPsec隧道可实现两套云主机的私有网络互相通信 如图 97: 云路由网络下IPsec隧道应用场景所示 图 97: 云路由网络下IPsec隧道应用场景 VPC IPsec隧道的典型场景 在两套隔离的ZStack私有云环境中 分别搭建两套VPC环境 在两套VPC环境中 分别创建两 套VPC网络 VPC子网 两套VPC环境的子网间无法直接通信 使用IPsec隧道后 就可实现 两套VPC环境的子网间互相通信 IPsec隧道支持的操作 云路由网络下IPsec隧道支持以下操作 修改名称和简介 修改IPsec隧道的名称和简介 删除 删除IPsec隧道 将自动删除其提供的IPsec隧道服务 相应的虚拟IP以及其上绑定的其它 服务不受影响 审计 查看此IPsec隧道的相关操作 189

196 运维手册 / 12 网络服务 VPC下IPsec隧道支持以下操作 修改名称和简介 修改IPsec隧道的名称和简介 加载本地子网 VPC下IPsec隧道支持加载多个本地私有网络 卸载本地子网 将IPsec隧道上的本地私有网络卸载 添加远端网络CIDR VPC下IPsec隧道支持加载多个远端网络CIDR 删除远端网络CIDR 将IPsec隧道上的远端网络CIDR卸载 删除 删除IPsec隧道 将自动删除其提供的IPsec隧道服务 相应的虚拟IP以及其上绑定的其它 服务不受影响 审计 查看此IPsec隧道的相关操作 190

197 运维手册 / 13 vcenter 13 vcenter 13.1 基础资源 vcenter的基础资源主要涉及zstack对vcenter虚拟化资源的统一管理 目前包括 添加vCenter 同步数据和删除 添加vCenter后 ZStack会自动同步vCenter的集群 物理机 虚拟机 模板 存储 网络等资源 也可通过点击同步数据按钮 将vCenter的资源实时同步至本地 相关资源均支持界面查看 支持添加多个vCenter并进行管理 vcenter资源导入zstack支持过滤 dvswitch场景 只有添加到dvSwitch中的物理机 其相关资源才能导入ZStack 未添加到dvSwitch中的物理 机 其相关资源不能导入ZStack vswitch场景 只有添加至少一个相同的vSwitch名称 且具备至少一个相同的端口组属性 包括 相同的网 络标签和VLAN ID 满足以上条件的物理机 其相关资源 其上所有虚拟机 相同的端口 组 才能导入ZStack 注: ZStack仅接管虚拟机网络 不接管VMkernel或管理网络 ZStack接管vCenter的虚拟化资源 vcenter必须满足以下特性 vcenter必须建立数据中心 集群和物理机的资源结构 支持显示已经添加的本地存储和共享存储 包括FC iscsi和nfs存储 目前不支持存储集群 Datastore Cluster 模式 建议分离使用 vcenter需配置分布式交换机 dvswitch 或标准交换机 vswitch 的端口组信息 vcenter已有的模板虚拟机 需要转换为 模板 类型 vcenter基础资源支持的操作 添加vCenter 添加vCenter后 ZStack会自动同步vCenter的集群 物理机 虚拟机 模板 存 储 网络等资源 相关资源均支持界面查看 同步数据 通过同步数据 可将vCenter的资源实时同步至本地 删除 删除vCenter会删除vCenter相关资源的本地记录 远端vCenter上的真实资源不受影响 191

198 运维手册 / 13 vcenter 查看集群 查看vCenter集群信息 查看主存储 查看vCenter主存储信息 支持datastore列表查看 查看镜像服务器 查看vCenter镜像服务器信息 支持datastore列表查看 查看物理机 查看vCenter物理机信息 13.2 云主机 添加vCenter后 vcenter云主机自动同步至zstack 也支持本地创建vCenter云主机 vcenter云主机支持的操作 创建 本地创建vCenter云主机 启动 将停止状态的云主机启动 停止 停止云主机 重启 将云主机重启 暂停 暂停云主机 恢复 从暂停状态恢复云主机 迁移 将云主机迁移到别的计算节点中 目前仅支持热迁移 共享存储支持带数据云盘的云主机热迁移 本地存储暂不支持迁移操作 迁移的速度与两台主机的网络配置有关 如果网络配置较低 迁移速度可能较慢 执行迁移操作前 需确保vMotion功能已开启 vcenter 5.5版本 需配置专用的VMKernel网络并开启vMotion功能 且源端和目标端 的VMkernel子接口vMotion的IP地址能互通 vcenter 6.0版本及以上 开启管理网络中的vMotion功能即可 克隆 对云主机根云盘进行复制 根据此云主机的计算规格 克隆出与当前云主机相同系统的云 主机 云主机支持在线克隆 关机克隆 带数据云盘的云主机暂不支持整机克隆 云主机支持克隆为云主机 暂不支持克隆为模板 关闭电源 将云主机电源直接断电 修改计算规格 支持离线修改云主机CPU/内存 192

199 运维手册 / 13 vcenter 设置高可用 高可用级别有NeverStop或None两种模式 None 云主机关闭高可用功能 NeverStop 云主机开启高可用功能 本地存储的云主机设置为NeverStop 当所在物理机处于启用和已连接状态时 该云主机会一直运行 即使强制关机 该云主机 也会再次启动 注: 如希望NeverStop云主机本次关机不自动启动 在弹出的停止云主机窗口 勾选设 置NeverStop的云主机 本次停止将不会自动启动即可 当所在物理机异常断电/断网时 该云主机会进入已停止状态 如果远端vCenter环境已开启DRS 分布式资源调度 服务 为vCenter云主机提供高可 用 ZStack的高可用设置与其无关 不受影响 打开控制台 打开云主机的控制界面 可以登录控制云主机 设置控制台密码 设置云主机的控制台密码 取消控制台密码 取消云主机的控制台密码 加载云盘 将一个可用的未加载的云盘加载到当前云主机 卸载云盘 之前添加的云盘从云主机卸载 删除 删除云主机 会删除本地记录 同时远端vCenter上的真实云主机停止 恢复 从删除状态恢复云主机 彻底删除 将删除状态的云主机彻底删除 会同时彻底删除本地记录和远端vCenter上的真实云 主机资源 13.3 网络 要在ZStack接管的vCenter环境中新建云主机 需提前搭建好vCenter中的云路由网络或扁平网络 云路由网络 vcenter云路由网络搭建流程 1. 在vCenter的网络界面创建公有网络 包括二层公有网络和三层公有网络 2. 在创建vCenter云路由网络前 需提前在云路由界面添加云路由镜像和云路由规格 3. 创建vCenter云路由网络 193

200 运维手册 / 13 vcenter 注意事项 搭建vCenter云路由网络 需提前确认ZStack管理节点与vCenter物理机能互相访问 创建vCenter云路由网络前 需提前在网络资源中准备好云路由镜像和云路由规格 支持L2NoVlanNetwork L2VlanNetwork两种类型 如选择L2VlanNetwork 需输入Vlan ID 扁平网络 vcenter扁平网络搭建流程 在vCenter的网络界面创建扁平网络对应的二层网络和三层网络 注意事项 vcenter扁平网络不能给云主机自动分配ip 需手动配置 建议与预设的IP一致 支持L2NoVlanNetwork L2VlanNetwork两种类型 如选择L2VlanNetwork 需输入Vlan ID vcenter网络支持的操作 vcenter公有网络 添加网络段 添加DNS 删除网络段 删除DNS 删除 vcenter扁平网络 添加网络段 添加DNS 删除网络段 删除DNS 删除 vcenter云路由网络 添加网络段 添加DNS 删除网络段 删除DNS 加载云路由规格 卸载 云路由规格 删除 注: 删除vCenter网络资源 会删除本地记录 远端vCenter上的真实网络资源不受影 响 删除L3网络时 挂载该L3网络的vCenter云主机会将该L3网络卸载 13.4 网络服务 vcenter支持的网络服务 vcenter网络服务目前支持云路由网络架构模型 vcenter云路由网络提供了dns SNAT 弹性IP 端口转发 负载均衡 IPsec隧道等网络服务 DNS vcenter云路由器可作为dns服务器提供dns服务 在vCenter云主机中看到的DNS地址默认为vCenter云路由器的IP地址 由用户设置的DNS地 址由vCenter云路由器负责转发配置 SNAT vcenter云路由器向vcenter云主机提供原网络地址转换 194

201 运维手册 / 13 vcenter vcenter云主机使用snat可直接访问外部互联网 弹性IP 使用vCenter云路由器可通过公有网络访问vCenter云主机的私有网络 端口转发 提供将指定公有网络的IP地址端口流量转发到vCenter云主机对应协议的端口 负载均衡 将公网地址的访问流量分发到一组后端的vCenter云主机 并自动检测并隔离不可用 的vCenter云主机 IPsec隧道 使用IPsec隧道协议实现虚拟私有网络 VPN 的连接 虚拟IP(ESX类型) vcenter云路由网络是通过esx类型的虚拟ip来提供弹性ip 端口转发 负载均衡 IPsec隧道等网 络服务的 ESX类型的虚拟IP也分为自定义虚拟IP和系统虚拟IP两类 与KVM类型的虚拟IP基本相同 1. ESX类型的自定义虚拟IP 创建 由用户手动创建 提供网络服务 vcenter云路由网络下的自定义虚拟ip可用于弹性ip 端口转发 负载均衡 IPsec隧道服 务 一个自定义虚拟IP仅用于一个弹性IP服务实例 一个自定义虚拟IP可同时用于端口转发 负载均衡 IPsec隧道服务 且支持一种服务的多 个实例 注: 不同类型服务不能使用相同的端口号 自定义虚拟IP不支持跨vCenter云路由器使用 删除 删除自定义虚拟IP 将自动删除其上绑定的所有服务 删除自定义虚拟IP的某一服务 并不影响其上绑定的其它服务运行 2. ESX类型的系统虚拟IP 创建 vcenter云路由器成功创建后 由系统自动创建 该系统虚拟IP地址就是路由设备的默认公 网IP地址 提供网络服务 195

202 运维手册 / 13 vcenter vcenter云路由网络下的系统虚拟ip可用于端口转发 负载均衡 IPsec隧道服务 一个系统虚拟IP可同时用于端口转发 负载均衡 IPsec隧道服务 且支持一种服务的多个 实例 注: 不同类型服务不能使用相同的端口号 系统虚拟IP与vCenter云路由器一一对应 删除 删除系统虚拟IP的某一服务 并不影响其上绑定的其它服务运行 删除vCenter云路由器 将自动删除相应的系统虚拟IP以及其上绑定的所有服务 虚拟IP(ESX类型)支持的操作 ESX类型的虚拟IP支持的操作 与KVM类型的虚拟IP支持的操作基本相同 创建虚拟IP 自定义虚拟IP由用户手动创建 系统虚拟IP由系统自动创建 修改名称和简介 修改虚拟IP的名称和简介 更改所有者 变更虚拟IP的所有者 删除 自定义虚拟IP 删除自定义虚拟IP 将自动删除其上绑定的所有服务 删除自定义虚拟IP的某一服务 并不影响其上绑定的其它服务运行 系统虚拟IP 删除系统虚拟IP的某一服务 并不影响其上绑定的其它服务运行 删除vCenter云路由器 将自动删除相应的系统虚拟IP以及其上绑定的所有服务 弹性IP vcenter云路由网络通过esx类型的自定义虚拟ip来提供弹性ip服务 基于弹性IP服务 vcenter云路由器可通过公有网络访问vcenter云主机的私有网络 弹性IP支持的操作 vcenter云路由环境下弹性ip支持的操作 与KVM云路由环境下弹性IP支持的操作基本相同 修改名称和简介 修改弹性IP的名称和简介 196

203 运维手册 / 13 vcenter 绑定 将弹性IP绑定到云主机网卡 解绑 将弹性IP与云主机网卡解绑 更改所有者 变更弹性IP的所有者 删除 删除弹性IP 将自动删除其提供的弹性IP服务 如需同时删除相应的虚拟IP 请勾选删除 虚拟IP 审计 查看此弹性IP的相关操作 端口转发 vcenter云路由网络通过esx类型的自定义虚拟ip或系统虚拟ip来提供端口转发服务 基于端口转发服务 vcenter云路由器可将指定公有网络的ip地址端口流量转发到vcenter云主机 对应协议的端口 在公网IP地址紧缺的情况下 通过端口转发可提供多个vCenter云主机对外服务 节省公网IP地 址资源 端口转发支持的操作 vcenter云路由环境下端口转发支持的操作 与KVM云路由环境下端口转发支持的操作基本相同 修改名称和简介 修改端口转发规则的名称和简介 绑定 将端口转发规则绑定到云主机网卡 解绑 将端口转发规则与云主机网卡解绑 删除 删除端口转发规则 将自动删除其提供的端口转发服务 相应的虚拟IP以及其上绑定的其 它服务不受影响 审计 查看此端口转发的相关操作 端口转发的约束条件 vcenter云路由环境下端口转发的约束条件 与KVM云路由环境下端口转发的约束条件基本相同 端口转发要求云主机内部的防火墙策略对指定的转发端口开放 同一个虚拟IP 在提供端口转发服务时 该虚拟IP所用的端口之间不可重复 同一个虚拟IP 可对同一个三层网络上的多个云主机网卡的不同端口提供端口转发服务 同一个云主机 只能使用一个虚拟IP来提供端口转发服务 虚拟IP从云主机解绑后 再次绑定云主机时 只能选择解除绑定关系前的同一个三层网络上的云 主机网卡 197

204 运维手册 / 13 vcenter 端口转发区间需一一对应 例如 设置了源端口22-80端口的端口区间 在云主机私网 默认也 选择22-80端口 负载均衡 vcenter云路由网络通过esx类型的自定义虚拟ip或系统虚拟ip来提供负载均衡服务 基于负载均衡服务 可将vCenter公网地址的访问流量分发到一组后端的vCenter云主机 并支 持自动检测并隔离不可用的vCenter云主机 从而提高业务的服务能力和可用性 负载均衡器支持HTTP/TCP两种协议 负载均衡器支持灵活配置多种转发策略 实现高级转发控制功能 负载均衡支持的操作 vcenter云路由环境下负载均衡器支持的操作 与KVM云路由环境下负载均衡器支持的操作基本相 同 修改名称和简介 修改负载均衡器的名称和简介 创建监听器 创建一个新的监听器 删除 删除负载均衡器 将自动删除所有的监听器和相关负载均衡服务 相应的虚拟IP以及其上 绑定的其它服务不受影响 审计 查看此负载均衡器的相关操作 vcenter云路由环境下监听器支持的操作 与KVM云路由环境下监听器支持的操作基本相同 修改名称和简介 修改监听器的名称和简介 绑定云主机网卡 绑定云主机网卡到负载均衡器的某个监听器 使云主机成为监听器规则的一个 负载均衡资源 解绑云主机网卡 从监听器上解绑云主机网卡 将其从负载均衡池中移除 绑定证书 当监听协议为HTTPS 需绑定证书使用 绑定一个证书或证书链到监听器 当监听 协议为TCP/HTTP 该按钮禁用 解绑证书 当监听协议为HTTPS 从监听器上解绑证书 当监听协议为TCP/HTTP 该按钮禁 用 删除 删除监听器 将自动删除其提供的负载均衡服务 审计 查看此监听器的相关操作 vcenter云路由环境下负载均衡的约束条件 与KVM云路由环境下负载均衡的约束条件基本相同 一个负载均衡器可以支持多个监听器 198

205 运维手册 / 13 vcenter 一个负载均衡器支持的监听器指定的云主机网卡必须在同一个三层网络 当监听协议为HTTPS 一个监听器同一时间只能绑定一个证书 如需更换证书 需先解绑当前 证书 ZStack支持内部访问业务流量的负载均衡 如果内部用户希望通过虚拟IP访问负载均衡 需进行 如下设置 进入设置 > 全局设置 > 高级设置 将三层网络安全默认规则设置为accept 且重连云路由器生 效 IPsec隧道 vcenter云路由网络通过esx类型的自定义虚拟ip或系统虚拟ip来提供ipsec隧道服务 基于IPsec隧道服务 可实现站点到站点 site-to-site 的虚拟私有网络 VPN 连接 IPsec隧道支持的操作 vcenter云路由环境下ipsec隧道支持的操作 与KVM云路由环境下IPsec隧道支持的操作基本相 同 修改名称和简介 修改IPsec隧道的名称和简介 删除 删除IPsec隧道 将自动删除其提供的IPsec隧道服务 相应的虚拟IP以及其上绑定的其它 服务不受影响 审计 查看此IPsec隧道的相关操作 13.5 云盘 vcenter云盘 为vCenter云主机提供存储 可分为 根云盘 云主机的系统云盘 用于支撑云主机的系统运行 数据云盘 云主机使用的数据云盘 一般用于扩展的存储使用 vcenter云盘管理主要涉及vcenter数据云盘的管理 已有云盘支持的操作 创建 基于云盘规格或云盘镜像创建一个新的云盘 启用 将处于停用状态的云盘启用 停用 停止使用某个云盘 加载 将选中的云盘作为数据云盘加载到指定云主机 卸载 卸载云主机的云盘 199

206 运维手册 / 13 vcenter 删除 将云盘删除后 云盘会显示在已删除栏 修改名称和简介 支持修改云盘名称和简介 未实例化云盘支持的操作 启用 将处于停用状态的未实例化云盘启用 停用 停止使用某个未实例化云盘 加载 将选中的未实例化云盘作为数据云盘加载到指定云主机 删除 将未实例化云盘删除后 云盘会显示在已删除栏 修改名称和简介 支持修改未实例化云盘名称和简介 已删除云盘支持的操作 恢复 已删除云盘恢复后将显示在已有栏 彻底删除 将已删除云盘彻底删除 使用vCenter云盘 需注意 不同Hypervisor上的云盘不可挂载到不同类型的云主机上 例如 KVM云主机的云盘不能 被vCenter云主机加载 云盘可在相同类型Hypervisor的不同云主机之间挂载和卸载 云盘同一时间只能挂载到一个云主机 云盘占用空间采用虚拟容量来计算 创建云盘时扣除的是云盘的虚拟容量大小 而本身只占用少 量实际容量 随着写入文件额增加 实际容量会逐步增加 根云盘作为云主机的附属 不能卸载 13.6 镜像 ZStack支持添加vmdk格式的本地镜像到vCenter 通过同步数据 vcenter镜像在本地和远端实现状 态同步 支持添加两种镜像类型 系统镜像和云盘镜像 vcenter镜像支持的操作 添加 支持添加vmdk格式的本地镜像到vCenter 目前不支持加添ISO格式 启用 启用后 镜像可作为候选使用 停用 停用后 镜像不可再作为候选使用 删除 删除镜像 会同时删除本地记录和远端vCenter上的真实镜像资源 200

207 运维手册 / 14 平台运维 14 平台运维 14.1 性能TOP5 性能TOP5是面向运维人员推出的可视化性能监控页面 在该页面可直观便捷查看物理机 云主 机 路由器 虚拟IP 三层网络资源各种监控指标的TOP5信息 从而方便运维人员直观掌控云平 台实时健康状态 以及快速定位问题 物理机页面 通过对当前区域全部物理机的CPU 内存 磁盘 网络资源使用情况进行统计分析 以CPU平 均使用率 内存使用率 磁盘读写IOPS 磁盘已使用容量百分比 磁盘读写速度 网卡出入速 度 网卡出入包速率 网卡出入错误速率为指标 分别挑选出各指标下的TOP5 进行实时展示 监控 实时显示的百分比排行以及进度条的颜色区分提示 可直观告知运维人员当前哪些资源告 急或出现性能瓶颈 云主机页面 同物理机页面类似 通过对当前区域全部云主机的CPU 内存 磁盘 网络资源使用情况进行统 计分析 以CPU平均使用率 内存使用率 内存空闲百分比 磁盘读写IOPS 磁盘读写速度 网卡出入速度 网卡出入包速率 网卡出入错误速率为指标 分别挑选出各指标下的TOP5 进 行实时展示监控 实时显示的百分比排行以及进度条的颜色区分提示 可直观告知运维人员当前 哪些资源告急或出现性能瓶颈 路由器页面 同云主机页面类似 通过对当前区域全部路由器 包括云路由器和VPC路由器 的CPU 内 存 磁盘 网络资源使用情况进行统计分析 以CPU平均使用率 内存使用率 内存空闲百分 比 磁盘读写IOPS 磁盘读写速度 网卡出入速度 网卡出入包速率 网卡出入错误速率为指 标 分别挑选出各指标下的TOP5 进行实时展示监控 实时显示的百分比排行以及进度条的颜 色区分提示 可直观告知运维人员当前哪些资源告急或出现性能瓶颈 虚拟IP页面 通过对当前区域全部虚拟IP的网络传输性能进行统计分析 以上行网络流量 下行网络流量 上 行网络包速率 下行网络包速率为指标 分别挑选出各指标下的TOP5 进行实时展示监控 实 时显示的数值排行以及进度条的颜色区分提示 可直观告知运维人员当前哪些虚拟IP出现传输性 能瓶颈 三层网络页面 201

208 运维手册 / 14 平台运维 通过对当前区域全部三层网络的IP资源使用情况进行统计分析 以已用IP百分比 已用IP数量 可用IP百分比 可用IP数量为指标 分别挑选出各指标下的TOP5 进行实时展示监控 实时显 示的数值排行以及进度条的颜色区分提示 可直观告知运维人员当前哪些三层网络的IP资源出现 告急 补充说明 性能TOP5页面的右上角 点击时间下拉框 可对物理机 云主机 路由器 虚拟IP资源设置数据 采样周期 可选 1分钟 1小时 1天 1周 1月 三层网络无采样周期设置 14.2 性能分析 ZStack平台管理提供对已运行云主机 云路由 物理机的实时性能分析 其中 云主机 路由器 物理机 显示了名称 CPU平均使用率 内存使用率 磁盘读/写速度 网卡 出/入速度信息 三层网络 显示了名称 已用IP数量 已用IP百分比 可用IP数量 可用IP百分比信息 虚拟IP 显示了名称 下行网络流量 下行网络入包速率 上行网络流量 上行网络入包速率信 息 镜像服务器 显示了名称 镜像存储可用容量百分比信息 性能分析页面支持全局资源和指定资源两种方式搜索 规定好搜索起止时间 填写筛选条目 系 统会自动筛选出符合要求的信息 每页默认显示20条信息 可点击旁边的下拉按钮切换 点击右上角左右箭头按 钮可进行翻页 点击右上角下载按钮 可导出CSV文件 如果存在多个CPU CPU利用率可能会超过100% 14.3 消息中心 目前消息中心仅提供报警消息的查看 可查看该报警的消息内容 消息时间等信息 支持设置时间段 可查看所设时间段内的报警消息 包括查看消息描述 消息时间 以及消息详 情 支持调整每页显示的报警消息数量 可选值为 且支持翻页操作 14.4 操作日志 操作日志界面包括三个子页面 进行中 已完成 审计 202

209 运维手册 / 14 平台运维 进行中子页面针对进行中的操作提供日志查看 可查看该操作的操作描述 任务结果 任务创建时 间 支持通过输入操作描述搜索正在进行的操作日志 支持调整每页显示的进行中操作日志数量 可选值为 且支持翻页操作 已完成子页面针对已完成的操作提供日志查看 可查看该操作的操作描述 任务结果 操作员 登 录IP 任务创建/完成时间 以及操作返回的消息详情 实现更细粒度管理 支持设置时间段 可查看所设时间段内的已完成操作的日志 支持通过输入操作描述/登录IP 搜索已完成的操作日志 支持csv格式导出操作日志 支持调整每页显示的已完成操作日志数量 可选值为 且支持翻页操作 审计子页面针对调用API操作提供审计 可查看该调用API名称 消耗时间 任务结果 操作员 任 务创建/完成时间 以及API行为的消息详情 支持设置时间段 可查看所设时间段内调用API的审计信息 注: 界面最多显示300条审计信息 请调整合适的时间段进行搜索 支持通过输入资源类型/资源UUID/API名称/操作员 搜索调用API的审计信息 支持csv格式导出审计信息 支持调整每页显示的审计消息数量 可选值为 且支持翻页操作 14.5 ZWatch ZStack支持ZWatch全新监控报警系统 针对各种资源类型提供了多样化报警条目 支持的接收端类型有邮件/钉钉/HTTP应用 设计原理 报警器或事件向SNS通知系统的主题发送消息 消息会自动推送到订阅该主题的接收 端 发送到接收端的消息会以邮件/钉钉/HTTP POST方式发送到指定地址 由于ZWatch监控系统与SNS通知系统完全松耦合 且基于开放式设计 用户可自定义报警器或 事件 按需扩展更多资源类型以及更多报警条目 实现全方位 细粒度 灵活监控所有系统信 息 报警器 ZWatch监控系统支持对时序性数据和事件设置报警器 并通过SNS通知系统接收报警信息 203

210 运维手册 / 14 平台运维 资源报警器 主要针对系统时序数据进行监控 例如云主机内存使用率 物理机CPU使用率等 支持用户自定义资源报警器 事件报警器 主要针对系统事件进行监控 例如云主机状态变化事件 物理机失联事件等 支持 用户自定义事件报警器 资源报警器支持的操作 资源报警器支持以下操作 创建 创建一个资源报警器 启用 将已停用的资源报警器启用 停用 将正在使用的资源报警器停用 添加接收端 给选中的资源报警器添加接收端 移除接收端 将接收端从资源报警器移除 删除 删除一个资源报警器 修改名称和简介 修改资源报警器的名称和简介 修改报警条件 持续时间 报警间隔时间 修改资源报警器相关参数 包括报警条件 持续时 间 报警间隔时间 查看报警记录 支持设置时间段 可查看所设时间段内资源报警器发出的报警记录 审计 查看此资源报警器的相关操作 事件报警器支持的操作 事件报警器支持以下操作: 创建 创建一个事件报警器 添加接收端 给选中的事件报警器添加接收端 移除接收端 将接收端从事件报警器移除 删除 删除一个事件报警器 查看报警记录 支持设置时间段 可查看所设时间段内事件报警器发出的报警记录 审计 查看此事件报警器的相关操作 报警消息模板 报警消息模板 报警器或事件向SNS系统的主题发送消息时使用的文本模板 目前报警消息模板支持邮箱和钉钉两种接收端平台 使用报警消息模板 可将通知邮件或钉钉消 息以统一格式发出 204

211 运维手册 / 14 平台运维 系统自带一个默认模板 若用户没有创建模板 系统将使用自带模板 用户可以创建多个模板 但只能指定一个为默认模板 发送消息时只会使用默认模板格式化信 息 模板中可以通过${}引用报警器或事件提供的变量 报警消息模板支持的操作 报警消息模板支持以下操作 创建 创建一个报警消息模板 设为默认 将选中的报警消息模板设置为系统默认模板 取消默认 将已设置为系统默认的报警消息模板取消默认设置 删除 删除一个报警消息模板 修改名称和简介 修改报警消息模板的名称和简介 修改文本内容 修改报警消息模板的文本内容 审计 查看此报警消息模板的相关操作 14.6 通知服务 用户可以用不同的接收端订阅主题 接收端类型包括 邮箱 钉钉 HTTP应用 邮箱类型接收端 发送到主题的消息都会以邮件方式通过邮箱服务器发送到指定的邮箱地址 用户可提前创建报警消息模板 或使用系统自带模板 将通知邮件以统一格式发出 需提前在当下区域内添加邮箱服务器 并测试邮箱服务器可用 钉钉类型接收端 发送到主题的消息都会以钉钉方式发送到指定的钉钉机器人地址 若指定对象 会通过@电话号 码通知相应的钉钉成员 用户可提前创建报警消息模板 或使用系统自带模板 将钉钉消息以统一格式发出 设置钉钉类型的报警消息模板 需遵循Markdown语法 目前钉钉只支持Markdown语法的子 集 详情可登陆钉钉官网进行了解 HTTP应用类型接收端 发送到主题的消息都会以HTTP POST方式发送到指定的HTTP地址 若指定的HTTP应用已设置了用户名和密码才可访问 需按实填写用户名和密码 205

212 运维手册 / 14 平台运维 接收端支持的操作 接收端支持以下操作 创建 创建一个接收端 启用 将已停用的接收端启用 停用 将正在使用的接收端停用 添加报警器 向选中的接收端中添加报警器 移除报警器 将报警器从接收端中移除 删除 删除一个接收端 修改名称和简介 修改接收端的名称和简介 接收消息 支持设置时间段 可查看所设时间段内接收端的消息日志 审计 查看此接收端的相关操作 206

213 运维手册 / 15 平台管理 15 平台管理 15.1 用户管理 用户管理主要提供了用户对系统资源的访问控制 可实现以细粒度对资源归属及权限控制的划分 用户管理提供账户 用户组 用户的管理 同时涉及策略 配额等概念 用户管理系统的整体结构如图 98: 用户管理系统所示 图 98: 用户管理系统 相关定义 账户 作为资源拥有的基本单位 对作用域的资源可以进行创建 删除 分享 召回等操作 账户分 为admin管理员账户和普通账户 用户 用户账户创建 用于实现更细粒度的权限控制 admin创建的用户 也称之为admin用户 拥有 和admin账户相同的全部权限 用户组 普通账户可以通过创建用户组对一组用户进行批量的权限控制 207

214 运维手册 / 15 平台管理 资源配额 简称配额 是admin账户对普通账户的资源总量进行控制的衡量标准 主要包括云主机数量 CPU数量 内存容量 最大数据云盘数目和所有云盘最大容量等 admin账户可修改以上各参数对各个普通账户进行资源总额的控制 当资源删除后 但还未彻 底删除时 会占用主存储资源和云盘数量 相关约束 1. admin管理员账户 也称之为admin账户 不受权限控制 拥有超级权限 通常由IT系统管理员 拥有 admin账户可以共享计算规格 云盘规格 网络 镜像等其他资源给普通账户 而普通账户只 能操作属于自己的资源 admin账户同时也可以对相关资源进行召回 不再共享 admin账户可以通过修改配额对普通账户进行资源总量控制 admin账户创建的admin用户 和admin账户一样 拥有全局的控制权限 admin账户不能够修改别的账户的普通用户的权限 普通用户的权限应该由该用户所属的账户 管理 admin账户不支持创建用户组 也不支持对其他账户的用户和用户组进行跨越管理 但可以修 改普通账户 普通用户的用户名 密码和简介 admin账户创建vxlannetworkpool后 普通账户可以基于VxlanNetworkPool创建VxlanNe twork 只支持删除admin用户 不支持删除admin账户 更改云主机所有者会更改云主机的EIP所有者属性 2. 普通账户 由admin管理员账户创建 普通账户拥有对自己创建的云主机 镜像 云盘 安全组 用户组和用户的管理权限 普通 账户可以对admin账户共享的资源进行读操作 但不可以进行删除操作 普通账户可以通过权限控制来操控属于自己的用户或用户组 普通账户可以使用用户组对批量用户进行权限控制 删除普通账户会导致此账户下的所有资源被删除 例如 云主机 云盘 镜像 名下用户和 用户组等信息 普通用户默认只拥有对普通账户资源的只读权限 普通用户不占有资源 经授权后 可共享并使用自己所属账户下的资源 208

215 运维手册 / 15 平台管理 删除普通用户只会删除普通用户的自身信息 其所创建的云主机 镜像 云盘均会保留在自 己所属的账户名下 普通账户名称不可重复 同一账户下的用户和用户组名称不可重复 普通用户的名字 简介和密码可以通过admin账户修改 也可通过所属账户进行修改 同一用户可加入多个不同用户组 账户登录只需输入账户名和密码 用户登录需要输入账户名 用户名和密码 普通账户首页看到的资源是admin账户分配的资源配额的上限 普通账户创建云主机前 需要admin账户提前共享计算规格 网络和云盘规格等资源 否则不 可创建云主机 普通账户可以添加自有的镜像文件 也可由admin账户提前共享 用户权限受到用户权限设置页以及该用户所属用户组权限设置页共同控制 只要用户权限设 置页 或者该用户所属任意用户组权限设置页授予了某资源的权限 即代表该用户拥有该权 限对应的操作 如果需要禁止该用户对某资源的操作权限 需要禁止该用户权限页 以及该 用户所属所有用户组权限页相关资源的操作权限 15.2 计费管理 计费管理包括账单和计费设置 账单 按计费单价和使用时间来统计并显示所有项目或账户下各资源的资费信息 计费设置 计费信息的显示需提前对各资源创建计费单价 计费设置支持对处理器 内存 根 云盘 数据云盘等基本计费资源进行计费单价设置 以各资源的规格大小和时间作为基本计费单 位 并以时长作为服务使用记录 从而对不同账户使用的业务量进行统计计费 15.3 定时 定时器 定时器是承载定时任务的容器 该功能非常适用于长时间运行的操作 例如 为某个云主机定时 创建快照 定时器和定时任务完全解耦 用户可按需创建不同规则的定时器 以及不同的定时任 务 并将定时任务灵活加载到定时器或从定时器上卸载 定时器的操作会完整的进入审计中 定时器执行策略 包括重复执行和按次数执行 选择重复执行 定时任务按周期无限重复执行 选择选择次数 定时任务按周期有限次执行 需设置执行次数 209

216 运维手册 / 15 平台管理 注: 对于周期内有限次执行的定时器 当定时任务执行完后 定时器状态将显示为已完 成 定时器支持的操作 创建定时器 创建一个新的定时器 创建定时任务 创建一个定时任务并加载到该定时器 删除 删除定时器 删除定时器后 该定时器上的定时任务将被卸载 定时任务可重新加载到其 它运行的定时器上 定时任务 定时任务是加载到定时器上的任务条目 定时器和定时任务完全解耦 用户可按需创建不同规则的 定时器 以及不同的定时任务 并将定时任务灵活加载到定时器或从定时器上卸载 此外 定时任 务支持选择性停用/启用/加载/卸载 可灵活处理生产环境中的特殊情况 定时任务的操作也会完整 的进入审计中 定时任务支持的操作 创建定时任务 创建一个新的定时任务 启用 启用定时任务 启动后该定时任务生效 支持批量操作 停用 停用定时任务 停用后该定时任务不生效 支持批量操作 加载 将定时任务加载到运行的定时器上 支持批量操作 卸载 将定时任务从定时器上卸载 支持批量操作 删除 删除该定时任务 不可恢复 支持批量操作 15.4 邮箱服务器 ZStack支持ZWatch监控报警功能 若接收端选择邮件类型 需设置邮件服务器 用来接收报警邮 件 15.5 AD/LDAP LDAP Lightweight Directory Access Protocol 作为轻量级目录访问协议 可提供标准的目录服 务 微软的WindowsAD软件 以下简称AD 以及众多流行的Linux发行版中提供的OpenLDAP软 件 以下简称LDAP 均是基于LDAP协议的实现 它们为日益多样化的企业办公应用提供了一套 独立 标准的登录认证系统 210

217 运维手册 / 15 平台管理 ZStack支持无缝接入AD/LDAP统一认证服务 基于自定义规则添加AD/LDAP服务器 并获取成员 列表 当AD/LDAP成员 用户/用户组 成功绑定ZStack账户 普通账户/管理员 就可使用成员 登录属性直接登录ZStack云平台 ZStack账户 普通账户/管理员 与AD/LDAP成员 用户/用户组 的绑定关系如图 99: ZStack-AD/ LDAP绑定关系所示 图 99: ZStack-AD/LDAP绑定关系 添加AD/LDAP ZStack支持基于自定义规则添加AD/LDAP服务器 绑定AD/LDAP成员 ZStack账户 普通账户/管理员 与AD/LDAP成员 用户/用户组 的绑定关系如下 普通账户 一套ZStack支持创建多个普通账户 一个普通账户可直接绑定一个或多个AD/LDAP成员 用户/用户组 普通账户绑定AD/LDAP用户组时 支持用户组中嵌套用户组 211

218 运维手册 / 15 平台管理 一个AD/LDAP成员 用户/用户组 不可绑定多个普通账户 一个AD/LDAP成员 用户/用户组 绑定一个普通账户后 不可再绑定管理员 绑定普通账户的AD/LDAP成员登录ZStack后 所属资源 权限与当前所绑定的普通账户一致 管理员 一套ZStack仅支持创建一个管理员 管理员可直接绑定一个或多个AD/LDAP成员 用户/用户组 管理员绑定AD/LDAP用户组时 支持用户组中嵌套用户组 一个AD/LDAP成员 用户/用户组 绑定管理员后 不可再绑定普通账户 绑定管理员的AD/LDAP成员登录ZStack后 所属资源 权限与当前所绑定的管理员一致 AD/LDAP登录 使用已设置的AD/LDAP成员登录属性直接登录ZStack云平台 AD/LDAP成员成功登录ZStack 所 属资源 权限与当前所绑定的ZStack账户一致 15.6 控制台代理 ZStack平台管理支持显示当前控制台代理的信息 即打开云主机的控制台时使用的代理信息 控制台代理IP只需要在管理节点修改 默认代理显示的IP为管理节点的IP地址 显示类型为ManagementServerConsoleProxy 只有当状态为启用和已连接时 才可正常打开控制台访问云主机 控制台代理支持的操作 重连 一般发生在云主机控制台打开失败时 进行重连操作 重连后状态显示为启用和已连接 时 代表控制台可以正常打开 设置控制台代理IP 从ZStack2.3.2版本开始 支持在UI界面上设置控制台代理IP 无需重启管 理节点 直接生效 212

219 运维手册 / 16 设置 16 设置 在ZStack的设置中 主要涉及到以下内容 全局设置 管理员可以使用全局配置对很多特性进行配置 所有的全局配置都有一个默认值 更新全 局配置并不需要重启管理节点 自定义UI 用户可以根据自己的需求 自定义UI界面的浏览器标题 首页标题栏 登录页标题 大屏 标题 浏览器图标 首页logo和登录页logo等信息 设置或重置成功后 需要手动刷新页面 16.1 全局设置 全局设置包括基础设置与高级设置 基础设置 目前基础设置支持以下选项 具体介绍如下 云主机高可用全局开关 可以打开或者关闭云主机高可用功能 默认为 ture 如果关闭此选项 则云主机不支持设置高可用 云主机详情也不会显示高可用信息 如果关闭此选项 将全局禁用高可用功能 请谨慎操作 物理机CPU超分率 主要用于设置可分配的虚拟CPU个数 默认为 10 如果物理机的CPU为四核八线程 ZStack会将物理主机CPU的总线程 8 乘以处理器超分 率的倍数 10 计算可分配的虚拟CPU的个数 即总量为80 虚拟CPU的总数可以在首页的处理器的总量查看 会话超时时间 设定ZStack图形界面登录后会话多长时间失效 默认为 7200秒 即2小时 当登录会话失效后 需要重新登录 KVM物理机保留内存 所有KVM主机上保留的内存容量 建议可用单位 T/G/M 默认为 1G 例如 512M表示为系统预留512M内存 当系统剩下700M的内存时 用户又希望启动一个内 存为512M的云主机是无法启动的 KVM云主机缓存模式 云主机缓存模式设置 可选模式为 writethrough none, writeback 默认为 none 213

220 运维手册 / 16 设置 writethrough 物理机的页面缓存工作在透写模式 数据完全写入云主机存储设备后 才 返回成功 none 云主机不使用物理机的页面缓存 直接访问存储 不带cache writeback 云主机使用了物理机的页面缓存机制 数据写入物理机页面缓存即报告给云 主机返回成功 KVM云主机CPU模式 选择云主机的CPU类型是否与物理机的CPU类型一致 可选模式为 hostmodel none host-passthrough 默认为 none host-model 云主机的CPU类型将与物理机的CPU类型相符 例如都显示 为Haswell的Intel CPU host-passthrough 云主机的CPU类型将与物理机的CPU完全一致 注: 当选择host-model或者host-passthrough类型时 云主机可以支持嵌套虚拟化 但 可能导致云主机在不同型号CPU的物理机之间迁移失败 本地存储在线迁移 本地存储在线迁移的全局设置打开或关闭 默认为 false 打开此开关 则支持本地热迁移 本地存储上Windows的云主机不支持热迁移 系统内存超分率 内存超分率允许的范围: [1.00, ] 1到1000之间的数 如果是小数 最多两位 默 认值为 1.0 如果物理内存为4G 设置为2.0 那么ZStack会认为系统可以分配8G内存给云主机使用 该数值为经验数值 需要根据不同系统和应用的需求进行配置 通常不应设置得过大 否则 会影响云主机性能 在生产环境中 如果用户打算采用物理内存超分 建议在安装系统时 配置相应的swap分 区 例如 如果物理机内存为100G 并打算设置物理内存超分为2 建议设置swap分区也 为100G 这样的配置在实际使用中 有足够的swap空间供内存超分使用 系统主存储超分率 214

221 运维手册 / 16 设置 主存储超分率允许的范围: [1.00, ] 1到1000之间数 如果是小数 最多两位 默 认值为 1.0 如果主存储可用空间为2T 设置为2.0 那么ZStack会认为系统可以分配4T主存储空间给云 主机使用 该数值不应设置得过大 用户需完全理解该设置的含义并设置正确的主存储使用阈值后 才 能进行相应的设置 否则会有严重的数据丢失风险 系统主存储使用阈值 为了防止系统过度使用主存储空间 尤其是当设置了主存储的超分比例后 过度分配云盘有 可能使存储溢出 从而导致云主机存储失效崩溃 需要设置主存储阈值 主存储使用阈值: (0, 1] 之间的小数 最多四位 默认值为 0.9 例如 阈值为0.9 如果当前主存储空间实际使用率到达总容量的90% 整个系统将不能 新建云主机或者云盘 此时用户需添加更多的云盘给主存储 并手动重新连接计算节点后 即可进行新建云盘操 作 当使用大于1的主存储超分率后 该阈值应设定为0.6或更小 以确保可及时添加主存储 用户需完全理解该设置的含义 才能进行相应的设置 否则会有严重的数据丢失风险 系统云主机控制台模式 用于设置控制台链接的协议类型 支持vnc和spice协议 默认为 vnc 云路由管理员密码 登录云路由器的密码 默认为vrouter12# 云路由器管理员账户是 vyos 管理员可以直接在此处设置任意长度字符串 以字母/数字开头, 只能包含数字 字母 '-' '_ ' '#' 设定密码后需要通过UI重启云路由器 该密码才会生效 该操作对所有云路由器生效 云主机Network Anti-Spoofing 防IP/MAC伪造和ARP欺骗 默认为 false 云主机删除策略 215

222 运维手册 / 16 设置 该策略设置会设定用户在删除云主机 云盘以及镜像相关内容的删除规则 可以选择三种策略 立刻删除 Direct 延时删除 Delay 和永不删除 Never 默认 为 Delay 立刻删除 Direct 当设置为立刻删除时 如果用户删除云主机或者其他资源 这些相 关资源会被立刻删除 延时删除 Delay 当设置为延时删除 默认 时 如果用户删除云主机或者其他资 源 这些资源会被标记为已删除 显示在对应资源的已删除栏 等彻底延时删除时延 默 认时延24小时 也就是86400秒 超时后或用户手动强制删除时 才会彻底删除相关资 源 永不删除 Never 当设置为永不删除时 当用户删除云主机或者其他资源 这些资源 永远不会被系统自动删除 云主机彻底删除时延 当删除策略为延时删除时 可以选择延时多久彻底删除资源 ZStack默认时延为86400秒 即24小时 云主机NUMA 打开NUMA选项可支持在线修改CPU内存 默认为 false 此操作支持CentOS7.2 CentOS6.6 Ubuntu14.04 Ubuntu16.04等云主机操作系统 不建议在生产环境中对Windows云主机执行在线修改CPU 内存的操作 建议对Windows云主机关机后再修改配置 云主机显卡类型 管理员可以进入基础设置页面更改云主机启动时默认的显卡类型 默认为 cirrus 更改后可通过ps -ef grep qemu命令查看-device后的显示类型 检查qemu终端设置是否与 对应的VM一致 ZStack提供更改以下三种显卡类型 cirrus 提供一种简单的显卡类型 但对某些操作系统 无法提供更好的显示支持 device cirrus-vga vga 提供一种更好分辨率的显卡类型 -device VGA qxl 该显卡类型在SPICE协议下能够表现出更好的性能 -device qxl-vga或virsh dumpxml $domainid指令查看是否对应 其中$domainID指云主机UUID 216

223 运维手册 / 16 设置 注: 该选项改变后 只针对新创建的云主机和停止后再启动的云主机生效 高级设置 ZStack支持上百种高级设置 用户可根据自身的需求搜索并且修改对应的设置 目前高级设置支持以下选项 具体介绍如下 云路由器agent自动启动 默认为false 默认情况下 云路由器已集成了agent程序 支持开机自动启动 如果设置并部署新的agent 并打算使其生效 此选项需设置为true 设置为true后 在云路由器在每次创建 启动或重启时 管理节点均会部署新的agent程序 云路由器连接超时时间 默认为300 单位为秒 用于设置管理节点与云路由器上运行的agent程序的连接超时上限 如 果管理节点在指定时间内没有连接成功agent程序 则云路由器会启动失败并被删除 云路由器SSH超时时间 默认为300 单位为秒 用于设置管理节点与云路由器进行SSH连接的超时上限 如果管理节点 在指定时间内没有SSH成功云路由器 则云路由器会启动失败并被删除 镜像服务器Ping间隔 默认为60 单位为秒 用于设置管理节点在指定的时间间隔去检查镜像服务器 如果检查成 功 表示镜像服务器是连接状态 镜像服务器Ping最大并发度 默认为50 用于设置管理节点同时检查多个镜像服务器时 最大的并发度 镜像服务器保留容量 默认为1G 用于设置镜像服务器在使用时保留使用的容量 Ceph镜像下载超时时间 默认为3600 单位为秒 用于设置Ceph镜像服务器下载镜像时的超时时间 如果超过此时 间 镜像还未下载完成 此镜像会添加失败 Ceph镜像服务器Mon自动重连 默认为true 用于设置Ceph镜像服务器的Mon IP在检查失败时 是否开启自动重连 217

224 运维手册 / 16 设置 Ceph镜像服务器Mon重连延迟 默认为30 单位为秒 用于设置Ceph镜像服务器的Mon IP在一次检查失败后 再次重连的延迟 间隔 Ceph镜像缓存清理间隔 默认为43200 单位为秒 用于设置Ceph镜像已删除后 也无云主机使用的前提下 Ceph主存 储里面不再使用的镜像缓存被执行清理的时间间隔 Ceph主存储删除Pool选项 默认为false 在删除Ceph主存储时 是否删除所有的ceph存储池 默认关闭 打开此选项 非 常危险 可能导致数据丢失 需谨慎操作 Ceph主存储Mon自动重连 默认为true 用于设置Ceph主存储的Mon IP在检查失败时 是否开启自动重连 Ceph主存储Mon重连延迟 默认为30 单位为秒 用于设置Ceph主存储的Mon IP在一次检查失败后 再次重连的延迟间 隔 集群升级并行度 默认为2 用于设置同一时刻最多可执行并行系统升级的集群个数 控制台AgentPing间隔 默认为60 单位为秒 用于设置检查控制台agent程序的时间间隔 控制台Agent空闲超时 默认为60 单位为秒 用于设置空闲的控制台agent等待的最大时间 vnc会话超时时间 默认为1800 单位为秒 用于设置VNC会话的超时时间 Fusionstor镜像下载超时时间 默认为3600 单位为秒 用于设置Fusionstor镜像服务器下载镜像时的超时时间 如果超过此时 间 镜像还未下载完成 此镜像会添加失败 Fusionstor镜像服务器Mon自动重连 默认为true 用于设置Fusionstor镜像服务器的Mon IP在检查失败时 是否开启自动重连 Fusionstor镜像服务器Mon重连延迟 218

225 运维手册 / 16 设置 默认为30 单位为秒 用于设置Fusionstor镜像服务器的Mon IP在一检查失败后 再次重连的延 迟间隔 Fusionstor镜像缓存清理间隔 默认为43200 单位为秒 用于设置Fusionstor镜像已删除后 也无云主机使用的前提 下 Fusionstor主存储里面不再使用的镜像缓存被执行清理的时间间隔 Fusionstor主存储删除Pool选项 默认为false 在删除Fusionstor主存储时 是否删除所有的Fusionstor存储池 默认关闭 打开 此选项 非常危险 可能导致数据丢失 需谨慎操作 Fusionstor主存储Mon自动重连 默认为true 用于设置Fusionstor主存储的Mon IP在检查失败时 是否开启自动重连 Fusionstor主存储Mon重连延迟 默认为30 单位为秒 用于设置Fusionstor主存储的Mon IP在一次检查失败后 再次重连的延迟 间隔 孤儿GC清理间隔 默认为60 单位为秒 在管理节点以指定时间间隔扫描孤儿GC 若有则进行接管 高可用异常物理机检查间隔 默认为5 单位为秒 用于设置在指定的时间间隔去检查一个异常的物理机 高可用判定物理机失联尝试次数 默认为12 用于设置在指定的最大次数去重连物理机 如果在指定最大次数内连接此物理机均失 败 则判定物理机失联 高可用判定物理机成功间隔 默认为5 用于判定物理机成功连接的时间间隔 如果物理机在此间隔内成功返回 则表示连接 成功 高可用判定物理机成功尝试几率 小数 默认为0.5 用于设置在指定连接次数的既有成功又有失败的情况下 以多大几率来判定 物理机连接成功 高可用判定物理机成功次数 默认为3 用于设置在物理机连接成功的判定时 需要至少建立几次成功的连接 高可用物理机自检间隔 219

226 运维手册 / 16 设置 默认为5 设置物理机状态自检的间隔 高可用物理机自检最大尝试次数 默认为12 用于设置在指定的最大次数去自检物理机 在最大的尝试测试次数均失败时 会判定 物理机网络异常 高可用物理机自检主存储检查超时时间 默认为15 单位为秒 用于设置在物理机自检连接主存储的超时时间 高可用永不停止云主机GC最大重试间隔时间 默认为300 单位为秒 针对永不停止的云主机 如果异常停止 用于执行GC任务尝试重试启 动的最大时间间隔 高可用永不停止云主机尝试的延迟时间 默认为60 单位为秒 针对永不停止的云主机 如果上一次尝试启动失败 到下一次尝试时中 间的延迟时间 高可用永不停止云主机扫描间隔 默认为60 单位为秒 针对永不停止的云主机 如果启动失败 下次扫描的时间间隔 物理机分配器并发度 默认为2 用于设置分配物理机时的分配器并发度 物理机Ping不通时自动重连 默认为true 管理节点连不通物理机时 会自动重连 物理机自动重连 默认为true 管理节点在启动服务过程中 是否全部重连物理机 物理机重连并发度 默认为100 管理节点在重连物理机过程中 全部重连物理机时的最大并发度 物理机维护模式忽略错误 默认为false 物理机维护模式 忽略相关错误 会返回成功 物理机Ping间隔 默认为60 单位为秒 管理节点在指定间隔对物理机进行检查 来物理机是否连接 物理机检查计算节点失败阈值 默认为3 单位为次 管理节点在检查计算节点时 尝试检查时允许的最大失败次数 220

227 运维手册 / 16 设置 物理机Ping并发度 默认为100 管理节点在检查物理机是否连接时 支持的最大并发度 物理机自动重连 默认为true 管理节点在启动服务过程中 是否全部重连物理机 物理机升级并行度 默认为2 用于设置一个集群内同一时刻最多可执行并行系统升级的物理机个数 会话清理间隔 默认为3600 用于设置在指定的时间间隔清理哪些已经超时的会话 会话最大会话数 默认为500 用于设置管理节点可接受的最大会话数量 超过此数值 将不能建立新的会话 镜像删除策略 可选类型为直接删除 延迟删除 永不删除 用于在删除镜像时 管理节点设置的删除策略 1. 直接删除 直接从数据库删除和文件级别删除镜像 2. 延迟删除 将此镜像的状态变为已删除 在镜像彻底删除到期后 会从数据库删除和文件级 别删除镜像 3. 永不删除 从数据库删除镜像 但是永不删除其文件 镜像启用重置密码 默认为true 用于设置镜像是否启用重置密码 镜像彻底删除间隔 默认为3600 单位为秒 用于设置执行彻底删除镜像任务的时间间隔 镜像彻底删除周期 默认为86400 单位为秒 用于设置将一个已删除的镜像从数据库移除 并从镜像服务器移除的 执行周期 KVM物理机CPU型号检测 默认为false 用于迁移和添加物理机时是否检测物理机CPU型号的一致性 KVM云主机云盘的最大数量 默认为24 用于设置一个云主机可支持的最大数据盘数量 KVM物理机并发级别 221

228 运维手册 / 16 设置 默认为10 用于设置在物理机执行命令的并发数量 如果设置的并发数量过大 可能导致物理机 负载过高 KVM云主机并发迁移数量 默认为2 用于设置物理机维护模式时 同时迁移云主机的数量 KVM物理机Ping时云主机状态同步 默认为true 用于设置物理机在连接时 是否同步云主机的状态 AD/LDAP返回结果 默认为member,uniqueMember,memberOf 默认返回结果分隔符应为"," 配置AD/LDAP返回 结果 可以是多条 用AD/LDAP返回结果分隔符分割开 负载均衡器默认算法 默认为roundrobin 即 轮询法 可选方法包括轮询法 roundrobin 最少连接法 leastconn 和源地址法 source 用于设置负载均衡时 采用哪种算法 负载均衡器空闲连接超时时间 默认为60 单位为秒 在没有数据传输时 设置触发负载均衡器终止服务器和客户端连接的超时 时间 负载均衡器健康检查间隔 默认为5 单位为秒 用于设置对负载均衡器内的云主机进行健康检查的时间间隔 负载均衡器健康检查目标 默认为TCP 健康检查的协议类型 支持TCP HTTP HTTPS和SSL 用于设置对负载均衡器 内的云主机进行健康检查的协议类型 对应的有效端口是1到65535 负载均衡器健康检查超时时间 默认为2 单位为秒 用于设置在指定时间内如果负载均衡检查没有相应则判定检查失败 负载均衡器健康阈值 默认为2 在执行多少次成功检查后 将云主机移至健康状态 负载均衡器最大连接 默认为5000 用于设置负载均衡器同时建立的最大连接数 负载均衡器不健康阈值 默认为2 在执行多少次失败检查后 将云主机移至不健康状态 222

229 运维手册 / 16 设置 日志语言 默认为zh_CN 设置记录相关日志的地域 此设置影响相关的日志记录的地域时间 管理节点心跳检测间隔 默认为5 单位为秒 用于设置管理节点将心跳写入数据库的时间间隔 系统分发镜像 默认为true 在添加镜像后 设置是否分发镜像到本地存储 系统分发镜像并发度 默认为2 在添加镜像后 同时分发镜像到本地存储的并发度 监控触发器恢复检查间隔 默认为10 单位为秒 设置时间间隔周期性的检查触发器是否已恢复 虚拟网络DHCP MTU设置 默认为1500 用于设置虚拟网络的默认最大传输单元的字节数 L2NoVlan网络DHCP MTU设置 默认为1500 用于设置L2NoVlan网络的最大传输单元的字节数 L2Vlan网络DHCP MTU设置 默认为1500 用于设置L2Vlan网络的最大传输单元的字节数 L2VXLAN网络DHCP MTU设置 默认为1500 用于设置VXLAN网络的最大传输单元的字节数 NFS主存储GC清理时间间隔 默认为3600 单位为秒 用于设置NFS主存储GC清理云盘和快照的时间间隔 PCI设备IOMMU开关 默认为true 控制连接物理机时 用于设置是否开启IOMMU 物理机CPU使用率最低采集间隔 默认为600 单位为秒 用于设置物理机CPU使用率的采集时间间隔 挑选出CPU使用率最低的 物理机来创建云主机 物理机内存使用率最低采集间隔 默认为600 单位为秒 用于设置物理机内存使用率的采集时间间隔 挑选出内存使用率最低的 物理机来创建云主机 223

230 运维手册 / 16 设置 主存储镜像缓存的GC时间间隔 默认为86400 单位为秒 用于设置主存储定期扫描那些孤儿的需要被清理的镜像缓存的时间间 隔 主存储Ping间隔 默认为60 单位为秒 管理节点在指定间隔对主存储进行检查是否连接 主存储Ping并发度 默认为100 管理节点在检查多个主存储时 支持的最大并发度 主存储开启垃圾回收 默认为true 创建云主机/云盘失败后 用于设置是否开启清理主存储上垃圾数据的功能 主存储垃圾回收的时间间隔 默认为600 单位为秒 用于设置主存储上垃圾回收的时间间隔 主存储垃圾回收的重复次数 默认为50 用于设置主存储上垃圾回收重复执行的次数 主存储的预留容量 默认为1G 用于设置主存储的预留容量 进度条清理线程间隔 默认为300 单位为秒 用于设置清理过期的进度条记录的时间间隔 进度条开启 默认true 用于设置是否开启进度条功能 进度条记录保存时间 默认为86400 单位为秒 用于设置进度条数据在数据库中进保留的最长时间 弹性IP数量默认配额 默认为20 设置账户的弹性IP数量默认配额 镜像数量默认配额 默认为20 设置账户的镜像IP数量默认配额 镜像容量默认配额 默认为10T 设置账户的镜像容量默认配额 三层网络数量默认配额 224

231 运维手册 / 16 设置 默认为20 设置账户的三层网络数量默认配额 负载均衡器数量默认配额 默认为20 设置账户的负载均衡器配额 端口转发数量默认配额 默认为20 设置账户的端口转发数量默认配额 定时任务数量默认配额 默认为80 设置账户的定时任务数量默认配额 安全组数量默认配额 默认为20 设置账户的安全组数量默认配额 云盘快照数量默认配额 默认为200 设置账户的云盘快照配额 虚拟IP数量默认配额 默认为20 设置账户的虚拟IP数量默认配额 CPU数量默认配额 默认为60 设置账户的CPU数量默认配额 内存大小默认配额 默认为80G 设置账户的内存大小默认配额 运行中的云主机数量配额 默认为20 设置账户的运行中的云主机数量默认配额 云主机数量配额 默认为20 设置账户的云主机数量默认配额 数据云盘容量默认配额 默认为10T 设置账户的数据云盘容量默认配额 数据云盘数量默认配额 默认为40 设置账户的数据云盘数量默认配额 VXLAN网络数量默认配额 默认为8 设置账户的VXLAN网络数量默认配额 225

232 运维手册 / 16 设置 安全组出口策略 默认为允许 accept 没有安全组规则时 默认的出口规则是允许 accept 设置为accept 没有安全组规则时 只有一个accept规则 即允许所有流量 有安全组规则时 则最后的默认规则为accept 设置为deny 没有安全组规则时 只有一个deny规则 即拒绝所有流量 有安全组规则时 则最后的默认规则为deny 安全组进入策略 默认为丢包 drop 没有安全组规则时 默认的进入规则是丢包 drop 设置为drop 没有安全组规则时 只有一个drop规则 即丢掉所有流量 有安全组规则时 则最后的默认规则为drop 设置为accept 没有安全组规则时 只有一个accept规则 即允许所有流量 有安全组规则时 则最后的默认规则为drop 设置为deny 没有安全组规则时 只有一个deny规则 即拒绝所有流量 有安全组规则时 则最后的默认规则为deny 云路由命令并发度 默认为100 用于设置云路由可以执行命令的最大并发度 云路由重启DNSMASQ边界 默认为500 在发送多少次SIGUSER1后重启DNSMASQ 因为如果有非常多的SIGUSER1的 话DNSMASQ会在重新加载配置文件的时候卡住 云路由Ping间隔 默认为60 单位为秒 用于设置管理节点在指定的时间间隔去检查云路由器 如果检查成功 表 示云路由器是连接状态 云路由Ping最大并发度 226

233 运维手册 / 16 设置 默认为500 单位为个 用于设置管理节点在同时去检查多个云路由器时 最大的并发度 云路由SSH端口 默认为22 云路由的SSH登录端口 云路由用户名 默认为vyos 登录云路由器的用户名 云路由启动超时时间 默认为60 单位为秒 云路由配置agent程序的echo超时上限 如果云路由在指定时间内没有配 置成功agent程序 则云路由器会启动失败并被删除 云主机引导菜单 默认为true 用于设置云主机启动时是否启用引导菜单 少数不支持虚拟机引导菜单的服务器可 以设置为false 云主机彻底删除间隔 默认为3600 单位为秒 执行彻底删除云主机任务运行的时间间隔 云主机计算规格删除后设置为空 默认为true 用于设置在删除计算规格时 是否更新云主机的计算规格列表为NULL 云主机隐藏KVM虚拟化标记 默认为false 如果设置为true 则会在新启动虚拟机定义XML中对<kvm>插入<hidden state='on '> 如果为false则不会 VDI Spice Streaming 默认为off 1. all 表示对传输的所有视频帧做编码压缩并传输 带宽要求会降低 流畅度会提高 瘦客户 端CPU压力会增大 2. filter 表示对增量视频帧做编码压缩并传输 带宽要求会更低 流畅度更高 瘦客户端CPU 压力较低 但瘦客户端的chrome播放flash会有拖影问题 3. off 表示视频帧不做编码压缩 清晰度最高 带宽要求最高 瘦客户端CPU压力最小 禁用vmwareIO端口模拟 默认为false 用于设置是否关闭vmwareIO端口模拟 云盘快照增量的最大数目 227

234 运维手册 / 16 设置 默认为128 一个云盘快照链的最大长度 当一个云盘的快照链的长度达到这个数字时 下一个 云盘快照会是一个完整的快照 云盘删除策略 删除数据云盘有三种策略 立刻删除 延时删除 永不删除 1. 立刻删除 被删除的云盘会从数据库和主存储中删除 2. 延时删除 被删除的云盘会在数据库中被标记为已删除 等彻底延时删除时延超时后 才会 彻底从数据库与主存储中删除云盘 3. 永不删除 当设置为永不删除时 当用户删除云盘时 这些资源永远不会被系统自动删除 云盘规格删除时设置为空 默认为true 删除磁盘规格时 是否更新磁盘的磁盘规格列表为NULL 云盘彻底删除间隔 默认为3600 单位为秒 执行彻底删除云盘的任务运行的时间间隔 云盘彻底删除时延 默认为 单位为秒 云盘删除策略为延迟删除时 针对已删除的云盘 选择延时多久彻 底删除云盘 VPC zsnp协议的老化时间 默认为 960 单位为秒 越小表示zsnp老化时间越短 刷新越快 云路由三层网络安全默认规则 内部用户通过虚拟IP访问负载均衡 默认为reject 表示不允许 accept表示允许 可能会影响 其他安全规则 修改后重连云路由器生效 ZWatch报警器不重复报警时间间隔 默认为1800 单位为秒 用于设置报警器不重复报警时间间隔 ZWatch报警器报警检测周期 默认为10 单位为秒 用于设置报警器报警检测周期 最小值为10秒 ZWatch报警检测线程数 默认为5 用于设置报警检测线程数 ZWatch系统报警器检测的管理节点目录 默认为/var/lib/zstack/,/usr/local/zstack/ 用户也可自行设置系统报警器检测的管理节点目录 228

235 运维手册 / 16 设置 ZWatch监控数据采样时间间隔 默认为10 单位为秒 用于监控数据采样时间间隔 最小间隔不能低于10秒 229

236 运维手册 / 17 管理节点高可用 17 管理节点高可用 17.1 管理节点高可用方案 管理节点高可用方案采用共享存储 使用云主机作为管理节点来管理云平台 分为两种类型 超融合基础架构 基于Ceph分布式块存储 存储与计算融合部署 管理节点以云主机方式运 行 管理融合节点的计算 存储 网络资源 共享文件系统高可用 基于NFS或Shared Mount Point共享文件系统存储 独立共享存储 管理 节点以云主机方式运行 管理计算节点的计算 存储 网络资源 ZStack支持的高可用支持以下三个层级的高可用 1. 管理节点的高可用 由zsha和consul守护进程来提供管理节点高可用 保证管理节点云主机的高 可用运行状态 2. 业务云主机的高可用 通过对云主机所在的物理网络或节点进行检测 在失效时 会自动切换云 主机到其他健康节点 以提供业务的可用性 3. 存储的高可用 分布式块存储的提供的多副本机制和故障域隔离机制 共享文件系统存储由底层 存储提供的高可用保障机制 例如 Raid 主备等机制 存储可支持Ceph分布式块存储 也支持NFS存储 Shared Mount Point存储 以及使用NAS转化 为Shared Mount Point存储 管理节点高可用方案在部署时 需提前规划网络 支持管理网络和存储网络合并 也支持管理网络 和存储网络分离 使用独立的存储网络 ZStack使用存储网络作为基准来判定管理节点主机状态 230

237 运维手册 / 18 基本运维 18 基本运维 本章主要针对ZStack基本操作异常给出处理办法 18.1 安装部署 安装部署以及升级ZStack失败需检查的因素 1. 假定安装操作系统时选择了管理节点模式 但是安装系统后 没有安装ZStack 原因 安装操作系统时 没有设置合适的IP地址 ZStack管理节点必须要求有可用IP 解决方案 此时需执行bash /opt/zstack*installer.bin -E 安装ZStack企业版 或执行bash /opt/zstack*installer.bin 安装ZStack社区版 2. 安装ZStack时出现如下错误信息 现象 Fail Reason: /usr/local/zstack is existing. Please delete it manually before installing a new ZStack 原因 此时系统已经存在ZStack 不允许再次安装 解决方案 如果打算升级 直接使用-u参数升级即可 如果打算重新安装 则需执行rm -rf /usr/local/zstack; bash zstack-installer.bin -D进行重新安 装 3. 安装部署失败 失败信息会打印到屏幕上 解决方案 可查看/tmp/zstack_installation.log 根据错误提示 尝试解决安装部署问题 4. 升级时遇到ZStack ISO版本不匹配 会提示类似以下错误信息 现象 Reason: The current local repo is not suitable for ZStack installation. 231

238 运维手册 / 18 基本运维 Please download ZStack-x86-64-DVD iso from ads/ and run 解决方案 此时需执行以下步骤 1. 在管理节点下载最新的ISO 例如在管理节点执行下载ISO wget 2. 执行以下命令进行升级 升级ISO里面的yum repo同步到本地 并且直接升级管理节点 zstack-upgrade ZStack-x86_64-DVD-2.3.x-c72.iso 5. 升级ZStack过程中 因为二次开发或者调整过数据库而导致升级失败 希望恢复原本的ZStack 前提 ZStack在进行升级时 默认会备份当前核心文件和数据库到对应目录 1. ZStack核心文件会备份在/usr/local/zstack/upgrade/目录下 以升级时的时间命名文件夹 假 定为 数据库默认备份在/usr/local/zstack/db_backup/ 以升级时的时间命名文件夹 假定为 备份文件为backup.sql 恢复步骤 1. 先备份之前版本的ZStack核心文件 执行 cp /usr/local/zstack/upgrade/ /root -r 2. 先备份之前版本的数据库 执行 cp /usr/local/zstack/db_backup/ /backup.sql /root 3. 再次备份数据库 执行 zstack-ctl dump_mysql 4. 删除当前ZStack环境 执行 zstack-ctl stop 232

239 运维手册 / 18 基本运维 rm -rf /usr/local/zstack 5. 使用之前的安装包直接安装ZStack bash ZStack-enterprise-installer.bin -D 6. 使用步骤1备份的ZStack核心文件恢复 zstack-ctl stop cp /root/ /zstack/ mv /usr/local/zstack/apache-tomcat/webapps/zstack /usr/local/zstack/apache-tomcat/ webapps/zstack-bk cp /root/ /zstack /usr/local/zstack/apache-tomcat/webapps -r chown zstack:zstack /usr/local/zstack/apache-tomcat/webapps/zstack -R 7. 恢复步骤2备份的数据库 cat /root/backup.sql mysql -u root -pzstack.mysql.password zstack 8. 启动ZStack管理节点服务 此时ZStack已成功恢复至原本升级失败前的版本 zstack-ctl start 18.2 启动服务 ZStack相关的服务在管理节点重启后 会自动启动 启动ZStack服务失败需检查的因素 1. 数据库应正常运行 可通过systemctl status/start/stop/restart mariadb进行状态/启动/停止/重启检查 2. Rabbitmq应正常运行 可通过systemctl status /start/stop/restart rabbitmq-server进行状态/启动/停止/重启检查 3. 出现如下报错 现象 ERROR: failed to connect to the mysql server[hostname: , port:3306, user:zstack, password:zstack.password] 解决方案 需确保/usr/local/zstack/apache-tomcat/webapps/zstack/WEB-INF/classes/zstack.properties 里面关于数据库的IP 用户名 密码均正确 且可使用mysql命令正常访问 例如 可通过mysql -u zstack -pzstack.password -h 直接访问 4. 出现如下报错 233

240 运维手册 / 18 基本运维 现象 ERROR: unable to connect to the rabbitmq server[ip: ] with username/password configured in zstack.properties 原因及解决方案 需检查rabbitmq状态 有可能是hostname发生变更引起rabbitmq无法连接 此时可执行zstackctl reset_rabbitmq 5. 出现如下报错 现象 8080 is occupied by some process. Please use netstat to find out and stop it 解决方案 执行netstat -anp grep 8080找到8080占用程序将其停止再启动ZStack 6. 出现如下报错 现象 MN status: Unknown, the management node seems to become zombie as it stops respond ing APIs 原因及解决方案 一般是因为内存不足导致的消息总线不能正确处理 需扩大内存 此时不建议再将管理节点作为 计算节点添加到ZStack使用 18.3 zstack-ctl命令 ZStack提供zstack-ctl对服务或者资源进行命令行控制 常用的zstack-ctl命令 状态检查 zstack-ctl status 服务控制 zstack-ctl stop/start/stop_ui/start_ui/restart_node/ 日志收集 zstack-ctl collect_log 备份数据库 zstack-ctl dump_mysql 恢复数据库 zstack-ctl restore_mysql -f back.gz --mysql-root-password password 管理节点IP变更 zstack-ctl change_ip 重置rabbitmq zstack-ctl reset_rabbitmq 234

241 运维手册 / 18 基本运维 检查配置 zstack-ctl show_configuration 安装授权 zstack-ctl install_license -f license_key.txt 重置admin账户密码 zstack-ctl reset_password 修改数据库密码 zstack-ctl change_mysql_password --root-password zstack.mysql.password --user-name zstack --new-password password 注: 关于zstack-ctl命令的详细使用介绍 请参考官网文档 PD2005 ZStack V2.3.2 ctl命令使用 手册 18.4 zstack-cli命令 ZStack提供zstack-cli命令行交互界面对ZStack内部各资源进行控制 1. zstack-cli登录 LogInByAccount accountname=admin password=password 初始密码为password 如果有修改 则需按照正确的密码登录 2. zstack-cli支持的关键字包括 资源关键字 zone cluster host vm primarystorage image L2 L3 backupstorage volume offering 操作关键字 add reconnect start stop destroy delete create get set update attach detach 3. 使用zstack-cli进行控制的技巧 输入资源关键字和操作关键字 善用tab键 例如 输入集群的关键字cluster 点击两次tab键后 会列出cluster可支持的所有 操作 如下 AttachL2NetworkToCluster AttachPrimaryStorageToCluster ChangeClusterState CreateCluster DeleteCluster DetachL2NetworkFromCluster DetachPrimaryStorageFromCluster GetCandidateZonesClustersHostsForCreatingVm GetVmStartingCandidateClustersHosts QueryCluster QueryVCenterCluster UpdateCluster 235

242 运维手册 / 18 基本运维 此时假定打算再创建集群 根据上面列出的Cluster操作 那么输入CreateCluster后 再点击 两次tab键 cli将列出createcluster参数 4. 使用zstack-cli创建云主机的方法 zstack-cli CreateVmInstance name=ceph instanceofferinguuid=$instanceoffer l3netwo rkuuids=$l3uuid imageuuid=$image 5. 使用zstack-cli查询运行中的云主机 zstack-cli QueryVmInstance state= Running name~=test limit=3 field=uuid 名字包含test 只显示3条记录 只显示其uuid 注: 关于zstack-cli命令的详细使用介绍 请参考官网文档 PD2004 ZStack V2.3.2 cli命令使用 手册 18.5 重连物理机 重连物理机会重新部署代理程序进行相关检查 重连物理机失败需检查的因素 1. 管理节点无法正常访问物理机22端口 例如以下 需先解决管理节点可以正常ssh到物理机的问 题 ssh: connect to host port 22: Network is unreachable 2. 物理机应可访问管理节点 以将agent代理的结果返回给管理节点 3. 没有使用ZStack定制版ISO安装计算节点 导致升级失败 出现类似以下软件包安装冲突的错 误 需要使用ZStack定制版ISO来重新安装系统 才可解决 ERROR: command pkg_list=`rpm -q openssh-clients qemu-kvm bridge-utils wget qemu-img libvirt-python libvirt nfs-utils vconfig libvirt-client net-tools iscsi-initiator-utils lighttpd dnsmasq iproute sshpass rsync nmap grep \"not installed\" awk '{ print $2 }'` && for pkg in $pkg_list ; do yum --disablerepo=* --enablerepo=zstack-local install -y $pkg; done;failed! 4. 物理机的libvirt服务状态应正常 可通过systemctl status/start/stop/restart libvirtd进行状态/启动/停止/重启检查 5. 重连物理机会检查其所属集群的网络挂载情况 假如集群挂载的二层网络指定的设备是eth1 但 是物理机的网卡设备号发生变化 不存在eth1 那么此物理机将无法重连成功 6. 如果物理机系统盘的存储容量已经用完 此时物理机将无法重连成功 236

243 运维手册 / 18 基本运维 7. 对于要求挂载NFS主存储的物理机 如果挂载失败 物理机将无法重连成功 此时需要检查物理 机到NFS主存储的链路 例如以下错误 就需检查物理机到NFS存储的连接 failed to execute shell command: mount :/home/Storage/zhu /opt/zstack/ nfsprimarystorage/prim a6340da884c33a8668a 使用分布式块存储的物理机 如果存在存储网络 则要求物理机可直接访问存储网络 9. 如果使用VXLAN网络 其挂载集群时指定的VTEP IP应该存在 如果不存在 物理机将无法重连 成功 18.6 重连主存储 重连主存储会重新部署代理程序进行相关检查 重连主存储失败需检查的因素 1. 本地存储一般处于可连接状态 2. NFS主存储保证有可用物理机可以连接此主存储 重连失败时 需检查NFS Server的IP地 址 NFS共享目录 NFS挂载参数是否正确 3. Ceph主存储需检查分布式块存储是否正常 重连失败时 需检查Ceph IP地址 Ceph SSH 端 口 用户名 密码 用户名是否有sudo权限 Ceph集群状态是否正常 4. Fusionstor主存储需检查分布式块存储是否正常 重连失败时 需检查Fusionstor IP地 址 Fusionstor SSH 端口 用户名 密码 用户名是否有sudo权限 Fusionstor集群状态是否正 常 5. Shared Mount Point主存储需在物理机手动挂载此目录 建议在/etc/rc.local里进行定义 开机自 启动挂载 18.7 重连镜像服务器 重连镜像服务器会重新部署代理程序进行相关检查 重连镜像服务器失败需检查的因素 1. Sftp镜像服务器和镜像仓库需检查SSH端口号 用户名 密码 用户名是否拥有sudo权限 2. Ceph镜像服务器需检查分布式块存储是否正常 重连失败时 需检查Ceph IP地址 Ceph SSH 端口 用户名 密码 用户名是否有sudo权限 Ceph集群状态是否正常 3. Fusionstor镜像服务器需检查分布式块存储是否正常 重连失败时 需检查Fusionstor IP地 址 Fusionstor SSH 端口 用户名 密码 用户名是否有sudo权限 Fusionstor集群状态是否正 常 237

244 运维手册 / 18 基本运维 18.8 云主机异常 创建云主机流程及创建失败分析 创建云主机的基本流程 1. 根据选择的镜像选择可用的镜像服务器 此处需确保选择的镜像所在的镜像服务器处于可用已连 接状态 2. 根据选择的镜像服务器选择可用的集群 并基于对应的集群 基于计算规格 选择可用的物理 机 此处需确保有可用的物理机处于可用已连接状态 3. 根据选择的镜像的虚拟大小来选择可用的主存储 来判断主存储容量是否充足 此处需确保主存 储可用已连接状态 且容量充足 4. 根据选择的网络来配置相应的IP MAC等 此处需确保网络正常 且IP地址池资源充足 5. 从镜像服务器下载镜像到主存储 创建根云盘 6. 给云主机分配IP 7. 在物理机上启动云主机 创建失败需检查的问题 1. 镜像服务器失联 检查镜像服务器可用并确保连接 2. 主存储未挂载集群 导致找不到可用的物理机 主存储需挂载集群 3. 集群内没有可用的物理机满足计算规格的定义 需确保物理机可用 且资源满足 4. 主存储容量不足以提供镜像需要的虚拟容量 需确保主存储容量充足 5. 集群未挂载相应的网络 需确保集群已挂载对应的网络 6. IP地址池资源不足 需确保IP范围充足 7. 从主存储下载镜像到镜像服务器 确保链路正常 8. 确保物理机的分布式DHCP服务 dnsmasq服务正常 以正常方式提供DHCP IP分配服务 9. 确保物理机的Libvirtd服务正常 以正常提供虚拟化服务 云主机相关异常处理 异常信息 code : HOST.1005, description : Failed to start vm on hypervisor, details : failed to start., Libvirt error : internal error no supported architecture for os type hvm 或"details": "failed 238 异常原因及解决办法 原因 需要物理机支持并打开了硬件虚拟化 如vmx 或者svm 的支持 出现该错误的原因通常是因 为BIOS中没有打开CPU虚拟化 解决方案

245 运维手册 / 18 基本运维 异常信息 to start vm on kvm host, because unable to start vm, libvirt error: invalid argument : could not find capabilities for domaintype =kvm " 异常原因及解决办法 重启系统 并进入BIOS打开CPU相关虚拟化支 持 原因 需要物理机支持并打开了硬件虚拟化 如vmx或 者svm 的支持 出现该错误的原因是用户添加 details : "cannot find either 'vmx' or 'svm' in /proc/cpuinfo, please make sure you have enabled virtualization in your BIOS setting" 的物理机的CPU不支持硬件虚拟化功能 通常是由于用户添加的物理机是一个 云主 机 导致的 需要打开对应 云主机 的嵌套虚 拟化功能 解决方案 具体的打开办法 请联系 云主机 提供方 原因 当前系统中 或者任何单独一台物理机 没有足 够的主存储容量 磁盘空间 ZStack在分配云主机和云盘时使用的是thin clone模式 也就是云主机使用多少 才分配多 少 但是在创建云主机的时候 会按照云主机最 大申请的使用空间来扣除系统主存储的容量 以 防最后云主机使用的空间超过系统可用空间 "details": "the local primary storage has no hosts with enough disk capacity[xxx bytes] required by the vm[uuid:xxx]" 此外 如果主存储为本地存储 由于云主机的磁 盘不能够跨物理机存储 所以如果每台物理机的 剩余空间都不足创建一台新的云主机 也会遇到 此错误 解决方案 删除一些不需要使用的云主机 云盘 或者调整 云主机使用的镜像大小 在理解主存储超分的原理和使用方法的前提 下 也可以增大主存储超分比例以获得更多超分 空间 原因 "details": "unable to allocate hosts; due to pagination is enabled, there might be 当前系统中 或者任何单独一台物理机 没有足 several allocation failures happened before 够的内存 239

246 运维手册 / 18 基本运维 异常信息 异常原因及解决办法 解决方案 ; the error list is [{no host having cpu[x HZ], memory [xxx bytes] found}]" 删除一些不需要使用的云主机 或者调整云主机 使用计算规格的大小 在理解内存超分的原理和 使用方法的前提下 也可以增大存储超分比例以 获得更多超分容量 原因 "details": "failed to start vm[uuid:xxx name 当前系统中实际可用物理内存不足以分配给需要 :xxx] on kvm host[uuid:xxx, ip:x.x.x.x], 创建的云主机 当这个错误出现时 就算提高内 because unable to start vm[uuid:xxx, name 存超分比例 也没有办法创建更大容量的内存 :xxx], libvirt error: internal error: early end of file from monitor: possible problem 解决方案 : Cannot set up guest memory 'pc.ram 减小云主机的计算规格 增加物理主机的内 ': Cannot allocate memory" set up guest 存 或者增加物理主机的swap分区 会降低系统 memory 'pc.ram':cannot allocate memory" 性能 原因 "failed to migrate vm[uuid:xxx] from kvm host[uuid:xxx, ip:xxx] to dest host[ip:xxx ], unable to migrate vm[uuid:xxx] to qemu +tcp://xxx/system, Unsafe migration: Migration may lead to data corruption if disks use cache!= none" 当前的基础设置中 将云主机的磁盘缓存模式设 置为其他模式 例如 writethrough或writeback 系统认为带缓存模式的迁移是不安全的 解决方案 需要将此基础设置的缓存模式修改为None模式才 可迁移 原因 此计算节点可能被重复添加 里面已经有使用 了vnic15.0的云主机在运行 导致设备出现冲 "description": "Failed to start vm on hypervi 突 sor",libvirt error: Unable to create tap device vnic15.0: Device or resource busy 解决方案 建议添加物理机时 需保持一个干净的环境 或 清理掉其上已经运行的云主机 原因 Permission denied: '/opt/zstack/nfsprim arystorage/prim-cd a0b4c669afa7 9acfc433ca5/dataVolumes' 创建云主机或数据盘时 NFS主存储的目录没有 读写的权限 解决方案 需在NFS服务器端开启读写权限 240

247 运维手册 / 18 基本运维 异常信息 internal error: unable to execute QEMU agent command 'guest-set-user-passwor d': failed to set password: The user name could not be found. 异常原因及解决办法 原因 修改云主机密码时 指定的用户名不存在 解决方案 需要指定已存在的用户名 原因 修改云主机密码时 在云主机内部没有安装qemu internal error: unable to execute QEMU -ga或者代理程序版本过低 agent command 'guest-set-user-password 解决方案 ': The command guest-set-user-password 可执行qemu-ga -V检查版本 has not been found 在CentOS7.2里版本是2.3.0 在Windows 2012里版本是 "description": "An operation failed","details ": "unable to live migrate with local storage. The vm[uuid: acdad4ffab2f75 798cdb65c38] has volumes on local storage,to protect your data, please stop the vm and do the volume migration" 解决方案 本地存储的云主机在线迁移时 需要先卸载相关 的数据云盘 原因 这类错误通常是由系统DBUS进程死掉或者DBUS 运行异常引起的 "libvirt error: error from service: ListAct ivatablenames: Connection is closed "或"libvirt error: Activation of org.freedes ktop.machine1 timed out" 解决方案 方法1 重启ZStack物理机 DBUS会自动恢 复 方法2 在物理机上使用如下命令 1. service systemd-machined restart 2. service libvirtd restart 3. 完成后用UI或者CLI重连出问题的物理机 { "error": { "code": "HOST.1009", "descrip tion": "Failed to migrate vm on hypervi sor", "details": "failed to migrate vm[uuid :90bb61f55e774f5f89c9e1ea46db7661 ] from kvm host[uuid:e5105c61114a4e fe8bcc025f744226bd, ip: ] to dest host[ip: ], unable to 原因 这是因为两台物理机hostname相同 KVM在线迁 移目前依靠hostname进行确认不同的物理机 如 果hostname相同 则会被认定为相同的物理机 解决方案 241

248 运维手册 / 18 基本运维 异常信息 异常原因及解决办法 migrate vm[uuid:90bb61f55e774f5f89c9e 1ea46db7661] to qemu+tcp:// /system, internal error: Attempt to migrate guest to the same host localhost.domain 请确保物理机hostname不能相同 可以通.com" }, "createdtime": , "type": { "_name": "key.event.api.api_eve NT" }, "id": "e6bcd7c33ad9446b919e1 1cd647fc8dc" } ame来设定 all mons failed to execute http call[/ceph/ primarystorageolume/clone 过hostnamectl set-hostname your_new_hostn 解决方案 重连主备存储 为什么冷迁移会失败 "SYS.1006" 简介: An operation failedfailed to execute bash [rsync -a --relative /data/rootvolumes/ acct-36c27e8ff05c4780bf6d2fa65700f22e /vol-3f f414d84b1b b297/snapshots/c0bb52f90d194a55a0ae4 7468d qcow2 --rsh="/usr/bin/ 原因 sshpass -p mevoc0-_-03 ssh -o StrictH 权限属组问题 ostkeychecking=no -l mevoco" :/], return code: 23, stdout:, stderr: Operation not permitted (1) rsync: recv_ge Warning: Permanently added ' nerator: mkdir "/data/rootvolumes/acct-36c27e8 ' (ECDSA) to the list of known hosts. rsync: ff05c4780bf6d2fa65700f22e/vol-3f f414d failed to set times on "/data": Operation not 84b1b b297" failed: Permission permitted (1) rsync: failed to set times on denied (13) *** Skipping any contents from this "/data/rootvolumes": Operation not permitt failed directory *** rsync error: some files/attrs ed (1) rsync: failed to set times on "/data/ were not transferred rootvolumes/acct-36c27e8ff05c4780bf6d2 解决方案 fa65700f22e": Operation not permitted 需要重新给正确的属组 确认要迁移的VM文件是 (1) rsync: recv_generator: mkdir "/data/ 不是root qemu组 rootvolumes/acct-36c27e8ff05c4780bf6d2 fa65700f22e/vol-3f f414d84b1b b297" failed: Permission denied (13) *** Skipping any contents from this failed directory *** rsync error: some files /attrs were not transferred (see previous errors) (code 23) at main.c(1052) [sender =3.0.9] 详情: 242

249 运维手册 / 18 基本运维 异常信息 异常原因及解决办法 failed to execute bash[rsync -a --relative /data/rootvolumes/acct-36c27e8ff05c47 80bf6d2fa65700f22e/vol-3f f414d 84b1b b297/snapshots/c0bb52f 90d194a55a0ae47468d qcow2 -rsh="/usr/bin/sshpass -p mevoc0-_-03 ssh -o StrictHostKeyChecking=no -l mevoco " :/], return code: 23, stdout:, stderr: Warning: Permanently added ' ' (ECDSA) to the list of known hosts. rsync: failed to set times on "/data": Operation not permitted (1) rsync: failed to set times on "/data/rootvolumes": Operati on not permitted (1) rsync: failed to set times on "/data/rootvolumes/acct-36c27e8 ff05c4780bf6d2fa65700f22e": Operation not permitted (1) rsync: recv_generator : mkdir "/data/rootvolumes/acct-36c27e8 ff05c4780bf6d2fa65700f22e/vol-3f f414d84b1b b297" failed: Permission denied (13) *** Skipping any contents from this failed directory *** rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c (1052) [sender=3.0.9] failed to start vm[uuid:4ef5a9e4ae6441 c7b046c384c3ae6f7f name:stack_local] on kvm host[uuid:d0d9800a09c34da4891e0 cc624a0d349, ip: ], because Traceback (most recent call last): File "/ var/lib/zstack/virtualenv/kvm/lib/python2.7 原因 /site-packages/kvmagent/plugins/vm_plug 这是因为管理平台把host-passthrough开启而导 in.py", line 2721, in start_vm self._start_vm 致 (cmd) File "/var/lib/zstack/virtualenv/kvm /lib/python2.7/site-packages/kvmagent/ 解决方案 plugins/vm_plugin.py", line 2664, in _start_ 关闭此选项即可 vm 'unable to start vm[uuid:%s, name:%s ], libvirt error: %s' % (cmd.vminstanceuuid, cmd.vmname, str(e))) KvmError: unable to start vm[uuid:4ef5a9e4ae6441c7b046c 384c3ae6f7f, name:stack_local], libvirt error: internal error: early end of file from 243

250 运维手册 / 18 基本运维 异常信息 异常原因及解决办法 monitor, possible problem: qemu-kvm: / root/rpmbuild/build/qemu-2.6.0/targeti386/kvm.c:1736: kvm_put_msrs: Assertion `ret == n' failed. 原因 code : SYS.1006,description:An operation failed, details:failed to check physical network interfaces on lvm 嵌套虚拟化 解决方案 建议云主机CPU模式设置成passthrough 原因 很可能是管理节点的IP地址无法访问出去 description": "A message or a operation 一般出现这个情况是多网卡的服务器在安装管理 timeout","details": "[Async Http Timeout] 服务时指定了第一个默认路由的网卡地址 url: timeout 解决方案 after [MILLISECONDS], command : {\"uuid\":\"78183b0a46094e30bc8a6 打开/usr/local/zstack/apache-tomcat/webapps/ 128b30ee8cb\",\"restartDnsmasqAfterNu zstack/web-inf/classes/zstack.properties mberofsiguser1\":0}" 修改management.server.ip = xxx.xxx.xxx.xxx这个ip地址 修改为可以访问 出去的IP地址 解决方案 打开/usr/local/zstack/apache-tomcat/webapps/ failed Error in connection establishment: net::err_connection_refused zstack/web-inf/classes/zstack.properties 将consoleProxyOverriddenIp =xxx.xxx.xxx.xxx改为管理节点的ip地址 修改 完后要重启节点才生效 原因 Could not access KVM kernel module: No such file or directory failed to initialize KVM : No such file or directory. 这个虚拟机不支持虚拟化技术 解决方案 需要先开启嵌套虚拟化 244

251 运维手册 / 18 基本运维 18.9 机房维护步骤 维护性关机 维护性关机前 需要确保云平台处于正常情况 且物理机和主存储都处于已连接状态 维护性关机 步骤如下 普通场景 1. 将所有主存储进入维护模式 待所有主存储进入维护模式后 确保所有云主机已经关机 2. 将所有物理机进入维护模式 3. 将所有服务器正常下电 管理节点高可用场景 1. 将所有主存储进入维护模式 待所有主存储进入维护模式后 确保所有云主机已经关机 2. 在超融合节点执行zsha stop命令 关闭超融合 3. 将所有物理机进入维护模式 4. 将所有服务器正常下电 维护性关机后上电 普通场景 1. 将所有服务器上电 2. 登录管理节点执行zstack-ctl status 命令查看管理节点状态 等待ZStack服务启动成功 3. 登陆ZStack云平台 确保物理机和主存储是已连接状态 然后启用主存储 管理节点高可用场景 1. 将所有服务器上电 2. 在超融合节点执行zsha status命令查看超融合状态 等待启动成功 3. 登录管理节点执行zstack-ctl status 命令查看管理节点状态 等待ZStack服务启动成功 4. 登陆ZStack云平台 确保物理机和主存储是已连接状态 然后启用主存储 日志分析 相关日志记录地址 类型 管理节点日志 日志路径 /usr/local/zstack/apache-tomcat/logs/managem ent-server.log 日志所在机器 管理节点 245

252 运维手册 / 18 基本运维 类型 管理节点UI日志 日志路径 /usr/local/zstack/apache-tomcat/logs/zstack-ui.log 日志所在机器 管理节点 控制台代理日志 /var/log/zstack/zstack-console-proxy.log 管理节点 管理节点部署日志 /var/log/zstack/deploy.log 管理节点 shell命令日志 /var/log/zstack/zstack.log 物理机 zstack kvmagent 日志 /var/log/zstack/zstack-kvmagent.log 物理机 VM对应的libvirt 日志 /var/log/libvirt/qemu/vm_uuid.log 物理机 系统基本日志 /var/log/messages 管理节点/物理机等 镜像仓库日志 /var/log/zstack/zstack-store/zstore.log 镜像仓库 ceph 主存储日志 /var/log/zstack/ceph-primarystorage.log Ceph Mon节点 ceph 备份存储日志 /var/log/zstack/ceph-backupstorage.log Ceph Mon节点 Fusionstor 主存储日志 /var/log/zstack/fusionstor-primarystorage.log Fusionstor 备份存储日 志 云路由器的日志 扁平网络的配置及日 志 Fusionstor Mon节点 /var/log/zstack/fusionstor-backupstorage.log Fusionstor Mon节点 /home/vyos/zvr/zvr.log 云路由器 /var/lib/zstack/dnsmasq/ 物理机 日常运维出现错误时 进行错误分析的一般步骤如下 1. 根据UI界面提示的错误信息进行简单分析 例如 创建云主机失败时提示的信息是no host found, 那么此时可能的原因就是选择的镜像所 在的镜像服务器 可选的集群加上选择的网络进行筛选后 没有可用的物理机 此时需要检查集群内是否有可用的物理机 是否挂载相应的网络 集群是否挂载了相应的主 存储 2. 分析管理节点/usr/local/zstack/apache-tomcat/logs/management-server.log关于UI界面提示的错 误信息 查询提示错误的信息 根据上下文进行分析 分析发生异常时的工作流 也可根据执行的操作API进行查询分析 例如创建云主机调用的API是APICreateVmInstance 在管理节点搜索这个API 往下逐步分析错误原因 246

253 运维手册 / 18 基本运维 3. 再根据错误的具体信息 查看相关代理日志的错误信息 例如 在物理机的/var/log/zstack/zstack-kvmagent.log查看对云主机进行生命周期控制时的代 理错误日志 端口占用 ZStack端口占用列表如下 端口号 进程名 说明 8005 /bin/java ZStack管理服务 8009 /bin/java ZStack管理服务 8080 /bin/java ZStack管理服务 8081 /bin/java ZStack管理服务 5000 /bin/java ZStack UI服务 HTTP方式 5443 /bin/java ZStack UI服务 HTTPS方式 80 httpd Web服务器 5672 beam.smp rabbitmq服务 beam.smp rabbitmq服务 beam.smp rabbitmq服务 9103 collectd_expo 监控数据采集 8086 influxd 监控数据存储 8088 influxd 监控数据存储 9090 prometheus promethus监控进程 9091 pushgateway 监控数据缓存 4900 consoleproxy 控制台代理 5900 qemu-kvm kvm console服务 7758 python 控制台代理 53 dnsmasq DHCP服务 4369 epmd erlang port mapper daemon 7070 kvmagent kvmagent代理服务 libvirtd libvirtd服务 247

254 运维手册 / 18 基本运维 端口号 进程名 说明 5345 lttng-sessiond 内核跟踪框架 25 master 邮件服务器 3306 mysqld MySQL进程 123 ntpd NTP时间同步服务 7171 sftpbackupstorage Sftp备份存储代理 7762 python Ceph主存储 7761 python Ceph镜像服务器 网络脚本 ZStack定制的ISO提供了以下网络脚本方便配置网络 1. zs-show-network用于显示网络状态 无须额外参数 显示网络连接及链路聚合状态 [root@localhost ~]# zs-show-network 1: lo: <LOOPBACK,UP,LOWER_UP> mtu qdisc noqueue state UNKNOWN link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet /8 scope host lo valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: vmnic0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000 link/ether fa:84:ba:34:92:00 brd ff:ff:ff:ff:ff:ff inet /16 brd scope global vmnic0 valid_lft forever preferred_lft forever inet6 fe80::f884:baff:fe34:9200/64 scope link valid_lft forever preferred_lft forever Bond Name SLAVE BONDING_OPTS zs-network-setting用于配置物理网卡网络命令 用法有两种 a. 方法一 # 参数-i 意为对接口 interface 配置网络地址 zs-network-setting -i [interface] [ipaddress] [netmask] [gateway] 接口 地址 掩码 网关 # 例子1 zs-network-setting -i eth # 例子2 zs-network-setting -i eth b. 方法二 # 参数-b 意为基于接口 interface 创建网桥 bridge 并配置网络地址 248

255 运维手册 / 18 基本运维 zs-network-setting -b [interface] [ipaddress] [netmask] [gateway] 接口 地址 掩码 网关 # 例子1 zs-network-setting -b eth # 例子2 zs-network-setting -b eth zs-change-nic用于修改网卡名命令 修改网卡名后 脚本会将配置到/etc/udev/rules.d/70persistent-net.rules 物理主机重启后命名仍保持新的命名 # 参数-c 意为修改 change 物理网口名字 zs-change-nic -c [old-nic-name] [new-nic-name] 当前网卡名 新的网卡名 # 例子 zs-change-nic -c eth0 em01 4. zs-vlan用于配置vlan接口 有两种用法 a. 方法一 创建VLAN # 参数-c 意为创建 create VLAN接口 zs-vlan -c [nic-name] [vlan] 指定网卡 VLAN号 # 例子 zs-vlan -c zsnic0 10 b. 方法二 删除VLAN # 参数-d 意为删除 delete VLAN接口 zs-vlan -d [nic-name] [vlan] 指定网卡 VLAN号 # 例子1 zs-vlan -d zsnic0 10 # 例子2 zs-change-nic -c eth0 em01 注: 创建VLAN接口后 将会在/etc/sysconfig/network-scripts/创建对应的网络配置文 件 物理主机重启后VLAN接口仍生效 删除VLAN接口后 对应网络配置将会删除 创建VLAN接口后 若基于此端口与其他设备通信 需要参照网络设备厂商的VLAN配 置手册 以允许该VLAN接口流量传输 以下提供常见网络设备VLAN设定参考 华为 点击这里 华三 点击这里 思科 点击这里 249

256 运维手册 / 18 基本运维 瞻博 点击这里 5. zs-bond-lacp用于创建删除bonding链路聚合命令 有两种用法 a. 方法一 创建Bonding 链路聚合 # 参数-c 意为创建 create 链路聚合接口 zs-bond-lacp -c [bond-name] 聚合接口 # 例子 zs-bond-lacp -c bond0 b. 方法二 删除链路聚合 参数-d 意为删除 delete 链路聚合接口 zs-bond-lacp -d [bond-name] 聚合接口 # 例子 zs-bond-lacp -d bond0 注: 本命令创建的接口是基于IEEE 802.3ad动态链路聚合协议 LACP 该接口需要管理员 设定物理主机接入层网络交换机的端口组 Port-Group 6. zs-nic-to-bond用于配置链路聚合命令 a. # 参数-a 意为加载 attach 物理接口到聚合接口 zs-nic-to-bond -a [bond-name] [nic-name] 聚合接口 物理接口 # 例子 zs-nic-to-bond -a bond0 em1 b. # 参数-d 意为从聚合接口卸载 detach 物理接口 zs-nic-to-bond -d [bond-name] [nic-name] 聚合接口 物理接口 # 例子 zs-nic-to-bond -d bond0 em1 注: 该命令执行后 会反馈执行接口 并显示聚合接口与物理接口的关系 例如 Bond Name SLAVE(s) BONDING_OPTS bond0 enp1s0f1 miimon=100 mode=4 xmit_hash_policy=layer2+3 enp1s0f0 250

257 运维手册 / 18 基本运维 其中 bond0是聚合接口 enp1s0f0和enp1s0f1是物理接口 显示其绑定关系 此外 enp1s0f0和enp1s0f1对应的接入网络设备的物理端口组成端口组 Port-Group 管理员需依照网络设备型号配置端口组 以下提供常见网络设备端口组设定参考 华为 点击这里 华三 点击这里 思科 点击这里 瞻博 点击这里 251

258 运维手册 / 19 其他配置运维 19 其他配置运维 本章主要针对高级用户 提供一些场景下的配置运维指南 19.1 安装多个管理节点 自动安装 如果用户希望搭建一个高可用的产品级云环境 那么可以部署多个管理节点以保证管理节点的高可 用 如有对数据库和消息总线有高可用的需求 可参考ZStack 高可用集群快速配置进行配置 用户通过安装部署已经安装完成一个管理节点 使用zstack-ctl add_multi_management命令安装 使用方法如下 zstack-ctl add_multi_management --host-list root:passwd1@host1_ip root:passwd2@host2_ip 注: 例如 zstack-ctl add_multi_management --host-list root:password@ root:passwor d@ 如图 100: 多管理节点安装界面所示 为第一个管理节点 使用改命令添加 和 两个管理节点 安装完毕后 ZStack会使用这三台主机作为管理节点同时提供服务 任一管理节点服务中断 不影 响其他管理节点的控制服务 注: 此时Mysql Rabbitmq的服务依然存在在第一台管理节点上 如有需求 可以将其分别 配置 图 100: 多管理节点安装界面 252

259 运维手册 / 19 其他配置运维 手动安装 当管理大量物理机的时候 为了提高可用性 用户可以安装多个管理节点 多个管理节点之间关系 平等 相互支撑 用户可以使用如下的方法安装 zstack-ctl install_management_node --host=ip_of_machine_to_install_node_2 --yum=alibase,aliepel 当新节点成功安装后 请在新节点上配置新管理节点的IP地址 zstack-ctl configure management.server.ip=ip_of_management_node2 zstack-ctl save_config 可以重复这一步来安装更多的管理节点 如果启动了多个管理节点 在批量创建云主机时 需要修改安装了mysql的管理节点的配置文件/etc/ my.conf 将其中的最大连接数修改为适合的值 来增加可接受的最大并发数量 假如有三个管理节 点 启动一百个云主机 最大并发数量至少需高于300 下例设置为500 可作为参考 vim /etc/my.conf max_connections = 500 如果用户购买了ZStack使用授权 请联系销售厂商给每一个管理节点单独安装一个授权协议 多管理节点自动升级 ZStack一条命令即可完成多节点的升级 zstack-ctl upgrade_multi_management_node --installer-bin zstack-installer.bin 19.2 配置独立的MySQL服务器 ZStack在安装过程中会配置一个本地的数据库 用户也可以安装独立的MySQL数据库 安装独立的MySQL数据库后 用户需使用下面的ZStack的工具来初始化数据库 并进行对应的设 置 MYSQL_ROOT_PASSWORD是MySQL的根用户密码 MYSQL_ZSTACK_PASSWORD是用户希望设置的ZStack用户的MySQL密码 MYSQL_SERVER_IP是mysql数据库的物理机IP地址 253

260 运维手册 / 19 其他配置运维 输入命令后 会要求用户输入MYSQL服务器的SSH密码用于远程登录 sudo zstack-ctl deploydb --root-password="mysql_root_password" --zstack-password ="MYSQL_ZSTACK_PASSWORD" --host= MYSQL_SERVER_IP 19.3 配置独立的RabbitMQ服务器 同样可以使用zstack-ctl来完成RabbitMQ服务的安装 sudo zstack-ctl install_rabbitmq --host=rabbitmq_machine_ip 当成功的安装了RabbitMQ之后 还需要为远程的RabbitMQ访问创建加密访问 需要在RabbitMQ的 服务器上做如下操作 rabbitmqctl add_user zstack ZSTACK_USER_PASSWORD rabbitmqctl set_user_tags zstack administrator rabbitmqctl change_password zstack ZSTACK_USER_PASSWORD rabbitmqctl set_permissions -p / zstack ".*" ".*" ".*" 另外还需要把RabbitMQ的加密访问配置记录到zstack.properties 在ZStack管理节点做如下步 骤 zstack-ctl configure CloudBus.rabbitmqUsername=zstack zstack-ctl configure \ CloudBus.rabbitmqPassword= ZSTACK_USER_PASSWORD zstack-ctl save_config 当用户安装有多个管理节点的时候 需要到每个管理节点上配置正确的RabbitMQ访问方式 19.4 zstack.properties核心配置文件 zstack.properties是zstack的核心配置文件 它会存放在每一个管理节点中 zstack.properties文件中会存放诸如数据库url 用于数据库访问用户名密码 RabbitmMQ的IP地 址等等 每一个管理节点上的zstack.properties文件的内容基本上是一致的 它的路径可以通 过zstack-ctl status来获得 如果是默认安装的话 它会存放在/usr/local/zstack/apache-tomcat/webapps/zstack/WEB-INF/ classes/zstack.properties 19.5 ZStack云平台硬件资源密码变更 对于ZStack云平台的硬件资源 如物理机 Ceph主存储 镜像服务器等 在这些节点的操作系统内 如果密码发生变化 需在ZStack云平台界面更改相应硬件资源的密码 以确保云平台使用正确的密 码连接相应的硬件资源 否则会导致资源失联不可用 重连也会提示ssh连接错误 254

261 运维手册 / 19 其他配置运维 更改密码的方法 在ZStack云平台界面 点击相应节点展开其详情页 点击相应节点IP旁边的编辑 按钮进行更改 IP地址更改后 需重连生效 19.6 ZStack管理节点更改物理环境 ZStack的授权与用户的物理机的环境一一匹配 如果用户更新了管理节点物理机硬件配置 可能会 导致ZStack的授权失效 而启动失败 此时请联系ZStack的销售和技术支持获取帮助 19.7 ZStack数据库备份与恢复 为保护数据安全 防止数据丢失 支持主动定期进行数据库备份 可使用zstack-ctl dump_mysql命令对数据库进行备份 可使用zstack-ctl restore_mysql -f back.gz --mysql-root-password password命令对数据库进行恢 复 默认使用crontab命令进行控制 可使用crontab -l命令查看管理节点相关的自动定时备份任务 可使用crontab -e命令在界面里修改备份策略 默认为每天的凌晨和中午12 30进行备份 并 且最多保留最新的14次备份 默认的数据库备份文件存放路径 /var/lib/zstack/mysql-backup/ 建议用户使用异地备份策略来提高安全性 只要数据库文件存在 即使ZStack的相关机器挂 掉 均可使用数据库文件进行恢复 19.8 本地存储空间扩容 前提条件 在使用ZStack产品的过程中 如果存储空间容量不足 可通过以下方式进行存储空间扩容 背景信息 以下为系统主存储空间/zstack_ps扩容的样例 操作步骤 1. 设置待扩容的物理机进入维护模式 2. 插入新的大容量磁盘至物理机 并进行分区格式化 假如设备名称为/dev/sdc 3. 创建新目录/new_volume 挂载此磁盘mount /dev/sdc1 /new_volume 4. 执行rsync -a /zstack_ps /new_volume/拷贝原始的磁盘文件至新磁盘 255

262 运维手册 / 19 其他配置运维 5. 添加以下内容至/etc/fstab 将物理磁盘挂载点与/zstack_ps目录绑定 /dev/sdc1 /new_volume auto defaults 0 0 /new_volume /zstack_ps none defaults,bind 重启物理机 使用df -h /zstack_ps检查扩容后的空间增量 Filesystem Size Used Avail Used% Mounted on /dev/vdb1 4.0T 304G 3.5T 8% /zstack_ps 7. 重启ZStack服务 zstack-ctl stop zstack-ctl start 8. 重连Host继续使用ZStack 后续操作 备份存储的扩容方法与此类似 只是无须对Host进行维护模式及重连的操作 19.9 云主机根云盘扩容 ZStack支持云主机关机后进行根云盘扩容 云主机根云盘扩容 可通过以下两种方式进行云主机根云盘扩容 1. 在云主机管理界面 选择某一已停止的云主机 点击更多操作 > 系统扩容 可按需进行根云盘扩 容 更改容量将在启动云主机后生效 注: 支持在线扩容 根云盘扩容容量只增不减 要求输入的新容量必须大于100GB 单位包括 MB/GB/TB 2. 也可在停止云主机后 进入云主机详情页的配置信息页面 点击根云盘进入根云盘详情页 按需 修改根云盘容量 上述步骤仅实现将云主机的根云盘容量扩大 需在云主机的操作系统里对硬盘进行分区扩容 才可 使得云主机识别 云主机操作系统硬盘分区扩容 针对不同类型 不同分区 不同文件系统的云主机 扩容方式均不相同 256

263 运维手册 / 19 其他配置运维 注: ZStack进行根云盘扩容前 默认对当前系统进行了快照备份 以增强数据安全性 扩容存在风险 安全的扩容方式是对扩容的新容量 规划新的分区 扩容只能增加容量 不能减少容量 扩容增加的容量可以合并到最后一个分区 将其连续使用 如果最后一个分区是系统备份分区 Windows 则只能对新增容量规划新的分区方 式使用 如果最后一个分区是swap分区 则swap分区可以删除 将新增容量扩容至swap分区 前一分区后 再重建swap分区 以下分三种不同的应用场景来介绍 1. 使用GParted开源工具针对ext4+swap分区扩容ext4根分区实例 注: 此方式需借助Live CD方式对当前分区进行重新规划 调整分区时需谨慎操作 以防止数据丢失 假定云主机采用了ext4根分区+swap分区 其中ext4根分区35G swap分区5g 总容量40G 将 系统从40G扩容至50G后 打算将新增容量扩容至ext4根分区 操作步骤如下 1. 添加GParted ISO 下载路径可参考GPared官网 建议下 载amd64的iso表示支持64位系统 2. 添加ISO后 设置启动顺序为cdrom harddisk 表示下次启动 以cdrom优先 3. 使用GParted Live CD引导系统 打开云主机控制台 GParted引导后 按照引导一直执 行Enter键直至进入图形界面 4. 在GParted界面 右击删除原本的swap分区 扩展ext4将其从35G扩展至46G 针对unalloc ated的4g分区 新建swap分区 5. 关闭云主机 卸载ISO 启动云主机 6. 打开云主机控制台 执行df -h 可见云主机根分区容量已扩展至46G [root@ ~]# df -h Filesystem Size Used Avail Use% Mounted on 257

264 运维手册 / 19 其他配置运维 /dev/vda1 46G 1.2G 42G 3% / 7. 开启swap分区并修改/etc/fstab磁盘分区表 [root@ ~]# fdisk -l grep vda Disk /dev/vda: 53.7 GB, bytes, sectors /dev/vda1 * Linux /dev/vda Linux swap / Solaris [root@ ~]# mkswap /dev/vda2 mkswap: /dev/vda2: warning: wiping old swap signature. Setting up swapspace version 1, size = KiB no label, UUID=ed99f72b-aafb-43ad-be8f-fcd09794beb0 #可知此swap分区的UUID为ed99f72b-aafb-43ad-be8f-fcd09794beb0 [root@ ~]# swapon /dev/vda2 #开启swap分区 [root@ ~]# free -m total used free shared buff/cache available Mem: Swap: [root@ ~]# sed -i '/swap/d' /etc/fstab echo "UUID=ed99f72b-aafb-43ad-be8f-fcd09794beb0 swap swap defaults 0 0" #将swap的设置写入磁盘分区表 以便开机自启 8. 关机重启后 此云主机根云盘ext4分区成功扩容 swap分区也保留4g使用 2. 使用LVM分区工具针对xfs+swap分区扩容LVM分区实例 注: 此方式适用于LVM分区动态扩容 无须借助其他工具 假定云主机采用了LVM分区 并格式化为boot分区 xfs根分区和swap分区 其中xfs根分区94G swap分区6g 总容量100G 将系统从100G扩容至120G后 打算将新增容量扩容至xfs根分 区 操作步骤如下 1. 查看当前分区和LVM逻辑分区 其中boot分区为500M 使用了/dev/vda1 LVM分区 为94G 使用了/dev/vda2 路径为/dev/vg/root swap分区为6g 路径为/dev/vg/swap [root@ ~]# df -h Filesystem Size Used Avail Use% Mounted on /dev/mapper/vg-root 94G 6.5G 88G 7% / /dev/vda1 477M 104M 344M 24% /boot #boot分区为500m 使用了/dev/vda1 #LVM分区为94G 使用了/dev/vda2 路径为/dev/vg/root #swap分区为6g 路径为/dev/vg/swap [root@ ~]# fdisk -l grep vda Disk /dev/vda: GB, bytes, sectors /dev/vda1 * Linux /dev/vda e Linux LVM 258

265 运维手册 / 19 其他配置运维 [root@ ~]# pvdisplay egrep "Name Size" PV Name /dev/vda2 VG Name vg PV Size GiB / not usable 3.00 MiB PE Size 4.00 MiB #物理卷使用/dev/vda2 [root@ ~]# vgdisplay egrep "Name Size" VG Name vg VG Size GiB PE Size 4.00 MiB Alloc PE / Size / GiB Free PE / Size 11 / MiB #卷组信息 卷组名称为vg 会针对此卷组扩容 [root@ ~]# lvdisplay egrep "Name Size" LV Name root VG Name vg LV Size GiB LV Name swap VG Name vg LV Size 5.88 GiB #逻辑卷信息 2. 扩容后 执行fdisk /dev/vda对新增容量分区 使用n建立新分区 使用t将其分区为LVM格 式 使用w使修改生效 使用partprobe使其立刻生效 [root@ ~]# fdisk /dev/vda Welcome to fdisk (util-linux ). Changes will remain in memory only, until you decide to write them. Be careful before using the write command. Command (m for help): p Disk /dev/vda: GB, bytes, sectors Units = sectors of 1 * 512 = 512 bytes Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk label type: dos Disk identifier: 0x e Device Boot Start End Blocks Id System /dev/vda1 * Linux /dev/vda e Linux LVM Command (m for help): n Partition type: p primary (2 primary, 0 extended, 2 free) e extended Select (default p): Using default response p Partition number (3,4, default 3): First sector ( , default ): Using default value Last sector, +sectors or +size{k,m,g} ( , default ): Using default value Partition 3 of type Linux and of size 20 GiB is set Command (m for help): t Partition number (1-3, default 3): Hex code (type L to list all codes): 8e Changed type of partition 'Linux' to 'Linux LVM' Command (m for help): p Disk /dev/vda: GB, bytes, sectors Units = sectors of 1 * 512 = 512 bytes 259

266 运维手册 / 19 其他配置运维 Sector size (logical/physical): 512 bytes / 512 bytes I/O size (minimum/optimal): 512 bytes / 512 bytes Disk label type: dos Disk identifier: 0x e Device Boot Start End Blocks Id System /dev/vda1 * Linux /dev/vda e Linux LVM /dev/vda Linux LVM Command (m for help): w The partition table has been altered! Calling ioctl() to re-read partition table. WARNING: Re-reading the partition table failed with error 16: Device or resource busy. The kernel still uses the old table. The new table will be used at the next reboot or after you run partprobe(8) or kpartx(8) Syncing disks. [root@ ~]# partprobe 3. 针对新格式化的分区 创建物理卷 [root@ ~]# pvcreate /dev/vda3 Physical volume "/dev/vda3" successfully created #创建物理卷 4. 针对卷组 进行扩展 [root@ ~]# vgextend vg /dev/vda3 Volume group "vg" successfully extended #卷组名称为vg 将新分区扩展至卷组vg 5. 关闭swap 删除原本的swap逻辑卷 [root@ ~]# swapoff -a [root@ ~]# lvremove /dev/vg/swap Do you really want to remove active logical volume swap? [y/n]: yes Logical volume "swap" successfully removed 6. 将逻辑卷/dev/vg/root扩容20G [root@ ~]# lvextend -L +20G /dev/vg/root Size of logical volume vg/root changed from GiB (23959 extents) to GiB (29079 extents). Logical volume root successfully resized. #对/dev/vg/root 扩容20G [root@ ~]# lvdisplay --- Logical volume --LV Path /dev/vg/root LV Name root VG Name vg LV UUID UkyCVW-gd5E-Z4Q2-bVHv-T84e-c3GH-ZMiUdF LV Write Access read/write LV Creation host, time localhost, :18: LV Status available # open 1 LV Size GiB Current LE Segments 2 Allocation inherit 260

267 运维手册 / 19 其他配置运维 Read ahead sectors auto - currently set to 8192 Block device 253:0 7. 执行xfs_growfs进行xfs文件系统扩容 使其生效 并检查新分区 [root@ ~]# xfs_growfs /dev/vg/root meta-data=/dev/mapper/vg-root isize=256 agcount=4, agsize= blks = sectsz=512 attr=2, projid32bit=1 = crc=0 finobt=0 data = bsize=4096 blocks= , imaxpct=25 = sunit=0 swidth=0 blks naming =version 2 bsize=4096 ascii-ci=0 ftype=0 log =internal bsize=4096 blocks=11979, version=2 = sectsz=512 sunit=0 blks, lazy-count=1 realtime =none extsz=4096 blocks=0, rtextents=0 data blocks changed from to [root@ ~]# df -h grep vg-root Filesystem Size Used Avail Use% Mounted on /dev/mapper/vg-root 114G 6.5G 108G 6% / #新分区扩容已生效 8. 从逻辑卷组划分新容量给swap分区 并启动swap分区 写入磁盘配置 [root@ ~]# lvcreate -L 4G -n swap vg Logical volume "swap" created. #从卷组vg创建4G分区命名为swap [root@ ~]# mkswap /dev/vg/swap Setting up swapspace version 1, size = KiB no label, UUID=bfc8a843-c adfe-e32752ceda44 #创建swap分区 可知此swap分区的UUID为bfc8a843-c adfe-e32752ceda44 [root@ ~]# swapon /dev/mapper/vg-swap #开启swap分区 [root@ ~]# sed -i '/swap/d' /etc/fstab echo "UUID=bfc8a843-c adfe-e32752ceda44 swap swap defaults 0 0" #将swap的设置写入磁盘分区表 以便开机自启 9. 关机重启后 此云主机LVM分区的xfs系统成功扩容 swap分区也保留了4g使用 3. Windows分区扩容实例 Windows分区可以在磁盘管理界面直接进行磁盘扩容 261

268 运维手册 / 20 常见问题 20 常见问题 20.1 快速入门 1. Q ZStack云平台能干什么 A 总的来说 可帮助用户便捷创建 管理业务云主机以及相关的网络存储资源 例如 可实时获取物理资源的使用情况 例如 处理器 内存 存储和网络等 用户只需负责创建 业务云主机即可 当资源不够时云平台会立即发出告警 用户创建业务云主机 云平台可帮忙提前复制模板 修改xml文件等 用户创建业务云主机后 云平台可帮忙设置或修改相关IP地址 云平台支持不同账户看到不同的业务云主机 云平台还支持计费等高级功能 用户可在云平台上快速搭建灵活多样的网络场景 只需在UI界面进行鼠标操作 避免繁琐手 动部署 用户可在云平台上直接给业务云主机添加防火墙 设置各种安全策略 简单快捷 除了上述列举 ZStack还有很多强大功能 更多精彩尽在ZStack企业版 2. Q ZStack有哪些文档 用户应该看什么 A ZStack有如下文档 特性概览 汇集各版本的特色功能介绍 用户可以了解ZStack每个版本的特色功能以及发展历程 产品手册 包括 用户手册 运维手册 技术白皮书 cli命令使用手册和ctl命令使用手册 这些手册主 要介绍了ZStack的架构特点 功能优势 安装部署 使用指南 以及管理运维过程中的常见 问题解决方案 若用命令行方式使用ZStack 将会展开另一片新天地 产品教程 262

269 运维手册 / 20 常见问题 包括 快速安装教程 新手快速入门 升级教程 以及针对不同应用场景提供的实践教 程 例如混合云使用教程 超融合产品使用教程 外接设备透传教程 桌面云VDI使用教程 等 涵盖场景十分丰富多变 实践操作也很简单便捷 用户可分分钟快速上手 开发手册 它是ZStack的核心 主要从API层面带你认识ZStack 了解之后 会对ZStack有更深刻的认 知 常见问题 FAQ 摘选出用户在实际使用过程中的常见问题集锦 并给出解决方案 博客 更高的视角 更深入的探讨 它说的是ZStack 又不仅仅是ZStack 可帮助用户拓展视 野 对云计算IaaS有更透彻的理解 阅读建议如下 对于小白用户 首先应该了解IaaS的概念 了解什么是ZStack 它能用来干什么 然后可参考快速安装教程 新手快速入门 赶快安装一下吧 安装成功后 如何使用它呢 可查阅我们的产品教程 例如尝试部署一套无虚拟路由的扁 平网络 如果成功创建了第一台云主机 就已成功迈出了第一步 接下来可尝试产品教程里的其他场景部署实践 将会对UI上的各种功能和名词有新的认 识 认真阅读博客 认知会上升一个台阶 对于开发者 可能只关心部分功能点 可参考开发手册了解二次开发的API等 毫无疑问 也可参考cli命令使用手册 以cli方式部署一套ZStack环境 开发手册和cli命令使用手册是必须的工具 部分问题在产品教程和博客中或许会找到答 案 对于老司机 快速阅读安装部署文档后 选择一种合适的方案即可 可能更想研究开发手册和博客 263

270 运维手册 / 20 常见问题 在使用过程中 遇到问题都可以先参考常见问题 FAQ 如果没有 欢迎在ZStack社 区 qq群 中提问 20.2 安装部署 1. Q ZStack支持哪些硬件环境 A ZStack支持带硬件虚拟化特性的x86服务器 工作站或台式机 支持主流的Intel或AMD的处 理器 2. Q ZStack支持哪些操作系统 A ZStack支持基于CentOS 7.2/7.4深度定制的ZStack定制版ISO 基于CentOS 7.2深度定制的ZStack定制版ISO c72 ISO不支持英特尔新一代铂金/金/银/铜系列处理器 Intel Xeon Scalable Processors 如已部署ZStack 可将基于c72的旧版本升级至最新 基于CentOS 7.4深度定制的ZStack定制版ISO c74 ISO支持英特尔新一代铂金/金/银/铜系列处理器 Intel Xeon Scalable Processors 例如支持部署在DELL EMC R740 14代服务器上 如初次安装ZStack 推荐安装c74 ISO 3. Q ZStack支持使用标准的CentOS 7.2/7.4系统安装么 A 暂不支持 ZStack目前支持基于CentOS 7.2/7.4深度定制的ZStack定制版ISO 4. Q 安装部署ZStack需要多少台机器 A 最小安装只需要一台机器 同时作为管理节点和计算节点 生产环境建议分离部署 ZStack 只需一台管理节点 就可以管控所有的硬件资源 5. Q 安装部署ZStack 机器的最低配置要求多少 A 4CPU 8G内存 200G主存储 200G镜像服务器空间 最小配置仅适用于测试环境 6. Q ZStack定制版ISO可以安装哪些模式 有哪些差异 A ZStack定制版ISO支持五种模式 1. ZStack Enterprise Management Node ZStack企业版管理节点模式 264

271 运维手册 / 20 常见问题 安装基于CentOS 7.2/7.4深度定制的ZStack定制版ISO并安装ZStack企业版管理节点 2. ZStack Community Management Node ZStack社区版管理节点模式 安装基于CentOS 7.2/7.4深度定制的ZStack定制版ISO并安装ZStack社区版管理节点 3. ZStack Compute Node ZStack计算节点模式 安装基于CentOS 7.2/7.4深度定制的ZStack定制版ISO并安装ZStack计算节点必备软件包 4. ZStack OCFS2 Storage Node ZStack OCFS2存储节点模式 安装基于CentOS 7.2/7.4深度定制的ZStack定制版ISO并使用UEK内核及OCFS2组件 5. ZStack Expert Node ZStack专家模式 安装基于CentOS 7.2/7.4深度定制的ZStack定制版ISO并配置本地源 用户可自定义系统用 途 7. Q 如何安装ZStack企业版 A 下载ZStack定制版ISOhttps://promotion.aliyun.com/ntms/act/dedicatedcloud/doc.html? spm= io7or 首次安装系统时 建议选择企业版管理节点模式 操作 系统安装完毕后 重启系统会自动安装企业版管理节点 8. Q 如何升级ZStack企业版 A 如已部署ZStack 可将基于c72的旧版本升级至最新 升级方法有两种途径 1. 下载ZStack定制版ISOhttps://promotion.aliyun.com/ntms/act/dedicatedcloud/doc.html? spm= io7or和升级脚本 执行bash zstack-upgrade ZStackx86_64-DVD-2.3.x-c72.iso直接升级本地的软件仓库和ZStack管理节点 2. 下载ZStack定制版ISOhttps://promotion.aliyun.com/ntms/act/dedicatedcloud/doc.html? spm= io7or和升级脚本 执行bash zstack-upgrade -r ZStackx86_64-DVD-2.3.x-c72.iso先升级本地仓库 再执行bash ZStack-installer-2.3.x.bin -u升级管 理节点 9. Q 如何从专家模式或计算节点升级到ZStack企业版管理节点 A 执行yum install zstack-manager 然后执行bash /opt/zstack-installer-2.3.x.bin -E 10. Q 如何将管理节点从ZStack社区版升级到ZStack企业版 A 获取最新的企业版许可证 更换许可证即可 265

272 运维手册 / 20 常见问题 11. Q 如何从ZStack企业版变更到ZStack社区版 A ZStack不提供企业版变更社区版功能 用户可自行尝试 ZStack不确保成功 且不提供相应 服务 12. Q 免费试用版如何变成社区版 A 假如您的版本是免费试用版 想体验添加多台物理机的社区版本 可以参考以下步骤 1. SSH登录到管理节点 执行rm -f /var/lib/zstack/license/license.txt 2. 登录UI 点击加载license 注: 若原来使用的镜像服务器是镜像仓库类型 变成社区版本将不可使用 一些企业版本 才有的功能也无法使用 请谨慎操作 13. Q 社区版如何变成免费试用版 A 如果您想体验ZStack全部功能 请参考以下步骤升级到免费试用版 单台物理机 1. SSH登录到管理节点 执行zstack-ctl install_license -f /var/lib/zstack/license/zstack_trial_l icense 2. 登录UI 点击加载license 注: 如果您的社区版本中添加多台物理机 升级之后将不可使用 请谨慎升级 如果想体 验多台物理机的ZStack全部功能 可以联系ZStack申请多台试用版license 14. Q 如何重新安装ZStack A 1. 先执行以下命令删除原本的数据库 rm -rf /usr/local/zstack -D 注: 此命令会删除该目录下所有数据 如需彻底重装ZStack 才可使用 2. 再执行以下命令重装管理节点 bash ZStack-installer-2.3.x.bin -E #安装ZStack企业版 bash ZStack-installer-2.3.x.bin #安装ZStack社区版 15. Q 使用root安装ZStack为何启动服务提示非root 266

273 运维手册 / 20 常见问题 A 现象 安装ZStack时 有时使用root登录 但是启动服务时 提示非root用户需使用sudo ERROR: please use sudo or root user FAIL Reason: failed to start zstack 在Python命令行环境下执行以下命令会发现Python认定用户并非root用户 import getpass user = getpass.getuser() print user 原因 之前由普通用户切换root用户时 使用了su并非使用sudo su su只是shell认为切换了root用 户 但是相关的环境变量并没有切换 说明 sudo允许命令在当前用户下以root的超级权限来执行 su允许切换为root用户 但是相关的用户环境并没有切换到root下去 sudo su以root权限切换到root用户下 16. Q ZStack如何自动多节点安装 A 部分用户会用到多管理节点做高可用等场景 多节点手动安装方法请参考 安装多个管理节 点 多管理节点的自动化安装方法 执行以下命令 zstack-ctl add_multi_management --host-list root:passwd1@host1_ip 如果用户已经使用ssh_key来连接各个节点 可以用以下命令添加 --ssh-key 此处为保 存ssh_key文本文件的绝对路径 注: ZStack1.8版本支持该功能 ZStack2.0版本以后暂不支持该功能 17. Q 多节点部署可以有节点使用云主机吗 267

274 运维手册 / 20 常见问题 A 可以 但是网络需要连通 建议云主机的节点使用桥接 云主机节点运行管理节点更为合 适 配置不低于4CPU 4G内存 18. Q 能在ZStack的云主机上安装ZStack吗 A 可以 在全局设置的基础设置中修改云主机CPU模式为host-passthrogh 透传物理机的虚 拟化特性 19. Q 当服务器有多个网卡时 安装ZStack报错怎么办 A 多网卡的物理机上使用命令安装 默认会选择一块网卡 如果出现安装错误 可以使用-i 网 卡IP 命令指定一块网卡 20. Q 一键安装ZStack后 启动时间过长怎么办 A 原因 管理节点启动时间与节点配置资源有关 在云主机上安装ZStack才出现时间过长的情况 解决方案 建议使用虚拟环境时 配置CPU>4 内存>8G 注: 时间过长不代表安装启动失败 time out报错后请先使用zstack-ctl status查看状态 如果为stopped状态 使用zstack-ctl start启动即可 如果为unknown状态 需要先使 用zstack-ctl stop停止 再使用zstack-ctl start启动 21. Q ZStack如何更改安装目录 A 安装ZStack时 加上 -r 目标目录 例如 bash zstack-installer.bin -r /home/zstack 22. Q 基于ZStack + Ceph部署 创建vm zstack-mn qemu-kvm-ev-mn 离线安装时出现这个 报错如何处理 A 现象 268

275 运维手册 / 20 常见问题 报错如下 "org.zstack.header.vm.apicreatevminstanceevent":{"success":false,"apiid":"9ebc212 f00ea45bbaa91e1e ","headers":{"schema":{}},"error":{"code":"sys.1006 ","cause":{"code":"host.1005","description":"failed to start vm on hypervisor","details ":"failed to start vm[uuid:2da983e8b5a34a459bb71a0d705b0bba name:vm-qge5] on kvm host[uuid:b7a14605c6b042e0b2da17ae329ea70a, ip: ], because Traceba ck (most recent call last):\n File \"/var/lib/zstack/virtualenv/kvm/lib/python2.7/site-package s/kvmagent/plugins/vm_plugin.py\", line 2721, in start_vm\n self._start_vm(cmd)\n File \"/var/lib/zstack/virtualenv/kvm/lib/python2.7/site-packages/kvmagent/plugins/vm_plug in.py\", line 2664, in _start_vm\n 'unable to start vm[uuid:%s, name:%s], libvirt error: %s ' % (cmd.vminstanceuuid, cmd.vmname, str(e)))\nkvmerror: unable to start vm[uuid :2da983e8b5a34a459bb71a0d705b0bba, name:vm-qge5], libvirt error: internal error: early end of file from monitor, possible problem: T10:49: Z qemu -kvm: -drive file=rbd:pri-v-r-a5486c5605a8499dbe3ca79ee3ca87c4/a28d86db519c48 ef9e4c50a3f8e27305:id=zstack:key=aqd4hsvywfgambaaxbnutdw1wzhiturdrum M9g==:auth_supported=cephx\\;none:mon_host= \\:6789,format=raw,if =none,id=drive-virtio-disk0: error reading header from a28d86db519c48ef9e4c50a3f8e2 7305: Function not implemented\n"},"description":"an operation failed","details":"failed to start vm[uuid:2da983e8b5a34a459bb71a0d705b0bba name:vm-qge5] on kvm host [uuid:b7a14605c6b042e0b2da17ae329ea70a, ip: ], because Traceback (most recent call last):\n File \"/var/lib/zstack/virtualenv/kvm/lib/python2.7/site-package s/kvmagent/plugins/vm_plugin.py\", line 2721, in start_vm\n self._start_vm(cmd)\n File \"/var/lib/zstack/virtualenv/kvm/lib/python2.7/site-packages/kvmagent/plugins/vm_plug in.py\", line 2664, in _start_vm\n 'unable to start vm[uuid:%s, name:%s], libvirt error: %s ' % (cmd.vminstanceuuid, cmd.vmname, str(e)))\nkvmerror: unable to start vm[uuid :2da983e8b5a34a459bb71a0d705b0bba, name:vm-qge5], libvirt error: internal error: early end of file from monitor, possible problem: T10:49: Z qemu -kvm: -drive file=rbd:pri-v-r-a5486c5605a8499dbe3ca79ee3ca87c4/a28d86db519c48 ef9e4c50a3f8e27305:id=zstack:key=aqd4hsvywfgambaaxbnutdw1wzhiturdrumm9g ==:auth_supported=cephx\\;none:mon_host= \\:6789,format=raw,if=none,id=drive-virtio-disk0: error reading header from a28d86db519c48ef9e4c50a3f8e27305: Function not implemented\n"},"createdtime": ,"type":{"_name":"key.event.api.api_event"},"id":"bb86a69de1c04043a9ae218ee510dae0"}} 原因 rbd无法读取镜像文件头文件 很可能是Ceph存储本身的问题 ZStack定制版ISO的qemu-kvm 2.6.0安装时默认带librbd 0.94客户端 如果用户部署 了Ceph10.2.x或着12.2.x librbd老版本客户端不支持新版本的后端 解决方案 用户需在计算节点上手动安装或升级与所部署Ceph版本对应的librbd客户端包 23. Q 升级时 遇到ZStack定制版ISO版本不匹配怎么办 A 现象 升级时遇到ZStack定制版ISO版本不匹配 会提示以下错误信息 Reason: The current local repo is not suitable for ZStack installation. 269

276 运维手册 / 20 常见问题 Please download ZStack-x86_64-DVD-2.3.x-c72.iso from product_downloads/ and run #wget #sh zstack-upgrade ZStack-x86_64-DVD-2.3.x-c72.iso For more information, see 原因: 当前系统使用的ISO版本不适合升级此安装包 需要升级对应的ISO才可继续升级ZStack 解决方案 请执行以下部署 1. 执行如下命令 在管理节点下载最新的ISO wget 2. 执行升级 升级ISO里面的yum repo同步到本地 并且直接升级管理节点 bash zstack-upgrade ZStack-x86_64-DVD-2.3.x-c72.iso 24. Q ZStack版本升级时出现报错The Operating System version is not suitable for zstack-enterpr ise installation.怎么办? A 请使用最新的ZStack定制版ISOhttps://promotion.aliyun.com/ntms/act/dedicatedcloud/ doc.html?spm= io7or安装升级 25. Q 升级ZStack过程中 因为二次开发或者调整数据库导致升级失败时 怎么恢复原本的ZStack A 前提 ZStack进行升级时 默认会备份当前ZStack核心文件和数据库到对应目录 恢复步骤 270

277 运维手册 / 20 常见问题 1. 备份之前版本的ZStack核心文件 cp /usr/local/zstack/upgrade/ /root -r 2. 备份之前版本的数据库 cp /usr/local/zstack/db_backup/ /backup.sql /root 3. 再次备份数据库 zstack-ctl dump_mysql 4. 删除当前ZStack环境 zstack-ctl stop rm -rf /usr/local/zstack 5. 使用之前的安装包直接安装ZStack bash ZStack-installer-2.3.x.bin -D 6. 使用第一步备份的ZStack核心文件恢复 zstack-ctl stop cd /root/ /zstack/ mv /usr/local/zstack/apache-tomcat/webapps/zstack /usr/local/zstack/apache-tomcat/ webapps/zstack-bk cp /root/ /zstack /usr/local/zstack/apache-tomcat/webapps -r chown zstack:zstack /usr/local/zstack/apache-tomcat/webapps/zstack -R 7. 恢复第二步备份的数据库 cat /root/backup.sql mysql -u root -pzstack.mysql.password zstack 8. 启动ZStack管理节点服务 此时ZStack已成功恢复至原本升级失败前的版本 zstack-ctl start 20.3 系统登录 1. Q ZStack支持哪些浏览器 A 支持Chrome和Firefox浏览器 2. Q UI无法登录怎么办 A 请根据以下方法进行检查 1. 如果提示用户名/密码不正确 需要输入正确的用户名和密码 271

278 运维手册 / 20 常见问题 2. 如果提示无法连接管理节点 需要通过zstack-ctl status命令确认管理节点服务是否运行正 常 3. 如果依然无法连接 可以使用zstack-cli LogInByAccount accountname=admin password =password命令 通过cli方式登录 4. 检查相关的Java进程是否出现僵尸导致程序无法运行 此时需要重启管理节点机器 3. Q 如何更改UI的Admin密码 A 有两种方法 UI方式 在ZStack首页点击Admin信息的修改密码按钮进行修改 命令行方式 在管理节点上运行如下命令通过cli方式登陆 如果password已经更改 请用改过的密码替 换password : zstack-cli LogInByAccount accountname=admin password=password 然后运行如下命令修改密码 NEW_PASSWORD为新密码 zstack-cli UpdateAccount uuid=36c27e8ff05c4780bf6d2fa65700f22e password =NEW_PASSWORD 4. Q 如何修改UI界面默认的5000端口 A 先使用命令zstack-ctl config_ui --server-port 5050修改端口 5050为示例端口号 然后运 行命令zstack-ctl stop_ui停止ui 再运行zstack-ctl start_ui启动ui即可 5. Q 如何增加会话超时时间 A UI方式 在ZStack私有云主菜单 点击设置 > 全局设置 > 基本设置 进入基本设置界面 调整会话超 时时间 命令行方式 例如 把 zstack account登陆的过期时间改成200个小时 zstack-cli LogInByAccount accountname=admin password=password \ 272

279 运维手册 / 20 常见问题 zstack-cli UpdateGlobalConfig name=session.timeout category=identity value= zstack-cli LogOut 6. Q 如何更改ZStack同时登录次数 A UI方式 在ZStack私有云主菜单 点击设置 > 全局设置 > 高级设置 进入高级设置界面 修改最大会 话数的值 命令行方式 1. 首先使用QueryGlobalConfig name~=session 可以看到关于最大会话数的限制为500 { "category": "identity", "defaultvalue": "500", "description": "Max number of sessions management server accepts. \ When this limit met, new session will be rejected", "name": "session.maxconcurrent", "value": "500" } 2. 假如希望改成1000 可执行以下命令 UpdateGlobalConfig category=identity name="session.maxconcurrent" value= Q 是否支持HTTPS方式登录UI A 支持 以下介绍使用系统默认证书以HTTPS方式登录UI的方法 1. 在管理节点停止管理节点服务 执行 zstack-ctl stop 2. 在管理节点配置证书 执行 openssl pkcs12 -in /usr/local/zstack/zstack-ui/ui.keystore.p12 -out /usr/local/zstack/zstack -ui/ui.keystore.pem -nodes 注: 执行过程中要求输入默认密码 password 3. 修改zstack.properties配置文件 将证书路径设置为绝对路径 进入/usr/local/zstack/apache-tomcat/webapps/zstack/WEB-INF/classes/zstack.properties 添加一行记录 consoleproxycertfile = /usr/local/zstack/zstack-ui/ui.keystore.pem 273

280 运维手册 / 20 常见问题 4. 配置HTTPS UI登录模式 zstack-ctl config_ui --enable-ssl=true 5. 启动管理节点管理服务 执行 zstack-ctl start 8. Q 如何取消HTTPS方式 恢复HTTP方式登录UI A 如需取消HTTPS登录 执行 zstack-ctl config_ui --enable-ssl=false 并重启管理节点服务 zstack-ctl stop_ui zstack-ctl start_ui 20.4 云资源池 云主机 1. Q 如何检查一台云主机是否支持硬件虚拟化 A 在终端中执行egrep "vmx svm" /proc/cpuinfo命令 如果有输出代表支持硬件虚拟化 2. Q ZStack的DHCP服务和目前机房的DHCP是否会出现冲突 A ZStack的DHCP服务与目前机房已经配置的DHCP服务不冲突 但ZStack里面的云主机使用 的网络段不可与当前环境内已经使用的IP范围重叠 如果发生重叠 可能发生IP地址冲突 3. Q 扁平网络云主机hostname会变成与IP地址相关吗 A 如果镜像里原本的hostname是localhost DHCP会主动将hostname修改成与IP地址相关 例如 云主机IP地址为 那么云主机hostnme会变成 Q zstack-cli里面设置扁平网络的hostname为何不生效 A 如果镜像里面原本的hostname不是localhost 那么DHCP将不会分配新的hostname 而是 使用原本的hostname Q 如何修改控制台代理IP

281 运维手册 / 20 常见问题 A 使用zstack-ctl configure consoleproxyoverriddenip=new IP命令 修改/usr/local /zstack/apache-tomcat/webapps/zstack/web-inf/classes/zstack.properties文件里 面consoleProxyOverriddenIp地址 然后执行zstack-ctl restart_node命令重启管理节点服务 6. Q 控制台代理出现"description": "Cannot do an IO operation(e.g. network IO error, file IO error )"报错如何处理 A 现象 "description": "Cannot do an IO operation(e.g. network IO error, file IO error)", "details": "I/O error on POST request for \" Connect to :7758 [/ ] failed: Connection refused; nested exception is org.apache.http.conn.httphostconnectexception: Connect to :7758 [/ ] \ failed: Connection refused","$$hashkey": "object:1344" 解决方案 删除/var/lib/zstack/pickledb/下面的consoleProxy文件 再次重连控制台代理 7. Q 怎么从IP Range中保留一个IP地址 不让ZStack分配给云主机 A 目前还没有提供ReserverIpRange的API 如果希望ZStack从已经设置的IP Range中保留几个 特定的IP地址 可以在UI界面创建指定的虚拟IP方式来保留IP使用 也可以用CreateVip这个API 例如 使用如下命令把a.b.c.d的IP地址从指定的L3网络上用创建虚拟IP的方式保留 zstack-cli LogInByAccount accountname=admin password=password zstack-cli CreateVip l3networkuuid=you_l3_network_uuid name=for_reserver requiredip=a.b.c.d zstack-cli LogOut 8. Q 如何批量修改一批云主机的计算规格 A 可通过UI和cli命令行两种方式进行修改 UI方式 在ZStack私有云主菜单 点击云资源池 > 云主机 进入云主机页面 同时选中多个云主 机 点击更多操作 > 修改计算规格按钮 选择合适的计算规格点击确定即可 命令行方式 275

282 运维手册 / 20 常见问题 采用shell脚本配合zstack-cli命令进行批量修改 例如 将一批名字里包含Win7的云主机的计 算规格全部修改为名字是Win7-Instance-Offering的计算规格 which jq (echo "you need to install jq" && exit 1) zstack-cli LogInByAccount accountname=admin password=password instance_offer ing_uuid=zstack-cli \ QueryInstanceOffering name=win7-instance-offering jq '.["inventories"][0].uuid' target_ vms=zstack-cli zstack-cli \ QueryVmInstance name~=win7 jq '.["inventories"][].uuid' for vm in $target_vms; do zstack -cli ChangeInstanceOffering \ instanceofferinguuid=$instance_offering_uuid vminstanceuuid=$vm echo "change vm: $vm instance offering to \ $instance_offering_uuid" zstack-cli StopVmInstance uuid=$vm zstack-cli StartVmInstance uuid=$vm done zstack-cli LogOut 9. Q 如何解决qemu版本不匹配的问题 A 现象 使用过程中 启动云主机时可能遇到类似这样的错误信息 uses a qcow2 feature which is not supported by this qemu version: QCOW version 3 原因 主要原因是qcow版本不一致 原始的qcow2创建版本使用的qemu-img为较新版本 现在创建 时使用的为较旧版本 旧版本不支持新版本 解决方案 在拥有较新版本的qemu-img里面进行兼容性转换 例如执行以下命令进行转换 转换完毕 后 再重新添加镜像 qemu-img convert -o compat=0.10 -f qcow2 -O qcow2 centos6-cloud-init.qcow2 centos-st -ssh-key.qcow2 10. Q ZStack给云主机的MAC地址 可以手动修改吗 A 可以 ZStack支持停止状态的云主机修改MAC地址 11. Q ZStack如何修改云主机网卡的MAC地址? A 创建云主机时可以指定MAC地址 停止云主机后 可在配置信息界面 点击网卡右侧的操 作 > 设置MAC来设置或更改MAC地址 12. Q 关闭计算节点后 如何实现云主机高可用 276

283 运维手册 / 20 常见问题 A 云主机高可用使用共享存储 设置云主机高可用后 需要先将云主机状态置为stopped 再 启动此云主机 可以在其他节点启动 13. Q 机房准备断电维护 上电后如何自动恢复云主机的业务 A 可参考以下步骤 1. 设置全部云主机高可用为NeverStop模式 2. 全部物理机进入维护模式 3. 断电维护 4. 上电后 物理机启用 所有的云主机会自动恢复运行 14. Q 云主机卸载L3网络 并重新加载后 云主机的IP地址会发生变化吗 A 在DHCP情况下会随机重新分配IP 15. Q 如何修改云主机的删除时延 A UI方式 在ZStack私有云主菜单 点击设置 > 全局设置 > 基本设置 进入基本设置界面 修改彻底删 除时延的值 命令行方式 例如执行 UpdateGlobalConfig category=vm name=expungeperiod value=3600 将彻底删 除时延设置成3600秒 16. Q ZStack能为已经运行的云主机加载或卸载ISO吗 A 可以 在云主机页面 选中一个运行中的云主机 点击更多操作 选择加载/卸载ISO 17. Q 如何在一个VM上添加多块网卡 A 现象 创建VM时 可能会遇到一个云主机挂载多个网络的情况 这时进入console可看到多块网 卡 但没有发现IP 277

284 运维手册 / 20 常见问题 原因 每个网络对VM来说就是一块网卡 把网络加载到VM上 等价于把一块物理网卡插到一 台Server上 因此使用 ifconfig命令就能看到eth设备了 如果没有看到IP 说明网卡插上 了 但并没有配置好 解决方案 请仿照eth0的配置文件 为这个新网卡创建一个配置文件 1. 拷贝一份eth0 以下示例是Centos 7.2环境 其他版本Linux路径和文件可能有变化 # 将配置文件中的eth0替换为eth1,并删除其中的uuid信息 cp /etc/sysconfig/network-scripts/ifcfg-eth0 /etc/sysconfig/network-scripts/ifcfg-eth1 sed -i 's/eth0/eth1/g' ifcfg-eth0 sed -i '/UUID*/d' /etc/sysconfig/network-scripts/ifcfg-eth1 2. 将网络重启生效 /etc/init.d/network restart 3. 用ifconfig查看 第二块网卡也有IP了 如果在云主机上挂载多个网络 重复以上操作即 可 18. Q 如何将KVM上的云主机迁移到ZStack中 A 1. 通过libvirt导出云主机的镜像.qcow2文件 2. 将镜像上传至一个http服务器中 3. 使用ZStack镜像服务器导入镜像 4. 通过镜像创建云主机 注: 如果原来的云主机挂载了数据云盘 如何将数据云盘也迁移过来呢? 方法一 与上述操作类似 需要先将数据盘生成镜像 同理导入 ZStack使用该镜像创建数据 云盘 再将数据云盘挂载到云主机即可 方法二: 先在ZStack中创建一个相同大小的数据云盘 找到对应的路径 将原云盘数据直接复 制到新的路径下 最后再挂载到云主机上 278

285 运维手册 / 20 常见问题 19. Q ZStack如何设置云主机启动顺序 A 在ZStack私有云主菜单 点击云资源池 > 云主机 进入云主机页面 选择云主机名称 点 击更多操作 > 设置启动顺序 选择需要的启动顺序 20. Q 如何在创建云主机时指定静态IP A 大多数情况下 云主机的IP地址由DHCP自动分配 对于需要静态IP的用户 可以使用以下 方式来设置 UI方式 停止云主机 进入云主机详情页 在配置信息页面选中云主机挂载的某网卡点击操作 > 设置 静态IP 命令行方式 可使用SetVmStaticIp来设置 SetVmStaticIp vminstanceuuid=7c4162e8d32d4bea8f7e799024c6b735 l3networkuuid=4d855bb0c72640f5a643ba8e88ae85df ip= 可使用systemTags=staticIp来设置 1. 开启DHCP服务 云路由网络或扁平网络都可以 2. 执行以下命令 CreateVmInstance name=ceph-3 instanceofferinguuid=7ec8f1148f14452aa ce7bbe l3networkuuids=f749ec8b1ea94676bda7a5968de6b947 imageuuid=b6ebcfa021e24bc3b08a27216fd589a7 systemtags=staticip::f749ec8b1ea94676bda7a5968de6b947:: Q 修改Windows云主机密码报错怎么办 A 现象 修改Windows云主机密码时出现如下报错 return code: 1 stdout: stderr: error: internal error: unable to execute QEMU agent command 'guest-set-user-password': The command guest-set-user-password has not been found 原因 可能原因是使用了错误的Windows Virtio驱动 279

286 运维手册 / 20 常见问题 解决方案 目前ZStack定制版ISO里已经集成了可用的Windows Virtio驱动 解压此ISO 添加 此Windows Virtio驱动作为ISO镜像到镜像服务器中 然后挂载此ISO 安装对应的qemuguest-agent即可 22. Q 误删除ssh key 如何恢复 A ssh key默认存放在目录 /usr/local/zstack/apache-tomcat /webapps/zstack/web-inf /classes/ansible/rsakeys 如果用户不小心删除了ssh key 可以通过以下方式恢复 1. 首先运行以下命令生成ssh key ssh-keygen -f /usr/local/zstack/apache-tomcat /webapps/zstack/web-inf/classes/ ansible/rsakeys/id_rsa -N '' 2. 生成ssh key后 运行以下命令确保用户有权限访问 chown -R zstack.zstack /usr/local/zstack/apache-tomcat /webapps/zstack/webinf/classes/ansible/rsakeys 23. Q 云主机控制台出现Guest has not initialized the display (yet)怎么办 A 现象及原因 使用旧的服务器作为计算节点 可能会遇到因CPU型号过早 无法创建云主机或者创建的云 主机不能显示console界面的问题 如下图所示 解决方案 280

287 运维手册 / 20 常见问题 出现这种情况 可以尝试如下设置 1. kvm-nested.conf里面第一行加上ept=0 如 options kvm_intel nested=1 ept=0 #vim /etc/modprobe.d/kvm-nested.conf 2. 关闭运行状态的VM 然后移除kvm_intel #rmmod kvm_intel 3. 最后重新加载kvm_intel #modprobe kvm-intel ept=0 unrestricted_guest=0 24. Q CPU型号与Passthrough 支持嵌套虚拟化 的说明 A 可使用以下方式设置云主机CPU模式 UI方式 在ZStack私有云主菜单 点击设置 > 全局设置 > 高级设置 进入高级设置界面 修改云主 机CPU模式的值为host-model 命令行方式 使用如下命令 UpdateGlobalConfig category=kvm name=vm.cpumode value=host-model 三种云主机CPU模式 none CPU型号为QEMU模拟器 host-model CPU类型为物理机CPU类型 host-passthrough CPU型号跟物理机CPU完全一样 注: 当模式为host-model和host-passthrough时 云主机可以获得嵌套虚拟化功能 使用该功能可能会影响云主机热迁移 因为热迁移时会检查云主机CPU型号 如果两 台物理机的CPU型号不同 会导致云主机热迁移失败 25. Q 什么情况下云主机会变成Paused状态 A 云主机内存过低时 创建或迁移云主机可能变成Paused状态 281

288 运维手册 / 20 常见问题 26. Q 出现这个IO报错这么处理 A 现象 报错如下 "description": "Cannot do an IO operation(e.g. network IO error, file IO error)", "details": "I /O error on POST request for \" Connect to :7758 [/ ] failed: Connection refused; nested exception is org.apache.http.conn.httphostconnectexception: Connect to :7758 [/ ] failed: Connect ion refused","$$hashkey": "object:1344" 解决方案 删除zstack/pickledb/下面的consoleProxy文件 且重连控制台代理生效 27. Q 为什么同一个网络段之间的云主机相互之间ping不通 A 如果本物理机上的云主机 IP互通 而且云主机所在网卡的物理机之间也互通 应该是跨物理 机的云主机之间不通 很可能交换机出现问题 28. Q 如果网内没有自建DNS服务器 云主机怎么才能使用电信的DNS服务器IP地址来解析域名上 网 A 请在创建网络时指定DNS地址 29. Q 进行云主机相关操作时提示libvirt error如何解决 A 现象 用户在进行云主机相关操作时 可能会遇到如下错误提示 libvirt error: error from service: ListActivatableNames: Connection is closed 或 libvirt error: Activation of org.freedesktop.machine1 timed out 原因 这类错误通常是由系统DBUS进程死掉或者DBUS运行异常引起的 解决办法 282

289 运维手册 / 20 常见问题 方法1 重启物理机 DBUS会自动恢复 方法2 在物理机上使用如下命令 service systemd-machined restart service libvirtd restart 完成后用UI或者CLI重连出问题的物理机 30. Q 云主机迁移失败的原因是什么 A 现象 { "error": { "code": "HOST.1009", "description": "Failed to migrate vm on hypervisor", "details": "failed to migrate vm[uuid:90bb61f55e774f5f89c9e1ea46db7661] from kvm host[uuid:e5105c61114a4efe8bcc025f744226bd, ip: ] to dest host[ip: ], unable to migrate vm[uuid:90bb61f55e774f5f89c9e1ea46db7661] to qemu+tcp :// /system, internal error: Attempt to migrate guest to the same host localhost.domain.com" }, "createdtime": , "type": { "_name": "key.event.api.api_event" }, "id": "e6bcd7c33ad9446b919e11cd647fc8dc" } 原因 出现这段错误是因为两台物理机hostname相同 KVM云主机在线迁移目前依靠hostname进 行确认不同的物理机 如果hostname相同 则会被认定为相同的物理机 解决方案 需确保物理机的hostname不能相同 可以通过hostnamectl set-hostname your_new_hostn ame来设定 31. Q 为什么有的云主机关机时间比较久 A 原因 283

290 运维手册 / 20 常见问题 这种情况一般出现在Guest OS为Linux的云主机上 这是因为缺少ACPID服务 用于处理电 源相关事件的守护进程 KVM云主机安装Linux系统默认是没有安装ACPID服务的 所以不 会做处理 关机一分钟后被ZStack杀掉云主机进程强行关闭 解决方案 对于这种情况 只需在云主机里安装和启动ACPID服务即可 执行命令如下 [root@kvm_client_00 ~]# yum install acpid -y # 重新启动ACPID服务 安装后默认加入到开机启动 [root@kvm_client_00 ~]# /etc/init.d/acpid restart 镜像 1. Q 创建镜像的占用空间是怎样的 A 举例说明 一个host有800G的空间 创建了一个VM 400G 假定文件是A 然后创建了一镜 像B 镜像B会上传到镜像服务器 这时镜像B的实际大小应该不是400G 比如只有10G 用镜像B来创建一个新的VM C的时候 镜像B会从镜像服务器上下载到host上的一个cache目 录 这个下载会消耗主存储的空间 等到下载成功 host的虚拟可用容量就小于400g了 这 样创建VM C就失败了 2. Q 创建镜像时提示URL相关错误一般有哪些方法 A ZStack允许输入的URL格式为 例如 7.qcow2 注: 建议用户创建一个http服务器来下载镜像 如果使用本地镜像 注意file后必须为绝对路径 3. Q 添加镜像超时怎么办 A 原因 下载镜像时 有时因为镜像过大或者网络等原因导致镜像下载太慢超时报错 284

291 运维手册 / 20 常见问题 解决方案 如果执行了下载操作 就会在镜像服务器上启用http服务 当UI上显示超时 甚至关闭管理节 点时 镜像服务器不在管理节点所在的host 并不影响服务继续运行 因此 如果时间过长不用担心 后台会自动下载完成 下次继续添加该镜像时会迅速完成 4. Q 出现cannot acquire state change lock的错误怎么办 A 原因 出现这个错误属于小概率事件 是由libvirt引发的 出现这个问题后 该云主机上的后续操作 只要调用到libvirtd就会失败 解决办法 killall -9 libvirtd # rm /var/run/libvirtd.pid 完成后重连物理机 5. Q Windows内存监控没有数据如何解决 A PCI设备驱动 安装后叫VirtIO Balloon Driver 安装后 可能出现无法通过qemu获取内存信 息的问题 解决方法如下 1. 加载windows-virtio-driver的ISO镜像 2. 以64位Windows 2012操作系统为例 将驱动文件夹X:\Balloon\2k12R2\amd64目录下 的BLNSVR.EXE文件拷贝到C:\Windows\System32目录下 3. 在命令行程序执行BLNSVR -I命令 6. Q 封装Windows系统模板时 无法识别Virtio驱动怎么办 A 现象 在安装过程中 无法识别ISO中加载的Virtio驱动 导致无法看到已加载的系统云盘 原因 有可能所用的Windows ISO光盘不是从微软官方下载的 可能是通过其他工具后期定 制的 解决方案 使用官方直接下载的ISO 285

292 运维手册 / 20 常见问题 云盘 1. Q 云盘可以建立在共享存储上 且可以进行任意挂载吗 A ZStack可以给一个区域内不同集群添加不同主存储 主存储可以是本地存储也可以是共享存 储 如果主存储为共享存储 则云盘创建在共享存储上 云盘和物理主机无关 可以挂载到任意 物理节点的云主机上 即 云盘的挂载不受物理机的相关约束 而且不支持云盘迁移 如果主存储为本地存储 挂载一个卸载过的云盘时 需要保证该云盘和目标云主机在相同的 物理机上 如果该云盘和目标云主机不在相同的物理机上 需要将云盘和云主机迁移到相同 的物理机上 可以选择迁移云主机 需要首先停止云主机 也可以选择迁移云盘 2. Q 云主机上挂载新的L3网络时 为何只显示一个 A 动态挂载只是Qemu给云主机一个虚拟网卡 使用lspci可以看到此网卡 但是云主机的操作系 统使用时 需要手动执行dhclient获取 也可参考云主机里的 /etc/sysconfig/network-scripts/ifcfg-eth0 对新增的eth1重新设置 再重 启网络服务即可看到多网络路由 3. Q QueryVolume actualsize为什么和实际文件大小不一致 A 随着磁盘使用过程 这个actualsize可能会不断增加 UI方式 在ZStack私有云主菜单 点击云资源池 > 云盘 进入云盘页面 展开某一云盘详情页 然后 点击真实容量后面的刷新按钮进行同步 命令行方式 使用SyncVolumeSize uuid=进行同步 4. Q 云主机磁盘写满 无法启动怎么办 A 可以扩大磁盘后启动 建议先备份镜像 5. Q 本地存储如何迁移云盘 A 使用本地存储的用户 可使用如下方法迁移云盘 286

293 运维手册 / 20 常见问题 在ZStack私有云主菜单 点击云资源池 > 云盘 进入云盘页面 选中待迁移的云盘 点击更多 操作 > 迁移 选择目标物理机即可 6. Q Windows安装Virtio驱动时 磁盘应该选择哪个驱动 A 安装viostor存储控制器和vioscsi磁盘控制器 7. Q 数据云盘是建立在主存储还是镜像服务器上 为什么建立的数据云盘在Windows上发现不 了 A 数据云盘是建立在主存储上 需要在云主机里安装Virtio驱动 8. Q ZStack基于模版创建云主机 可否实现母盘+增量盘的模式 A ZStack采用增量盘的模式 镜像从镜像服务器下发到主存储作为镜像缓存 以此为base创建 云主机 这些云主机均使用同一base 9. Q 加载云盘后修改Linux云主机的/etc/fstab文件 对该云主机在线创建镜像 使用该镜像创建 其它云主机时 所创建的云主机会hang住无法启动 如何解决 A 原因 云主机加载/卸载云盘是动态操作 而云主机的/etc/fstab是静态配置文件 如果加载云盘后修 改云主机fstab文件 对该云主机在线创建镜像 使用该镜像创建其它云主机时 由于fstab文 件没有相应的挂载信息 所创建的云主机会hang住无法启动 解决方案 Linux云主机加载云盘后不能修改/etc/fstab文件 正确的做法 进入/etc/rc.local执行mount命令来挂载云盘 # chmod +x /etc/rc.local # mount -t 云盘UUID 目标挂载路径 注: 建议使用云盘的ID来挂载而非/dev/vdb类似的盘符来挂载 计算规格/云盘规格

294 运维手册 / 20 常见问题 Q 如何使用Tag将Instance offering/disk Offering绑定主存储 A 1. 首先获取想要创建VM的Instance Offering和Primary Storage的uuid 288

295 运维手册 / 20 常见问题 2. 然后为Primary Storage创建一个UserTag 为Tag命名为forWebTierVM 3. 为Instance Offering创建SystemTag 绑定刚才创建的UserTag 4. 在创建VM时指定Instance Offering 默认会使用绑定的Primary Storage创建Root Volume 289