运维手册

Transcription

1 运维手册 产品版本 ZStack 2.0

2

3 运维手册 / 版权声明 版权声明 版权所有 上海云轴信息科技有限公司 2017 保留一切权利 非经本公司书面许可 任何单位和个人不得擅自摘抄 复制本文档内容的部分或全部 并不得以任 何形式传播 商标说明 ZStack商标和其他云轴商标均为上海云轴信息科技有限公司的商标 本文档提及的其他所有商标或注册商标 由各自的所有人拥有 注意 您购买的产品 服务或特性等应受上海云轴公司商业合同和条款的约束 本文档中描述的全部或部 分产品 服务或特性可能不在您的购买或使用范围之内 除非合同另有约定 上海云轴公司对本文 档内容不做任何明示或暗示的声明或保证 由于产品版本升级或其他原因 本文档内容会不定期进行更新 除非另有约定 本文档仅作为使用 指导 本文档中的所有陈述 信息和建议不构成任何明示或暗示的担保 I

4 运维手册 / 目录 目录 版权声明... I 1 引言 概述 系统架构 ZStack功能架构 ZStack资源结构 网络配置 安装部署 环境准备 安装ZStack ZStack管理节点模式 企业版或社区版 ZStack计算节点 ZStack专家模式 部署ZStack 升级ZStack 登录 云资源池 云主机 硬件设施 区域...71 集群...71 物理机 主存储 本地存储 NFS Ceph Fusionstor Shared Mount Point 镜像服务器 网络 二层网络 三层网络 扁平网络 云路由网络...83 VXLAN 网络服务 安全组 虚拟IP 弹性IP 端口转发 负载均衡 IPsec隧道 平台管理 II

5 运维手册 / 目录 10.1 账户 基本运维 安装部署 启动服务 zstack-ctl命令 zstack-cli命令 重连物理机 重连主存储 重连镜像服务器 云主机异常 日志分析 网络脚本 基础设置 高级设置 其他配置运维 安装多个管理节点 配置独立的MySQL服务器 配置独立的RabbitMQ服务器 zstack.properties核心配置文件 ZStack计算节点密码变更 ZStack管理节点更改物理环境 ZStack数据库备份与恢复 本地存储空间扩容 常见问题 授权 术语表 III

6 运维手册 / 目录 IV

7 运维手册 / 1 引言 1 引言 产品版本 目前与本文档相对应的产品版本为 ZStack企业版 2.0 读者对象 本文档详述了ZStack企业版 2.0在安装部署使用过程中需要注意的事项 以及管理运维过程中的常 见问题解决方案 本文档主要适用于以下读者 部署运维工程师 技术支持工程师 对ZStack有兴趣研究的相关人员 版本更新 全新UI 2.0界面 2. 支持管理多个区域 3. 支持VXLAN网络 4. 本地存储在线迁移云主机 5. 支持在线修改CPU 内存 6. 资源审计功能 7. 支持导出csv文件 8. UI开放全部全局配置选项 9. 优化部分业务逻辑 1

8 运维手册 / 2 概述 2 概述 产品概述 ZStack是下一代开源的云计算IaaS 基础架构即服务 软件 它主要面向未来的智能数据中心 通 过提供灵活完善的APIs来管理包括计算 存储和网络在内的数据中心资源 用户可以利用ZStack快 速构建自己的智能云数据中心 也可以在稳定的ZStack之上搭建灵活的云应用场景 例如VDI 虚 拟桌面基础架构 PaaS 平台即服务 SaaS 软件及服务 等 图 1: 系统架构示意图 产品功能 ZStack作为轻量级私有云平台 提供了对用户数据中心的计算 存储 网络等资源的管理和调度 用户使用ZStack可以快速配置私有云环境 并快速创建云主机 分配云盘和自动配置云主机网络 ZStack企业版功能列表 2

9 运维手册 / 2 概述 类别 特性 ZStack企业版 支持对现有数据中心中的VMware虚拟化环境进行管理 能够 接管vCenter 查看VMware vcenter Server所管理的vSphere服务器资源和 虚拟机资源 能够在虚拟数据中心中使用VMware vsphere资 源 并在VMware vcenter集群中完成对云主机的常用操作 区域 用户可以根据实际情况创建并管理多个区域 一般情况下可将 管理多个区域 一个物理数据中心归为一个Zone来管理 用户根据不同的业 务需求 每个Zone内建立自己独立的集群 主存储 网络等 资源 存储架构 物理主机 集群 云主机 集群功能 网络服务 虚拟化 资源设定超分 嵌套虚拟化 物理主机 实时监控 停用与启用 维护模式 云主机 高可用 集群内管理物理主机 集群内管理云主机 提供高可用特性 支持VLAN网络加载到集群并统一管理 提供网络自助服 务 IP池管理和弹性网络 支持KVM虚拟化技术 支持VMware虚拟化 支持CPU 内存和存储空间设定超分比例 适应云环境资源 使用 支持KVM/ESXi嵌套虚拟化 云主机内部开启CPU硬件虚拟化 功能 采集物理主机的CPU 内存 存储和网络运行数据 提供图 形可视化 对物理主机设定可用属性 以便停止在该物理主机上创建云主 机 对物理主机设定维护状态 设定维护模式后 共享存储对应的 物理主机的云主机将会进入迁移状态 操作日志 展示物理主机执行任务的事件审计 批量操作 批量创建/删除多个云主机 云主机控制台 云主机在线快照 云盘在线快照 集群内使用同构存储服务 存储服务挂载到集群 提供云主机 用户可通过终端方式访问云主机 而不依赖云主机远程工 具 支持控制台设置密码 在云主机运行过程中进行快照 在云盘挂载状态中进行快照 3

10 运维手册 / 2 概述 类别 特性 云主机在线修改密码 ZStack企业版 支持Windows/Linux OS 在线修改密码 云主机QGA开关 灵活控制qemu guest agent的状态 云主机显卡切换 支持选择云主机显卡类型 qxl cirrus vga 云主机克隆 基于云主机快速克隆若干个云主机 基于ISO部署 基于ISO系统光盘部署云主机 引导安装程序 基于模板部署 基于系统模板创建云主机 制作镜像模板 基于当前某个云主机制作模板 云主机启动顺序 动态加载卸载云盘 实时性能监控 高可用特性 在线修改云 主机CPU/内存 实时更新云 盘和网络QoS SSH密钥注入 自定义计算规格 自定义标签 资源删除保护 调整云主机的启动顺序 用于切换ISO启动 云主机可动态加载和卸载云盘 支持优化驱动模型 支 持SCSI WWN号唯一识别 采集云主机的CPU 内存 存储和网络运行数据 提供图形 可视化 物理主机故障 云主机自动重启 支持云主机运行状态下修改CPU和内存 立即生效 提供云盘和网络的限速能力 避免单个云主机占用过量资源 支持Linux和BSD操作系统SSH密钥注入 支持创建和删除秘 钥 支持自定义计算规格 满足各种应用资源消耗特性 支持自定义标签 满足查询和编写定时任务 云资源删除后 将移入回收站 提供恢复和确认销毁 冷迁移 支持所有主存储类型上的云主机进行关机状态迁移 热迁移 支持所有主存储类型上的云主机进行运行状态迁移 Windows系统性能优化 提供Windows云主机性能优化加速 镜像管理 镜像仓库 4 系统模板 支持系统模板 支持QCOW2和RAW格式 自动匹配镜像类 型 ISO镜像 支持ISO镜像 支持从ISO镜像引导云主机 镜像存放 存放镜像数据 包括ISO和系统模板

11 运维手册 / 2 概述 类别 特性 镜像导出 标准系统镜像 ZStack企业版 支持镜像导出下载链接 支持标准的系统 支持Windows 红帽 Ubuntu和其他开 源Linux系统 支持众多的软件运行环境 支持Windows IIS和Dot Net Framework运行环境 支持Linux Tomcat JAVA Apache 预设运行镜像 Web Jboss PHP Node JS Golang Python等语言和运 行环境 支持数据库Oracle MySQL Postgres Mongodb Influxdb Cassandra和Redis等数据库服务 支持广泛的应 用中间件 支持众多的应用系统 论坛BBS 社交SNS 博客Blog 微博 预设应用镜像 的常用应用系统 支持phpmyadmin等运维管理应用 支持厂 商提供的应用镜像 支持管理员根据标准系统镜像和预设运行镜像 定义满足自身 自定义镜像 业务系统运行环境的镜像 以增量方式保存镜像内容 并实现 智能去重功能 本地存储 支持云盘存放到物理机本地 NFS存储 支持云盘存放到NFS协议存储 物理主机共享访问 共享存储 支持云盘存放到POSIX兼容的共享存储 支持iSCSI/FC存储 支持共享云盘 存储管理 Ceph存储 超融合管控节点高可用方案 支持指定不同性能的磁盘卷创建云盘 支持云盘存放到Ceph分布式存储 FusionStor存储 支持云盘存放到FuionStor分布式存储 VLAN二层隔离 支持VLAN 802.1q作为网络隔离手段 VXLAN网络 网络管理 支持VXLAN网络 有效解决云数据中心逻辑网段不足 上层 交换机MAC地址溢出等问题 支持云主机跨地域迁移 分布式扁平网络 支持云主机直接使用真实网络IP资源 分布式弹性网络 支持云主机使用虚拟网络地址 与真实网络映射 分布式DHCP服务 支持云主机自动获取分配的IP地址 网络地址空间预留 支持预留网络地址空间 以便与物理网络混合使用 动态和静态分配IP 支持动态分配IP地址 支持指定使用某个IP地址 5

12 运维手册 / 2 概述 类别 特性 多级网络管理 ZStack企业版 支持云主机接入多个网络 构建复杂场景的业务 支持基于云路由的弹性IP 支持基于云路由的端口转发 云路由网络 支持基于云路由的负载均衡 支持基于多个EIP绑定同一个云主机网卡 支持基于云路由的IPsec隧道服务 定时任务 安全管理 性能分析 定时对象 支持云主机 云盘的定时操作 定时操作 可对云主机关闭/重启 云盘快照等设置定时操作 三层安全策略 安全组统一管理 支持安全组统一管理云主机安全策略 云主机性能统计 支持云主机CPU 内存 磁盘和网络的性能分析 排序筛选 物理主机性能统计 物理主机监控 实时监控 审计 支持基于TCP/UDP端口的安全策略 云主机监控 支持物理主机CPU 内存 磁盘和网络的性能分析 排序筛 选 支持物理主机运行实时监控 显示CPU 内存 磁盘和网络 时序监控图 支持云主机运行实时监控 显示CPU 内存 磁盘和网络时 序监控图 警报功能 支持物理机失联或其他原因引起的故障警报 日志记录 记录云主机和物理主机的操作记录 资源审计 导出csv文件 账户和用户管理 支持ZStack所有资源的审计查询 用户能对该资源的所有操 作行为审计 有效保障用户在云环境下核心数据的安全 支持云主机列表和物理机列表导出为csv表格 方便统计分析 处理 账户管理功能 分为账户和用户 其中账户是资源计量团 体 用户可定义操作权限 支持自定义分配账户最大可用资源 包括云主机运行数 账户管理 账户云资源配额 总容量和弹性IP数量 用户组权限分配 用户操作权限分配 6 量 CPU 内存 云盘数量 云盘总容量 镜像数量 镜像 支持用户组权限分配 统一编排用户权限 支持对用户进行权限分配

13 运维手册 / 2 概述 类别 特性 云主机更改所有者 云盘更改所有者 ZStack企业版 支持变更云主机所有者 指定云主机所属账户 支持变更云盘所有者 指定云盘所属账户 计算规格指定分配 支持计算规格共享特性 可指定账户是否可使用 镜像资源指定分配 支持镜像资源共享特性 可指定账户是否可使用 云盘规格指定分配 支持云盘规格共享特性 可指定账户是否可使用 网络资源指定分配 支持网络资源共享特性 可指定账户是否可使用 管理员可以直接在UI上对很多特性进行全局配置 全局配置 所有的全局配置都有一个默认值 更新全局配置并不需要重启管理节点 支持自定义CPU 内存 系统云盘和数据云盘的计费单 自定义计费单价 费设置 计费 基于账户计费 基于账户进行计费 统计账户各项目消费情况 灵活计费单价 动态可调的计费单价 满足周期性促销需求 TUI 图形界面 访问 命令行 API接口 价 其计费单价支持秒 分 小时和天 支持删除某时段的计 支持常用运维操作 定制化OS界面 支持Web图形界面的访问云管理平台 账户 用户和LDAP支 持图形界面登陆访问 支持通过命令行方式访问云管理平台 命令行支持全功能访 问 账户和用户支持命令行登陆访问 支持全功能的API交付 API支持消息总线访问和HTTP接口访 问 7

14 运维手册 / 3 系统架构 3 系统架构 ZStack作为新一代轻量级私有云管理平台 通过提供灵活完善的APIs来管理包括计算 存储和网络在内 的数据中心各种资源 3.1 ZStack功能架构 ZStack功能架构如图 2: ZStack功能架构所示 图 2: ZStack功能架构 ZStack提供了对企业数据中心基础设施的计算 存储 网络等资源的管理 底层支持KVM 和VMware虚拟化技术 支持DAS/NAS/SAN/DFS等存储类型 支持本地存储 NFS存储 SAN存 储 分布式块存储 支持VLAN/VXLAN等网络模型 ZStack的核心云引擎 使用消息总线RabbitMQ同数据库MariaDB及各服务模块进行通信 提供了云 主机管理 物理机管控 存储调度 网络功能 账号计费 实时监控等功能 ZStack还提供了Java 和Python的SDK 且支持Restful APIs进行资源调度管理 基于ZStack打造的专有云管理平台充分 体现专有云的4S优势 即 简单Simple 强壮Strong 弹性Scalable 智能Smart ZStack核心架构设计特点 1. 全异步架构 异步消息 异步方法 异步HTTP调用 ZStack使用消息总线RabbitMQ进行各服务的通信连接 在调用服务时 源服务发消息给目的 服务 并注册一个回调函数 然后立即返回 一旦目的服务完成任务 就会触发回调函数回 复任务结果 异步消息可以并行处理 ZStack服务之间采用异步消息进行通信 对于服务内部 一系列相关组件或插件 也是通过 异步方法来调用 调用方法与异步消息一致 8

15 运维手册 / 3 系统架构 ZStack采用的插件机制 给每个插件设置相应的代理程序 ZStack为每个请求设置了回 调URL在HTTP的包头 任务结束后 代理程序会发送应答给调用者的URL 基于异步消息 异步方法 异步HTTP调用这三种方式 ZStack构建了一个分层架构 保证了 所有组件均能实现异步操作 基于全异步架构机制 单管理节点的ZStack可并发处理数万条API请求 还可同时管理数十万 台服务器和数百万的云主机 2. 无状态服务 单次请求不依赖其他请求 ZStack的计算节点代理 存储代理 网络服务 控制台代理服务 配置服务等 均不依赖其 他请求 一次请求可包含所有信息 相关节点无须维护存储任何信息 ZStack使用一致性哈希环对管理节点 计算节点或者其他资源以UUID为唯一ID进行认证的哈 希环处理 消息发送者无需知道待处理消息的服务实例 服务也无须维护 交换相关的资源 信息 服务只需单纯的处理消息即可 ZStack管理节点间共享的信息非常少 两个管理节点即可满足高可用性和可扩展性需求 无状态服务机制让系统更为健壮 重启服务器不会丢失任何状态信息 数据中心的弹性扩展 和伸缩性维护更为简单 3. 无锁架构 一致性哈希算法 一致性哈希算法保证了同一资源的所有消息均被同一个服务实例来处理 这种聚合消息到特 定节点的方法 降低了同步与并行的复杂度 ZStack使用工作队列来避免竞争锁的问题 串行任务以工作队列的方式保存在内存中 工作 队列可对任意资源的任意操作进行并行处理来提高系统并行度 ZStack基于队列的无锁架构 使得任务可以简单地控制并行度 从而提升系统性能 4. 进程内微服务 微服务解耦 ZStack使用消息总线对各服务进行隔离控制 例如 云主机服务 身份认证服务 快照服 务 云盘服务 网络服务 存储服务等 所有的微服务都集合在管理节点的进程内 各服务 之间利用消息总线进行交互 所有消息发送到消息总线后 再通过一致性哈希环选择目的服 务进行转发处理 进程内微服务 以星状架构实现各服务独立运行 将高度集中的控制业务进行解耦 实现了 系统的高度自治和高度隔离 任何服务出现故障并不影响其他组件 可靠性与稳定性得到有 效保障 5. 全插件结构 插件支持横向扩展 9

16 运维手册 / 3 系统架构 ZStack使用中任何新加入的插件对目前其他的插件没有任何影响 均是独立自主提供服务 ZStack支持策略模式和观察者模式进行插件设计 策略插件会继承父类的接口然后执行具体 实现 观察者插件 会注册listener进行监控内部的业务逻辑的事件变化 当应用内部发现事 件时 插件会对此事件做出自响应 在插件自身的代码里执行相应的业务流 ZStack支持插件的横向扩展 云平台可以快速更迭 而整体系统架构依然健壮 6. 工作流引擎 顺序管理 出错回滚 ZStack工作流基于XML对每个工作流程进行清晰定义 在任何步骤出现错误均可按照原本执 行路径进行回滚 清理掉执行过程的垃圾资源 每个工作流还可以包含子工作流用于扩展业务逻辑 7. 标签系统 支持业务逻辑变更 增加资源属性 ZStack支持利用系统标签和插件机制对原本的业务逻辑进行扩展变更 使用标签机制 可对资源进行分组划分 支持对指定标签进行资源搜索 8. 瀑布流架构 支持资源的级联操作 ZStack使用Cascade Framework对资源管理进行瀑布状的级联操作 对资源进行卸载或者删 除时 会对相关的资源进行级联操作 资源也可以通过插件形式加入到瀑布框架中 加入或者退出瀑布框架 并不影响其他资源 级联机制使得ZStack的配置灵活轻便 快速满足客户资源配置的变更 9. 全自动化Ansible部署 Ansible无代理自动部署 ZStack使用Ansible进行无代理的全自动化安装依赖 配置物理资源 部署代理程序 全过程 对用户透明 无须额外干预 可透过重连代理程序对代理进行升级 10.全API查询 任意资源的任意属性均可查询 ZStack支持数百万个条件的资源查询 支持全API查询 支持任意组合 3.2 ZStack资源结构 ZStack在本质上是云资源的配置管理系统 ZStack管理的相关资源在结构上如图 3: ZStack资源结 构所示 图 3: ZStack资源结构 10

17 运维手册 / 3 系统架构 ZStack主要包括以下资源 区域 ZStack中最大的一个资源定义 包括集群 二层网络 主存储等资源 集群 集群是一群计算节点 物理机 的逻辑组合 物理机 为云主机实例提供计算 网络 存储的物理主机 主存储 用于存储云主机磁盘文件的存储服务器 支持本地存储 NFS Ceph Fusionstor Shared Mount Point等类型 镜像服务器 备份存储服务器 主要用于保存云主机的镜像模板文件 二层网络 二层广播域 进行二层相关的隔离 支持 L2NoVlanNetwork L2VlanNetwork VxlanNetworkPool VxlanNetwork类型 三层网络 云主机使用的网络配置 包含了IP地址范围 网关 DNS 网络服务等 计算规格 云主机的CPU 内存 磁盘带宽 网络带宽的数量或大小规格定义 云盘规格 云主机使用的云盘的大小规格定义 云主机 直接交付给用户使用的虚拟主机系统 是ZStack的核心组成部分 镜像 云主机所使用的镜像模板文件 包括ISO和Image类型 根云盘 云主机的系统云盘 用于支撑云主机的系统运行 11

18 运维手册 / 3 系统架构 数据云盘 云主机使用的数据云盘 一般用于扩展的存储使用 网络服务模块 用于提供网络服务的模块 在UI界面已隐藏 网络服务 给云主机提供的各种网络服务 主要包括安全组 虚拟IP 弹性IP 端口转发 负载 均衡 IPsec隧道等 快照 采用增量机制对云盘在特定时间点上的数据进行备份 安全组 给云主机提供三层网络防火墙控制 云路由规格 指定云路由设备使用的CPU 内存 云路由镜像 管理网络 公有网络等资源定 义 云路由设备 为云主机提供DHCP DNS SNAT 弹性IP 端口转发 负载均衡 IPsec 安全 组等各种网络服务的定制云主机 ZStack资源间存在以下关系 父子关系 例如集群和物理机 物理机和云主机 兄弟关系 例如集群和二层网络 集群和主存储 祖先和后裔关系 例如集群和云主机 区域和物理机 朋友关系 例如主存储和镜像服务器 区域和镜像服务器 注: 主存储和镜像服务器的关系为 创建VM时 主存储会从镜像服务器下载复制云主机的镜像模板文件作为缓存 创建镜像时 主存储会将根云盘拷贝到备份存储进行保存为模板 ZStack资源均含有以下基本属性 UUID 通用唯一识别码UUIDv4 Universally Unique Identifier 来唯一标识一个资源 名称 用于标记资源的可读字符串 名称可以重复 一般为必选项 描述 也称之为简介 用于概述资源 可选项 创建日期 资源创建的日期 上次操作日期 资源上次被更新的时间 ZStack资源一般都支持CRUD操作 创建 创建或者添加新的资源 查询 读取查询资源信息 更新 更新资源信息 12

19 运维手册 / 3 系统架构 删除 删除资源 ZStack使用的瀑布框架级联机制 使得父资源被删除后 相关子资源和后裔资 源均会被删除 13

20 运维手册 / 4 网络配置 4 网络配置 ZStack支持复杂的网络场景 根据业务需求和实际环境 下面列出了几种常见的网络架构 1. 本地存储+扁平网络架构 其架构如图 4: 本地存储 +扁平网络所示 此架构支持以下特性 物理机使用本地存储来存储云主机的系统盘和数据盘 云主机数据保护需要依赖物理机的RAID阵列技术 物理机和云主机在同一个二层网络 云主机IP可与物理机IP互通 支持分布式DHCP 分布式弹性IP Userdata服务 云主机在线迁移受限 成本低廉 并发性能高 适用于软件开发测试环境 应用层可提供高可用的场景 图 4: 本地存储 +扁平网络 管理网络 负责管理各计算节点及存储节点资源的网络 图示的em01即为管理节点使用的网卡 是管理节点用于和计算节点及镜像服务器通信的网络 数据网络 给云主机使用的网络 图示的em02即为创建云主机使用的网络 云主机的网络如果设置与物理机同一网段 就可以与物 理机互通 IP互通时 注意IP段不可重叠 可以设置Vlan或VXLAN进行二层隔离 网络隔离后 云主机只能在私网内使用 无法直接访问外 部网络 需要使用弹性IP机制来实现网络互通 镜像服务器 镜像服务器可以使用单独的服务器提供服务 在小型的数据中心 也可与管理节点使用同一台机器 2. NAS/SAN +云路由网络架构 其架构如图 5: NAS/SAN +云路由网络所示 此架构支持以下特性 云主机数据存放在集中存储 云盘数据通过存储双控和RAID技术提供保护 需要准备存储网络 准备集中存储 建议万兆以上网络 云主机受高可用保护 添加到ZStack时 可添加为NFS或Shared Mount Point主存储 构建了存储网 云主机支持高可用 数据支持安全保护 IO性能有瓶颈 建议8 10计算节点共用 一个存储 使用云路由设备提供DHCP DNS SNAT 弹性IP 端口转发 负载均衡 IPsec 安全组等网络 服务 14

21 运维手册 / 4 网络配置 需要一定的投资 适用于传统应用 应用数据紧密 SLA高可用保证 数据安全场景 图 5: NAS/SAN +云路由网络 管理网络 负责管理各计算节点及存储节点资源的网络 图示的em01即为管理节点使用的网卡 是管理节点用于和计算节点及镜像服务器通信的网络 数据网络 同一个物理接线通过Vlan设置为公有网络和私有网络 其中公有网络为不带Vlan的em02 可以访问互联网 私有网络为Vlan编号为10的em02 交换机端 需设置trunk模式 云主机可以通过云路由设备访问互联网 云路由网络使用云路由设备来提供各 种网络服务 云路由设备的网络默认IP为公有网络的IP地址 注: 如果物理机网卡较少 管理网络和数据网络可以合并为同一个网络 存储网络 用于提供NAS/SAN存储的网络 建议使用万兆以太网或FC 加速存储访问 图示使用的是em03来专门提供存储网络流量的访问 镜像服务器 镜像服务器可以使用单独的服务器提供服务 在小型的数据中心 也可与管理节点使用同一台机器 3. Ceph+VXLAN云路由网络架构 其架构如图 6: Ceph + VXLAN云路由网络所示 此架构支持以下特性 云主机数据存放在分布式存储 数据通过多副本和纠删码机制提供保护 需要准备存储网络 云主机受高可用保护 Ceph主存储和Ceph镜像服务器使用同一套分布式存储 构建了存储网 云主机支持高可用 数据支持多副本 计算和存储都可以横向扩展 使用VXLAN的VTEP提供二层逻辑子网 VXLAN Underlay网络供云主机访问 使用云路由设备提供DHCP DNS SNAT 弹性IP 端口转发 负载均衡 IPsec 安全组等网络 服务 适用于租用平台 通用型应用 应用数据紧密 SLA高可用保证 大规模环境 图 6: Ceph + VXLAN云路由网络 15

22 运维手册 / 4 网络配置 管理网络 负责管理各计算节点及存储节点资源的网络 图示的em01即为管理节点使用的网卡 是与计算节点和分布式存储通信的网络 公有网络 可以访问外部互联网的网络 云主机可以通过云路由设备访问互联网 云路由网络使用云路由设备来提供各种网络服务 云路由 设备的网络默认IP为公有网络的IP地址 图示使用的em02来提供公有网络服务 如果网卡不足 也可将管理网络和公有网络合并为一个网 络使用 VXLAN Underlay网络 给云主机使用的VXLAN Underlay私有网络 基于三层IP地址的二层逻辑网络 例如图示采用的是 x/24的VTEP来提供VNI为201的私 有网络 存储网络 用于提供分布式块存储的网络 用于提供分布式块存储的网络 建议使用万兆以太网或FC 加速存储访问 例如图示的em03的存储网络 Ceph分布式存储至少需要有一个Mon IP可与管理网络互通 16

23 运维手册 / 5 安装部署 5 安装部署 本章主要介绍ZStack企业版 2.0的安装部署以及升级过程 5.1 环境准备 前提条件 安装/升级ZStack都必须使用ZStack定制版ISO ZStack定制版ISO特性如下 1. 基于CentOS-7-x86_64-Minimal-1511.ISO深度定制 友好的TUI管理界面 支持多种系统配置 2. 安装ZStack无需连接外网 也无须配置yum源 就可以实现ZStack的完全离线安装 3. 提供四种安装模式 企业版管理节点模式 社区版管理节点模式 计算节点模式 专家模式 用 户根据需求选择即可 4. 取消了eth设置 采用系统默认的网卡命名规则 5. 默认选项 DATE&TIME为亚洲东八区 LANGUAGE为English KEYBOARD为English(US) 操作步骤 1. 安装ZStack之前准备好ZStack定制版ISO和ZStack安装包 并通过MD5校验工具核对校验码 以 确保软件完整无损 ZStack定制版ISO 文件名称 ZStack-x86_64-DVD-2.0.x.iso 下载地址 点击这里 ZStack安装包 文件名称 ZStack-installer-2.0.x.bin 下载地址 点击这里 2. 使用UltraISO 将此ISO刻录到U盘 a) 打开UltraISO 点击文件按钮 选择打开已下载好的ISO文件 图 7: 在UltraISO打开此ISO 17

24 运维手册 / 5 安装部署 b) 点击启动 > 写入硬盘映像 图 8: 在UItraISO写入硬盘映像 c) 在硬盘驱动器列表选择相应的U盘进行刻录 注: 如果系统只插了一个U盘 则默认以此U盘进行刻录和写入 在刻录前 注意备份U盘 之前的内容 18

25 运维手册 / 5 安装部署 其他选项 按照默认设置 无须额外配置 点击写入 图 9: 点击写入 d) 在新界面中点击是进行确认 UltraISO将会把此ISO刻录到U盘 e) 此时U盘可用来作为启动盘 支持Legacy模式和UEFI模式引导 3. 安装操作系统 a) 管理员需要预先在服务器进行以下配置 确认服务器内硬盘的数据已作备份 安装过程会覆盖写入 进入BIOS 开启CPU VT选项 开启超线程HT选项 进入阵列卡配置 合适的RAID级别 以提供一定的数据冗余特性 设置U盘为第一启动顺序 b) 以上设置完毕后 服务器重启或上电后 进入ISO引导安装界面 如所示 默认选择Install ZStack开始安装操作系统 图 10: U盘引导界面 19

26 运维手册 / 5 安装部署 c) 进入系统安装界面后 已经预先配置默认选项 DATE&TIME为亚洲东八 区 LANGUAGE为English KEYBOARD为English(US) 一般情况下管理员无需更改配 置 如图 11: 系统安装界面所示 图 11: 系统安装界面 20

27 运维手册 / 5 安装部署 d) 进入SOFTWARE SELECTION配置界面 注: 如图 12: 选择安装模式所示 有四种安装模式可供选择 ZStack Enterprise Management Node ZStack Community Management Node ZStack Compute Node ZStack Expert Node 关于这四种模式的详细介绍将在下文展开 在四种模式中 首次安装请选择ZStack Enterprise Management Node 图 12: 选择安装模式 21

28 运维手册 / 5 安装部署 e) 进入INSTALLATION DESTINATION配置界面 管理员选择指定的物理硬盘 执行自动分区 如图 13: 选择磁盘分区所示 也可选择自定义分 区安装 注: 不要把用于安装系统给的U盘也选中 图 13: 选择磁盘分区 22

29 运维手册 / 5 安装部署 f) 进入NETWORK & HOST NAME配置界面 如图 14: 选择网卡所示 1. 选中待配置网卡 2. 开启网卡 3. 查看获取的DHCP地址 图 14: 选择网卡 23

30 运维手册 / 5 安装部署 g) 如果无法获取DHCP地址 或者需要手动配置静态地址 按如图 15: 配置网卡静态IP所示操 作 1. 点击Configure 进入IPv4 Settings选项页 3. 在Method列表选择Manual以进行手动配置 4. 点击Add增加新的配置条目 5. 根据实际情况配置网卡地址信息 6. 点击Save保存 图 15: 配置网卡静态IP 24

31 运维手册 / 5 安装部署 h) 为了使网卡在重启之后自动启动 按图 16: 设置网卡自动连接所示操作 1. 点击Configure 进入General选项页 3. 勾选Automatically connect to this network when it is available 4. 点击Save保存 注: 注意网卡配置项 必须保证有一个网卡是开启且配置了地址的 否则ZStack无法正 常安装 图 16: 设置网卡自动连接 25

32 运维手册 / 5 安装部署 i) 回到系统安装主界面 点击Begin Installation开始安装 如图 17: 点击Begin Installation所 示 图 17: 点击Begin Installation 26

33 运维手册 / 5 安装部署 j) 如图 18: 系统安装过程界面所示 安装过程自动进行 安装过程中请设置root password 图 18: 系统安装过程界面 27

34 运维手册 / 5 安装部署 k) 安装完毕后 点击重启 即可启动进入ZStack定制版CentOS7.2系统 注: 选择企业版管理节点模式或社区版管理节点模式或计算节点安装模式 系统重启后 会自动安装对应的ZStack软件 选择专家模式 系统重启后进入shell界面 由高级用户自定义安装 5.2 安装ZStack 本节主要介绍ZStack企业版 2.0的四种安装模式以及TUI的功能介绍 ZStack TUI简介 ZStack TUI是专为ZStack集群中物理服务器准备的一套用户界面 其意义包含两方面 分流UI的部分功能 将针对服务器的配置密码 配置网络 重启机器等操作从UI中剥离出来 集中显示在TUI中 降低管理员登陆服务器的频率 这是为了在降低物理机维护难度的同时 保护物理机内部的配置不被损坏 28

35 运维手册 / 5 安装部署 用户可以用Ctrl+Alt+F1 再使用Ctrl+Alt+F2 进入命令行模式 按下Ctrl + Alt + F11可以进入保留终 端 用户可以在里面执行常规命令 但是请谨慎使用 以免对系统造成破坏 影响ZStack服务运 行 ZStack定制版ISO四种安装模式 企业版管理节点模式 社区版管理节点模式 计算节点模式 专家模式 注: 企业版管理节点模式与社区版管理节点模式的区别在于license的不同导致相关功能的不 同 企业版管理节点模式与社区版管理节点模式在安装步骤上完全相同 四种安装模式的步骤介绍 1. 企业版管理节点模式 安装基础系统 安装MariaDB RabbitMQ等ZStack依赖包 安装企业版管理节点TUI 自动安装并启动ZStack及其UI 2. 社区版管理节点模式 安装基础系统 安装MariaDB RabbitMQ等ZStack依赖包 安装社区版管理节点TUI 自动安装并启动ZStack及其UI 3. 计算节点模式 安装基础系统 安装Libvirt Qemu等虚拟化组件 安装计算节点TUI 4. 专家模式 安装基础系统 安装MariaDB RabbitMQ等ZStack依赖包 安装管理节点TUI 29

36 运维手册 / 5 安装部署 允许用户在系统安装结束后手动执行各种系统配置 如配置Vlan等 然后手动安装并启 动ZStack 由于企业版管理节点模式与社区版管理节点模式在安装步骤上完全相同 下面以管理节点TUI 企 业版管理节点模式与社区版管理节点模式合为一篇 为主介绍其功能和使用方法 ZStack管理节点模式 企业版或社区版 如果用户选择企业版管理节点模式或社区版管理节点模式 重启后会自动安装ZStack管理节点 安 装完成后将自动进入TUI 如图 19: 自动安装ZStack管理节点所示 图 19: 自动安装ZStack管理节点 1. TUI主界面 TUI的主界面实时显示物理机的主要信息 如图 20: TUI界面所示 图 20: TUI界面 30

37 运维手册 / 5 安装部署 NODE INFO显示管理节点当前状态 包括服务是否运行 UI是否运行 ZStack版本以及UI地 址等 TIME INFO显示当前时间 服务器启动时间 服务器运行时长 服务器平均负载等 DISK INFO显示ZStack默认安装目录以及日志目录等的剩余磁盘空间 NIC INFO显示管理节点所有物理网卡的信息 其中DOWN表示网卡关闭 UP表示网卡启 动 MN表示该网卡为管理网卡 HOST INFO显示当前ZStack集群共有多少台计算节点 其中Enabled和Connected的各有多 少 VM INFO显示当前ZStack集群共有多少台云主机 其中Running和Stopped的各有多少 CPU USAGE和MEM USAGE分别显示该管理节点的实时资源利用率 主界面还提供了进入系统配置和重启/关机两个入口 根据提示按下F2或者F12即可进入相应窗 口 2. 系统密码 31

38 运维手册 / 5 安装部署 在主界面按下F2或者F12时 需要首先输入系统密码 因为无论系统配置还是重启/关机都属于 特权操作 下图中显示了输入系统密码的窗口 根据提示输入ROOT密码 回车即可 图 21: 输入密码 若密码不正确 操作会被阻止 TUI返回主界面 图 22: 输入密码错误 32

39 运维手册 / 5 安装部署 注: 任何时候 只要按下ESC键 就可以退出当前窗口 返回系统配置界面 3. 系统配置 系统配置的功能包括 修改密码 测试网络 配置网络 配置管理网络 配置控制台代理 收集 日志 备份数据库 启动/关闭/重启ZStack服务 重装ZStack服务 重装ZStack服务并删除数据 库 终端信息等 如图 23: 系统配置所示 图 23: 系统配置 33

40 运维手册 / 5 安装部署 系统配置界面提供若干系统配置入口 使用上下键移动光标 选择需要的配置按钮 按下回车即 可进入相应配置界面 对于熟悉Vim的用户 也可以使用j和k实现光标上下移动 根据提示 按下F2可以退出至主界面 再次回到系统配置界面时需要重新输入ROOT密码 修改密码 将光标移动至Change Passwords处 按下回车 即可进入密码配置窗口 该配置项集中了 管理节点需要的四种密码修改动作 修改系统密码 修改root账号的MySQL密码 修改zstack账号的MySQL密码 修改RabbitMQ密码 修改系统密码 图 24: 修改系统密码 34

41 运维手册 / 5 安装部署 根据提示输入旧系统密码 新系统密码以及新密码确认 回车即可 如果旧系统密码不正 确 或者密码确认不一致 都会弹出错误窗口 图 25: 确认界面 35

42 运维手册 / 5 安装部署 用户需要根据提示 输入Y以确认 修改MySQL密码 图 26: 修改MySQL密码 36

43 运维手册 / 5 安装部署 修改MySQL密码需要MySQL的root权限 因此首先需要输入MySQL root密码 然后根据提 示再输入新密码和密码确认 回车即可 如果MySQL root密码不正确 或者密码确认不一 致 都会弹出错误窗口 此操作需要重启ZStack服务 耗时较长 需要用户按Y键确认 修改RabbitMQ密码 图 27: 修改RabbitMQ密码 37

44 运维手册 / 5 安装部署 修改RabbitMQ密码需要管理员权限 因此首先需要输入系统root密码 然后根据提示再输入 新密码和密码确认 回车即可 如果系统密码不正确 或者密码确认不一致 都会弹出错误 窗口 此操作需要重启ZStack服务 耗时较长 需要用户按Y键确认 重命名网卡 38

45 运维手册 / 5 安装部署 MN和HOST都增加了Rename NIC按钮 因为MN可能添加自身为HOST 所有待添加 的HOST都必须网卡名归一化 该操作需要用户输入旧网卡名和新网卡名 其中 新网卡名必须满足 不能为空 不能形如ethx 不能是系统系统中已存在的网卡名 不能以br_开头 旧网卡名必须满足 不能为空 必须是系统中已存在的网卡名 不能是桥接网卡名 不能有对应的桥接网卡 输入完成后 按下回车 此操作需要用户按Y键确认 39

46 运维手册 / 5 安装部署 测试网络 图 28: 测试网络 将光标移动至Test Network处 按下回车 即可进入网络测试窗口 这里默认填写了 用户测试外网连接 若要测试内网连接 请自行填写内网IP 配置网络 图 29: 配置网络 40

47 运维手册 / 5 安装部署 将光标移动至Configure Networks处 按下回车 即可进入网络配置窗口 这里罗列了管理 节点中的所有处于启动状态并且分配有IP地址的物理网卡 将光标移动至目标网卡上 再次 回车 即可进入该网卡的配置界面 注: 如果所选网卡名称后带有(MN)的标记 则意味着修改管理网络配置 需要较长的 等待时间 请谨慎操作 图 30: 填写信息 41

48 运维手册 / 5 安装部署 所选网卡的已有配置会默认显示在输入框中 网关除外 用户可根据实际情况修改 如果 出现以下任何一种情况 均认为输入有误 有某个或某些输入项为空 有某个或某些输入项不是合法的IP地址 IP地址和网关不在掩码所确定的同一个子网内 图 31: 确认界面 42

49 运维手册 / 5 安装部署 配置管理网络 某些情况下可能导致管理网卡的失效 需要重新配置 将光标移动至Set Management Network处 按下回车 即可进入配置管理IP窗口 注: 配置管理网络耗时较长 请谨慎操作 图 32: 配置控制网络 43

50 运维手册 / 5 安装部署 配置终端代理 Console Proxy) 图 33: 配置终端代理 44

51 运维手册 / 5 安装部署 将光标移动至Configure Console Proxy处 按下回车 即可进入终端代理配置窗口 输入 代理IP和代理端口 回车即可 控制台代理的原值将被读出并填充在输入项内 用户可按实际需要进行修改 如果出现以下 任何一种情况 均认为输入有误 代理地址和端口均为空 代理地址不是合法的IP地址 端口号不是1024至65535之间的数字 此操作需要重置RabbitMQ服务 耗时较长 需要用户按Y键确认 收集日志 图 34: 收集日志 45

52 运维手册 / 5 安装部署 将光标移动至Collect Logs处 按下回车 即可进入日志收集窗口 点击回车即可将整个集 群 包括管理节点和计算节点 的日志收集 并置于HTTP服务中 图 35: 日志导出成功 46

53 运维手册 / 5 安装部署 图 36: 下载日志 图 37: 在线浏览日志 47

54 运维手册 / 5 安装部署 根据提示 用户可以通过浏览器直接访问所有日志内容 备份数据库 图 38: 备份数据库 48

55 运维手册 / 5 安装部署 图 39: 备份数据库成功 49

56 运维手册 / 5 安装部署 将光标移动至Backup Database处 按下回车 即可进入数据库备份窗口 回车即可导出数 据库至HTTP服务器中 以供下载 启动/关闭/重启ZStack服务 图 40: 启动/关闭/重启ZStack服务 50

57 运维手册 / 5 安装部署 将光标移动至Start/Stop/Restart ZStack Servicec处 按下回车 即可进入启动/关闭/重 启ZStack服务窗口 回车后 再次移动光标 选择具体操作并回车 根据提示 输入start zstack以确认启动zstack 输入stop zstack以确认停止zstack 输入restart zstack以重 启ZStack 图 41: 启动ZStack服务 51

58 运维手册 / 5 安装部署 图 42: 关闭ZStack服务 52

59 运维手册 / 5 安装部署 图 43: 重启ZStack服务 53

60 运维手册 / 5 安装部署 重装ZStack 图 44: 重装ZStack 54

61 运维手册 / 5 安装部署 将光标移动至Reset ZStack Service 按下回车 即可进入重装ZStack窗口 该操作属于极 其危险的操作 需要用户输入reset zstack 才能回车确认 重装ZStack并清空数据库 图 45: 重装ZStack并清空数据库 55

62 运维手册 / 5 安装部署 将光标移动至Reset ZStack Service&Drop Database处 按下回车 即可进入重 置ZStack和数据库窗口 该操作与上一操作一样属于极其危险的操作 而且在重装ZStack的 同时还会清空已有的数据库 需要用户输入reset zstack drop database 才能回车确认 注: 请谨慎使用此功能 进入终端 图 46: 进入终端提示 56

63 运维手册 / 5 安装部署 ZStack TUI为用户保留了进入终端的入口 将光标移动至Terminal Info处 回车即可看到入 口信息 其中 按下Ctrl + Alt+ F2可以进入保留终端 用户可以在里面执行常规命令 但是请谨慎使 用 以免对系统造成破坏 影响ZStack服务运行 按下Ctrl + Alt + F3可以进入zstack-cli命令行界面 任何时候都可以通过按下Ctrl + Alt + F1返回ZStack TUI 4. 重启/关机 图 47: 重启/关机 57

64 运维手册 / 5 安装部署 在主界面按下F12即可进入重启/关机界面 用户选择将光标移动至Reboot或Poweroff按钮 回 车即可进入确认界面 图 48: 重启确认 58

65 运维手册 / 5 安装部署 图 49: 关机确认 59

66 运维手册 / 5 安装部署 两种操作都需要用户根据提示输入REBOOT或POWEROFF才可以回车确认 以免误操作 此外 在安装管理节点模式下 如果由于缺少网卡配置或者其他原因导致导致ZStack安装失 败 都会退出到终端 如安装ISO时 如果服务器没有可用IP 会导致无法正常安装ZStack管理 节点 可以配置网络后 再执行以下命令进行ZStack的安装 注: ZStack企业版安装执行bash /opt/zstack*installer.bin -E ZStack社区版安装执行bash /opt/zstack*installer.bin 图 50: 网卡异常情况处理 60

67 运维手册 / 5 安装部署 注: 手动安装ZStack的过程详见升级ZStack ZStack计算节点 如果用户选择计算节点安装模式 重启后会自动安装ZStack计算节点 安装完成后将自动进 入TUI 注: 部分场景下 需要all in one 的模式来搭建ZStack 这时应选用ZStack管理节点模式安 装 计算节点TUI VM_INFO列出了当前计算节点所运行的云主机的信息 包括UUID CPU核心数 内存容量和允许 状态等 其他信息模块与管理节点意义相同 不再赘述 如图 51: 计算节点主界面所示 图 51: 计算节点主界面 61

68 运维手册 / 5 安装部署 计算节点的TUI拥有管理节点TUI的部分功能 因此计算节点TUI基本上就是精简版的管理节 点TUI 使用方法与ZStack管理节点模式#企业版或社区版#相同 图 52: 计算节点配置界面 注: 管理节点可以添加计算节点的个数在技术上无限制 跟license有关 程序模拟过100万 个计算节点 ZStack专家模式 背景信息 如果用户选择专家模式 重启后会进入终端界面 安装专家模式后 按以下方法安装ZStack管理节点 操作步骤 1. 执行yum install zstack-manager 2. 执行以下命令安装ZStack企业版或社区版 62

69 运维手册 / 5 安装部署 注: ZStack企业版安装执行bash /opt/zstack*installer.bin -E ZStack社区版安装执行bash /opt/zstack*installer.bin 3. 安装成功后 安装程序会提示相关可访问的URL 以进行ZStack系统Web界面管理 安装完毕的界面如所示 请仔细阅读安装完成后的屏幕的输出以获取更多信息 图 53: 安装完成界面 注: ZStack安装完成后会自动安装nfs服务和http服务 分别为主存储和镜像服务器的测试 目录 请勿将生产环境的主存储和镜像备份目录放在这两个目录 63

70 运维手册 / 5 安装部署 部署ZStack 操作步骤 1. 在首次安装后 系统将自动启动ZStack服务 2. 管理节点重启后 ZStack服务将自动开机自启 3. 在管理节点因维护或其他异常原因停止服务后 需手动启动服务 启动ZStack服务的方法为 [root@localhost ~]#zstack-ctl start #此命令将同时启动管理节点和WEB UI服务 4. 用户可以使用以下命令查看ZStack管理节点相关服务的运行状态 [root@ ~]# zstack-ctl status ZSTACK_HOME: /usr/local/zstack/apache-tomcat/webapps/zstack zstack.properties: /usr/local/zstack/apache-tomcat/webapps/zstack/web-inf/classes/ zstack.properties log4j2.xml: /usr/local/zstack/apache-tomcat/webapps/zstack/web-inf/classes/log4j2.xml PID file: /usr/local/zstack/management-server.pid log file: /usr/local/zstack/apache-tomcat/logs/management-server.log MN status: Running [PID:30203] UI status: Running [PID:31287] 5. 用户也可以使用以下命令单独查看Web UI服务状态 [root@ ~]# zstack-ctl ui_status UI status: Running [PID:31287] 6. 在使用过程中如需重启管理节点服务 则需执行 zstack-ctl restart_node 7. 在使用过程中不建议全部停止及重启所有服务 如果确需重启所有服务 可执行以下命令进行重 启 zstack-ctl stop && zstack-ctl start 5.3 升级ZStack 前提条件 从ZStack旧版本的环境中升级到新版本的ZStack会出现如下提示 属于正常现象 这是由于缺少升 级新版本所必须的安装包 系统会给出这样的提示 如图 54: 升级失败提示所示 图 54: 升级失败提示 64

71 运维手册 / 5 安装部署 操作步骤 1. 升级ZStack之前准备好ZStack定制版ISO ZStack安装包和升级脚本 且均存放于管理服务器目 录/opt/下 并通过MD5校验工具核对校验码 确认与发行信息一致 ZStack定制版ISO 文件名称 ZStack-x86_64-DVD-2.0.x.iso 下载地址 点击这里 ZStack安装包 文件名称 ZStack-installer-2.0.x.bin 下载地址 点击这里 升级脚本 文件名称 zstack-upgrade 下载地址 点击这里 2. ZStack 升级前 管理员需对数据库进行备份 3. 管理员执行以下命令升级 ZStack管理服务 #升级有以下两种方式: # 1. 升级本地仓库和管理服务 [root@zstack-1 opt]# bash zstack-upgrade ZStack-x86_64-DVD-2.0.x.iso 65

72 运维手册 / 5 安装部署 # 2. 如果先升级本地仓库再升级管理节点: [root@zstack-1 opt]# bash zstack-upgrade -r ZStack-x86_64-DVD-2.0.x.iso [root@zstack-1 opt] # bash ZStack-x86_64-DVD-2.0.x.iso -u 4. 升级成功界面如图 55: 升级成功所示 图 55: 升级成功 66

73 运维手册 / 6 登录 6 登录 ZStack在安装部署完毕后 提示的URL一般为管理节点IP附带5000端口 假定管理节点IP地址为 那么使用UI进行控制的URL需要输入 建议使用chrome或firefox打开浏览器 系统首次登录时 默认账户名 admin 默认初始密码 password 默认登录时效为2小时 超时需重新登录 超时时间可以在全局设置界面进行配置 ZStack登录方式支持 账户登录 需输入账户名和账户密码 用户登录 需输入账户名和用户名和用户密码 LDAP登录 需输入LDAP UID和LDAP密码 LDAP需提前设置LADP服务器和LDAP账户绑定 67

74 运维手册 / 7 云资源池 7 云资源池 7.1 云主机 创建云主机需要的最重要的三个输入 1. 计算规格 用于确定云主机的CPU 内存大小 在分配资源前 ZStack会筛选那些拥有这些资源的物理机 作为候选来创建云主机 2. 镜像 用于确定使用哪个镜像来创建云主机 选择镜像时 假如此镜像对应的镜像服务器 为Imagestore或SFTP镜像服务器 则ZStack会自动选择那些 挂载了本地存储 NFS或者SharedMountPoint主存储的集群作为备选集群 假如此镜像对应的镜像服务器 为Ceph镜像服务器 则ZStack会自动选择挂载了此Ceph镜 像服务器对应的Ceph主存储的集群 假如此镜像对应的镜像服务器 为Fusionstor镜像服务器 则ZStack会自动选择挂载了 此Fusionstor镜像服务器对应的Fusionstor主存储的集群 3. 网络 用于指定云主机的网络 在选择镜像后 待创建的云主机的可用集群已经确定下来 ZStack会根 据此集群挂载的网络来提供可选网络 注: 在确定完毕以上输入后 创建此云主机需要的各种资源已经确定 此时可选的资源被筛选 为使用此镜像对应的镜像服务器 接着根据此镜像服务器可选择的集群 根据此集群确定 的相关网络 如果有满足条件的多个集群挂载已选择的网络 那么高级选项还可以继续筛选相应的集 群 主存储 物理机等资源 云主机相关操作定义 暂停 暂停云主机 云主机继续消耗内存或资源 但是暂时不调度hypervisor 恢复 Resume 68

75 运维手册 / 7 云资源池 从暂停状态恢复 删除 destroy 将VM从运行状态或者停止状态置为已删除状态 恢复 Recover 将VM从已删除状态恢复为停止状态 本地存储迁移 主要是指冷迁移 主要迁移根云盘或数据云盘 本地存储也支持热迁移 需全局打开支 持 且Windows云主机不支持 共享存储迁移 为在线实时迁移 主要拷贝内存及CPU相关寄存器状态 Qos设置 限制云主机云盘 网络上下行带宽的设置 无须重启立刻生效 重置云主机 将云主机恢复到镜像模板的初始状态 云主机内目前已修改的数据会被擦除 在线修改密码 需要打开QGA选项 且云主机需安装并运行qemu guest agent 克隆 只涉及根云盘的克隆 用户在克隆前对云主机根云盘安装的程序或进行的配置都会复制到新 克隆出的云主机 目前镜像仓库支持在线克隆和关机克隆 Ceph支持关机克隆 在线快照 支持云主机运行时 针对根云盘或数据盘在指定的时间点进行的数据映像 镜像仓库支持增量快 照备份 恢复根云盘快照 设置云主机静态IP 重置云主机需停止云主机为前提 设置 删除云主机控制台密码需要重启云主机 靠ZStack重启 后生效 设置为Neverstop的云主机在资源允许的条件下永不停机 SSH Key注入需注意 69

76 运维手册 / 7 云资源池 SSH Key注入需要云主机提前安装cloud-init 输入指定主机的对应用户的公钥 公钥由sshkeygen生成 存放在~/.ssh/id_rsa.pub 添加SSH Key时 如果云主机之前已注入过ssh-key 则需在云主机中手动执行 rm -rf /var/ lib/cloud/instances 以清理先前配置 云主机指定物理机启动需共享存储才支持 本地存储上的云主机不支持 打开控制台如果返回成功 但是无内容 需确保控制台代理指定的IP地址可以被用户的客户 机 笔记本电脑 正常访问 如有必要 需修改控制台代理IP 并重启MN服务 数据云盘默认采用Virtio设备 需安装相应驱动才可识别使用 Linux各发行版默认已集成Virtio驱 动 无须额外安装 Windows需额外安装驱动 共享云盘可使用ocfs2文件系统 各挂载的云主机可同时进行读写 使用ISO引导时 启动顺序第一次默认使用cdrom优先 重启后默认选择harddisk优先 修改启 动顺序需重启生效 在线修改云主机CPU和内存大小 需要在全局打开NUMA支持 再重启或者新建的云主机才能生 效 70

77 运维手册 / 8 硬件设施 8 硬件设施 8.1 区域 区域 ZStack中最大的一个资源定义 包括集群 二层网络 主存储等资源 区域一般对应了数据中心的一个机房 区域进行了设置了相关资源的相互隔离 不同区域内的子资 源是不可见的 不能互相发生关系 在规划数据中心时 建议 同一个物理二层广播域中的主机应该在同一个区域中, 可以被划分为一个或多个集群 物理二层广播域不应该跨域多个区域, 而应该映射为单个区域中的L2网络 为虚拟机存储云盘提供磁盘空间的物理存储 也就是主存储 不应该跨越多个区域, 而应该被映 射为单个区域中的主存储 一个数据中心可以一个或多个区域 一个区域可以挂载一个或多个备份存储 但是UI界面为便于管理和维护 限制了一个区域与备份存 储的关系 UI界面上 添加镜像服务器时 默认会挂载到当前区域 区域在进行操作时需注意 禁用区域 禁用区域会导致此区域下的所有集群及集群内所有物理机均被禁用 此时本区域的所 有集群内均不可再申请新资源 需再次启用才可申请 启用区域 启用区域会导致此区域下的所有集群及集群内所有物理机均会被启用 删除区域 删除区域会删除此区域下所有资源包括其子资源 包括集群 二层网络 主存储及其 子资源物理机 云主机 云盘 快照 三层网络 各网络服务等 此操作非常危险 请极其慎重 操作 UI为便于管理镜像服务器和区域的关系 特别设置了一个镜像服务器只能对应一个Zone 在删 除区域的同时会直接删除与挂载此区域的镜像服务器 8.2 集群 集群 一组物理机的逻辑集合 在数据中心中 一个集群一般对应了一个机架 目的 用于提高整体系统的计算能力 IO能力 提高服务的可靠性 71

78 运维手册 / 8 硬件设施 提升系统的规模扩展能力 降低系统的运维成本 集群内物理机要求 所有的物理机必须拥有相同的操作系统 所有的物理机必须拥有相同的网络配置 所有的物理机必须能够访问相同的主存储 集群和主存储之间的关系 集群支持挂载和卸载主存储 一个集群只能挂载挂了一个本地存储 除此外不能再挂载新的存储 一个集群只能挂载挂了一个NFS主存储 除此外不能再挂载新的存储 一个集群只能挂载一个Ceph主存储 除此外不能再挂载新的存储 一个集群只能挂载一个Fusionstor主存储 除此外不能再挂载新的存储 一个集群只能挂载一个Shared Mount Point主存储 除此外不能再挂载新的存储 集群相关的约束条件 一个集群只能挂载一个主存储 一个主存储可以挂载到多个集群 一个集群可以挂载多个二层网络 一个二层网络也可以挂载到多个集群 停用集群后 会停用此集群下所有的物理机 停用后 此集群就不能作为候选用于申请新资 源 原本运行的云主机不受影响 但这些运行的云主机停止后就不能再次在此集群启动 启用集群后 会同时启用此集群下所有的物理机 删除使用共享存储的集群 相关的云主机会被停止 如果这些已停止的云主机设置了高可用标 签 那么可以在其他可用的集群上的物理机再次启动 删除使用本地存储的集群 会删除集群内所有的物理机 也会删除所有的VM 但不删除物理机 内所有的云盘和快照真实数据 如果不同集群挂载了相同网络和相同主存储 则支持云主机跨集群迁移 从集群卸载网络 ZStack会卸载掉集群内所有云主机的网卡 此时云主机没有网卡 运行中的 云主机一旦停止 将无法再次开机 需要再次给集群加载网络后 再给云主机添加网卡 才可正 常开机 从集群卸载主存储 ZStack会停止集群内所有的VM 只有再次加入挂载此主存储 这些云主机 才可正常启动 72

79 运维手册 / 8 硬件设施 8.3 物理机 物理机 为云主机实例提供计算 网络 存储的物理主机 添加物理机注意 管理节点的管理IP需正常访问物理机的SSH 端口以部署代理程序 物理机的用户名须拥有sudo权限 SSH端口需开启防火墙或iptables允许 需支持Intel VMX AMD SVM的硬件虚拟化特性 添加或更改物理机的信息 需与实际环境相匹配 ZStack的物理机有一个字段managementIp 用于表示如果此物理机有多个IP的情况下 添加的IP 地址用于管理节点对此物理机进行连接部署代理程序的IP ZStack管理节点会周期性的向物理机发送ping命令以检查命令通道的健康状态; 一旦某个物理机响 应失败, 或者ping命令超时 此物理机就会变为失联状态 ZStack管理节点会提供ntpdate时间服务器对各物理机进行时间同步 物理机在使用时需注意 物理机维护模式 主要用于管理员对物理机打算进行关机实施维护操作 例如添加硬盘 更换 网卡等 物理机维护模式 若主存储为本地存储 则会停止此物理机上所有云主机 若主存储为共享存 储 则会自动迁移其上云主机到可用物理机上 如果其他物理机资源不足 则会停止这些云主 机 物理机停用后 原本运行的云主机依然保持运行状态 如果停止后将不能使用此物理机启动 物理机停用或维护后 此物理机不能再作为候选用于申请新资源 只有再次启用后 才可正常使 用 物理机失联或者进入维护模式后 才可删除物理机 删除本地存储上的物理机会直接彻底删除此物理机上所有的云主机或云盘 删除共享存储上的物理机 不会直接删除其上的云主机或云盘 这些资源可在其他物理机上重新 启用或使用 删除物理机后 即使再次添加回来 系统也将无法识别删除的VM 需慎重删除 删除物理机 并不真实删除其上的云主机或云盘数据 只是删除了物理机及相关VM在ZStack的 记录 73

80 运维手册 / 8 硬件设施 物理机运维出现异常时 需检查 管理节点日志 在管理节点检查/usr/local/zstack/apache-tomcat/logs/management-server.log是 否存在异常 物理机agent进程 在物理机检查ps -ef grep kvmagent 检查kvmagnet代理进程是否存在异 常 物理机日志 在物理机检查/var/log/zstack/zstack-kvmagent.log是否存在异常 物理机libvirt状态 在物理机检查service libvirtd status状态是否存在异常 物理机系统日志 在物理机检查/var/log/messages是否存在异常 检查物理机是否与主存储连接是否出现异常 8.4 主存储 主存储 用于存储云主机的磁盘文件(根云盘 数据盘 根云盘快照 数据盘快照 镜像缓存等)的 存储服务器 ZStack支持的存储类型包括 本地存储 NFS Ceph Fusionstor Shared Mount Point 主存储使用时需注意 本地存储 NFS Shared Mount Point主存储基于qcow2 Ceph存储和Fusionstor存储使用的是分布式块存储 以虚拟容量来计算云主机的根云盘和数据云盘消耗 主存储停用后 将不能使用此主存储申请新资源 但不影响当前运行中的云主机 只是不能新建 云主机和新建数据盘 主存储维护后 将不能使用此主存储申请新资源 原本运行中的VM也会被停止 本地存储 NFS Shared Mount Point主存储匹配镜像仓库和Sftp镜像服务器使用 Ceph主存储匹配同一Ceph镜像服务器使用 Fusionstor主存储匹配同一Fusionstor镜像服务器使用 主存储的使用基于瘦身模式 支持超分 超分比例设置过大时 需留意真实物理容量的使用 74

81 运维手册 / 8 硬件设施 ZStack创建云盘时使用的是虚拟大小 如果虚拟大小不足以提供需要的容量 此时创建云盘会提 示失败 本地存储 本地存储 使用各物理机的本地硬盘上指定的目录作为主存储 本地存储的特性 使用物理机的本地存储空间 存放云盘数据 云主机数据保护需依赖节点RAID阵列技术 投资低 性能高 大规模 但云主机热迁移存在问题 需要业务层高可靠 适用于软件开发测试环境 分布式应用 应用与数据分离的场景 使用本地主存储时需注意 本地主存储的状态一般为Connected 本地主存储容量由各物理机的主存储目录的容量累加 镜像缓存在添加镜像后 会自动分发到各物理机的主存储目录进行缓存 使用此镜像的不同云主 机共享使用此镜像缓存作为base 因为存储的隔离性 使用本地存储的云主机 不支持高可用 不支持指定物理机启动 使用本地存储的云主机默认支持冷迁移 使用本地存储的云主机支持在线热迁移 默认关闭 需要在全局设置打开 本地存储的云主机不 支持带数据盘的热迁移 Windows操作系统的云主机不支持热迁移 本地存储的镜像缓存在删除镜像后 如果没有任何云主机使用 此镜像缓存会自动删除 本地存储一般都处于可连接状态 若某物理机失联 则此物理机上的本地存储容量将被扣除 一 旦物理机再次连接 容量会被再次计算进来 NFS NFS主存储 使用网络文件系统作为主存储 需提供NFS的共享文件目录 NFS使用时添加的URL格式为 :/nfs_root NFS主存储的特性 云盘存放在集中存储 数据需通过存储双控和RAID技术保护 需要构建万兆存储网络 购买集中存储 云主机受高可用保护 75

82 运维手册 / 8 硬件设施 特点 构建了存储网 云主机支持高可用 数据支持安全保护 IO性能有瓶颈 8 10节点/一个 存储 场景 适用于传统应用 应用数据紧密 SLA高可用保证 数据安全场景 使用NFS主存储需注意 NFS的挂载目录需提供读写权限 NFS的挂载参数 需NFS Server端支持 ZStack会在所有的物理机上自动挂载此目录作为主存储 只要集群内任一物理机可访问NFS主存储 则主存储处于可连接状态 NFS属于共享存储 支持VM在线迁移 NFS主存储是所有物理机共享带宽访问同一目录 效率和性能具有瓶颈 NFS主存储只会拷贝一份镜像缓存到主存储的共享目录 Ceph Ceph主存储 Ceph集群提供的分布式块存储作为主存储 Ceph分布式存储的特性 云盘存放在分布式存储 数据通过多副本和纠删码机制提供保护 需要构建存储网络 基于x86通用服务器提供存储服务 云主机受高可用保护 特点 构建了存储网 云主机支持高可用 数据支持多副本 计算和存储都可以横向扩展 适用场景 租用平台 通用型应用 应用数据紧密 SLA高可用保证 大规模环境 使用Ceph主存储时需注意 需输入Mon IP节点信息以部署相关的代理程序 如果指定了镜像缓存 根云盘 数据云盘的Ceph存储池名 则这些存储池需提前在Ceph集群自 行创建 存储池名为可选项 如果不指定 则ZStack会自动创建以uuid相关命名的存储池 如果指定了存 储池名 但是实际不存在 添加Ceph主存储会提示失败 添加Ceph主存储 需添加同一Ceph集群存储作为镜像服务器 Ceph主存储可指定多个Mon IP 需至少一个Mon处于连接状态 Ceph存储支持共享云盘 要求使用VirtioSCSI类型作为前提 Ceph集群工作异常时 主存储会失联 可通过ceph -s检查状态 76

83 运维手册 / 8 硬件设施 Fusionstor Fusionstor主存储 采用Fusionstor分布式块存储作为主存储 Fusionstor分布式存储的特性 云盘存放在分布式存储 数据通过多副本和纠删码机制提供保护 需要构建存储网络 基于x86通用服务器提供存储服务 云主机受高可用保护 特点 构建了存储网 云主机支持高可用 数据支持多副本 计算和存储都可以横向扩展 适用场景 租用平台 通用型应用 应用数据紧密 SLA高可用保证 大规模环境 使用Fusionstor主存储时需注意 需输入Mon IP节点信息以部署相关的代理程序 如果指定了镜像缓存 根云盘 数据云盘的Fusionstor存储池名 则这些存储池需提前 在Fusionstor集群自行创建 存储池名为可选项 如果不指定 则ZStack会自动创建以uuid相关命名的存储池 如果指定了存 储池名 但是实际不存在 添加Fusionstor主存储会提示失败 添加Fusionstor主存储 需添加同一Fusionstor集群存储作为镜像服务器 Fusionstor主存储可指定多个Mon IP 需至少一个Mon处于连接状态 使用Fusionstor存储 需添加Fusionstor存储集群内的存储节点作为计算节点 以超融合方式部 署 Fusionstor集群工作异常时 主存储会失联 可通过lich stat检查状态 Shared Mount Point Shared Mount Point主存储 采用共享文件系统存储为主存储 支持SAN存储 格式化为MooseFS GlusterFS OCFS2 GFS2等文件系统 Shared Mount Point主存储的特性 云盘存放在集中存储 数据需通过存储双控和RAID技术保护 需要构建万兆存储网络 购买集中存储 云主机受高可用保护 特点 构建了存储网 云主机支持高可用 数据支持安全保护 IO性能有瓶颈 8 10节点/一个 存储 场景 适用于传统应用 应用数据紧密 SLA高可用保证 数据安全场景 使用Shared Mount Point主存储时需注意 77

84 运维手册 / 8 硬件设施 需在各物理机提前挂载各挂载点 挂载到相同目录 在添加到ZStack时 需提供挂载到物理机的本地目录 支持在线迁移 对应挂载目录需提供读写权限 8.5 镜像服务器 镜像服务器 用于保存云主机的镜像模板或ISO的存储服务器 使用镜像服务器时需注意 1. Sftp 以文件方式存储镜像文件 支持关机创建镜像 创建的镜像可以在镜像服务器上 以对应的镜像路径访问 拷贝到其他 云环境可直接使用 2. 镜像仓库 以镜像切片方式存储镜像文件 支持VM的在线快照和在线镜像 克隆 支持导出镜像 3. Ceph镜像服务器 支持块存储方式存储镜像文件 支持在线快照 不支持在线克隆 支持关机克隆 导出镜像需在镜像服务器上导出 使用假定镜像路径为ceph://bak-t-c9923f9821bf45498fdf9 cdfa /61ece0adc7244b0cbd12dafbc5494f0c 则需镜像服务器执行 rbd export -p bak-t-c9923f9821bf45498fdf9cdfa image 61ece0adc7244b 0cbd12dafbc5494f0c /root/export-test.image # bak-t-c9923f9821bf45498fdf9cdfa 表示镜像所在的pool的名字 # 61ece0adc7244b0cbd12dafbc5494f0c表示镜像的名字 # /root/export-test.image表示导出的目标文件名字 4. Fusionstor镜像服务器 支持块存储方式存储镜像文件 支持在线快照 不支持克隆 导出镜像需要在镜像服务器上执行类似命令 lichbd export bak-t-8e694c40cf214db1af9e5d641b2e792d/8f1e0debfae042e5ae a59c0622 /root/test.img -p nbd 5. 开源版本支持Sftp Ceph和Fusionstor类型 企业版本支持镜像仓库 Ceph和Fusionstor类型 78

85 运维手册 / 8 硬件设施 6. Sftp和镜像仓库支持file:///和 7. 删除镜像服务器需注意 删除镜像服务器并不真实删除镜像文件 只是删除镜像服务器和镜像在ZStack的记录 删除镜像服务器会删除所有镜像文件 且无法恢复 需谨慎操作 8. UI为便于管理镜像服务器和区域的关系 特别设置了一个镜像服务器只能对应一个Zone 添加 镜像服务器时 默认挂载到了当前区域 在删除区域的同时会直接删除与挂载此区域的镜像服务 器 关于镜像服务器支持克隆和快照的关系需注意 在线克隆 只有镜像仓库支持 关机克隆 只有镜像仓库 Ceph支持 在线快照 只有镜像仓库 Ceph Fusionstor支持 关机快照 镜像仓库 Sftp Ceph Fusionstor均支持 在线创建镜像 只有镜像仓库支持 关机创建镜像 镜像仓库 Sftp Ceph Fusionstor均支持 79

86 运维手册 / 9 网络 9 网络 9.1 二层网络 二层网络 二层广播域 进行二层相关的隔离 一般以设备编号进行识别 支持以下类型 L2NoVlanNetwork NoVlanNetwork 类型表示相关的物理机对应的网络设备不设置Vlan 如果交换机端口设置 了Vlan 则需在交换机端配置Access模式 如果交换机端口没有设置Vlan, 则无须特别设置 L2VlanNetwork VlanNetwork类型表示相关的物理机对应的网络设备需设置Vlan, 从逻辑上划分虚拟局域网 支 持1-4094个子网 此类型需在物理机接入的交换机端进行trunk设置 VxlanNetworkPool VxlanNetworkPool类型表示使用UDP进行报文封装的VXLAN类型的集合 是基于IP网络组建的 大二层网络 可满足于大规模云计算中心的需求 最大支持16M个逻辑子网 VxlanNetwork VxlanNetwork类型表示使用VXLAN的子网进行网络配置 需要先建立VxlanNetworkPool 再建 立VxlanNetwork 使用二层网络时需注意 NovlanNetWork和VlanNetwork作为一组物理定义的二层网络 主要差异在于是否支持Vlan 在 添加时 指定的是网卡设备号 与物理机网卡端口在交换机端的设置应相同 VxlanNetworkPool和VxlanNetwork作为一组基于三层网络上叠加的逻辑定义的二层网络 是专 门提供VxlanNetwork使用 在使用VxlanNetwork前 需要先建立VxlanNetworkPool 与集群发 生关系的是三层VTEP 基于VTEP进行VXLAN报文的封装和解封装 创建完毕VxlanNetworkPo ol后 可指定或随机选择Vni来创建VxlanNetwork 最后基于VxlanNetwork来创建三层网络 再 创建云主机 NovlanNetWork VlanNetwork VxlanNetworkPool类型的网络可以挂载集群 VxlanNetwork只 是Vni Range的子集 不能挂载集群 VxlanNetworkPool挂载集群时 需检查集群内所有的物理机在对应网段是否存在可用IP来匹 配VTEP 如果不存在 则此VxlanNetworkPool不能正确挂载集群 80

87 运维手册 / 9 网络 如果集群已挂载某二层网络 但物理机不存在L2设备 则此物理机不能添加进入对应集群 如果集群未挂载某二层网络 但物理机不存在L2设备 则集群则不能挂载此二层网络 如果某物理机存在某二层网络对应的设备 但设备接线与其他物理机接线不一致 则创建出的云 主机IP不能正常工作 删除二层网络 会删除其下的三层网络 相关的云主机的网络也会被删除 请慎重操作 删除二层网络 会删除使用此二层网络的云路由设备和云路由规格 在添加NovlanNetWork和VlanNetwork时 需要输入网卡设备名称 在CentOS7系列系统 中 ethx格式的网卡名称会在系统重启后导致网卡顺序随机改变 建议将各计算节点的网卡设备 名称修改成非ethx格式 例如 可修改成em01格式 尤其是带多网卡的虚拟机环境中 当使用Vlan设备时 无需在物理机上创建带有Vlan号的网卡 例如eth 用户只需要输 入设备名为eth0 Vlan号为2016 ZStack就会自动创建eth 如果已经存在eth0.2016网 络设备时 用户又输入了Vlan号为2016 ZStack会创建一个新的名为eth 的网络设 备 9.2 三层网络 三层网络 云主机使用的网络配置 包含了IP地址范围 网关 DNS 网络服务等 IP地址范围包含起始和结束IP地址 子网掩码 网关等 例如可指定 到 子网掩码指定 网关指定 也可使用CIDR无域间路由来表示 例 如 /24 DNS用于设置云主机网络的DNS解析服务 ZStack中相关网络的基本概念 管理网络 用于管理控制对应的物理资源 例如物理机 镜像服务器 主存储等需提供IP进行 访问的资源时使用的网络 存储网络 特指在进行分布式存储部署时 底层存储系统通信使用的网络 公有网络 用于提供弹性IP 端口转发 负载均衡 IPsec等网络服务需要提供虚拟IP的网 络 公有网络可直接接入互联网 私有网络/业务网络/接入网络 云主机使用的网络 一般情况下设置私网 公有网络 公有网络指定为云路由设备使用的网络 包括公有网络和管理网络 公有网络的三层网络 只用于 提供其他网络服务使用 不能直接用于创建云主机 81

88 运维手册 / 9 网络 私有网络 私有网络指定为云主机使用的网络 支持两种网络架构模型 扁平网络和云路由网络 ZStack支持的网络服务包括DHCP DNS SNAT 弹性IP 端口转发 负载均衡 IPsec 安全 组 UserData等 网络服务支持的类型决定了云主机采用哪种网络架构 扁平网络支持以下网络服务 DHCP 弹性IP 安全组 UserData等 扁平网络的网络服务采用 分布式的DHCP 分布式的EIP结构 扁平网络的DHCP服务也包含了DNS的功能 ZStack的初 始化引导设置使用的网络模型就是采用了扁平网络 云路由网络支持以下网络服务 DHCP DNS SNAT 弹性IP 端口转发 负载均衡 IPsec 安全组等 云路由网络使用云主机作为路由设备 提供上述网络服务 创建云主机时 可指定多个网络 即可指定多个扁平网络 又可指定多个云路由网络 还可指定扁 平网络和云路由网络的混合使用 ZStack支持多级网络 而且多级网络的L2可以实际通信 需要特别避免IP地址空间冲突的问题 9.3 扁平网络 扁平网络具备以下特性 物理机和云主机均处于同一个二层广播域 提供DHCP Userdata ZStack使用SystemTag来使用Userdata注入ssh key EIP 等服务 分布式DHCP 分布式弹性IP 可规避DHCP服务器的单点故障 高并发时 可有效提高系统整 体并发性 扁平网络在每台物理机上均独立运行DHCP服务器进行云主机IP地址的分配 扁平网络使用dnsmasq来提供DHCP服务 扁平网络使用Linux的namespace和iptables来实现弹性IP的转发 扁平网络运维时需注意 如果某物理机上所有的云主机都无法获取IP 此时需要在物理机上检查dnsmasq进程及/var/lib/ zstack/dnsmasq/对应二层网卡目录下的dnsmasq.log日志 扁平网络的弹性IP需要云主机存在通向私网网关的默认路由 82

89 运维手册 / 9 网络 9.4 云路由网络 云路由网络 通过定制的Linux云主机作为路由设备来提供DHCP DNS SNAT 弹性IP 端口转 发 负载均衡 IPsec 安全组等网络服务 依赖 公有网络 管理网络 云路由镜像 云路由规格 私有网络 云路由网络具备以下特性 使用Linux云主机作为路由设备提供相关网络服务 提供DHCP DNS SNAT 弹性IP 端口转发 负载均衡 IPsec 安全组等服务 可实现管理网络 公有网络 私有网络三网隔离的环境 适用于构建大型私有云网络环境 云路由网络使用时注意 需先建立公有网络 再建立管理网络 再建立云路由规格 再创建云路由私有网络 在创建云主 机时 会自动创建云路由设备 创建云路由设备至少需要一个集群 同时挂载了管理网络 公有网络 私有网络 而且此集群要 求有可用物理机来创建云路由设备 9.5 VXLAN VXLAN网络具备以下特性 建立在物理IP网络之上的虚拟网络 使用UDP封装五十个字节的报文头 使用24位VXLAN网络标识符 最大支持16M个逻辑网络 VXLAN可跨越物理三层网络 使用UDP封装在三层物理网络上建立的二层逻辑网络 使用IP多播封装广播和多播报文 VxlanNetworkPool和VxlanNetwork共同提供了VXLAN网络类型的配置 使用VxlanNetwork需先创 建VxlanNetworkPool VxlanNetwork对应了VxlanNetworkPool里面的一个虚拟网络 VxlanNetworkPool最大可支持 M 个的虚拟网络 其Vni Vxlan 网络ID 范围可 从 设置 在创建VxlanNetworkPool时 如果需要加载到相应集群 则需设置相应的VTEP Vxlan隧道端 点 VTEP一般对应于集群内计算节点中的某一网卡的IP地址 ZStack对VTEP的设置基于相 应的CIDR进行配置 注: 83

90 运维手册 / 9 网络 例如 假定计算节点某网卡的IP为 子网掩码为 网关为 则VTEP输入的CIDR应为 /8 假定计算节点某网卡的IP为 子网掩码为 网关为 则VTEP输入的CIDR应为 /16 VxlanNetworkPool与集群进行挂载时 检查的是VTEP相关的IP地址 与物理的二层设备无关 只有VxlanNetworkPool 可以挂载集群和卸载集群的操作 VxlanNetwork作为VxlanNetworkPool 的子资源 不可进行挂载集群和卸载集群的操作 9.6 网络服务 ZStack的网络支持两种架构模型 扁平网络和云路由网络 扁平网络 扁平网络支持以下网络服务 DHCP 分布式DHCP实现的动态获取IP地址 弹性IP 分布式EIP实现的弹性IP地址 可通过公有网络访问内部私有网络 安全组 使用iptables进行云主机防火墙的安全控制 Userdata 使用cloud-init进行云主机开机加载并执行特定的用户数据 例如ssh-key注入 注: 其中DHCP服务包含了DNS的功能 云路由网络 云路由网络支持以下网络服务 DHCP 使用云路由设备提供DHCP服务 DNS 使用云路由设备提供DNS服务 SNAT 云主机使用SNAT可以直接访问外部互联网 弹性IP 使用云路由设备可通过公有网络访问云主机的私有网络 端口转发 提供将指定公有网络的IP地址端口流量转发到云主机对应协议的端口 负载均衡 将公网地址的访问流量分发到一组后端的云主机上 并自动检测并隔离不可用的云主 机 IPsec 使用IPsec隧道协议实现虚拟私有网络 VPN 的连接 安全组 使用云路由进行云主机防火墙的安全控制 84

91 运维手册 / 9 网络 安全组 扁平网络和云路由网络均支持安全组服务 使用方法均相同 安全组主要给云主机提供三层网络防火墙控制 控制TCP/UDP/ICMP等数据包进行有效过滤 对指 定网络的指定云主机按照指定的安全规则进行有效控制 使用安全组的基本流程为 选择三层网络 设置相应的防火墙规则 选择指定的云主机加入规则 中 安全组支持白名单机制 即设置的所有规则均为允许机制 一旦对指定端口设置了允许机制 那么 没有被允许的端口就无法通过 安全组规则对数据包的流向有两种 Ingress 代表数据包从外部进入云主机 Egress 代表数据包从云主机往外部发出 安全组规则对通信协议的支持以下类型 TCP 支持 端口 UDP 支持 端口 ICMP 默认起始结束端口均为-1 表示支持全部的ICMP协议 安全组规则也支持对特定的CIDR进行相应的设置 表示仅允许指定的CIDR才可通过 例如设 置 /24 表示只允许 /24 内的IP地址可以通过 可留空不填 表示允许所有符 合条件的IP均可通过 安全组存在以下约束条件 安全组可以挂载到多个云主机 它们会共享相同的安全组规则 安全组 默认为允许规则 新建安全组时 如果没有加载任何云主机 也没有配置任何规则 则此安全组并不生效 新建安全组时 如果加载了云主机 但没有配置任何规则 则默认规则为所有的外部访问均禁止 进入此云主机的IP地址 此云主机的IP地址可通过访问外部 新建安全组时 如果加载了云主机 但没有配置任何规则 则默认规则为所有的外部访问均禁止 进入此云主机的IP地址 此云主机的IP地址可通过访问外部 针对安全组的规则 安全组内的云主机之间只受端口规则约束 不受CIDR的规则约束 外部访 问受规则的全部约束 85

92 运维手册 / 9 网络 虚拟IP 虚拟IP定义了在桥接网络环境中 使用虚拟IP地址来提供弹性IP 端口转发 负载均衡 IPsec隧道 等网络服务 数据包会被发送到虚拟IP 再路由至云主机网络 虚拟IP一般是将可以访问互联网的公有IP地址 路由到云主机的私有网络 扁平网络下的虚拟IP服务仅用于弹性IP网络服务 云路由网络下的虚拟IP服务可用于弹性IP 端口转发 负载均衡 IPsec隧道 使用虚拟IP的有两种方法 创建虚拟IP地址后 在弹性IP 端口转发 负载均衡 IPsec隧道界面 可选择使用已有虚拟IP 在弹性IP 端口转发 负载均衡 IPsec隧道界面使用新建虚拟IP的方法 弹性IP 弹性IP定义了通过公有网络访问内部私有网络的方法 内部私有网络是隔离的网络空间 不能直接被外部网络访问 在扁平网络的私有隔离网络中 内部 网络也无法直接访问外部网络 通过弹性IP可以将对公网的访问直接关联到内部私网的云主机IP 扁平网络下的弹性IP的应用场景如图 56: 扁平网络下弹性IP的应用场景所示 图 56: 扁平网络下弹性IP的应用场景 86

93 运维手册 / 9 网络 /24的公有网络 可以通过防火墙连接到互联网 管理节点通过管理网络控制内部的私有云管控系统 各个计算节点所在的私有网络提供给云主机内部的私有网络 /24的IP地址 此IP地 址默认情况下无法连接到外部的互联网 ZStack在每个计算节点分别部署分布式的EIP 可分布独立实现公有网络与私有网络的绑定 端口转发 端口转发是基于云路由提供的三层转发服务 可提供将指定公共网络的IP地址端口流量转发到云主 机对应协议的端口 在公共网络地址紧缺情况下 通过端口转发可以提供多个云主机对外服务 以 节省公共网络地址 端口转发可以将一个公网节点的网络端口转发到一个私网节点的网络端口 让用户从外部经过云路 由访问一个私有网络IP的端口上 访问云主机的某个端口 端口转发功能需要使用虚拟IP来实现 虚拟IP对应于公有网络的IP地址范围中的一个可用IP 端口转发使用虚拟IP有两种方法 创建虚拟IP地址后 在端口转发界面 可选择使用已有虚拟IP 在端口转发界面使用新建虚拟IP的方法 端口转发指定端口映射也有两种方法 87

94 运维手册 / 9 网络 单个端口到单个端口的映射 例如将公网IP的22端口转发到私网IP的80端口 端口区间的映射 例如指定22-80端口 将公网IP的22到80端口按照顺序 映射到私网IP的22 到80端口 端口转发功能存在以下约束条件 端口转发功能要求云主机内部的防火墙策略对指定的转发端口开放 同一个虚拟IP 在提供端口服务时 虚拟IP所用的端口之间不可重复 同一个虚拟IP 在提供端口服务时 可对同一个三层网络上的多个云主机网卡的不同端口提供端 口转发服务 虚拟IP地址在解除绑定关系后 再次加载云主机时 只能选择解除绑定关系前的同一个三层网络 上的云主机网卡 同一个云主机 只能使用一个虚拟IP来提供端口转发服务 端口转发区间需一一对应 例如设置了源端口22到80端口的端口区间 在云主机私网 默认也 选择22到80端口 负载均衡 负载均衡是将公网地址的访问流量分发到一组后端的云主机 并支持自动检测并隔离不可用的主 机 从而提高业务的服务能力和可用性 可以根据实际情况 随时添加或删减负载均衡规则中的云主机来调整服务能力 而且这些操作不会 影响业务的正常访问 负载均衡器支持HTTP/TCP 两种协议 此外 负载均衡器还支持灵活配置多 种转发策略 实现高级转发控制功能 使用负载均衡的基本流程 1. 选择可用的虚拟IP来创建负载均衡器 2. 创建监听器来指定公网端口到云主机端口的对应关系 规则及算法等设置 3. 选择指定三层网络的云主机网卡加入到监听器里 使负载均衡器生效 负载均衡功能存在以下约束条件 一个虚拟IP可以支持多个监听器 一个虚拟IP支持的监听器指定的云主机网卡必须在同一个三层网络 如果所有的监听器均被删 除 88

95 运维手册 / 9 网络 IPsec隧道 IPsec隧道 透过对IP协议的分组进行加密和认证来保护IP协议的网络传输数据 实现站点到站 点 site-to-site 的虚拟私有网络 VPN 连接 ZStack支持的IPsec特性如下 IPsec连接模式 基于安全考虑 只支持主动模式 Main Mode 不支持积极模式 Aggressive Mode 仅支 持ESP封装协议 IPsec传输模式 只支持站点到站点的隧道模式 不支持PC点对点模式 基于云端网络模型考虑 不支持两端 存在NAT网络 IPsec路由模型 只支持基于对端网段配对模型 只支持路由配对模式 不支持路由转发模式 不支持OSPF 或BGP等动态路由协议 IPsec隧道的典型场景如下 在两套相互隔离的ZStack环境中 使用云路由的方案 两套环境中云主机的私有网络无法直接通信 使用IPsec可以实现两套云主机的私有网络互相通信 两套隔离的ZStack环境中建立IPsec的流程 1. 在第一套环境中 创建IPsec通道 指定第一套网络的本地公网IP 输入第二套网络指定的公 网IP作为远端IP 2. 在第二套环境中 创建IPsec通道 指定第二套网络的本地公网IP 输入第一套网络指定的公 网IP作为远端IP 89

96 运维手册 / 10 平台管理 10 平台管理 10.1 账户 账户 作为资源拥有的基本单位 对作用域的资源可以进行创建 删除 分享 召回等操作 分 为admin和普通账户 用户 用户由账户创建 用于实现更细粒度的权限控制 账户管理相关约束 admin账户 不受权限控制 拥有超级权限 admin账户可以共享计算规格 云盘规格 网络 镜像等其他资源给普通账户 普通账户由admin管理员账户创建 拥有对自己创建的云主机 镜像 云盘 安全组 用户组和 用户的管理权限 普通账户可通过权限控制来操控属于自己的用户或用户组 普通账户名称不可重复 同一账户下的用户和用户组名称不可重复 删除普通账户会导致此账户下的所有资源被删除 例如 云主机 云盘 镜像 名下用户和用户 组等信息.删除用户只会删除用户自身信息 其所创建的云主机 镜像 云盘均会保留在自己所属的账户 名下 用户权限受到用户权限设置页以及该用户所属用户组权限设置页共同控制 普通账户可以对共享资源进行读操作 但不可进行删除操作 更改所有者会云主机的EIP所有者属性 删除所有计费规则后 所有计费记录将清零 90

97 运维手册 / 11 基本运维 11 基本运维 本章主要针对ZStack基本操作异常给出处理办法 11.1 安装部署 安装 升级部署ZStack失败需检查的因素 1. 假定安装操作选择了管理节点模式 但是安装系统后 没有安装ZStack 原因 安装操作系统时 没有设置合适的IP地址 ZStack管理节点必须要求有可用IP 解决方案 此时需要执行bash /opt/zstack*installer.bin -E 安装ZStack企业版 或执行bash /opt/zstack*installer.bin 安装ZStack社区版 2. 升级时遇到ZStack ISO版本不匹配 会提示类似以下错误信息 现象 Reason: The current local repo is not suitable for ZStack installation. Please download ZStack-x86-64-DVD iso from ads/ and run 解决方案 此时需要执行以下步骤 1. 在管理节点下载最新的ISO 例如在管理节点执行下载ISO wget 2. 执行以下命令进行升级 升级ISO里面的yum repo同步到本地 并且直接升级管理节点 zstack-upgrade ZStack-x86_64-DVD-2.0.x.iso 3. 安装ZStack时出现如下错误信息 现象 Fail Reason: /usr/local/zstack is existing. Please delete it manually before installing a new ZStack 原因 此时系统已经存在ZStack 不允许再次安装 91

98 运维手册 / 11 基本运维 解决方案 如果打算升级 直接使用-u参数升级即可 如果打算重新安装 则需执行rm -rf /usr/local/zstack; bash zstack-installer.bin -D进行重新安 装 4. 安装部署失败 失败信息会打印到屏幕上 解决方案 可查看/tmp/zstack_installation.log 根据错误提示 尝试解决安装部署问题 11.2 启动服务 ZStack相关的服务在管理节点重启后 会自动启动 启动ZStack服务失败需检查的因素 1. 数据库应正常运行 可通过systemctl status/start/stop/restart mariadb进行状态/启动/停止/重启检查 2. Apache应正常运行 可通过systemctl status/start/stop/restart httpd进行状态/启动/停止/重启检查 3. Rabbitmq应正常运行 可通过systemctl status /start/stop/restart rabbitmq-server进行状态/启动/停止/重启检查 4. 出现如下报错 现象 ERROR: failed to connect to the mysql server[hostname: , port:3306, user:zstack, password:zstack.password] 解决方案 需确保/usr/local/zstack/apache-tomcat/webapps/zstack/WEB-INF/classes/zstack.properties 里面关于数据库的IP 用户名 密码均正确 且可使用mysql命令正常访问 例如 可通过mysql -u zstack -pzstack.password -h 直接访问 5. 出现如下报错 92

99 运维手册 / 11 基本运维 现象 ERROR: unable to connect to the rabbitmq server[ip: ] with username/password configured in zstack.properties 原因及解决方案 需检查rabbitmq状态 有可能是hostname发生变更引起rabbitmq无法连接 此时可执行zstackctl reset_rabbitmq 6. 出现如下报错 现象 8080 is occupied by some process. Please use netstat to find out and stop it 解决方案 执行netstat -anp grep 8080找到8080占用程序将其停止再启动ZStack 7. 出现如下报错 现象 MN status: Unknown, the management node seems to become zombie as it stops respond ing APIs 原因及解决方案 一般是因为内存不足导致的消息总线不能正确处理 需扩大内存 此时不建议再将管理节点作为 计算节点添加到ZStack使用 11.3 zstack-ctl命令 ZStack提供zstack-ctl对服务或者资源进行命令行控制 常用的zstack-ctl命令 状态检查 zstack-ctl status 服务控制 zstack-ctl stop/start/stop_ui/start_ui/restart_node/ 日志收集 zstack-ctl collect_log 备份数据库 zstack-ctl dump_mysql 恢复数据库 zstack-ctl restore_mysql f back.gz --mysql-root-password password 管理节点IP变更 zstack-ctl change_ip 重置rabbitmq zstack-ctl reset_rabbitmq 93

100 运维手册 / 11 基本运维 检查配置 zstack-ctl show_configuration 安装授权 zstack-ctl install_license -f license_key.txt 重置admin账户密码 zstack-ctl reset_password 修改数据库密码 zstack-ctl change_mysql_password --root-password zstack.mysql.password --user-name zstack --new-password password 11.4 zstack-cli命令 ZStack提供zstack-cli命令行交互界面对ZStack内部各资源进行控制 1. zstack-cli登录 LogInByAccount accountname=admin password=password 初始密码为password 如果有修改 则需按照正确的密码登录 2. zstack-cli支持的关键字包括 资源关键字 zone cluster host vm primarystorage image L2 L3 backupstorage volume offering 操作关键字 add reconnect start stop destroy delete create get set update attach detach 3. 使用zstack-cli进行控制的技巧 输入资源关键字和操作关键字 善用tab键 例如 输入集群的关键字cluster 点击两次tab键后 会列出cluster可支持的所有 操作 如下 AttachL2NetworkToCluster AttachPrimaryStorageToCluster ChangeClusterState CreateCluster DeleteCluster DetachL2NetworkFromCluster DetachPrimaryStorageFromCluster GetCandidateZonesClustersHostsForCreatingVm GetVmStartingCandidateClustersHosts QueryCluster QueryVCenterCluster UpdateCluster 此时假定打算再创建集群 根据上面列出的Cluster操作 那么输入CreateCluster后 再点击 两次tab键 cli将列出createcluster参数 94

101 运维手册 / 11 基本运维 4. 使用zstack-cli创建云主机的方法 zstack-cli CreateVmInstance name=ceph instanceofferinguuid=$instanceoffer l3netwo rkuuids=$l3uuid imageuuid=$image 5. 使用zstack-cli查询运行中的云主机 zstack-cli QueryVmInstance state= Running name~=test limit=3 field=uuid 名字包含test 只显示3条记录 只显示其uuid 11.5 重连物理机 重连物理机会重新部署代理程序进行相关检查 重连物理机失败需检查的因素 1. 管理节点无法正常访问物理机22端口 例如以下 需先解决管理节点可以正常ssh到物理机的问 题 ssh: connect to host port 22: Network is unreachable 2. 没有使用ZStack定制版ISO安装计算节点 导致升级失败 出现类似以下软件包安装冲突的错 误 需要使用ZStack定制版ISO来重新安装系统 才可解决 ERROR: command pkg_list=`rpm -q openssh-clients qemu-kvm bridge-utils wget qemu-img libvirt-python libvirt nfs-utils vconfig libvirt-client net-tools iscsi-initiator-utils lighttpd dnsmasq iproute sshpass rsync nmap grep \"not installed\" awk '{ print $2 }'` && for pkg in $pkg_list ; do yum --disablerepo=* --enablerepo=zstack-local install -y $pkg; done;failed! 3. 物理机的libvirt服务状态应正常 可通过systemctl status/start/stop/restart libvirtd进行状态/启动/停止/重启检查 4. 重连物理机会检查其所属集群的网络挂载情况 假如集群挂载的二层网络指定的设备是eth1 但 是物理机的网卡设备号发生变化 不存在eth1 那么此物理机将无法重连成功 5. 如果物理机系统盘的存储容量已经用完 此时物理机将无法重连成功 6. 对于要求挂载NFS主存储的物理机 如果挂载失败 物理机将无法重连成功 此时需要检查物理 机到NFS主存储的链路 例如以下错误 就需检查物理机到NFS存储的连接 failed to execute shell command: mount :/home/Storage/zhu /opt/zstack/ nfsprimarystorage/prim a6340da884c33a8668a 使用分布式块存储的物理机 如果存在存储网络 则要求物理机可直接访问存储网络 8. 如果使用VXLAN网络 其挂载集群时指定的VTEP IP应该存在 如果不存在 物理机将无法重连 成功 95

102 运维手册 / 11 基本运维 11.6 重连主存储 重连主存储会重新部署代理程序进行相关检查 重连主存储失败需检查的因素 1. 本地存储一般处于可连接状态 2. NFS主存储保证有可用物理机可以连接此主存储 重连失败时 需检查NFS Server的IP地 址 NFS共享目录 NFS挂载参数是否正确 3. Ceph主存储需检查分布式块存储是否正常 重连失败时 需检查Ceph IP地址 Ceph SSH 端 口 用户名 密码 用户名是否有sudo权限 Ceph集群状态是否正常 4. Fusionstor主存储需检查分布式块存储是否正常 重连失败时 需检查Fusionstor IP地 址 Fusionstor SSH 端口 用户名 密码 用户名是否有sudo权限 Fusionstor集群状态是否正 常 5. Shared Mount Point主存储需在物理机手动挂载此目录 建议在/etc/rc.local里进行定义 开机自 启动挂载 11.7 重连镜像服务器 重连镜像服务器会重新部署代理程序进行相关检查 重连镜像服务器失败需检查的因素 1. Sftp镜像服务器和镜像仓库需检查SSH端口号 用户名 密码 用户名是否拥有sudo权限 2. Ceph镜像服务器需检查分布式块存储是否正常 重连失败时 需检查Ceph IP地址 Ceph SSH 端口 用户名 密码 用户名是否有sudo权限 Ceph集群状态是否正常 3. Fusionstor镜像服务器需检查分布式块存储是否正常 重连失败时 需检查Fusionstor IP地 址 Fusionstor SSH 端口 用户名 密码 用户名是否有sudo权限 Fusionstor集群状态是否正 常 11.8 云主机异常 云主机相关异常处理 异常信息 code : HOST.1005, description : Failed to start vm on hypervisor, details : failed to start., Libvirt error : internal error no supported architecture 96 异常原因及解决办法 原因 ZStack需要物理机支持并打开了硬件虚拟 化 如vmx或者svm 的支持 出现该错误的原因 通常是因为BIOS中没有打开CPU虚拟化

103 运维手册 / 11 基本运维 异常信息 for os type hvm 或"details": "failed to start vm on kvm host, because unable to start vm, libvirt error: invalid argument : could not find capabilities for domaintype =kvm " 异常原因及解决办法 解决方案 重启系统 并进入BIOS打开CPU相关虚拟化支 持 原因 ZStack需要物理机支持并打开了硬件虚拟 化 如vmx或者svm 的支持 出现该错误的原因 details : "cannot find either 'vmx' or 'svm' in /proc/cpuinfo, please make sure you have enabled virtualization in your BIOS setting" 是用户添加的物理机的CPU不支持硬件虚拟化功 能 通常是由于用户添加的物理机是一个 云主 机 导致的 需要打开对应 云主机 的嵌套虚 拟化功能 解决方案 具体的打开办法 请联系 云主机 提供方 原因 当前系统中 或者任何单独一台物理机 没有足 够的主存储容量 磁盘空间 ZStack在分配云主机和云盘时使用的是thin clone 模式 也就是云主机使用多少 才分配多少 但 是在创建云主机的时候 会按照云主机最大申请 的使用空间来扣除系统主存储的容量 以防最后 云主机使用的空间超过系统可用空间 "details": "the local primary storage has no hosts with enough disk capacity[xxx bytes] required by the vm[uuid:xxx]" 此外 如果主存储为本地存储 由于云主机的磁 盘不能够跨物理机存储 所以如果每台物理机的 剩余空间都不足创建一台新的云主机 也会遇到 此错误 解决方案 删除一些不需要使用的云主机 云盘 或者调整 云主机使用的镜像大小 在理解主存储超分的原理和使用方法的前提 下 也可以增大主存储超分比例以获得更多超分 空间 97

104 运维手册 / 11 基本运维 异常信息 异常原因及解决办法 原因 当前系统中 或者任何单独一台物理机 没有足 "details": "unable to allocate hosts; due 够的内存 to pagination is enabled, there might be 解决方案 several allocation failures happened before 删除一些不需要使用的云主机 或者调整云主机 ; the error list is [{no host having cpu[x HZ], memory [xxx bytes] found}]" 使用计算规格的大小 在理解内存超分的原理和 使用方法的前提下 也可以增大存储超分比例以 获得更多超分容量 原因 "details": "failed to start vm[uuid:xxx name 当前系统中实际可用物理内存不足以分配给需要 :xxx] on kvm host[uuid:xxx, ip:x.x.x.x], 创建的云主机 当这个错误出现时 就算提高内 because unable to start vm[uuid:xxx, name 存超分比例 也没有办法创建更大容量的内存 :xxx], libvirt error: internal error: early end of file from monitor: possible problem 解决方案 : Cannot set up guest memory 'pc.ram 减小云主机的计算规格 增加物理主机的内 ': Cannot allocate memory" set up guest 存 或者增加物理主机的swap分区 会降低系统 memory 'pc.ram':cannot allocate memory" 性能 原因 "failed to migrate vm[uuid:xxx] from kvm host[uuid:xxx, ip:xxx] to dest host[ip:xxx ], unable to migrate vm[uuid:xxx] to qemu +tcp://xxx/system, Unsafe migration: Migration may lead to data corruption if disks use cache!= none" 当前的基础设置中 将云主机的磁盘缓存模式设 置为其他模式 例如 writethrough或writeback 系统认为带缓存模式的迁移是不安全的 解决方案 需要将此基础设置的缓存模式修改为None模式才 可迁移 原因 此计算节点可能被重复添加 里面已经有使用 了vnic15.0的云主机在运行 导致设备出现冲 "description": "Failed to start vm on hypervi 突 sor",libvirt error: Unable to create tap device vnic15.0: Device or resource busy 解决方案 建议添加物理机时 需保持一个干净的环境 或 清理掉其上已经运行的云主机 Permission denied: '/opt/zstack/nfsprim arystorage/prim-cd a0b4c669afa7 9acfc433ca5/dataVolumes' 98 原因

105 运维手册 / 11 基本运维 异常信息 异常原因及解决办法 创建云主机或数据盘时 NFS主存储的目录没有 读写的权限 解决方案 需在NFS 服务器端开启读写权限 internal error: unable to execute QEMU agent command 'guest-set-user-passwor d': failed to set password: The user name could not be found. 原因 修改云主机密码时 指定的用户名不存在 解决方案 需要指定已存在的用户名 原因 修改云主机密码时 在云主机内部没有安装qemu internal error: unable to execute QEMU -ga或者代理程序版本过低 agent command 'guest-set-user-password 解决方案 ': The command guest-set-user-password 可执行qemu-ga -V检查版本 has not been found 在CentOS7.2里版本是2.3.0 在Windows 2012里版本是 "description": "An operation failed","details ": "unable to live migrate with local storage. The vm[uuid: acdad4ffab2f75 798cdb65c38] has volumes on local storage,to protect your data, please stop the vm and do the volume migration" 解决方案 本地存储的云主机在线迁移时 需要先卸载相关 的数据云盘 原因 这类错误通常是由系统DBUS进程死掉或者DBUS 运行异常引起的 "libvirt error: error from service: ListAct ivatablenames: Connection is closed "或"libvirt error: Activation of org.freedes ktop.machine1 timed out" 解决方案 方法1 重启ZStack物理机 DBUS会自动恢 复 方法2 在物理机上使用如下命令 1. service systemd-machined restart 2. service libvirtd restart 3. 完成后用UI或者CLI重连出问题的物理机 99

106 运维手册 / 11 基本运维 异常信息 异常原因及解决办法 { "error": { "code": "HOST.1009", "descrip tion": "Failed to migrate vm on hypervi sor", "details": "failed to migrate vm[uuid :90bb61f55e774f5f89c9e1ea46db7661 原因 ] from kvm host[uuid:e5105c61114a4e 这是因为两台物理机hostname相同 KVM在线迁 fe8bcc025f744226bd, ip: ] 移目前依靠hostname进行确认不同的物理机 如 to dest host[ip: ], unable to 果hostname相同 则会被认定为相同的物理机 migrate vm[uuid:90bb61f55e774f5f89c9e 解决方案 1ea46db7661] to qemu+tcp:// /system, internal error: Attempt to migrate 请确保物理机hostname不能相同 可以通 guest to the same host localhost.domain 过hostnamectl set-hostname your_new_hostn.com" }, "createdtime": , ame来设定 "type": { "_name": "key.event.api.api_eve NT" }, "id": "e6bcd7c33ad9446b919e1 1cd647fc8dc" } all mons failed to execute http call[/ceph/ primarystorageolume/clone 解决方案 重连主备存储 为什么冷迁移会失败 "SYS.1006" 简介: An operation failedfailed to execute bash [rsync -a --relative /data/rootvolumes/ 原因 acct-36c27e8ff05c4780bf6d2fa65700f22e /vol-3f f414d84b1b 权限属组问题 b297/snapshots/c0bb52f90d194a55a0ae4 Operation not permitted (1) rsync: recv_ge 7468d qcow2 --rsh="/usr/bin/ nerator: mkdir "/data/rootvolumes/acct-36c27e8 sshpass -p mevoc0-_-03 ssh -o StrictH ff05c4780bf6d2fa65700f22e/vol-3f f414d ostkeychecking=no -l mevoco" b1b b297" failed: Permission.32:/], return code: 23, stdout:, stderr: denied (13) *** Skipping any contents from this Warning: Permanently added ' failed directory *** rsync error: some files/attrs ' (ECDSA) to the list of known hosts. rsync: were not transferred failed to set times on "/data": Operation not 解决方案 permitted (1) rsync: failed to set times on "/data/rootvolumes": Operation not permitt ed (1) rsync: failed to set times on "/data/ rootvolumes/acct-36c27e8ff05c4780bf6d2 fa65700f22e": Operation not permitted (1) rsync: recv_generator: mkdir "/data/ rootvolumes/acct-36c27e8ff05c4780bf6d2 fa65700f22e/vol-3f f414d84b1b 需要重新给正确的属组 确认要迁移的VM文件是 不是root qemu组

107 运维手册 / 11 基本运维 异常信息 异常原因及解决办法 b297" failed: Permission denied (13) *** Skipping any contents from this failed directory *** rsync error: some files /attrs were not transferred (see previous errors) (code 23) at main.c(1052) [sender =3.0.9] 详情: failed to execute bash[rsync -a --relative /data/rootvolumes/acct-36c27e8ff05c47 80bf6d2fa65700f22e/vol-3f f414d 84b1b b297/snapshots/c0bb52f 90d194a55a0ae47468d qcow2 -rsh="/usr/bin/sshpass -p mevoc0-_-03 ssh -o StrictHostKeyChecking=no -l mevoco " :/], return code: 23, stdout:, stderr: Warning: Permanently added ' ' (ECDSA) to the list of known hosts. rsync: failed to set times on "/data": Operation not permitted (1) rsync: failed to set times on "/data/rootvolumes": Operati on not permitted (1) rsync: failed to set times on "/data/rootvolumes/acct-36c27e8 ff05c4780bf6d2fa65700f22e": Operation not permitted (1) rsync: recv_generator : mkdir "/data/rootvolumes/acct-36c27e8 ff05c4780bf6d2fa65700f22e/vol-3f f414d84b1b b297" failed: Permission denied (13) *** Skipping any contents from this failed directory *** rsync error: some files/attrs were not transferred (see previous errors) (code 23) at main.c (1052) [sender=3.0.9] failed to start vm[uuid:4ef5a9e4ae6441 c7b046c384c3ae6f7f name:stack_local] on kvm host[uuid:d0d9800a09c34da4891e0 cc624a0d349, ip: ], because Traceback (most recent call last): File "/ var/lib/zstack/virtualenv/kvm/lib/python2.7 /site-packages/kvmagent/plugins/vm_plug in.py", line 2721, in start_vm self._start_vm (cmd) File "/var/lib/zstack/virtualenv/kvm 原因 这是因为管理平台把host-passthrough开启而导 致 解决方案 关闭此选项即可 101

108 运维手册 / 11 基本运维 异常信息 异常原因及解决办法 /lib/python2.7/site-packages/kvmagent/ plugins/vm_plugin.py", line 2664, in _start_ vm 'unable to start vm[uuid:%s, name:%s ], libvirt error: %s' % (cmd.vminstanceuuid, cmd.vmname, str(e))) KvmError: unable to start vm[uuid:4ef5a9e4ae6441c7b046c 384c3ae6f7f, name:stack_local], libvirt error: internal error: early end of file from monitor, possible problem: qemu-kvm: / root/rpmbuild/build/qemu-2.6.0/targeti386/kvm.c:1736: kvm_put_msrs: Assertion `ret == n' failed. 原因 code : SYS.1006,description:An operation failed, details:failed to check physical network interfaces on lvm 嵌套虚拟化 解决方案 建议云主机CPU模式设置成passthrough 原因 很可能是管理节点的IP地址无法访问出去 description": "A message or a operation 一般出现这个情况是多网卡的服务器在安装管理 timeout","details": "[Async Http Timeout] 服务时指定了第一个默认路由的网卡地址 url: timeout 解决方案 after [MILLISECONDS], command : {\"uuid\":\"78183b0a46094e30bc8a6 打开/usr/local/zstack/apache-tomcat/webapps/ 128b30ee8cb\",\"restartDnsmasqAfterNu zstack/web-inf/classes/zstack.properties mberofsiguser1\":0}" 修改management.server.ip = xxx.xxx.xxx.xxx这个ip地址 修改为可以访问 出去的IP地址 解决方案 打开/usr/local/zstack/apache-tomcat/webapps/ failed Error in connection establishment: net::err_connection_refused zstack/web-inf/classes/zstack.properties 将consoleProxyOverriddenIp =xxx.xxx.xxx.xxx改为管理节点的ip地址 修改 完后要重启节点才生效 102

109 运维手册 / 11 基本运维 异常信息 异常原因及解决办法 原因 Could not access KVM kernel module: No such file or directory failed to initialize KVM : No such file or directory. 这个虚拟机不支持虚拟化技术 解决方案 需要先开启嵌套虚拟化 11.9 日志分析 相关日志记录地址 类型 日志路径 日志所在机器 管理节点日志 /usr/local/zstack/apache-tomcat/logs/managem ent-server.log 管理节点 管理节点UI日志 /usr/local/zstack/apache-tomcat/logs/zstack-ui.log 管理节点 控制台代理日志 /var/log/zstack/zstack-console-proxy.log 管理节点 管理节点部署日志 /var/log/zstack/deploy.log 管理节点 shell命令日志 /var/log/zstack/zstack.log 物理机 zstack kvmagent 日志 /var/log/zstack/zstack-kvmagent.log 物理机 VM对应的libvirt 日志 /var/log/libvirt/qemu/vm_uuid.log 物理机 系统基本日志 /var/log/messages 管理节点/物理机等 镜像仓库日志 /var/log/zstack/zstack-store/zstore.log 镜像仓库 ceph 主存储日志 /var/log/zstack/ceph-primarystorage.log Ceph Mon节点 ceph 备份存储日志 /var/log/zstack/ceph-backupstorage.log Ceph Mon节点 Fusionstor 主存储日志 /var/log/zstack/fusionstor-primarystorage.log Fusionstor 备份存储日 志 云路由设备的日志 扁平网络的配置及日 志 Fusionstor Mon节点 /var/log/zstack/fusionstor-backupstorage.log Fusionstor Mon节点 /home/vyos/zvr/zvr.log 云路由设备 /var/lib/zstack/dnsmasq/ 物理机 日常运维出现错误时 进行错误分析的一般步骤如下 1. 根据UI界面提示的错误信息进行简单分析 103

110 运维手册 / 11 基本运维 例如 创建云主机失败时提示的信息是no host found, 那么此时可能的原因就是选择的镜像所 在的镜像服务器 可选的集群加上选择的网络进行筛选后 没有可用的物理机 此时需要检查集群内是否有可用的物理机 是否挂载相应的网络 集群是否挂载了相应的主 存储 2. 分析管理节点/usr/local/zstack/apache-tomcat/logs/management-server.log关于UI界面提示的错 误信息 查询提示错误的信息 根据上下文进行分析 分析发生异常时的工作流 也可根据执行的操作API进行查询分析 例如创建云主机调用的API是APICreateVmInstance 在管理节点搜索这个API 往下逐步分析错误原因 3. 再根据错误的具体信息 查看相关代理日志的错误信息 例如 在物理机的/var/log/zstack/zstack-kvmagent.log查看对云主机进行生命周期控制时的代 理错误日志 网络脚本 ZStack定制的ISO提供了以下网络脚本方便配置网络 1. zs-show-network用于显示网络状态 无须额外参数 显示网络连接及链路聚合状态 [root@localhost ~]# zs-show-network 1: lo: <LOOPBACK,UP,LOWER_UP> mtu qdisc noqueue state UNKNOWN link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet /8 scope host lo valid_lft forever preferred_lft forever inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: vmnic0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen 1000 link/ether fa:84:ba:34:92:00 brd ff:ff:ff:ff:ff:ff inet /16 brd scope global vmnic0 valid_lft forever preferred_lft forever inet6 fe80::f884:baff:fe34:9200/64 scope link valid_lft forever preferred_lft forever Bond Name SLAVE BONDING_OPTS zs-network-setting用于配置物理网卡网络命令 用法有两种 a. 方法一 # 参数-i 意为对接口 interface 配置网络地址 zs-network-setting -i [interface] [ipaddress] [netmask] [gateway] 接口 地址 掩码 网关 104

111 运维手册 / 11 基本运维 # 例子1 zs-network-setting -i eth # 例子2 zs-network-setting -i eth b. 方法二 # 参数-b 意为基于接口 interface 创建网桥 bridge 并配置网络地址 zs-network-setting -b [interface] [ipaddress] [netmask] [gateway] 接口 地址 掩码 网关 # 例子1 zs-network-setting -b eth # 例子2 zs-network-setting -b eth zs-change-nic用于修改网卡名命令 修改网卡名后 脚本会将配置到/etc/udev/rules.d/70persistent-net.rules 物理主机重启后命名仍保持新的命名 # 参数-c 意为修改 change 物理网口名字 zs-change-nic -c [old-nic-name] [new-nic-name] 当前网卡名 新的网卡名 # 例子 zs-change-nic -c eth0 em01 4. zs-vlan用于配置vlan接口 有两种用法 a. 方法一 创建VLAN # 参数-c 意为创建 create VLAN接口 zs-vlan -c [nic-name] [vlan] 指定网卡 VLAN号 # 例子 zs-vlan -c zsnic0 10 b. 方法二 删除VLAN # 参数-d 意为删除 delete VLAN接口 zs-vlan -d [nic-name] [vlan] 指定网卡 VLAN号 # 例子1 zs-vlan -d zsnic0 10 # 例子2 zs-change-nic -c eth0 em01 注: 创建VLAN接口后 将会在/etc/sysconfig/network-scripts/创建对应的网络配置文 件 物理主机重启后VLAN接口仍生效 删除VLAN接口后 对应网络配置将会删除 创建VLAN接口后 若基于此端口与其他设备通信 需要参照网络设备厂商的VLAN配 置手册 以允许该VLAN接口流量传输 105

112 运维手册 / 11 基本运维 以下提供常见网络设备VLAN设定参考 华为 点击这里 华三 点击这里 思科 点击这里 瞻博 点击这里 5. zs-bond-lacp用于创建删除bonding链路聚合命令 有两种用法 a. 方法一 创建Bonding 链路聚合 # 参数-c 意为创建 create 链路聚合接口 zs-bond-lacp -c [bond-name] 聚合接口 # 例子 zs-bond-lacp -c bond0 b. 方法二 删除链路聚合 参数-d 意为删除 delete 链路聚合接口 zs-bond-lacp -d [bond-name] 聚合接口 # 例子 zs-bond-lacp -d bond0 注: 本命令创建的接口是基于IEEE 802.3ad动态链路聚合协议 LACP 该接口需要管理员 设定物理主机接入层网络交换机的端口组 Port-Group 6. zs-nic-to-bond用于配置链路聚合命令 a. # 参数-a 意为加载 attach 物理接口到聚合接口 zs-nic-to-bond -a [bond-name] [nic-name] 聚合接口 物理接口 # 例子 zs-nic-to-bond -a bond0 em1 b. # 参数-d 意为从聚合接口卸载 detach 物理接口 zs-nic-to-bond -d [bond-name] [nic-name] 聚合接口 物理接口 # 例子 zs-nic-to-bond -d bond0 em1 注: 106

113 运维手册 / 11 基本运维 该命令执行后 会反馈执行接口 并显示聚合接口与物理接口的关系 例如 Bond Name SLAVE(s) BONDING_OPTS bond0 enp1s0f1 miimon=100 mode=4 xmit_hash_policy=layer2+3 enp1s0f 其中 bond0是聚合接口 enp1s0f0和enp1s0f1是物理接口 显示其绑定关系 此外 enp1s0f0和enp1s0f1对应的接入网络设备的物理端口组成端口组 Port-Group 管理员需依照网络设备型号配置端口组 以下提供常见网络设备端口组设定参考 华为 点击这里 华三 点击这里 思科 点击这里 瞻博 点击这里 基础设置 全局设置包括基础设置与高级设置 目前基础设置支持十六项 具体介绍如下 云主机高可用 可以打开或者关闭云主机高可用功能 如果关闭此选项 则云主机不支持设置高可用 CPU超分率 默认值为10 主要用于设置可分配的虚拟CPU个数 如果物理机的CPU为四核八线程 ZStack会将物理主机CPU的总数(8)以处理器超分率的倍 数(10)计算可分配的虚拟CPU的个数 即总量为80 虚拟CPU的总数可以在首页的处理器的总量 会话超时时间 设定ZStack图形界面登录后会话多长时间失效 默认为2小时 即7200秒 当用户登录会话失 效后 用户将需要重新登录 物理机保留内存 物理主机保留内存 : 所有KVM主机上保留的内存容量 建议可用单位 T/G/M 注: 107

114 运维手册 / 11 基本运维 例如 512M 表示为系统预留512M内存 当系统剩下700M的内存的时候 用户又想启 动一个内存为512M的云主机是启动不了的 云主机缓存模式 云主机缓存模式设置,可选模式为 writethrough, none, writeback 1. Writethrough: 物理机的页面缓存工作在透写模式 数据完全写入云主机存储设备后 才返回 成功 2. None: 云主机不使用物理机的页面缓存 直接访问存储 不带cache 3. Writeback: 云主机使用了物理机的页面缓存机制 数据写入物理机页面缓存即报告给云主机 返回成功 云主机CPU模式 选择云主机的CPU类型是否与物理机的CPU类型一致 当选择host-model类型时 云主机的CPU类型将与物理机的CPU类型相符 例如都显示 为Haswell的Intel CPU 当选择host-passthrough类型 云主机的CPU类型将与物理机的CPU完全一致 当选择host-model或者host-passthrough类型时 云主机可以支持嵌套虚拟化 但可能导致云 主机在不同型号CPU的物理机之间迁移失败 本地存储迁移 本地存储迁移全局设置打开或关闭 打开此开关 则支持本地热迁移 内存超分率 默认值为1.0 如果物理内存为4G 设置为2 那么ZStack会认为系统可以分配8G的内存给云 主机使用 允许范围>=1 该数值为经验数值 需要根据不同系统和应用的需求来进行配置 通常不应设 置的过大 否则会影响云主机的性能 在生产环境中 如果用户打算采用物理内存超分 建议在安装系统时 配置相应的swap分 区 注: 例如 如果物理机内存为100G 并打算设置物理内存超分为2 建议设置swap分区也 为100G 这样的配置在实际使用中 有足够的swap空间供内存超分使用 主存储超分率 108

115 运维手册 / 11 基本运维 默认值为1.0 如果主存储可用空间为2T 设置为2 那么ZStack会认为系统可以分配4T的空 间给云主机使用 允许范围>=1 该数值不应设置的过大 用户需完全理解该设置的含义并设置正确的主存储使用阈值后 才能进行相应的设置 否则 会有严重的数据丢失风险 主存储使用阈值 默认值为0.9 为了防止系统过度使用主存储空间 尤其是当设置了主存储的超分比例后 过 度分配云盘有可能使存储溢出 从而导致云主机存储失效崩溃 需要设置主存储阈值 注: 例如 阈值为0.9 如果当前主存储空间实际使用率到达总容量的90% 整个系统将不 能新建云主机或者云盘 此时用户需添加更多的云盘给主存储 并手动重新连接计算 节点后 即可进行新建云盘操作 主存储使用阈值允许范围是0~1范围内的小数 当使用大于1的主存储超分率后 该阈值应设 定为0.6或更小 以确保可及时添加主存储 用户需完全理解该设置的含义 才能进行相应的 设置 否则会有严重的数据丢失风险 云路由管理员密码 登录云路由设备的密码 admin可以直接在这里设置任意长度字符串 该操作对所有云路由生 效 注: 停止云路由后 系统自动再次启动后生效 手动在控制台内重启无效 云主机Network Anti-Spoofing 防 IP/MAC 伪造和 ARP 欺骗 删除策略 可以选择三种策略 立刻删除 Direct 延时删除 Delay 和永不删除 Never 该策略设 置会设定用户在删除云主机 云盘以及镜像相关内容的删除规则 1. 立刻删除 Direct 当设置为立刻删除时 如果用户删除云主机或者其他资源 这些相关资源会被立刻删除 2. 延时删除 Delay 109

116 运维手册 / 11 基本运维 当设置为延时删除 默认 时 如果用户删除云主机或者其他资源 这些资源会被标记 为已删除 显示在对应资源的已删除栏 等彻底延时删除时延 默认时延24小时 也就 是86400秒 超时后或用户手动强制删除时 才会彻底删除相关资源 3. 永不删除 Never 当设置为永不删除时 当用户删除云主机或者其他资源 这些资源永远不会被系统自动删 除 彻底删除时延 当删除策略为延时删除时 可以选择延时多久彻底删除资源 ZStack默认时延24小时 也就 是86400秒 NUMA 打开NUMA选项可支持在线修改CPU内存 此操作支持CentOS7.2 CentOS6.6 Ubuntu Ubuntu16.04等云主机操作系统 不建议在生产环境中对Windows云主机执行在线修 改CPU 内存的操作 建议对Windows云主机关机后再修改配置 云主机显卡类型 管理员可以进入基础设置页面更改云主机启动时默认的显卡类型 更改后可通过 ps -ef grep qemu命令查看-device后的显示类型 检查qemu终端设置是否与对应的VM一致 ZStack 提供更改以下三种显卡类型 1. cirrus cirrus提供一种简单的显卡类型 但对某些操作系统 无法提供更好的显示支持 -device cirrus-vga 2. vga vga是一种提供更好分辨率的显卡类型 -device VGA 3. qxl qxl显卡类型在spice协议下能够表现出更好的性能 (-device qxl-vga) 或通过 virsh dumpxml $domainid 指令查看中的是否对应 $domainid指云主机uuid 注: 该选项改变后 只针对新创建的云主机和停止后再启动的云主机生效 110

117 运维手册 / 11 基本运维 高级设置 ZStack支持上百种高级设置 用户可根据自身的需求搜索并且修改对应的设置 目前高级设置支持 以下选项 具体介绍如下 云路由设备agent自动启动 默认为false 默认情况下 云路由设备已集成了agent程序 支持开机自动启动 如果设置并 部署新的agent 并打算使其生效 此选项需设置为true 设置为true后 在云路由设备在每次创建 启动或重启时 管理节点均会部署新的agent程 序 云路由设备连接超时时间 默认为300 单位为秒 用于设置管理节点与云路由设备上运行的agent程序的连接超时上 限 如果管理节点在指定时间内没有连接成功agent程序 则云路由设备会启动失败并被删除 云路由设备ssh超时时间 默认为300 单位为秒 用于设置管理节点与云路由设备进行ssh连接的超时上限 如果管理节 点在指定时间内没有ssh成功云路由设备 则云路由设备会启动失败并被删除 镜像服务器Ping间隔 默认为60 单位为秒 用于设置管理节点在指定的时间间隔去检查镜像服务器 如果检查成 功 表示镜像服务器是连接状态 镜像服务器Ping最大并发度 默认为50 用于设置管理节点同时检查多个镜像服务器时 最大的并发度 镜像服务器保留容量 默认为1G 用于设置镜像服务器在使用时保留使用的容量 Ceph镜像下载超时时间 默认为3600 单位秒 用于设置Ceph镜像服务器下载镜像时的超时时间 如果超过此时间 镜 像还未下载完成 此镜像会添加失败 Ceph镜像服务器Mon自动重连 默认为true 用于设置Ceph镜像服务器的Mon IP在检查失败时 是否开启自动重连 Ceph镜像服务器Mon重连延迟 默认为30 单位秒 用于设置Ceph镜像服务器的Mon IP在一次检查失败后 再次重连的延迟间 隔 111

118 运维手册 / 11 基本运维 Ceph镜像缓存清理间隔 默认为43200 单位秒 用于设置Ceph镜像已删除后 也无云主机使用的前提下 Ceph主存储 里面不再使用的镜像缓存被执行清理的时间间隔 Ceph主存储删除Pool选项 默认为false 在删除Ceph主存储时 是否删除所有的ceph存储池 默认关闭 打开此选项 非 常危险 可能导致数据丢失 需谨慎操作 Ceph主存储Mon自动重连 默认为true 用于设置Ceph主存储的Mon IP在检查失败时 是否开启自动重连 Ceph主存储Mon重连延迟 默认为30 单位秒 用于设置Ceph主存储的Mon IP在一次检查失败后 再次重连的延迟间隔 配置信息的私钥 和公钥一起作为一个密钥对 用于远程连接各物理资源时无密码登录 与用户在系统设置的密钥 无关 配置信息的公钥 和私钥一起作为一个密钥对 用于远程连接各物理资源时无密码登录 与用户在系统设置的密钥 无关 控制台agentPing间隔 默认为60 单位秒 用于设置检查控制台agent程序的时间间隔 控制台agent空闲超时 默认为60 单位秒 用于设置空闲的控制台agent等待的最大时间 Fusionstor镜像下载超时时间 默认为3600 单位秒 用于设置Fusionstor镜像服务器下载镜像时的超时时间 如果超过此时 间 镜像还未下载完成 此镜像会添加失败 Fusionstor镜像服务器Mon自动重连 默认为true 用于设置Fusionstor镜像服务器的Mon IP在检查失败时 是否开启自动重连 Fusionstor镜像服务器Mon重连延迟 默认为30 单位秒 用于设置Fusionstor镜像服务器的Mon IP在一检查失败后 再次重连的延迟 间隔 Fusionstor镜像缓存清理间隔 112

119 运维手册 / 11 基本运维 默认为43200 单位秒 用于设置Fusionstor镜像已删除后 也无云主机使用的前提下 Fusions tor主存储里面不再使用的镜像缓存被执行清理的时间间隔 Fusionstor主存储删除Pool选项 默认为false 在删除Fusionstor主存储时 是否删除所有的Fusionstor存储池 默认关闭 打开 此选项 非常危险 可能导致数据丢失 需谨慎操作 Fusionstor主存储Mon自动重连 默认为true 用于设置Fusionstor主存储的Mon IP在检查失败时 是否开启自动重连 Fusionstor主存储Mon重连延迟 默认为30 单位秒 用于设置Fusionstor主存储的Mon IP在一次检查失败后 再次重连的延迟间 隔 孤儿GC清理间隔 默认为60 单位秒 在管理节点以指定时间间隔扫描孤儿GC 若有则进行接管 云主机高可用全局开关 默认为true 用于设置云主机高可用功能 如果关闭此选项 则云主机不支持设置高可用 强 调危险 关闭则整体关闭VM HA功能 高可用异常物理机检查间隔 默认为5 单位为秒 用于设置在指定的时间间隔去检查一个异常的物理机 高可用判定物理机失联尝试次数 默认为12 用于设置在指定的最大次数去重连物理机 如果在指定最大次数内连接此物理机均失 败 则判定物理机失联 高可用判定物理机成功间隔 默认为5 用于判定物理机成功连接的时间间隔 如果物理机在此间隔内成功返回 则表示连接 成功 高可用判定物理机成功尝试几率 小数 默认为0.5 用于设置在指定连接次数的既有成功又有失败的情况下 以多大几率来判定 物理机连接成功 高可用判定物理机成功次数 默认为3 用于设置在物理机连接成功的判定时 需要至少建立几次成功的连接 高可用物理机自检间隔 113

120 运维手册 / 11 基本运维 默认为5 设置物理机状态自检的间隔 高可用物理机自检最大尝试次数 默认为12 用于设置在指定的最大次数去自检物理机 在最大的尝试测试次数均失败时 会判定 物理机网络异常 高可用物理机自检主存储检查超时时间 默认为15 单位为秒 用于设置在物理机自检连接主存储的超时时间 高可用永不停止云主机尝试的延迟时间 默认为60 单位为秒 针对永不停止的云主机 如果上一次尝试启动失败 到下一次尝试时中 间的延迟时间 高可用永不停止云主机扫描间隔 默认为60 单位为秒 针对永不停止的云主机 如果启动失败 下次扫描的时间间隔 物理机Ping不通时自动重连 默认为true 管理节点连不通物理机时 会自动重连 物理机自动重连 默认为true 管理节点在启动服务过程中 是否全部重连物理机 物理机重连并发度 默认为100 管理节点在重连物理机过程中 全部重连物理机时的最大并发度 物理机维护模式忽略错误 默认为false 物理机维护模式 忽略相关错误 会返回成功 物理机Ping间隔 默认为60 单位为秒 管理节点在指定间隔对物理机进行检查 来物理机是否连接 物理机Ping并发度 默认为100 管理节点在检查物理机是否连接时 支持的最大并发度 会话清理间隔 默认为3600 用于设置在指定的时间间隔清理哪些已经超时的会话 会话最大会话数 默认为500 用于设置管理节点可接受的最大会话数量 超过此数值 将不能建立新的会话 会话超时时间 114

121 运维手册 / 11 基本运维 默认为7200 当前会话登录超过该会话时间后 系统将不可用 需重新登录 镜像删除策略 可选类型为直接删除 延迟删除 永不删除 用于在删除镜像时 管理节点设置的删除策略 1. 直接删除 直接从数据库删除和文件级别删除镜像 2. 延迟删除 将此镜像的状态变为已删除 在镜像彻底删除到期后 会从数据库删除和文件级 别删除镜像 3. 永不删除 从数据库删除镜像 但是永不删除其文件 镜像彻底删除间隔 默认为3600 单位为秒 用于设置执行彻底删除镜像任务的时间间隔 镜像彻底删除周期 默认为86400 单位为秒 用于设置将一个已删除的镜像从数据库移除 并从镜像服务器移除的 执行周期 镜像启用重置密码 默认为true 用于设置镜像是否启用重置密码 KVM云主机云盘的最大数量 默认为24 用于设置一个云主机可支持的最大数据盘数量 KVM物理机并发级别 默认为10 用于设置在物理机执行命令的并发数量 如果设置的并发数量过大 可能导致物理机 负载过高 KVM物理机保留内存 默认为1G 用于设置为物理机上保留的内存容量 KVM云主机缓存模式 云主机缓存模式设置,可选模式为 writethrough, none, writeback writethrough: 物理机的页面缓存工作在透写模式 数据完全写入云主机存储设备后 才返回 成功 None: 云主机不使用物理机的页面缓存 直接访问存储 不带cache writeback: 云主机使用了物理机的页面缓存机制 数据写入物理机页面缓存即报告给云主机返 回成功 KVM云主机控制台模式 115

122 运维手册 / 11 基本运维 支持vnc和spice协议 默认为vnc 用于设置云主机控制台连接的协议类型 KVM云主机CPU模式 选择云主机的CPU类型是否与物理机的CPU类型一致 当选择host-model类型时 云主机的CPU类型将与物理机的CPU类型相符 例如都显示 为Haswell的Intel CPU 当选择host-passthrough类型 云主机的CPU类型将与物理机的CPU完全一致 当选择host-model或者host-passthrough类型时 云主机可以支持嵌套虚拟化 但可能导致云 主机在不同型号CPU的物理机之间迁移失败 KVM云主机并发迁移数量 默认为2 用于设置物理机维护模式时 同时迁移云主机的数量 KVM物理机Ping时云主机状态同步 默认为true 用于设置物理机在连接时 是否同步云主机的状态 负载均衡默认算法 可选方法为轮询法 最少连接法和源地址法 默认为轮询 用于设置负载均衡时 采用哪种算 法 负载均衡空闲连接超时时间 默认为60 在没有数据传输时 设置触发负载均衡器终止服务器和客户端连接的超时时间 负载均衡健康检查间隔 默认为5 用于设置对负载均衡器内的云主机进行健康检查的时间间隔 负载均衡健康检查目标 健康检查的协议类型 默认为TCP 支持TCP, HTTP, HTTPS, or SSL 用于设置对负载均衡器 内的云主机进行健康检查的协议类型 对应的有效端口是1到65535 负载均衡健康检查超时时间 默认为2 单位为秒 用于设置在指定时间内如果负载均衡检查没有相应则判定检查失败 负载均衡健康边界 默认为2 在执行多少次成功检查后 将云主机移至健康状态 负载均衡最大连接 默认为5000 用于设置负载均衡器同时建立的最大连接数 116

123 运维手册 / 11 基本运维 负载均衡不健康边界 默认为2 在执行多少次失败检查后 将云主机移至不健康状态 本地存储迁移 默认为true 本地存储迁移全局设置打开或关闭 打开此开关 则支持本地热迁移 日志选项 默认为true 设置是否开启资源的日志记录 日志语言 默认为zh_CN 设置记录相关日志的地域 此设置影响相关的日志记录的地域时间 管理节点心跳检测间隔 默认为5 单位为秒 用于设置 管理节点将心跳写入数据库的时间间隔 ZStack分发镜像 默认为true 在添加镜像后 设置是否分发镜像到本地存储 ZStack分发镜像并发度 默认为2 在添加镜像后 同时分发镜像到本地存储的并发度 内存超分率 默认值为1.0 如果物理内存为4G 设置为2 那么ZStack会认为系统可以分配8G的内存给云 主机使用 允许范围>=1 该数值为经验数值 需要根据不同系统和应用的需求来进行配置 通常不应设置的过大 否则会影响云主机的性能 在生产环境中 如果用户打算采用物理内 存超分 建议在安装系统时 配置相应的swap分区 注: 例如 如果物理机内存为100G 并打算设置物理内存超分为2 建议设置swap分区也 为100G 这样的配置在实际使用中 有足够的swap空间供内存超分使用 主存储超分率 默认值为1.0 如果主存储可用空间为2T 设置为2 那么ZStack会认为系统可以分配4T的空 间给云主机使用 允许范围>=1 该数值不应设置的过大 用户需完全理解该设置的含义并设置正确的主存储使用阈值后 才能进行相应的设置 否则 会有严重的数据丢失风险 主存储使用阈值 117

124 运维手册 / 11 基本运维 默认值为0.9 为了防止系统过度使用主存储空间 尤其是当设置了主存储的超分比例后 过 度分配云盘有可能使存储溢出 从而导致云主机存储失效崩溃 需要设置主存储阈值 注: 例如 阈值为0.9 如果当前主存储空间实际使用率到达总容量的90% 整个系统将不 能新建云主机或者云盘 此时用户需添加更多的云盘给主存储 并手动重新连接计算 节点后 即可进行新建云盘操作 主存储使用阈值允许范围是0~1范围内的小数 当使用大于1的主存储超分率后 该阈值应设 定为0.6或更小 以确保可及时添加主存储 用户需完全理解该设置的含义 才能进行相应的 设置 否则会有严重的数据丢失风险 监控物理机间隔 默认为1 单位为秒 收集物理机监控数据的时间间隔 监控云主机间隔 默认为1 单位为秒 收集云主机监控数据的时间间隔 虚拟网络DHCP MTU设置 默认为1500 用于设置虚拟网络的默认最大传输单元的字节数 L2NoVlan网络DHCP MTU设置 默认为1500 用于设置L2NoVlan网络的最大传输单元的字节数 L2Vlan网络DHCP MTU设置 默认为1500 用于设置L2Vlan网络的最大传输单元的字节数 L2Vxlan网络DHCP MTU设置 默认为1500 用于设置Vxlan网络的最大传输单元的字节数 NFS主存储GC清理时间间隔 默认为3600 单位为秒 用于设置NFS主存储GC清理云盘和快照的时间间隔 主存储镜像缓存的GC时间间隔 默认为86400 单位为秒 用于设置主存储定期扫描那些孤儿的需要被清理的镜像缓存的时间间 隔 主存储Ping间隔 默认为60 单位为秒 管理节点在指定间隔对主存储进行检查是否连接 118

125 运维手册 / 11 基本运维 主存储Ping并发度 默认为100 管理节点在检查多个主存储时 支持的最大并发度 主存储的预留容量 默认为1G 用于设置主存储的预留容量 进度条清理线程间隔 默认为300 单位为秒 用于设置清理过期的进度条记录的时间间隔 进度条开启 默认true 用于设置是否开启进度条功能 进度条记录保存时间 默认为86400 默认为秒 用于设置进度条数据在数据库中进保留的最长时间 弹性IP数量默认配额 默认为20 设置账户的弹性IP数量默认配额 镜像数量默认配额 默认为20 设置账户的镜像IP数量默认配额 镜像容量默认配额 默认为10T 设置账户的镜像容量默认配额 三层网络数量默认配额 默认为20 设置账户的三层网络数量默认配额 负载均衡器数量默认配额 默认为20 设置账户的负载均衡器配额 端口转发数量默认配额 默认为20 设置账户的端口转发数量默认配额 定时任务数量默认配额 默认为80 设置账户的定时任务数量默认配额 安全组数量默认配额 默认为20 设置账户的安全组数量默认配额 云盘快照数量默认配额 默认为200 设置账户的云盘快照配额 119

126 运维手册 / 11 基本运维 虚拟IP数量默认配额 默认为20 设置账户的虚拟IP数量默认配额 CPU数量默认配额 默认为60 设置账户的CPU数量默认配额 内存大小默认配额 默认为80G 设置账户的内存大小默认配额 运行中的云主机数量默认配额 默认为100 设置账户的运行中的云主机数量默认配额 数据云盘容量默认配额 默认为10T 设置账户的数据云盘容量默认配额 数据云盘数量默认配额 默认为40 设置账户的数据云盘数量默认配额 安全组出口策略 默认为允许 没有安全组规则时 默认的出口规则是允许 安全组进入策略 默认为禁止 没有安全组规则时 默认的进入规则是禁止 Shared Mount Point删除GC间隔 默认为3600 单位为秒 用于设置Shared Mount Point主存储的GC去清理过期云盘以及快照的 时间间隔 云路由设备agent自动启动 默认为false 默认情况下 云路由设备已集成了agent程序 支持开机自动启动 如果设置并 部署新的agent 并打算使其生效 此选项需设置为true 设置为true后 在云路由设备在每次创建 启动或重启时 管理节点均会部署新的agent程 序 云路由命令并发度 默认为100 用于设置云路由可以执行命令的最大并发度 云路由重启dnsmasq边界 120

127 运维手册 / 11 基本运维 默认为500 在发送多少次SIGUSER1后重启DNSMASQ 因为如果有非常多的SIGUSER1的 话DNSMASQ会在重新加载配置文件的时候卡住 云路由Ping间隔 默认为60 单位为秒 用于设置管理节点在指定的时间间隔去检查云路由设备 如果检查成 功 表示云路由设备是连接状态 云路由Ping最大并发度 默认为500 单位为个 用于设置管理节点在同时去检查多个云路由设备时 最大的并发度 云路由设备连接超时时间 默认为300 单位为秒 用于设置管理节点与云路由设备上运行的agent程序的连接超时上 限 如果管理节点在指定时间内没有连接成功agent程序 则云路由设备会启动失败并被删除 云路由设备ssh超时时间 默认为300 单位为秒 用于设置管理节点与云路由设备进行ssh连接的超时上限 如果管理节 点在指定时间内没有ssh成功云路由设备 则云路由设备会启动失败并被删除 云路由命令并发度 默认为100 用于设置云路由可以执行命令的最大并发度 云路由ssh端口 默认为22 云路由的ssh登录端口 云路由用户名 默认为vyos 登录云路由设备的用户名 云路由管理员密码 默认为virtual123# 云路由管理员账户是 vyos 用户设定密码后需要通过UI重启云路由设 备 该密码才会生效 云主机Network Anti-Spoofing 默认为false 该功能防止 IP/MAC 伪造和 ARP 欺骗 云主机声卡 默认为false 用于设置是否使用AC97的声卡 云主机删除策略 删除云主机的策略 可选策略为:立刻删除 延时删除 永不删除 云主机彻底删除间隔 121

128 运维手册 / 11 基本运维 默认为3600 单位为秒 执行彻底删除云主机任务运行的时间间隔 云主机彻底删除时延 默认为 单位为秒 云主机删除策略为延迟删除时 针对已删除的云主机 选择延时多 久彻底删除云主机 计算规格删除后设置为空 默认为true 用于设置在删除计算规格时 是否更新云主机的计算规 格列表为NULL NUMA 默认为false 表示云主机的架构采用NUMA结构 云主机显卡类型 默认为cirrus 设置云主机启动时默认的显卡类型 可选择类型为:cirrus, vga, qxl 快照增量的最大数目 默认为128 一个云盘快照链的最大长度 当一个云盘的快照链的长度达到这个数字时 下一个 云盘快照会是一个完整的快照 云盘删除策略 删除数据云盘有三种策略 立刻删除 延时删除 永不删除 1. 立刻删除 被删除的云盘会从数据库和主存储中删除 2. 延时删除 被删除的云盘会在数据库中被标记为已删除 等彻底延时删除时延超时后 才会 彻底从数据库与主存储中删除云盘 3. 永不删除 当设置为永不删除时 当用户删除云盘时 这些资源永远不会被系统自动删除 云盘规格删除时设置为空 默认为true 删除磁盘规格时 是否更新磁盘的磁盘规格列表为NULL 云盘彻底删除间隔 默认为3600 单位为秒 执行彻底删除云盘的任务运行的时间间隔 云盘彻底删除时延 默认为 单位为秒 云盘删除策略为延迟删除时 针对已删除的云盘 选择延时多久彻 底删除云盘 122

129 运维手册 / 12 其他配置运维 12 其他配置运维 本章主要针对高级用户 提供一些场景下的配置运维指南 12.1 安装多个管理节点 自动安装 如果用户希望搭建一个高可用的产品级云环境 那么可以部署多个管理节点以保证管理节点的高可 用 如有对数据库和消息总线有高可用的需求 可参考ZStack 高可用集群快速配置进行配置 用户通过安装部署已经安装完成一个管理节点 使用zstack-ctl add_multi_management命令安装 使用方法如下 zstack-ctl add_multi_management --host-list root:passwd1@host1_ip root:passwd2@host2_ip 注: 例如 zstack-ctl add_multi_management --host-list root:password@ root:passwor d@ 如图 57: ZStack多管理节点安装界面所示, 为第一个管理节点 使用改命令添 加 和 两个管理节点 安装完毕后 ZStack会使用这三台主机作为管理节点同时提供服务 任一管理节点服务中断 不影 响其他管理节点的控制服务 注: 此时Mysql Rabbitmq的服务依然存在在第一台管理节点上 如有需求 可以将其分别 配置 图 57: ZStack多管理节点安装界面 123

130 运维手册 / 12 其他配置运维 手动安装 当管理大量物理机的时候 为了提高可用性 用户可以安装多个ZStack管理节点 多个ZStack管理 节点之间关系平等 相互支撑 用户可以使用如下的方法安装 zstack-ctl install_management_node --host=ip_of_machine_to_install_node_2 --yum=alibase,aliepel 当新节点成功安装后 请在新节点上配置新管理节点的IP地址 zstack-ctl configure management.server.ip=ip_of_management_node2 zstack-ctl save_config 可以重复这一步来安装更多的管理节点 如果启动了多个管理节点 在批量创建云主机时 需要 修改安装了mysql的管理节点的配置文件/etc/my.conf 将其中的最大连接数修改为适合的值 来 增加可接受的最大并发数量 假如有三个管理节点 启动一百个云主机 最大并发数量至少需高 于300 下例设置为500 可作为参考 vim /etc/my.conf max_connections = 500 如果用户购买了ZStack使用授权 请联系销售厂商给每一个管理节点单独安装一个授权协议 多管理节点自动升级 ZStack一条命令即可完成多节点的升级 zstack-ctl upgrade_multi_management_node --installer-bin zstack-installer.bin 12.2 配置独立的MySQL服务器 ZStack在安装过程中会配置一个本地的数据库 用户也可以安装独立的MySQL数据库 安装独立的MySQL数据库后 用户需使用下面的ZStack的工具来初始化数据库 并进行对应的设 置 MYSQL_ROOT_PASSWORD是MySQL的根用户密码 MYSQL_ZSTACK_PASSWORD是用户希望设置的ZStack用户的MySQL密码 MYSQL_SERVER_IP是mysql数据库的物理机IP地址 124

131 运维手册 / 12 其他配置运维 输入命令后 会要求用户输入MYSQL服务器的ssh密码用于远程登录 sudo zstack-ctl deploydb --root-password="mysql_root_password" --zstack-password ="MYSQL_ZSTACK_PASSWORD" --host= MYSQL_SERVER_IP 12.3 配置独立的RabbitMQ服务器 同样可以使用zstack-ctl来完成RabbitMQ服务的安装 sudo zstack-ctl install_rabbitmq --host=rabbitmq_machine_ip 当成功的安装了RabbitMQ之后 还需要为远程的RabbitMQ访问创建加密访问 需要在RabbitMQ的 服务器上做如下操作 rabbitmqctl add_user zstack ZSTACK_USER_PASSWORD rabbitmqctl set_user_tags zstack administrator rabbitmqctl change_password zstack ZSTACK_USER_PASSWORD rabbitmqctl set_permissions -p / zstack ".*" ".*" ".*" 另外还需要把RabbitMQ的加密访问配置记录到zstack.properties 在ZStack管理节点做如下步 骤 zstack-ctl configure CloudBus.rabbitmqUsername=zstack zstack-ctl configure \ CloudBus.rabbitmqPassword= ZSTACK_USER_PASSWORD zstack-ctl save_config 当用户安装有多个管理节点的时候 需要到每个管理节点上配置正确的RabbitMQ访问方式 12.4 zstack.properties核心配置文件 zstack.properties是zstack的核心配置文件 它会存放在每一个管理节点中 zstack.properties文件中会存放诸如数据库url 用于数据库访问用户名密码 RabbitmMQ的IP地 址等等 每一个管理节点上的zstack.properties文件的内容基本上是一致的 它的路径可以通 过zstack-ctl status来获得 如果是默认安装的话 它会存放在/usr/local/zstack/apache-tomcat/webapps/zstack/WEB-INF/ classes/zstack.properties 12.5 ZStack计算节点密码变更 ZStack的物理机列表中的相应物理主机的密码 在发生变更后 需要通知ZStack系统进行变更维 护 否则可能导致此台计算节点无法继续正常工作 125

132 运维手册 / 12 其他配置运维 变更计算节点的密码可以在点击计算节点界面的物理机IP后的修改按钮即可修改 12.6 ZStack管理节点更改物理环境 ZStack的授权与用户的物理机的环境一一匹配 如果用户更新了管理节点物理机硬件配置 可能会 导致ZStack的授权失效 而启动失败 这个时候请联系ZStack的销售和技术支持获取帮助 12.7 ZStack数据库备份与恢复 为保护数据安全 防止数据丢失 ZStack现已主动定期进行数据库备份 默认使用crontab进行控 制 用户使用crontab -l命令可查看管理节点相关的自动定时备份任务 用户也可以使用crontab-e的界面里修改备份策略 默认为每天的陵城和中午12 30进行备份 并且 最多保留最新的14次备份 默认的数据库备份文件存放路径 /var/lib/zstack/mysql-backup/ 建议用户使用异地备份策略来提高安全性 只要数据库文件存在 即使ZStack的相关机器挂掉 均 可使用数据库文件进行恢复 12.8 本地存储空间扩容 背景信息 在使用ZStack产品的过程中 如果存储空间容量不足 可以通过以下方式进行存储空间扩容 以下为系统主存储空间/zstack_ps扩容的样例 操作步骤 1. 设置待扩容的物理机进入维护模式 2. 插入新的大容量磁盘至物理机 并进行分区格式化 假如设备名称为/dev/sdc 3. 创建新目录/new_volume 挂载此磁盘mount /dev/sdc1 /new_volume 4. 执行rsync -a /zstack_ps /new_volume/拷贝原始的磁盘文件至新磁盘 5. 添加以下内容至/etc/fstab 将物理磁盘挂载点与/zstack_ps目录绑定 /dev/sdc1 /new_volume auto defaults

133 运维手册 / 12 其他配置运维 /new_volume /zstack_ps none defaults,bind 重启物理机 使用df -h /zstack_ps检查扩容后的空间增量 Filesystem Size Used Avail Used% Mounted on /dev/vdb1 4.0T 304G 3.5T 8% /zstack_ps 7. 重启ZStack服务 zstack-ctl stop zstack-ctl start 8. 重连Host继续使用ZStack 注: 备份存储的扩容方法与此类似 只是无须对Host进行维护模式及重连的操作 127

134 运维手册 / 13 常见问题 13 常见问题 1. Q ZStack支持哪些硬件环境 A ZStack支持带硬件虚拟化特性的X86服务器 工作站或台式机 支持主流的Intel或AMD的处理 器 2. Q ZStack支持哪些操作系统 A ZStack目前只支持ZStack定制的CentOS7.2系统 3. Q ZStack安装部署需要几台机器 A 最小安装只需要一台机器 可同时作为管理节点和计算节点 但在生产环境中建议分离部 署 ZStack只需一台管理节点 就可以管控ZStack内所有的硬件资源 4. Q ZStack安装部署机器的最小配置要求 A 4CPU 8G内存 主存储200G 备份存储200G空间 最小配置仅适用于测试环境 5. Q ZStack支持使用标准的CentOS7.2系统安装ZStack么 A 不支持 需使用ZStack定制的CentOS7.2 ISO来安装引导系统 6. Q 如何检查一个机器或者虚拟机是否支持硬件虚拟化 A 在终端中执行egrep "vmx svm" /proc/cpuinfo 如果有输出代表支持硬件虚拟化 7. Q 如何在BIOS打开硬件虚拟化支持 A BIOS中默认是开启硬件虚拟化支持 如果有修改 则需在BIOS打开Intel Virtual Technology 或Secure Virtual Machine选项 保存并退出 8. Q ZStack定制版ISO可以安装哪些模式及其差异 A 定制版ISO支持四种模式 9. 企业版管理节点 安装ZStack定制版CentOS7.2并安装ZStack企业版管理节点 社区版管理节点 安装ZStack定制版CentOS7.2并安装ZStack社区版管理节点 计算节点 安装ZStack定制版CentOS7.2并安装计算节点必备软件包 专家模式 安装ZStack定制版CentOS7.2并配置本地源 用户可自定义系统用途 Q 如何安装ZStack企业版 A 下载ZStack定制版ISO 在安装系统时 选择企业版管理节点模式 安装完毕操作系统重启后 会 自动安装相关的管理节点 如果由于缺少网卡配置或者其他原因导致导致ZStack安装失败 都会退出到终端 如安装ISO时 如果服务器没有可用IP 会导致无法正常安装ZStack管理节点 可以配置网络 后 再执行以下命令进行ZStack的安装 注: ZStack企业版安装执行bash /opt/zstack*installer.bin -E ZStack社区版安装执行bash /opt/zstack*installer.bin 128

135 运维手册 / 13 常见问题 10. Q 如何升级ZStack企业版 A 升级方法有两种途径 1. 下载ZStack定制版ISO和ZStack升级脚本 执行bash zstack-upgrade ZStack-x86_64-DVD-2.0.x.iso 直接升级本地的软件仓库和ZStack管理节点 2. 下载ZStack定制版ISO和ZStack升级脚本 执行bash zstack-upgrade -r ZStack-x86_64-DVD-2.0.x.iso先升级本地仓库 再执行bash ZStack-x86_64-DVD-2.0.x.iso -u升级管理节点 11.Q 如何从专家模式或计算节点升级到ZStack企业版管理节点 A 执行yum install zstack-manager; bash /opt/zstack*installer.bin -E 12. Q 如何从ZStack社区版升级到ZStack企业版管理节点 A 获取最新的企业版许可证书 安装并加载许可证书即可 13. Q 如何从ZStack企业版变更到ZStack社区版 A 在管理节点删除/var/lib/zstack/license/license.txt许可证书 安装并加载许可证书即可变更到社区 版功能 14. Q ZStack支持哪些浏览器 A 支持Chrome和Firefox浏览器 15. Q 如何处理修改hostname后ZStack管理节点服务启动失败 A 修改hostname会导致rabbitmq不可用 需执行zstack-ctl reset_rabbitmq来重置rabbitmq 16. Q UI无法登录怎么办 A 需检查 如果提示用户名密码不正确 则需输入正确的用户名和密码 如果提示无法连接管理节点 则需确保管理节点服务运行正常 可通过zstack-ctl status检查服务均 运行正常 如果依然无法连接 需使用zstack-cli在cli里来登录 检查相关的Java进程是否出现僵尸导致程序无法运行 此时需要重启管理节点机器 17. Q ZStack支持哪些速率的网络接口 A 支持千兆 万兆 40G等 云平台环境建议千兆以上 18. Q ZStack的DHCP服务和目前机房的DHCP是否会出现冲突 A ZStack的DHCP服务与目前机房已经配置的DHCP服务不冲突 但ZStack里面的云主机使用的网 络段不可与当前环境内已经使用的IP范围重叠 如果发生重叠 则可能发生IP地址冲突 19. Q ZStack的计算节点支持的Qemu和Libvirt版本是 A 可在计算节点执行virsh version进行检查 Qemu支持Qemu 2.6.0, Libvirt支持1.3.3 Compiled against library: libvirt Using library: libvirt Using API: QEMU

136 运维手册 / 13 常见问题 Running hypervisor: QEMU Q 管理节点重启后 为何物理机长时间处于连接中 A 管理节点机器或者服务重启后 需要重新建立与各硬件资源的连接 此过程会重新部署相关代理 程序 21. Q 如何修改控制台代理IP A 修改/usr/local/zstack/apache-tomcat/webapps/zstack/WEB-INF/classes/zstack.properties里面 的consoleProxyOverriddenIp后 再重启管理节点服务 22. Q 扁平网络云主机hostname会变成与IP地址相关的 A 如果镜像里面原本的hostname是localhost DHCP会主动将hostname修改成与IP地址相关 例 如 云主机IP地址为 那么云主机hostnme会变成 Q zstack-cli里面设置扁平网络的hostname为何不生效 A 如果镜像里面原本的hostname不是localhost,那么DHCP将不会分配新的hostname 而是使用原本 的hostname 24. Q 同一个三层网络是否支持设置不同的子网掩码和网关 A ZStack不支持在同一个三层网络里设置不同的子网掩码和网关 这种配置会造成网络异常 25. Q 控制台代理出现"description": "Cannot do an IO operation(e.g. network IO error, file IO error)"如 何处理 A 现象 "description": "Cannot do an IO operation(e.g. network IO error, file IO error)", "details": "I/O error on POST request for \" Connect to :7758 [/ ] failed: Connection refused; nested exception is org.apache.http.conn.httphostconnectexception: Connect to :7758 [/ ] \ failed: Connection refused","$$hashkey": "object:1344" 解决方案 需要删除/var/lib/zstack/pickledb/下面的consoleProxy文件 再次重连控制台代理 26. Q 管理节点IP地址变化了怎么办? A 管理节点IP变更 可以通过执行 zstack-ctl change_ip --ip 来将当前的管理节点IP地 址变更 执行过程中会重置rabbitmq 也可单独修改消息总线和数据库的IP地址 可根据zstack-ctl change_ip -h的提示进行变更 27. Q 如何更改UI的Admin密码 A 有两种方法 1. 直接在UI界面点击Admin信息进行修改 130

137 运维手册 / 13 常见问题 2. 在管理节点上运行如下命令 如果password已经更改 请用改过的密码替换password : zstack-cli LogInByAccount accountname=admin password=password 然后运行如下命令 NEW_PASSWORD 就是新要使用的密码 zstack-cli UpdateAccount uuid=36c27e8ff05c4780bf6d2fa65700f22e password=new_pas SWORD 28.Q 如何手动延长ZStack管理节点启动时间 A 如果用户在虚拟机中运行ZStack 很可能会遇到启动超时失败 例如系统提示 no management-node-ready message received within 120 seconds, \ please check error in log file /tmp/zstack_installation.log 如果之后运行zstack-ctl status又显示zstack为running的状态那么可以试用如下的参数直接增 加timeout的时间 zstack-ctl start_node --timeout Q Vmware ESXi设定嵌套虚拟化的虚拟机方法 A 1. 方法一 登陆VMware ESXi控制台打开VMware ESXi 5.0的ssh服务 然后用ssh登陆 VMware ESXi 后 在config文件 vi /etc/vmware/config 中最后加入vhv.enable = TRUE 一行 2. 方法二 如果不能重启整改ESXi 就通过vSphere下载想要设置嵌套虚拟化的虚拟机的config 文 件 xxx.vmx 然后在该文件最后加上vhv.enable = "TRUE" 一行 做这个操作前需要停止这个 虚拟机 加上设置后 再把修改的config拷贝覆盖原有配置文件 重新启动虚拟机 30. Q 如何重新安装ZStack A 删除千万小心 如果需要彻底重装ZStack 只需要两步 1. rm -rf /usr/local/zstack 2. ZStack-installer.bin是用户预先下载的ZStack 安装包 bash ZStack-installer.bin -E #安装ZStack企业版 bash ZStack-installer.bin #安装ZStack社区版 31. Q 在VMWare的嵌套虚拟化的虚拟机里创建ZStack的VR VM失败怎么办 A 需要在VMware的VSwitch设备上打开混杂模式 以及Vlan号 32. Q Cli中Windows VM怎么设置使用VirtIO A ZStack 默认创建Windows虚拟机的根云盘使用IDE 而数据云盘使用VirtIO 当用户给Windows虚 拟机安装了VirtIO 驱动后也可以让Windows虚拟机的根云盘使用VirtIO设备 131

138 运维手册 / 13 常见问题 方法 给该虚拟机添加一条系统标签 zstack-cli CreateSystemTag resourcetype=vminstancevo \ resourceuuid=target_vm_uuid tag=windows::virtiovolume 33. Q 为什么ZStack报告主 备份存储容量和物理机上看到的内容不一致 A ZStack使用的是thin clone模式 copy on write技术 所以VM可以很快被创建 在KVM环境 下 不论VM的镜像文件是10G还是100G VM创建的时候只有一个很小的qcow2的独立文件被创 建出来 这个qcow2文件和原始的镜像文件一起共同组成了新的VM的硬盘 当有新的数据产生 的时候 该qcow2文件的大小会不断增加 文件大小的上限为原始VM的镜像文件的配置上限 例 如10G 20G 也同VM的操作系统启动后看到的硬盘的实际大小相一致 由于ZStack默认不支持资源超分 超卖 所以ZStack在计算空间的时候 会按照VM使用空间 的上限来扣除可用空间的数量 于是用户在系统上用df命令看到的可用空间可能还有很大 但 是ZStack已经把VM未来可能会占用的所有空间都已经计算在内了 于是就会导致用户可能看到硬 盘上还有很多空间 但是不能创建虚拟机 34. Q 如何修改UI界面默认的5000端口 A 1. 先停止UI zstack-ctl stop_ui 2. 假定待使用的端口号为8889 则以下命令可在8889端口访问UI zstack-ctl start_ui --port Q 如何指定非默认路由的IP地址启动ZStack服务 A 1. 先用下面的命令设置管理节点的IP地址 zstack-ctl configure management.server.ip=your_expected_ip_address 2. 然后重启zstack即可 36. Q 如何增加ZStack UI用户和zstack-cli的session过期时间 A ZStack UI界面全局配置下找到 session 对应的 timeout 设置 调整会话过期时间 也可通过 zstack-cli 命令修改 例如下例把 zstack account登陆的过期时间改成200个小时 zstack-cli LogInByAccount accountname=admin password=password \ zstack-cli UpdateGlobalConfig name=session.timeout category=identity value= zstackcli LogOut 37. Q 希望从IP Range中保留一个IP地址,不让ZStack分配给云主机该怎么办 A 目前ZStack还没有提供 ReserverIpRange的API 如果我们希望ZStack从已经设置的IP Range中保 留几个特定的IP地址 可以在UI界面创建指定的VIP方式来保留IP使用 132

139 运维手册 / 13 常见问题 也可以用CreateVip这个API 例如下面的命令将会把a.b.c.d的IP地址从指定的L3网络上用创 建VIP的方法保留住 zstack-cli LogInByAccount accountname=admin password=password zstack-cli CreateVip l3networkuuid=you_l3_network_uuid name=for_reserver require dip=a.b.c.d zstack-cli LogOut 38. Q 如何批量修改一批云主机的计算规格 A 在UI界面可以批量选中一批云主机 进行批量修改 也可采用shell脚本配合zstack-cli命令进行批量修改 例如 下面是将一批名字里包含Win7的云主 机的计算规格全部修改为名字是Win7-Instance-Offering的计算规格 which jq (echo "you need to install jq" && exit 1) zstack-cli LogInByAccount accountname=admin password=password instance_offering_uuid =zstack-cli \ QueryInstanceOffering name=win7-instance-offering jq '.["inventories"][0].uuid' target_vms =zstack-cli zstack-cli \ QueryVmInstance name~=win7 jq '.["inventories"][].uuid' for vm in $target_vms; do zstack-cli ChangeInstanceOffering \ instanceofferinguuid=$instance_offering_uuid vminstanceuuid=$vm echo "change vm: $vm instance offering to \ $instance_offering_uuid" zstack-cli StopVmInstance uuid=$vm zstack-cli StartVmInstance uuid =$vm done zstack-cli LogOut 39. Q 如何解决qemu版本不匹配问题 A 现象 在使用过程中 启动虚拟机时可能遇到类似这样的错误信息 uses a qcow2 feature which is not supported by this qemu version: QCOW version 3 原因 主要原因是QCOW版本不一致 原始的qcow2创建版本使用的qemu-img为较新版本 现在创建时 使用的为较旧版本 旧版本不支持新版本 解决方案 可在拥有较新版本的qemu-img里面进行兼容性转换 例如执行以下命令进行转换 转换完毕 后 再重新添加镜像 qemu-img convert -o compat=0.10 -f qcow2 -O qcow2 centos6-cloud-init.qcow2 centos-st-sshkey.qcow2 40. Q 如何释放Flat Network Service Provider占用的IP A 原因 Flat Network Service Provider因为提供DHCP服务 所以会占用一个IP地址 解决方案 133

140 运维手册 / 13 常见问题 当用户不想使用该服务的时候 可以删除对应L3 network但是该provider所占用的ip地址并不会被 主动释放 可用以下方法回收该IP地址 并消除对应的影响 在所有的物理节点上执行 ip netns 对所有输出的namespace执行ip netns delete xxxx xxxx是步骤一输出的对应的namespace 执行ebtables -F pkill dnsmasq 把所有DHCP server杀死 41. Q 计算节点root用户名密码修改后 如何通知ZStack修改 A 当ZStack的计算节点root用户密码修改后 可以在UI界面直接修改计算节点的IP地址 也可使用UpdateKVMHost 的API进行更新 更新方法如下 1. 登录 zstack-cli zstack-cli >>>LogInByAccount accountname=admin password=zstack_password 2. 更新密码 需要先从UI上获得需要修改的host的 UUID >>>UpdateKVMHost uuid=ed232959bce5471eae f86176e password=new_pas SWORD 3. 退出登录 42. Q 如何把ZStack管理节点从一台物理机迁移到另一台物理机 A 1. 原管理端备份数据库 备份文件提示导出至 /var/lib/zstack/mysql-backup/ [root@old-zstack ~]#zstack-ctl dump_mysql Backup mysql successful! You can check the file at /var/lib/zstack/mysql-backup/zstack-backup -db _ gz 2. 暂停原管理端服务 [root@old-zstack ~]#zstack-ctl stop 3. 将备份数据库转移至新服务器 并在新管理端导入数据库 [root@new-zstack ~]#zstack-ctl restore_mysql --from-file=/root/zstack-backup-db _ gz --mysql-root-password=zstack.mysql.password the management node has been stopped Starting recover data... Recover data successfully! You can start node by: zstack-ctl start 4. 启动新管理端服务 [root@new-zstack ~]#zstack-ctl start 5. 这时可以直接登录ZStack的web进行host和storage的管理 如果原有host的IP有变更可以直接 在web端修改并重新连接 43. Q 使用root安装ZStack为何启动服务提示非root A 134

141 运维手册 / 13 常见问题 现象 安装ZStack时 有时使用root登录 但是启动服务时 提示非root用户需使用 sudo ERROR: please use sudo or root user FAIL Reason: failed to start zstack 在Python命令行环境下执行以下命令会发现Python认定用户并非root用户 import getpass user = getpass.getuser() print user 原因 在之前由普通用户切换root用户时 使用了su并非使用sudo su su只是shell认为切换了root用 户 但是相关的环境变量并没有切换 说明 概述相关区别 sudo允许命令在当前用户下以root的超级权限来执行 su允许切换为root用户 但是相关的用户环境并没有切换到root下去 sudo su以root权限切换到root用户下 44. Q 如何修改计算节点IP地址 A 计算节点IP地址变更后 可以在UI界面直接修改 也可以通过zstack-cliAPI进行修改 举例 将原本的 IP地址修改成 具体步骤如下 1. 执行 zstack-cli进入cli交互界面 2. 执行 LogInByAccount accountname=admin password=password 登录 3. 执行 QueryHost fields=uuid,managementip查询uuid与物理机ip地址信息 例如 >>>QueryHost fields=uuid,managementip { "inventories": [ { "managementip": " ", "uuid": "cc6a6f3df9e9424fa2b71b17cddda97f" } ], "success": true } 4. 期望将IP 修改成 那么执行以下命令即可 >>>UpdateHost uuid="cc6a6f3df9e9424fa2b71b17cddda97f" managementip=" " { "inventory": { "availablecpucapacity": 32, "availablememorycapacity": , "clusteruuid": "1e819b ab0136b1622d06e54", "createdate": "May 25, :38:24 AM", "description": "HOST-NEW", 135

142 运维手册 / 13 常见问题 "hypervisortype": "KVM", "lastopdate": "Jul 18, :46:08 AM", "managementip": " ", "name": "HOST-2", "sshport": 22, "state": "Enabled", "status": "Disconnected", "totalcpucapacity": 32, "totalmemorycapacity": , "username": "root", "uuid": "cc6a6f3df9e9424fa2b71b17cddda97f", "zoneuuid": "a8d1aae19d6648d68a484b0f85b7548a" } }, "success": true 5. 可在UI界面执行重连物理机操作 或在cli里面执行 ReconnectHost 即可重连物理机 至此 物 理机IP地址更新完毕 45. Q ZStack只认eth0? 为何不支持em01 A ZStack是根据用户的配置来确认网卡的名称 要求同集群内所有的计算节点网卡编号需要一致 如果原本已添加eth0的二层网络 但是添加新的计算节点的网卡名称只有em01的网卡 却没 有eth0的网卡 如果在添加二层网络时 选择了eth0, 那么所有的计算节点要求使用同样的eth0来设置网络 用户也可以设置em01作为二层网络来添加 但是同样的要求所有的计算节点均配置em01的网络 用户可以删除L2重新配置 46. Q 云盘可以建立在共享存储上 且可以进行任意挂载吗 A ZStack可以给一个Zone内不同Cluster添加不同主存储 主存储可以是本地存储或者共享存储 如果主存储为共享存储 则云盘创建在共享存储上 云盘和物理主机无关 可以挂载到任意物理 节点的云主机上 即 云盘的挂载不受物理机的相关约束 而且不支持云盘迁移 如果主存储为本地存储 挂载一个卸载过的云盘时 则需要保证该云盘和目标云主机在相同的物理 机上 如果该云盘和目标云主机不在相同的物理机上 就需要用户将云盘和云主机迁移到相同的物 理机上 用户可以选择迁移云主机 需要首先停止云主机 也可以选择迁移云盘 47. Q 包含系统盘和数据盘两个qcow2文件时 导入时如何添加数据盘 A Add Image的时候 可以add data volume template 创建volume的时候 可以从Data Volume template创建一个volume 使用 zstack-cli >>>CreateDataVolumeFromVolumeTemplate 48. Q VM上挂载新的L3网络时 为何只显示一个 A 动态挂载只是KVM的Qemu给VM一个虚拟网卡 使用lspci可以看到此网卡 但是云主机的操作系 统使用时 需要手动执行dhclient获取 也可参考虚拟机里面的 /etc/sysconfig/network-scripts/ifcfg-eth0 对新增的eth1可重新设置下 再重 启网络即可看到多网络路由

143 运维手册 / 13 常见问题 Q 管理网络和数据网络放在一起会有影响吗 A 建议分离 安全性会更高 网络负载分配更合理 如果网络资源不足 可以放在一起 50. Q QueryVolume actualsize怎么跟实际文件大小不一致 A 随着磁盘使用过程 这个 actualsize 可能会不断增加 此时需要使用 SyncVolumeSize uuid= 进 行同步 51. Q 可以添加两个二层网络吗 A 可以 先添加L2使用eth0 然后添加L3 使用这个L2 然后添加第二个 分配给VM IP时候 也 需要分别选择 52. Q 如何新增一块网卡跑数据网络 A 千兆以上 要规划相应的网络段提供给VM使用 与管理口一样需要填加 onboot=yes 53. Q ZStack如何自动多节点安装 A 部分用户会用到多管理节点做高可用等场景 多节点手动安装教程 点击这里 以下主要对多管理节点的自动化安装做介绍 也是ZStack 1.7版本以后支持的一个功能 具体命令如下 zstack-ctl add_multi_management --host-list root:passwd1@host1_ip 如果用户已经使用ssh_key来连接各个节点 可以用以下命令添加 --ssh-key此处为保 存ssh_key文本文件的绝对路径 54. Q 关闭计算节点后 如何实现VM高可用 A VM高可用在ZStack上 使用共享存储 设置云主机高可用 需要先将VM 状态置为stopped, 再次 启动此VM 可以在其他节点启动 55. Q Detach L3网络 重连后云主机IP会变化吗 A 在DHCP情况下会随机重新分配IP 56. Q 机房准备断电维护 上电后如何自动恢复VM的业务 A 可参考以下步骤 1. 设置全部云主机高可用为NeverStop模式 目前此功能ZStack企业版支持 社区版不支持 2. 全部物理机进入维护模式 3. 断电维护 4. 上电后 物理机启用 所有的云主机会自动恢复运行 57. Q ZStack支持连接spice协议吗 A 支持 可以在全局设置的基本设置中 设置云主机控制台的显示方式从vnc修改为spice 后续云 主机的创建均会使用spice协议 58. Q 如何读取其中一个物理节点上的U盘 137

144 运维手册 / 13 常见问题 A 目前ZStack正在研发 可以手动设定 passthrough 或者通过 usb over tcp 的方案解决 59. Q 创建image的占用空间是怎样的 A 以举例说明 一个host有800G的空间 创建了一个VM 400G 假定文件是A 然后创建了一镜像B B会上传到镜像服务器 这个时候B的实际大小应该不是400G 比如只有10G 用B来创建一个新的VM C的时候 B会从镜像服务器上下载到host上的一个cache目录 这个下载 会消耗主存储的空间 等到下载成功 host的虚拟可用容量就小于400g了 这样创建VM C就失败 了 60. Q ZStack有根据uuid查询信息的API吗 A 可以先看看/usr/local/zstack/apache-tomcat/logs/management-server.log里面这个uuid的类型, 再 用zstack-cli直接查询该属性的uuid 61. Q 如何快速找到需要的API A 遇到相关的问题 例如你打算了解Snapshot的API 可以在cli里面输入snap接着连续点击两 次tab 即可显示所有的可用的API 相关的含义从字面意思就可以理解了 62. Q 能在ZStack的VM上安装ZStack吗 A 可以 需要在ZStack全局变量中设置CPU模式为host-passthrogh 透传物理机的虚拟化特性 63. Q 云主机磁盘写满 无法启动怎么办 A 可以扩大磁盘后启动 建议先备份镜像 64. Q ZStack的管理节点是不是有优先分配资源 A 对于Linux kernel来说没有特别优先 除非通过 cgroup手动配置 建议将管理和计算分开 65. Q ZStack给KVM的mac地址 可以写死吗 A 不能 mac地址由dnsmasq随机分配 66. Q 如何为host设置保留内存 A 在全局配置里修改物理机预留内存的值即可 67. Q 如何修改虚拟机的删除时延 A 删除VM的根云盘会根据全局设置的删除策略来配置 可以在UI界面的全局设置中设置云盘的删除 时延 也可以在zstack-cli里面调整 例如执行 UpdateGlobalConfig category=vm name=expunge Period value=3600 设置成3600秒触发一次 删除操作 68. Q 创建镜像时提示URL相关错误一般有哪些原因 A ZStack允许输入的URL格式为 例如 7.qcow2 注: 138

145 运维手册 / 13 常见问题 建议用户创建一个http服务器来下载镜像 如果使用本地镜像 注意file后必须为绝对路径 69. Q 重新安装管理节点 如何恢复原来配置 A 备份之前管理节点的数据库 使用以下命令 zstack-ctl dump_mysql --keep-amount 14 在 /var/ lib/zstack/mysql-backup目录下查看 70. Q 安装好ZStack之后 如何修改MySQL密码 A 用户一键安装好ZStack后 默认的密码如下 MySQL默认的root用户 user = root password = zstack.mysql.password 默认ZStack用户 user = zstack password = zstack.password 部分用户有修改密码的需求 可以通过以下步骤进行更新 输入原本的root密码 加上待修改的--user-name 加上待修改的密码 执行后就直接在数据库 修改了对应的密码 zstack-ctl change_mysql_password --root-password zstack.mysql.password --user-name zstack --new-password password 修改完成后 将ZStack的MySQL用户信息写入 /usr/local/zstack/apache-tomcat/webapps/ zstack/web-inf/classes/zstack.properties 例如 DB.user = zstack DB.password = zstack.password 71. Q 当服务器有多个网卡时 安装ZStack报错怎么办 A 在有多网卡的物理机上 直接使用命令安装 默认会选择一块网卡 如果出现安装错误 可以使 用"-i 网卡IP"指定一块网卡 72. Q 一键安装ZStack后 启动ZStack时间过长怎么办 A 原因 管理节点启动时间与节点配置资源有关 用户往往是在虚拟机上安装ZStack才出现时间过长的情 况 解决方案 建议用户如果用虚拟环境 配置最好CPU>4,内存>8G 时间过长不代表安装启动失败 在time out报错后请先使用 zstack-ctl status 查看状态 如果为stopped状态 使用zstack-ctl start启动即 可 如果为unknown状态 需要先stop 再start 73. Q ZStack能为已经运行的虚拟机挂载ISO吗 139

146 运维手册 / 13 常见问题 A 目前ZStack不支持在UI上挂载ISO 可以通过 zstack-cli中的 AttachIsoToVmInstance命令手动挂 载 74. Q 多节点部署可以有节点使用虚拟机吗 A 可以 但是网络需要连通 建议虚拟机的节点使用桥接 虚拟机节点运行管理节点更为合适 配 置不低于4核CPU 4G内存 75. Q 为何我的IP Range中会少一个IP DHCP服务的IP是多少 A 对于前一个问题 这个IP是用来分配给云路由 vrouter 或者DHCP服务了 无vRouter情况 虚 拟路由的IP可以直接看到 对于DHCP服务的IP 在登录后 可以查询DHCP Server占用的IP地址 QuerySystemTag resourcetype="l3networkvo" 这个IP是DHCP Server占用不应该释放的 是用于分配DHCP IP地址 76. Q ZStack如何修改L3的IP Range呢 A 需要在L3网络中 添加新的IP Range然后删除原来的 VM重启后会在新的IP Range里重新分 配IP 77. Q 如何在一个VM上添加多块网卡 A 现象 使用ZStack创建VM时 可能会遇到一个虚拟机挂载多个网络的情况 这时进入console可看到多块 网卡 但没有发现IP 原因 其实每个网络对VM来说就是一块网卡 把网络加载到VM上 等价于把一块物理网卡插到一 台Server上 因此使用 ifconfig命令就能看到eth设备了 如果没有看到IP 说明网卡插上了 但并 没有配置好 解决方案 请仿照eth0的配置文件 为这个新网卡创建一个配置文件 1. 把eth0拷贝一份 以下示例是Centos 7.2环境 其他版本Linux路径和文件可能有变化 # 将配置文件中的eth0替换为eth1,并删除其中的uuid信息 cp /etc/sysconfig/network-scripts/ifcfg-eth0 /etc/sysconfig/network-scripts/ifcfg-eth1 sed -i 's/eth0/eth1/g' ifcfg-eth0 sed -i '/UUID*/d' /etc/sysconfig/network-scripts/ifcfg-eth1 2. 将网络重启生效 /etc/init.d/network restart 3. 用ifconfig查看 第二块网卡也有IP了 如果在虚拟机上挂载多个网络 重复以上操作即可 78. Q 如何修改BackupStorage的IP地址 A 140

147 运维手册 / 13 常见问题 1. 可以在UI界面修改sftp 镜像仓库的IP地址 2. 也可以在zstack-cli设置 使用 QueryBackupStorage查找待修改BackupStorage的uuid 3. 然后使用以下命令即可 其中BackupStorage的类型假设为sftp hostname为目标ip QuerySftpBackupStorage uuid="3f6c52df04cb4c4d e0bcc4b" hostname=" " 79. Q 如何使用Tag将Instance offering/disk Offering绑定主存储 A 1. 首先获取想要创建VM的Instance Offering和Primary Storage的uuid 2. 然后为Primary Storage创建一个UserTag 为Tag命名为forWebTierVM 141

148 运维手册 / 13 常见问题 3. 为Instance Offering创建SystemTag 绑定刚才创建的UserTag 4. 在创建VM时指定Instance Offering 会默认使用绑定的Primary Storage创建Root Volume 5. 使用Disk Offering创建Volume也可仿照上述方法绑定Primary Storage 80.Q ZStack如何设置静态IP A 现象及原因 不少用户会习惯性到虚拟机系统里修改配置文件来设置它的IP ZStack的DHCP Server无法侦测用 户的自定义行为 因此会出现IP地址不一致的情况 解决方案 可以直接在UI界面 在云主机关机时设置静态IP 也可以在zstack-cli里设置 可以通过以下命令来设置 SetVmStaticIp ip= l3networkuuid= vminstanceuuid= 81. Q 如果物理机宕机 如何恢复虚拟机 A 用户在使用非本地存储的主存储 例如Ceph和NFS 时 如果发现VM所在的host宕机 可通过以 下方法将VM在其他host上恢复 xxx是该vm Instance的uuid # 把需要迁移的VM的状态从unknown改成stopped zstack-cli UpdateVmInstance uuid=xxx state=stopped # 启动VM zstack-cli StartVmInstance uuid=xxx 82. Q 万兆网卡只能识别一个模块是什么原因 A 用户服务器新添加万兆网卡 一个网卡有两个光电模块 必须保证这两个光电模块的品牌型号一 致 且与网卡匹配 才能同时识别两个 83. Q ZStack如何更改安装目录 142

149 运维手册 / 13 常见问题 A 在安装ZStack的时候 加上 "-r目标目录" 例如 bash zstack-installer.bin -r /home/zstack 84. Q 物理机维护模式和停用有什么区别 A 进入维护模式 表示对物理机进行系统维护 可对物理机进行停机 故障修复等操作 确认物理机进入维护模式 后 如果主存储类型为本地存储 ZStack会主动停止该物理机上所有正在运行的云主机 如果存储 类型为共享存储 云主机会自动迁移至其他物理机上 停用 停止使用某个物理机 后续云主机不能在此物理机上创建 且已关闭的云主机不能再启动 目前允 许中的云主机不受影响 85. Q 物理机连不上有哪些原因 A 物理机本身操作系统与管理节点不一致 解决方法 所有节点统一使用CentOS 7.2 物理机环境不干净 导致ZStack管理节点无法自动安装KVM 解决方法 重装物理机操作系统 且不要自己安装软件 确保连接信息正确 包括IP 用户名 密码 86. Q 如何将KVM上的云主机迁移到ZStack中 A 解决方案 通过libvirt导出云主机的镜像.qcow2文件 将镜像上传至一个http服务器中 使用ZStack镜像服务器导入镜像 通过镜像创建云主机 注: 如果原来的云主机挂载了数据盘 如何将数据盘也迁移过来呢? 方法一 与上述操作类似 需要先将数据盘生成镜像 同理导入 ZStack使用该镜像创 建Data Volume 再将Data Volume挂载到云主机即可 方法二: 先在ZStack中创建一个相同大小的Data Volume 找到对应的路径 将原云盘数据 直接复制到新的路径下 最后再挂载到云主机上 87. Q 管理节点更改了主机名后 如何重连rabbitmq A 解决方案 1. 在 /etc/hosts 中添加新hostname解析 2. 执行 zstack-ctl reset_rabbitmq 3. 上述命令也可通过手动修改来实现 调整/usr/local/zstack/apache-tomcat/webapps/zstack/WEB-INF/classes/zstack.properties 其 中CloudBus.serverIp.0 = XX.XX.XX.XX 填写管理网络IP 143

150 运维手册 / 13 常见问题 创建用户 rabbitmqctl add_user zstack zstack.password rabbitmqctl set_user_tags zstack administrator rabbitmqctl set_permissions -p / zstack ".*" ".*" ".*" 注: hostname中如果带. 例如 hostname命名为" 那么rabbitmq会解析 此hostname为" 导致rabbitmq-server一直无法启动 需要将其hostname修改为"wwwtest-com" 再重置rabbitmq-server即可 88. Q ZStack如何设置云主机启动顺序 A 目前ZStack可以在UI界面设置启动顺序 也可以在cli中切换启动顺序 具体操作如下 1. 用户在云主机创建之后挂载ISO 例如 AttachIsoToVmInstance isouuid=dff9e4db6ba84633be729f92530dbc21\ vminstanceuuid=7b06433bc5834b7b8001e0ca 云主机默认的启动顺序是 第一从硬盘引导 第二从ISO引导 我们需要将启动顺序修改 例 如 SetVmBootOrder bootorder=cdrom uuid=7b06433bc5834b7b8001e0ca 再启动云主机 就会优先从ISO启动 89. Q ssh连接超时如何解决 A 现象 在ZStack中 很多服务需要ssh连接 包括添加物理机 存储 搭建管理节点HA等 由于用户网络 等问题 这些服务的操作可能因为ssh连接超时而提示time out的错误 原因 要是由于对IP地址进行DNS校验而产生的延时 解决方案 主以下以搭建管理节点HA为例解决该问题 在需要ssh连接的第二个管理节点上 打开/etc/ssh/sshd_config 将 UseDNS yes这一行使用#注释掉 这样在连接ssh时 就直接使用IP地址了 90. Q 如何在创建VM时指定静态IP A 在大多数情况下 VM的IP由DHCP自动分配 对于需要静态IP的用户 可以使用SetVmStaticIp设 置 如果要求在创建VM时指定静态IP 目前ZStack企业版UI界面支持该功能 也可在ZStack命令行里 使用SystemTag实现 具体操作如下 1. 开启DHCP服务 VR或flat都可以 144

151 运维手册 / 13 常见问题 2. 执行下面命令 CreateVmInstance name=ceph-3 instanceofferinguuid=7ec8f1148f14452aa ce7bbe l3networkuuids=f749ec8b1ea94676bda7a5968de6b947 imageuuid=b6ebcfa021e24bc3b08a27216fd589a7 systemtags=staticip::f749ec8b1ea94676bda7a5968de6b947:: Q 在镜像服务器中添加镜像超时怎么办 A 原因 有时在下载镜像时 因为镜像过大或者网络等原因导致镜像下载太慢而超时报错 解决方案 在ZStack中 如果执行了下载操作 那么会在BS 镜像服务器 上启用http服务 当UI上显示超 时 甚至关闭管理节点时 BS不在管理节点所在的host 并不影响服务继续运行 因此 如果时间过长不用担心 后台自动下载完成 下次继续添加该镜像时会迅速完成 92. Q 当管理节点出现unknown状态而无法用命令停止怎么办 A 当多人在虚拟机上运行ZStack时 建议虚拟机配置CPU至少2核 内存大于6G 管理节点使用 zstack-ctl status查看 出现unknown状态 而无法使用zstack-ctl stop停止 请 用dmesg命令查看 可能会发现如下提示 [ ] INFO: task java:2907 blocked for more than 120 seconds. 这种情况一般是由于分配资源不足造成 调整管理节点所在虚拟机配置后 重启管理节点即可 93. Q ZStack启动后提示MySQL is not running如何解决 A 现象 使用zstack-ctl start启动zstack时提示错误,zstack-ctl status查看状态时显示 MySQL is not running 解决方案 可以先尝试以下命令搜索 grep -rn /usr/local/zstack/apache-tomcat/logs/management-server.log "Cannot execute statement: \ impossible to write to binary log since BINLOG_FORMAT = STATEMENT and at least one table uses a storage \ engine limited to row-based logging" 94. Q 为什么有的VM关机时间比较久 A 原因 145

152 运维手册 / 13 常见问题 这种情况一般出现在Guest OS为Linux的VM上 这是因为缺少ACPID服务 用于处理电源相关 事件的守护进程 KVM虚拟机安装Linux系统默认是没有安装ACPID服务的 所以并不会做处 理 而在一分钟后被ZStack杀掉VM进程而强行关闭 解决方案 对于这种情况 用户只需在虚拟机里安装和启动ACPID服务即可 执行命令如下 [root@kvm_client_00 ~]# yum install acpid -y # 重新启动ACPID服务 安装后默认加入到开机启动 [root@kvm_client_00 ~]# /etc/init.d/acpid restart 95. Q 如何更改ZStack同时登录次数 A 1. 首先QueryGlobalConfig name~=session 可以看到关于最大回话数的限制为500 { "category": "identity", "defaultvalue": "500", "description": "Max number of sessions management server accepts. \ When this limit met, new session will be rejected", "name": "session.maxconcurrent", "value": "500" } 2. 假如希望改成1000 需要修改全局配置 可在UI界面修改全局设置中设置最大会话数 也可以 在cli中执行以下命令 UpdateGlobalConfig category=identity name="session.maxconcurrent" value= Q 出现cannot acquire state change lock的错误怎么办 A 原因 出现这个错误属于小概率事件 是由libvirt引发的 出现这个问题后 该VM上的后续操作只要调用 到libvirtd就会失败 解决办法 killall -9 libvirtd # rm /var/run/libvirtd.pid 完成后重连物理机 97. Q 本地存储如何迁移Volume A 对于一些使用Local Storage的用户 有迁移云主机或者数据云盘的需求 可以使用以下方法进行迁 移 1. 关闭待迁移云主机 如果是Data Volume需要先卸载 2. 执行LocalStorageMigrateVolume desthostuuid= volumeuuid= 3. 在目标物理机上启动云主机/挂载Data Volume即可 98. Q CPU未开启虚拟化 添加host报错怎么办 146

153 运维手册 / 13 常见问题 A 1. 用户安装ZStack后 添加的物理机报错 提示 ERROR:could not insert 'kvm_intel':operation not supportednnnstdout 2. 查看开启虚拟化情况 如果有返回值 则表示开启成功 cat /proc/cpuinfo grep "vmx svx" 3. 开启后再次添加该物理机失败 会出现libvirt相关错误 使用 systemctl status libvirtd.service 查 看 提示 Failed to start Virtualization daemon 4. 这时需要将物理机的/etc/libvirt/libvirtd.conf修改成以下内容 listen_tls = 0 listen_tcp = 1 tcp_port = "16509" auth_tcp = "none" lock_manager = "lockd" 99. Q ZStack的无状态是什么 A 在无状态的服务情况下 请求者不再需要询问何处发送请求 当新的服务实例加入 或者旧的服 务实例脱离的时候 服务也不再需要交换状态 注: 例如 假如某个操作删除了物理机的br_eth0 即 物理机连接ZStack L2网络的网卡 由 于ZStack里所有的物理机均无状态 只要重连物理机即可 其实物理机硬盘上没有固定的配置 文件 它在内存中 重连物理机后会重新生成配置文件 100. Q ZStack的存储如何计算 A ZStack的存储分为主存储和备份存储 以下讨论均不涉及ZStack企业版的超分情况 备份存储的计算相对简单 其总容量和真实容量对应实际的物理值 即与df -h命令结果相同 主存储分为物理总容量 物理可用容量和总容量 可用容量 其中物理总容量 物理可用容量与备 份存储的技术方法相同 为物理真实容量 这里需要理解的主存储的总容量 Total Capacity 和 可用容量 Available Capacity 总容量与实际总容量相同 可用容量为总容量减去云盘的虚拟 容量 Virtual Size 注: 例如 主存储为500G 使用一个大小为100G的镜像创建云主机 实际大小为3G 在主存 储上看到的可用容量为500G-100G=400G 而它的物理真实容量为500G-3G=497G ZStack主存储URL指定到某个分区的目录上 主存储的总容量为目录所属分区的总容量 ZStack只关心自己使用的容量 镜像 云盘 快照 其他用户在这个分区使用的空间不计 入已使用的容量中 因此 可用容量=所属分区的总容量 - 自己使用的容量 其中 主存储上的镜像和快照为真 实容量 云盘为虚拟容量 每次容量校准需要重连物理机 101. Q 修改Windows云主机密码报错怎么办 147

154 运维手册 / 13 常见问题 A 现象 如果在修改Windows云主机密码时出现如下报错 return code: 1 stdout: stderr: error: internal error: unable to execute QEMU agent command 'guest-set-user-password': The command guest-set-user-password has not been found 原因 可能原因是使用了错误的Windows Virtio驱动 解决方案 目前ZStack定制ISO里已经集成了可用的Windows Virtio驱动 解压此ISO 添加此Windows Virtio 驱动作为ISO镜像到镜像服务器中 挂载此ISO 安装对应的qemu-ga即可 102. Q VM无法ping通网关 A 当使用vCenter创建的VM作为ZStack的管理节点和计算节点时 需要把vSwitch的属性安全 > 混杂 模式修改为接受