私有云部署教程

Size: px

Start display at page:

Download "私有云部署教程"

姑几常
5 years ago
Views:

1 私有云部署教程产品版本 ZStack 3.2.0

3 私有云部署教程 / 版权声明版权声明版权所有上海云轴信息科技有限公司 2018 保留一切权利非经本公司书面许可任何单位和个人不得擅自摘抄复制本文档内容的部分或全部并不得以任何形式传播商标说明 ZStack商标和其他云轴商标均为上海云轴信息科技有限公司的商标本文档提及的其他所有商标或注册商标由各自的所有人拥有注意您购买的产品服务或特性等应受上海云轴公司商业合同和条款的约束本文档中描述的全部或部分产品服务或特性可能不在您的购买或使用范围之内除非合同另有约定上海云轴公司对本文档内容不做任何明示或暗示的声明或保证由于产品版本升级或其他原因本文档内容会不定期进行更新除非另有约定本文档仅作为使用指导本文档中的所有陈述信息和建议不构成任何明示或暗示的担保 I

5 私有云部署教程 / 1 简介 1 简介 ZStack可用于部署企业私有云实现企业IT基础设施的云化加速IT基础资源申请的响应时间改变IT资源的交付方式目前 ZStack提供云主机服务即基础设施即服务 Infrastructure as a Service IaaS ZStack提供便利的图形界面访问也可提供命令行 zstack-cli 和API接口方便与企业内部系统和业务系统对接实现灵活的工作流程和业务伸缩能力当企业评估ZStack时可通过单节点快速安装方式即时体验大部分功能当企业计划使用ZStack支撑起业务环境时需注意一些整体规划与实践操作包括网络冗余存储备份和灵活扩展等方面本文档介绍基于ZStack构建企业私有云实践 1

6 私有云部署教程 / 2 基础环境 2 基础环境服务器硬件配置推荐如下服务器 CPU Sever 1 Intel Xeon DDR4 E5-2680v 颗 Sever 2 1GB缓存 1GB缓存 RAID10/5 16GB 16条 /6 Intel Xeon DDR4 E5-2680v 颗阵列卡 RAID10/5 16GB 16条 /6 Intel Xeon DDR4 E5-2680v 颗 Sever 3 内存 1GB缓存 RAID10/5 16GB 16条 /6 硬盘网络 NL SAS 2TB * 8 1GbE网口 NL SAS 2TB * 8 1GbE网口 NL SAS 2TB * 8 1GbE网口 2个 2个 2个远程卡IPMI 电源 IDRAC/ILO 双电源 IDRAC/ILO 双电源 IDRAC/ILO 双电源注: 根据容量和带宽推荐选择SATA和SAS硬盘服务器上架首次启动后需设置阵列卡模式为RAID 10和缓存模式 Write-Back 进入BIOS打开硬件虚拟化CPU-VT与超线程功能关闭CPU节能模式远程卡是服务器厂商提供的基于以太网远程管理带外卡管理员通过浏览器即可方便管理服务器包括上/下电操作和控制台访问企业IDC需准备千兆网络交换机以便私有云环境接入 2

7 3 整体规划 3.1 本地存储操作步骤 1. 物理空间分布服务器阵列卡配置RAID10或RAID6模式注: RAID10相比RAID6的读写带宽更高而RAID6采用纠删码技术更高容量利用率和数据安全性三个服务器以及千兆网络交换机的安装结构如图 1: ZStack本地存储方案物理空间分布所示其中Server 1将部署ZStack管理服务器和虚拟化环境 Server 2和Server 3安装虚拟化环境图 1: ZStack本地存储方案物理空间分布 3

8 2. 本地存储方案网络拓扑 ZStack管理服务核心数据存放在数据库MariaDB ZStack将会对核心数据进行定期备份管理员可将备份数据迁移至存放点三个服务器以及千兆网络交换机的连接拓扑如图 2: ZStack本地存储方案网络拓扑图所示图 2: ZStack本地存储方案网络拓扑图上图显示有三个网络 IPMI管理网络 Mevoco管理网络和云主机数据网络功能如下 4

9 IPMI管理网络用于承载服务器带外管理流量 Mevoco管理网络用于承载ZStack与其他虚拟化节点的通信流量当前使用eth0网卡云主机数据网络用于承载云主机之间以及面向访问用户的通信流量当前使用eth1网卡注: IPMI管理网络和Mevoco管理网络对应的交换机端口配置Access模式云主机数据网络配置Access模式或Trunk模式云主机数据网络配置Access模式在三层网络配置时选择L2NoVlanNetwork 云主机数据网络配置Trunk模式在三层网络配置时选择L2VlanNetwork 并填写对应使用的VLAN ID 3. 路径选择添加主存储步骤选择本地存储路径填写/zstack_ps 添加镜像服务器步骤选择Sftp 填写Server 1 IP地址和路径/zstack_bs 按照以上网络拓扑图部署后可进行ZStack管理节点和虚拟化节点的安装详细安装步骤可参考官网相关文档 3.2 NFS商业存储操作步骤 1. 服务器硬件配置变更 ZStack云管理平台存储方案可采用提供NFS协议的商业存储采用NFS商业存储方案虚拟化服务器本地无需更多的本地存储空间同时需配置可靠的存储网络增加2个以太网口故服务器硬件配置变更如下服务器 Sever 1 Sever 2 CPU 内存阵列卡 Intel Xeon E5 DDR GB缓存 RAID10/5-2680v3 2 16GB 16 /6 颗条 Intel Xeon E5 DDR 硬盘网络 NL SAS 2TB * 2 1GbE网 NL SAS RAID10/5 500GB * 2 /6 1GB缓存口 4个 1GbE网口 4个远程卡IPMI 电源 IDRAC/ ILO 双电源 IDRAC/ ILO 双电源 5

10 -2680v3 2 16GB 16 Sever 3 颗条 Intel Xeon E5 DDR NL SAS RAID10/5 500GB * -2680v3 2 16GB 16 2 /6 颗条 1GB缓存 1GbE网口 4个 IDRAC/ ILO 双电源 Sever方面 Server 1运行ZStack管理服务包含关系型数据库MariaDB和非关系型数据库Cassandra Server 2和Server 3运行虚拟化环境不存放业务关键数据配置NL SAS 500GB硬盘做RAID1 注: MariaDB存放ZStack核心运行数据 Cassandra存放监控信息数据由于监控信息较多存放在Server 1的本地硬盘所以配置NL SAS 2TB硬盘做RAID1 网络方面增加2个千兆以太网口作为存储网络由于存储网络承载所有的云主机云盘读写带宽为了满足带宽容量和高可靠需要需实施2个网口绑定操作关于RHEL/CentOS的网口绑定参考RedHat手册三个服务器千兆网络交换机和NFS存储的安装结构如图 3: ZStack NFS商业存储方案物理空间分布所示图 3: ZStack NFS商业存储方案物理空间分布 6

11 2. 创建NFS共享挂载池存储方案采用NFS商业存储在存储中创建三个NFS共享挂载池主存储池备份存储池和数据库备份池主存储池用于存放云主机云盘数据备份存储池用于存放镜像和模板数据库备份池用于存放MariaDB导出备份信息注: 备份存储需预先挂载到Server 1的路径/zstack_bs 在ZStack初始化过程中备份存储步骤便可填写此路径 7

12 三个服务器千兆网络交换机和NFS商业存储的连接拓扑如图 4: ZStack NFS商业存储方案网络拓扑图所示图 4: ZStack NFS商业存储方案网络拓扑图 3. 四个网络上图显示分别有四个网络 IPMI管理网络 ZStack管理网络云主机数据网络和存储网络 IPMI管理网络用于承载服务器带外管理流量 ZStack管理网络用于承载ZStack与其他虚拟化节点的通信流量当前使用eth0网卡主机数据网络用于承载云主机之间以及面向访问用户的通信流量当前使用eth1网卡存储网络用于承载云主机云盘读写的通信流量当前使用eth2和eth3 注: 相比ZStack本地存储方案使用NFS商业存储方案每个服务器增加配置2个以太网口作为存储网络 NFS商业存储也进行2个以太网口绑定 IPMI管理网络 ZStack管理网络和存储网络对应的交换机端口配置Access模式云主机数据网络配置Access模式或Trunk模式云主机数据网络对应的交换机端口配置Access模式:在ZStack初始化界面的二层网络配置选择L2NoVlanNetwork 云主机数据网络对应的交换机端口配置Trunk模式在ZStack初始化界面的二层网络配置选择L2VlanNetwork 并填写对应使用的VLAN ID 4. 存储以及数据库备份 8

13 在主存储步骤选择NFS存储填写NFS存储的IP地址以及主存储目录在备份存储步骤选择Sftp 填写Server 1 IP地址和路径/zstack_bs/ 管理员预先挂载NFS存储的备份存储池目录到/zstack_bs/ 关于ZStack数据库备份管理员预先挂载NFS存储的数据库备份池到路径/mysql_bk/ 添加以下备份命令到 crontab: [root@zstack-1~]# crontab -e 0 0,12 * * * /usr/bin/rsync -avu /var/lib/zstack/mysql-backup/* /mysql_bk/ > /dev/null 2>&1 由于ZStack核心数据备份到NFS存储如果Server 1出现故障时通过备份数据即可恢复ZStack管理服务 3.3 融合型分布式存储操作步骤 1. 服务器硬件配置变更 ZStack云管理平台存储方案可采用分布式存储例如Ceph 分布式存储解决方案分为融合型分布式存储和分离式分布式存储注: 融合型分布式存储指提供分布式存储的物理主机服务器也同时运行主机融合型分布式存储与当前主流的超融合一体机的概念类似采用融合型分布式存储的私有云最小需要三台物理服务器之后可以根据需求无缝扩展采用融合型分布式存储方案虚拟化服务器需要提供高性能的SSD硬盘 SAS盘和万兆网卡故服务器硬件的推荐配置变更如下服务器 Sever 1 Sever 2 CPU 内存 Intel DDR4 阵列卡硬盘网络 SSD 10GbE网 1GB缓存 Xeon E G *4 口 2个 RAID10/5-2680v3 2 16GB 16 1GbE网 NL SAS /6 颗条 1TB * 12 卡2个 Intel Xeon E5 DDR GB缓存 SSD RAID10/5-2680v3 2 16GB G *4 /6 颗条 10GbE网口 2个远程卡IPMI 电源 IDRAC/ ILO 双电源 IDRAC/ ILO 双电源 9

14 1GbE网 NL SAS 1TB * 12 卡2个 Intel DDR4 Xeon E SSD 1GB缓存 10GbE网 400G *4 口 2个 RAID10/5-2680v3 2 16GB 16 1GbE网 NL SAS /6 颗条 1TB * 12 卡2个 Sever 3 IDRAC/ ILO 双电源 Sever方面 Server 1和Server 2运行ZStack集群管理服务包含关系型数据库MariaDB和非关系型数据库Cassandra 注: MariaDB存放ZStack核心运行数据 Cassandra存放监控信息数据前两块硬盘使用阵列卡做RAID1 作为系统盘其余硬盘提供给分布式存储使用 Server 1 Server 2和Server 3运行超融合虚拟化环境网络方面增加2个万兆以太网口作为存储网络存储网络承载所有的云主机云盘读写带宽为了满足带宽容量和高可靠需要需实施2个网口绑定操作关于RHEL/CentOS的网口绑定请参考RedHat手册三个服务器千兆网络交换机和NFS存储的安装结构如图 5: ZStack 分布式存储方案物理空间分布所示图 5: ZStack 分布式存储方案物理空间分布 10

15 2. 分布式存储存储方案采用分布式存储 ZStack使用该存储作为主存储池和备份存储池主存储池用于存放云主机云盘数据备份存储池用于存放镜像和模板在ZStack初始化过程中主存储和备份存储需要填写对应分布式存储的IP地址三个服务器和网络交换机连接拓扑如图 6: ZStack融合型分布式存储方案网络拓扑图所示图 6: ZStack融合型分布式存储方案网络拓扑图 11

3. 四个网络上图显示分别有四个网络 IPMI管理网络管理网络与云主机数据网络和存储网络 IPMI管理网络用于承载服务器带外管理流量管理网络与云主机数据网络用于承载ZStack与其他虚拟化节点的通信流量也承载云主机数据流量使用eth0和eth1双网卡绑定存储网络用于承载云主机云盘读写的通信流量使用eth2和eth3双网卡绑定注: 相比ZStack本地存储方案

16 3. 四个网络上图显示分别有四个网络 IPMI管理网络管理网络与云主机数据网络和存储网络 IPMI管理网络用于承载服务器带外管理流量管理网络与云主机数据网络用于承载ZStack与其他虚拟化节点的通信流量也承载云主机数据流量使用eth0和eth1双网卡绑定存储网络用于承载云主机云盘读写的通信流量使用eth2和eth3双网卡绑定注: 相比ZStack本地存储方案使用融合型分布式存储每个服务器增加配置2个以太网口作为存储网络数据将以副本形式分布在三个节点中可配置2副本或3副本 IPMI管理网络和存储网络对应的交换机端口配置Access模式管理网络和云主机数据网络配置Access模式或Trunk模式管理网络和云主机数据网络对应的交换机端口配置Access模式在ZStack初始化界面的三层网络配置选择L2NoVlanNetwork 管理网络和云主机数据网络对应的交换机端口配置Trunk模式在ZStack初始化界面的三层网络配置选择L2VlanNetwork 并填写对应使用的VLAN ID 4. 存储以及数据库备份在主存储步骤选择Ceph存储填写分布式存储的访问IP地址在备份存储步骤根据上一步选择存储的类型默认候选该类型存储并填写分布式存储的访问IP地址由于配置ZStack集群管理整个融合架构无单点故障通过高可用自愈能力在发生节点失效后即进行自动恢复满足业务连续性要求更多的配置与实践指导请访问ZStack官方网站 12

17 私有云部署教程 / 术语表术语表区域 Zone ZStack中最大的一个资源定义包括集群二层网络主存储等资源集群 Cluster 一个集群是类似物理主机 Host 组成的逻辑组在同一个集群中的物理主机必须安装相同的操作系统虚拟机管理程序 Hypervisor 拥有相同的二层网络连接可以访问相同的主存储在实际的数据中心一个集群通常对应一个机架 Rack 管理节点 Management Node 安装系统的物理主机提供UI管理云平台部署功能计算节点 Compute Node 也称之为物理主机或物理机为云主机实例提供计算网络存储等资源的物理主机主存储 Primary Storage 用于存储云主机磁盘文件的存储服务器支持本地存储 NFS Ceph Shared Mount Point等类型镜像服务器 Backup Storage 也称之为备份存储服务器主要用于保存镜像模板文件建议单独部署镜像服务器镜像仓库 Image Store 镜像服务器的一种类型可以为正在运行的云主机快速创建镜像高效管理云主机镜像的版本变迁以及发布实现快速上传下载镜像镜像快照以及导出镜像的操作云主机 VM Instance 运行在物理机上的虚拟机实例具有独立的IP地址可以访问公共网络运行应用服务镜像 Image 云主机或云盘使用的镜像模板文件镜像模板包括系统云盘镜像和数据云盘镜像 13

18 私有云部署教程 / 术语表云盘 Volume 云主机的数据盘给云主机提供额外的存储空间共享云盘可挂载到一个或多个云主机共同使用计算规格 Instance Offering 启动云主机涉及到的CPU数量内存网络设置等规格定义云盘规格 Disk Offering 创建云盘容量大小的规格定义二层网络 L2 Network 二层网络对应于一个二层广播域进行二层相关的隔离一般用物理网络的设备名称标识三层网络 L3 Network 云主机使用的网络配置包括IP地址范围网关 DNS等公有网络 Public Network 由因特网信息中心分配的公有IP地址或者可以连接到外部互联网的IP地址私有网络 Private Network 云主机连接和使用的内部网络 L2NoVlanNetwork 物理主机的网络连接不采用Vlan设置 L2VlanNetwork 物理主机节点的网络连接采用Vlan设置 Vlan需要在交换机端提前进行设置 VXLAN网络池 VXLAN Network Pool VXLAN网络中的 Underlay 网络一个 VXLAN 网络池可以创建多个 VXLAN Overlay 网络即 VXLAN 网络这些 Overlay 网络运行在同一组 Underlay 网络设施上 VXLAN网络 VXLAN 使用 VXLAN 协议封装的二层网络单个 VXLAN 网络需从属于一个大的 VXLAN 网络池不同 VXLAN 网络间相互二层隔离 14

19 私有云部署教程 / 术语表云路由 vrouter 云路由通过定制的Linux云主机来实现的多种网络服务安全组 Security Group 针对云主机进行第三层网络的防火墙控制对IP地址网络包类型或网络包流向等可以设置不同的安全规则弹性IP EIP 公有网络接入到私有网络的IP地址快照 Snapshot 某一个时间点上某一个磁盘的数据备份包括自动快照和手动快照两种类型 15

私有云 部署教程

私有云部署教程