ST2001-OCFS2共享存储实践指南-iSCSI存储

Transcription

1 OCFS2 共享存储实践指南 iscsi 存储 版本 2.0 日期

2 版权所有 上海云轴信息科技有限公司 2017 保留一切权利 非经本公司书面许可, 任何单位和个人不得擅自摘抄 复制本文档内容的部分或全部, 并不得以任何形式传播 商标说明 和其他云轴商标均为上海云轴信息科技有限公司的商标 本文档提及的其他所有商标或注册商标, 由各自的所有人拥有 注意您购买的产品 服务或特性等应受上海云轴公司商业合同和条款的约束, 本文档中描述的全部或部分产品 服务或特性可能不在您的购买或使用范围之内 除非合同另有约定, 上海云轴公司对本文档内容不做任何明示或暗示的声明或保证 由于产品版本升级或其他原因, 本文档内容会不定期进行更新 除非另有约定, 本文档仅作为使用指导, 本文档中的所有陈述 信息和建议不构成任何明示或暗示的担保 上海云轴信息科技有限公司 地址 : 上海市闵行区紫竹科学园东川路 555 号 6 号楼邮编 : 网址 : 客户服务邮箱 : support@zstack.io 客户服务电话 : 版本 1.10 上海云轴版权所有 / 33

3 概述 本文档针对 OCFS2 共享文件系统实践过程进行说明 读者对象 本文档适合以下工程师阅读 : 运维工程师 测试工程师 存储工程师 预研工程师 术语定义 术语管理节点计算节点云主机镜像镜像服务器云盘计算规格云盘规格安全组 概念安装 ZStack 系统的物理主机, 提供 UI 管理 云系统部署功能也称之为物理主机, 为云主机实例提供计算 内存 网络 存储的物理主机 运行 KVM 虚拟化的物理主机, 简称 KVM 主机 ZStack 特制虚拟机, 即运行在物理机上的虚拟机实例, 具有独立的 IP 地址, 可以安装部署应用服务云主机所使用的镜像模板文件, 包含了云主机的操作系统, 也可以定制安装相应的软件也称之为备份存储服务器, 存储云主机镜像文件的物理主机 虽然可以和管理节点或其他计算节点共享同一台物理服务器, 但不建议在生产环境中这么部署云主机的数据盘, 给云主机提供额外的存储空间, 一块云盘在同一时刻只能挂载到一个云主机 一个云主机最多可以挂载 24 块云盘启动云主机涉及到的 CPU 数量 内存大小 网络设置等规格定义创建云盘容量大小的规格定义针对云主机进行第三层网络的防火墙控制, 对 IP 地址 网络包类型 版本 1.10 上海云轴版权所有 / 33

4 或网络包流向等可以设置不同的安全规则 L2NoVlanNetwork L2VlanNetwork 二层网络三层网络管理网络公有网络 物理主机的网络连接不采用 Vlan 设置物理主机节点的网络连接采用 Vlan 设置,Vlan 需要在交换机端提前进行设置计算节点的物理网卡设备名称, 例如 eth0 云主机需要使用的网络配置, 包括 IP 地址范围, 网关,DNS 等 ZStack 管理物理机和其他云资源的网络云主机连接和使用的网络 中英文术语对照 管理节点物理机云主机镜像服务器 ( 备份服务器 ) 主存储镜像云盘集群区域二层网络三层网络安全组计算规格云盘规格扁平网络模式本地存储 Management Node Host VM Instance Backup Storage Primary Storage Image Volume Cluster Zone L2 Network L3 Network Security Group Instance Offering Disk Offering Flat Network Mode Local Storage 版本 1.10 上海云轴版权所有 / 33

5 修改记录 修改记录积累了每次文档更新的说明 最新版本的文档包含以前所有文档版本的更新内容 文档版本 1.10( ) 第一次正式发布 文档版本 2.0( ) 升级版本号为 2.0 版本 1.10 上海云轴版权所有 / 33

6 目录 第一章概述... 7 第二章环境准备 iscsi 存储 物理服务器 存储网络拓扑 第三章安装 OCFS 升级系统内核 配置 iscsi 发起 初始化集群 创建存储设备 第四章运维管理 添加裸设备 移除裸设备 添加服务器 移除服务器 版本 1.10 上海云轴版权所有 / 33

7 第一章概述 OCFS2 是 Oracle 发起的开源共享文件系统项目, 以开源版权协议 GPLv2 发布 管理员通过安装 OCFS2 软件, 把各节点共享访问的裸设备 (Raw Device) 以共享文件系统形式呈现 类似网络文件系统 (NFS), 应用程序可直接读写 OCFS2 目录而无需更改 OCFS2 支持 iscsi FC 和 SAS 共享访问协议 OCFS2 常用于 Oracle 数据库集群和虚拟化存储环境 本文将描述虚拟化存储环境下, 基于 iscsi 安装 OCFS2 共享文件系统 版本 1.10 上海云轴版权所有 / 33

8 第二章环境准备 2.1 iscsi 存储 在安装 OCFS2 前, 管理员需检查目标的存储是否支持 iscsi 访问协议 通过存储设备出厂时候的产品说明书可快速查看 iscsi 相关技术参数 若当前不具备存储设备, 管理员可采用 OpenFiler FreeNAS 或 NAS4Free 等基于 x86 服务器的软件存储方案, 可提供 iscsi 存储访问方式 确认存储支持 iscsi, 记录存储 iscsi IP 和控制器识别名 管理员需在存储中预先创建以下裸设备 : 存储 IP 地址 控制器识别码 设备名 容量 LUN (MB) ID OpenFiler iqn org.zstack:tsn zstack-sto OpenFiler iqn org.zstack:tsn zstack-sto OpenFiler iqn org.zstack:tsn zstack-sto 以上服务每个控制识别码 CHAP 验证名为 zstack,chap 验证密码为 password. 注意 : 本文档使用 OpenFiler 构建 iscsi 存储服务, 并配置单个 IP 地址 管理员在生产环境中, 务必使用具备商业服务的存储系统, 并具备双控制器和多路径, 整体架构上容忍模块单点故障, 从而达到高可用 上述的裸设备中,zstack-sto-1 zstack-sto-2 和 zstack-sto-3 将自我实现心跳检测, 从而判断目录挂载节点的存储链路是否正常 同时,zstack-sto-1 zstack-sto-2 和 zstack-sto- 3 是实际使用的存储设备, 管理员可将这些存储设备通过 OCFS2 挂载后提供 ZStack 使用 版本 1.10 上海云轴版权所有 / 33

9 至此,iSCSI 存储端裸设备就绪 图一 OCFS2 挂载存储设备 - 存放数据 版本 1.10 上海云轴版权所有 / 33

10 2.2 物理服务器 本文预设服务器如下 : 服务器 硬件配置 IP 地址 配置主机名 ZStack-mn 4 核 6G 内存 hostnamectl set-hostname ZStack-mn ocfs2-host1 4 核 6G 内存 hostnamectl set-hostname ocfs2-host1 ocfs2-host2 4 核 6G 内存 hostnamectl set-hostname ocfs2-host2 ocfs2-host3 4 核 6G 内存 hostnamectl set-hostname ocfs2-host3 以上服务器均使用 ZStack 社区定制 ISO 光盘版本 1.3 安装 ( 或大于 1.3 版本 ) 操作系统安装完成, 配置防火墙规则 : [root@ocfs2-host1 ~]# vim /etc/sysconfig/iptables -A INPUT -s /16 -j ACCEPT [root@ocfs2-host1 ~]# service iptables restart [root@ocfs2-host2 ~]# vim /etc/sysconfig/iptables -A INPUT -s /16 -j ACCEPT [root@ocfs2-host2 ~]# service iptables restart [root@ocfs2-host3 ~]# vim /etc/sysconfig/iptables -A INPUT -s /16 -j ACCEPT [root@ocfs2-host3 ~]# service iptables restart 配置全局主机名解析 : [root@ocfs2-host1 ~]# cat /etc/hosts ocfs2-host ocfs2-host ocfs2-host3 至此, 物理服务器准备就绪 版本 1.10 上海云轴版权所有 / 33

11 2.3 存储网络拓扑 物理服务器 存储设备和存储交换机, 网络拓扑如下 : 图二 OCFS2 与 iscsi 存储网络拓扑图上图展示物理服务器与 iscsi 存储的网络拓扑 本文为了便于描述, 此网络拓扑为单链路, 若在生产环境部署 OCFS2 共享文件系统,iSCSI 存储必须双控, 且配置存储网络为高可用冗余模式 版本 1.10 上海云轴版权所有 / 33

12 第三章安装 OCFS2 3.1 升级系统内核 使用 OCFS2 共享文件系统, 需要 Linux 内核预编译 ocfs2.ko 等相关模块 目前, 由于 RHEL/CentOS 7.2 中尚未预先编译, 推荐使用 Oracle Linux UEK 内核 ZStack-Communityx86_64-DVD iso 已包含 UEK 内核和 OCFS2 工具, 管理员可通过以下操作, 安装 UEK 内 核和 OCFS2 工具 : # 升级软件包 [root@localhost ~]# yum -y --disablerepo=* --enablerepo=zstack-local,uek4-ocfs2 update # 安装 UEK 内核和 OCFS2 工具 [root@localhost ~]# yum --disablerepo=* --enablerepo=zstack-local,uek4-ocfs2 \ install kernel-uek kernel-uek-devel kernel-uek-doc kernel-uek-firmware \ dtrace-modules ocfs2-tools ocfs2-tools-devel iscsi-initiator-utils \ device-mapper-multipath device-mapper-multipath-sysvinit # 默认从 UEK 内核引导 [root@localhost ~]# grub2-set-default "CentOS Linux ( el7uek.x86_64) 7 (Core)" # 检查默认启动项 [root@localhost ~]# grub2-editenv list 完成以上步骤后, 重启物理主机 # 重启物理主机 [root@localhost ~]# reboot # 重启后查看内核版本 [root@localhost ~]# uname -a Linux localhost el7uek.x86_64 #1 SMP Thu Mar 31 16:04:38 UTC 2016 x86_64 x86_64 x86_64 GNU/Linux 注意 : 以上安装 UEK 内核和 OCFS2 工具的过程, 务必在每个运行云主机的物理主机配 置 原则上,ZStack 管理服务器不运行云主机, 无需安装 UEK 内核和 OCFS2 工具 ocfs2-host1 ocfs2-host2 和 ocfs2-host3 均执行以上步骤 至此, 物理主机已经安装 UEK 内核和 OCFS2 工具 版本 1.10 上海云轴版权所有 / 33

13 3.2 配置 iscsi 发起 检查各物理服务器网络, 确认可互相 Ping, 也能 Ping 存储服务器 配置物理服务器 iscsi 发起配置 : # 配置 ocfs2-host1 iscsi 发起名 [root@ocfs2-host1 ~]# vim /etc/iscsi/initiatorname.iscsi InitiatorName=iqn org.zstack:ocfs2-host1 # 配置 ocfs2-host1 iscsi CHAP [root@ocfs2-host1 ~]# vim /etc/iscsi/iscsid.conf node.session.auth.authmethod = CHAP node.session.auth.username = zstack node.session.auth.password = password # 配置 ocfs2-host2 iscsi 发起名 [root@ocfs2-host2 ~]# vim /etc/iscsi/initiatorname.iscsi InitiatorName=iqn org.zstack:ocfs2-host2 # 配置 ocfs2-host2 iscsi CHAP [root@ocfs2-host2 ~]# vim /etc/iscsi/iscsid.conf node.session.auth.authmethod = CHAP node.session.auth.username = zstack node.session.auth.password = password # 配置 ocfs2-host3 iscsi 发起名 [root@ocfs2-host3 ~]# vim /etc/iscsi/initiatorname.iscsi InitiatorName=iqn org.zstack:ocfs2-host3 # 配置 ocfs2-host3 iscsi CHAP [root@ocfs2-host1 ~]# vim /etc/iscsi/iscsid.conf node.session.auth.authmethod = CHAP node.session.auth.username = zstack node.session.auth.password = password 版本 1.10 上海云轴版权所有 / 33

14 扫描 iscsi 存储 : [root@ocfs2-host1 ~]# iscsiadm -m discovery -t sendtargets -p :3260,1 iqn org.zstack:tsn :3260,1 iqn org.zstack:tsn [root@ocfs2-host2 ~]# iscsiadm -m discovery -t sendtargets -p :3260,1 iqn org.zstack:tsn :3260,1 iqn org.zstack:tsn [root@ocfs2-host3 ~]# iscsiadm -m discovery -t sendtargets -p :3260,1 iqn org.zstack:tsn :3260,1 iqn org.zstack:tsn 记录 iscsi 存储控制器标识 在 3 个物理服务器登陆到 iscsi 存储 : [root@ocfs2-host1 ~]# iscsiadm --mode node --targetname iqn org.zstack:tsn portal login [root@ocfs2-host1 ~]# iscsiadm --mode node --targetname iqn org.zstack:tsn portal login [root@ocfs2-host2 ~]# iscsiadm --mode node --targetname iqn org.zstack:tsn portal login [root@ocfs2-host2 ~]# iscsiadm --mode node --targetname iqn org.zstack:tsn portal login [root@ocfs2-host3 ~]# iscsiadm --mode node --targetname iqn org.zstack:tsn portal login [root@ocfs2-host3 ~]# iscsiadm --mode node --targetname iqn org.zstack:tsn portal login 版本 1.10 上海云轴版权所有 / 33

15 检查识别的裸设备 : [root@ocfs2-host1 ~]# fdisk -l grep sd Disk /dev/sda: 21.0 GB, bytes, sectors Disk /dev/sdb: 26.2 GB, bytes, sectors Disk /dev/sdc: 31.5 GB, bytes, sectors [root@ocfs2-host1 ~]# lsscsi [1:0:0:0] cd/dvd QEMU QEMU DVD-ROM 1.5. /dev/sr0 [2:0:0:0] disk OPNFILER VIRTUAL-DISK 0 /dev/sda [2:0:0:1] disk OPNFILER VIRTUAL-DISK 0 /dev/sdb [2:0:0:2] disk OPNFILER VIRTUAL-DISK 0 /dev/sdc [root@ocfs2-host2 ~]# fdisk -l grep sd Disk /dev/sda: 21.0 GB, bytes, sectors Disk /dev/sdb: 26.2 GB, bytes, sectors Disk /dev/sdc: 31.5 GB, bytes, sectors [root@ocfs2-host2 ~]# lsscsi [1:0:0:0] cd/dvd QEMU QEMU DVD-ROM 1.5. /dev/sr0 [2:0:0:0] disk OPNFILER VIRTUAL-DISK 0 /dev/sda [2:0:0:1] disk OPNFILER VIRTUAL-DISK 0 /dev/sdb [2:0:0:2] disk OPNFILER VIRTUAL-DISK 0 /dev/sdc [root@ocfs2-host3 ~]# fdisk -l grep sd Disk /dev/sda: 21.0 GB, bytes, sectors Disk /dev/sdb: 26.2 GB, bytes, sectors Disk /dev/sdc: 31.5 GB, bytes, sectors [root@ocfs2-host3 ~]# lsscsi [1:0:0:0] cd/dvd QEMU QEMU DVD-ROM 1.5. /dev/sr0 [2:0:0:0] disk OPNFILER VIRTUAL-DISK 0 /dev/sda [2:0:0:1] disk OPNFILER VIRTUAL-DISK 0 /dev/sdb [2:0:0:2] disk OPNFILER VIRTUAL-DISK 0 /dev/sdc 版本 1.10 上海云轴版权所有 / 33

16 另外, 可以通过 lsscsi 带参数 -st,-i, 查看更多信息 : [root@ocfs2-host1 ~]# lsscsi -st [1:0:0:0] cd/dvd ata: /dev/sr0 - [2:0:0:0] disk iqn org.zstack:tsn ,t,0x1 /dev/sda 20.9GB [2:0:0:1] disk iqn org.zstack:tsn ,t,0x1 /dev/sdb 26.2GB [2:0:0:2] disk iqn org.zstack:tsn ,t,0x1 /dev/sdc 31.4GB [root@ocfs2-host1 ~]# lsscsi -i [1:0:0:0] cd/dvd QEMU QEMU DVD-ROM 1.5. /dev/sr0 - [2:0:0:0] disk OPNFILER VIRTUAL-DISK 0 /dev/sda 14f504e46494c d394b6a462d52696e482d e [2:0:0:1] disk OPNFILER VIRTUAL-DISK 0 /dev/sdb 14f504e46494c d a2d [2:0:0:2] disk OPNFILER VIRTUAL-DISK 0 /dev/sdc 14f504e46494c45524b6f d d d 至此,3 个物理服务器发现 iscsi 存储设备 另外, 如果 iscsi 存储是 2 个以上的链路, 可配置多路径访问方式 : [root@ocfs2-host1 ~]# modprobe dm-multipath [root@ocfs2-host1 ~]# modprobe dm-round-robin [root@ocfs2-host1 ~]# service multipathd start [root@ocfs2-host1 ~]# mpathconf --enable # 显示多路径信息 [root@ocfs2-host1 ~]# multipath -ll # 如果是多路径环境, 将会显示 /dev/mapper/mpatha, 可直接使用该聚合设备 版本 1.10 上海云轴版权所有 / 33

17 3.3 初始化集群 物理服务器发现 iscsi 裸设备后, 方可进行 OCFS2 集群初始化 ( 若使用多路径, 则可以 根据 SCSI ID 设定裸设备别名, 防止因为服务器重启后盘符变更导致挂载失效 ) # 创建 DLM 目录 [root@ocfs2-host1 ~]# mkdir -p /dlm [root@ocfs2-host2 ~]# mkdir -p /dlm [root@ocfs2-host3 ~]# mkdir -p /dlm # 创建 OCFS2 集群配置 [root@ocfs2-host1 ~]# o2cb add-cluster zstackstorage [root@ocfs2-host1 ~]# o2cb add-node zstackstorage ocfs2-host1 --ip [root@ocfs2-host1 ~]# o2cb add-node zstackstorage ocfs2-host2 --ip [root@ocfs2-host1 ~]# o2cb add-node zstackstorage ocfs2-host3 --ip [root@ocfs2-host1 ~]# o2cb heartbeat-mode zstackstorage local 版本 1.10 上海云轴版权所有 / 33

18 # 查看 OCFS2 配置 ~]# cat /etc/ocfs2/cluster.conf cluster: heartbeat_mode = local node_count = 3 name = zstackstorage node: number = 0 cluster = zstackstorage ip_port = 7777 ip_address = name = ocfs2-host1 node: number = 1 cluster = zstackstorage ip_port = 7777 ip_address = name = ocfs2-host2 node: number = 2 cluster = zstackstorage ip_port = 7777 ip_address = name = ocfs2-host3 版本 1.10 上海云轴版权所有 / 33

19 执行 OCFS2 集群初始化 : [root@ocfs2-host1 ~]# o2cb.init configure Configuring the O2CB driver. This will configure the on-boot properties of the O2CB driver. The following questions will determine whether the driver is loaded on boot. The current values will be shown in brackets ('[]'). Hitting <ENTER> without typing an answer will keep that current value. Ctrl-C will abort. Load O2CB driver on boot (y/n) [n]: y Cluster stack backing O2CB [o2cb]: Cluster to start on boot (Enter "none" to clear) [ocfs2]: zstackstorage Specify heartbeat dead threshold (>=7) [31]: 121 Specify network idle timeout in ms (>=5000) [30000]: Specify network keepalive delay in ms (>=1000) [2000]: 5000 Specify network reconnect delay in ms (>=2000) [2000]: 4000 Writing O2CB configuration: OK checking debugfs... Loading filesystem "ocfs2_dlmfs": OK Mounting ocfs2_dlmfs filesystem at /dlm: OK Setting cluster stack "o2cb": OK Registering O2CB cluster "zstackstorage": OK Setting O2CB cluster timeouts : OK Starting local heartbeat for cluster "zstackstorage": OK 创建自启动 : [root@ocfs2-host1 ~]# systemctl enable o2cb.service [root@ocfs2-host1 ~]# systemctl enable ocfs2.service 版本 1.10 上海云轴版权所有 / 33

20 检查 ocfs2-host1 上 o2cb 状态 : [root@ocfs2-host1 ~]# o2cb.init online [root@ocfs2-host1 ~]# o2cb.init status Driver for "configfs": Loaded Filesystem "configfs": Mounted Stack glue driver: Loaded Stack plugin "o2cb": Loaded Driver for "ocfs2_dlmfs": Loaded Filesystem "ocfs2_dlmfs": Mounted Checking O2CB cluster "zstackstorage": Online Heartbeat dead threshold: 121 Network idle timeout: Network keepalive delay: 5000 Network reconnect delay: 4000 Heartbeat mode: Local Checking O2CB heartbeat: No Active 状态显示正常 Nodes in O2CB cluster: 0, 显示只有 ID 为 0 的服务器加载 添加 Kernel Panic 参数 : [root@ocfs2-host1 ~]# vim /etc/sysctl.conf kernel.panic = 30 kernel.panic_on_oops = 1 [root@ocfs2-host1 ~]# sysctl -p 增加 ocfs2-host2 节点到 OCFS2 集群 : 版本 1.10 上海云轴版权所有 / 33

21 ~]# mkdir -p /etc/ocfs2/ ~]# scp /etc/ocfs2/cluster.conf ocfs2-host2:/etc/ocfs2/ ~]# scp /etc/sysconfig/o2cb ocfs2-host2:/etc/sysconfig/ ~]# systemctl start o2cb.service checking debugfs... Loading filesystem "ocfs2_dlmfs": OK Mounting ocfs2_dlmfs filesystem at /dlm: OK Setting cluster stack "o2cb": OK Registering O2CB cluster "zstackstorage": OK Setting O2CB cluster timeouts : OK Starting local heartbeat for cluster "zstackstorage": OK # 查看状态 [root@ocfs2-host2 ~]# o2cb.init status Driver for "configfs": Loaded Filesystem "configfs": Mounted Stack glue driver: Loaded Stack plugin "o2cb": Loaded Driver for "ocfs2_dlmfs": Loaded Filesystem "ocfs2_dlmfs": Mounted Checking O2CB cluster "zstackstorage": Online Heartbeat dead threshold: 121 Network idle timeout: Network keepalive delay: 5000 Network reconnect delay: 4000 Heartbeat mode: Local Checking O2CB heartbeat: No Active [root@ocfs2-host2 ~]# systemctl enable o2cb.service [root@ocfs2-host1 ~]# systemctl enable ocfs2.service [root@ocfs2-host2 ~]# o2cb.init online ocfs2-host1 和 ocfs2-host2 已经添加到集群 版本 1.10 上海云轴版权所有 / 33

22 增加 ocfs2-host3 节点到 OCFS2 集群 : [root@ocfs2-host3 ~]# mkdir -p /etc/ocfs2/ [root@ocfs2-host1 ~]# scp /etc/ocfs2/cluster.conf ocfs2-host3:/etc/ocfs2/ [root@ocfs2-host1 ~]# scp /etc/sysconfig/o2cb ocfs2-host3:/etc/sysconfig/ [root@ocfs2-host2 ~]# o2cb.init start checking debugfs... Loading filesystem "ocfs2_dlmfs": OK Mounting ocfs2_dlmfs filesystem at /dlm: OK Setting cluster stack "o2cb": OK Registering O2CB cluster "zstackstorage": OK Setting O2CB cluster timeouts : OK Starting local heartbeat for cluster "zstackstorage": OK # 查看状态 [root@ocfs2-host3 ~]# o2cb.init status Driver for "configfs": Loaded Filesystem "configfs": Mounted Stack glue driver: Loaded Stack plugin "o2cb": Loaded Driver for "ocfs2_dlmfs": Loaded Filesystem "ocfs2_dlmfs": Mounted Checking O2CB cluster "zstackstorage": Online Heartbeat dead threshold: 121 Network idle timeout: Network keepalive delay: 5000 Network reconnect delay: 4000 Heartbeat mode: Local Checking O2CB heartbeat: No Active [root@ocfs2-host2 ~]# systemctl enable o2cb.service [root@ocfs2-host1 ~]# systemctl enable ocfs2.service [root@ocfs2-host2 ~]# o2cb.init online ocfs2-host1 ocfs2-host2 和 ocfs2-host3 已经添加到集群 版本 1.10 上海云轴版权所有 / 33

23 3.4 创建存储设备 通过 mkfs.ocfs2 工具可对共享裸设备进行格式化 ( 只需要在其中一个 host 执行 ): [root@ocfs2-host1 ~]# mkfs.ocfs2 --cluster-stack=o2cb -C 256K -J size=128m -N 16 -L ocfs2-disk1 --cluster-name=zstackstorage --fs-feature-level=default -T vmstore /dev/sda mkfs.ocfs Cluster stack: o2cb Cluster name: zstackstorage Stack Flags: 0x1 NOTE: Feature extended slot map may be enabled Filesystem Type of vmstore Label: ocfs2-disk1 Features: sparse extended-slotmap backup-super unwritten inline-data strict-journal-super xattr indexed-dirs refcount discontig-bg Block size: 4096 (12 bits) Cluster size: (18 bits) Volume size: (80000 clusters) ( blocks) Cluster groups: 3 (tail covers clusters, rest cover clusters) Extent allocator size: (1 groups) Journal size: Node slots: 16 Creating bitmaps: done Initializing superblock: done Writing system files: done Writing superblock: done Writing backup superblock: 3 block(s) Formatting Journals: done Growing extent allocator: done Formatting slot map: done Formatting quota files: done Writing lost+found: done mkfs.ocfs2 successful # 挂载文件系统 [root@ocfs2-host1 ~]# mkdir -p /opt/smp/disk1/ [root@ocfs2-host1 ~]# mount.ocfs2 /dev/sda /opt/smp/disk1/ [root@ocfs2-host2 ~]# mkdir -p /opt/smp/disk1/ [root@ocfs2-host2 ~]# mount.ocfs2 /dev/sda /opt/smp/disk1/ [root@ocfs2-host3 ~]# mkdir -p /opt/smp/disk1/ [root@ocfs2-host3 ~]# mount.ocfs2 /dev/sda /opt/smp/disk1/ 至此 3 个节点已经可以共享访问 /opt/smp/disk1/ 目录 同理,/dev/sdb 和 /dev/sdc 也通 版本 1.10 上海云轴版权所有 / 33

24 过此方式分别挂载到目录 /opt/smp/disk2/ 和 /opt/smp/disk3/. 挂载完毕,3 个节点的目录挂载情况 : [root@ocfs2-host1 ~]# df -Th Filesystem Type Size Used Avail Use% Mounted on devtmpfs devtmpfs 1.8G 0 1.8G 0% /dev tmpfs tmpfs 1.9G 0 1.9G 0% /dev/shm tmpfs tmpfs 1.9G 8.4M 1.8G 1% /run tmpfs tmpfs 1.9G 0 1.9G 0% /sys/fs/cgroup /dev/vda1 xfs 38G 3.4G 35G 9% / tmpfs tmpfs 370M 0 370M 0% /run/user/0 /dev/sda ocfs2 20G 2.1G 18G 11% /opt/smp/disk1 /dev/sdb ocfs2 25G 2.2G 23G 9% /opt/smp/disk2 /dev/sdc ocfs2 30G 2.2G 28G 8% /opt/smp/disk3 [root@ocfs2-host2 ~]# df -Th Filesystem Type Size Used Avail Use% Mounted on devtmpfs devtmpfs 1.8G 0 1.8G 0% /dev tmpfs tmpfs 1.9G 0 1.9G 0% /dev/shm tmpfs tmpfs 1.9G 8.3M 1.8G 1% /run tmpfs tmpfs 1.9G 0 1.9G 0% /sys/fs/cgroup /dev/vda1 xfs 38G 3.4G 35G 9% / tmpfs tmpfs 370M 0 370M 0% /run/user/0 /dev/sda ocfs2 20G 2.1G 18G 11% /opt/smp/disk1 /dev/sdb ocfs2 25G 2.2G 23G 9% /opt/smp/disk2 /dev/sdc ocfs2 30G 2.2G 28G 8% /opt/smp/disk3 [root@ocfs2-host3 ~]# df -Th Filesystem Type Size Used Avail Use% Mounted on devtmpfs devtmpfs 1.8G 0 1.8G 0% /dev tmpfs tmpfs 1.9G 0 1.9G 0% /dev/shm tmpfs tmpfs 1.9G 8.4M 1.8G 1% /run tmpfs tmpfs 1.9G 0 1.9G 0% /sys/fs/cgroup /dev/vda1 xfs 38G 3.4G 35G 9% / tmpfs tmpfs 370M 0 370M 0% /run/user/0 /dev/sda ocfs2 20G 2.1G 18G 11% /opt/smp/disk1 /dev/sdb ocfs2 25G 2.2G 23G 9% /opt/smp/disk2 /dev/sdc ocfs2 30G 2.2G 28G 8% /opt/smp/disk3 至此,OCFS2 集群创建完毕, 可用存储目录 /opt/smp/disk1 /opt/smp/disk2 和 /opt/smp/disk3. 版本 1.10 上海云轴版权所有 / 33

25 为了实现服务器重启后可自动挂载, 建议在 /etc/rc.local 添加挂载项 : [root@ocfs2-host1 ~]# vim /etc/rc.local sleep 10 mount.ocfs2 /dev/sda /opt/smp/disk1/ [root@ocfs2-host1 ~]# chmod +x /etc/rc.local 注意 : 由于服务器节点重启后,iSCSI 导出的裸设备盘符可能发生变化, 强烈建议通过 /dev/disk/by-uuid/ 显示的 UUI 软连接挂载存储设备, 以免挂载路径不匹配 版本 1.10 上海云轴版权所有 / 33

26 第四章运维管理 4.1 添加裸设备 本节描述如何对线上的 OCFS2 集群增加裸设备 管理员需在 iscsi 存储创建一定容量大小的裸设备 (LUN), 例如下图 : 图三 iscsi 存储添加裸设备 通过以下方式在线扫描并发现磁盘 : [root@ocfs2-host1 ~]# echo "- - -" > /sys/class/scsi_host/host0/scan [root@ocfs2-host1 ~]# echo "- - -" > /sys/class/scsi_host/host1/scan [root@ocfs2-host1 ~]# echo "- - -" > /sys/class/scsi_host/host2/scan [root@ocfs2-host1 ~]# echo "- - -" > /sys/class/scsi_host/host3/scan # /dev/sdg 为新发现设备 [root@ocfs2-host1 ~]# lsscsi -s [1:0:0:0] cd/dvd QEMU QEMU DVD-ROM 1.5. /dev/sr0 - [2:0:0:0] disk OPNFILER VIRTUAL-DISK 0 /dev/sda 20.9GB [2:0:0:1] disk OPNFILER VIRTUAL-DISK 0 /dev/sdb 26.2GB [2:0:0:2] disk OPNFILER VIRTUAL-DISK 0 /dev/sdc 31.4GB [2:0:0:3] disk OPNFILER VIRTUAL-DISK 0 /dev/sdg 41.9GB 以上操作需在 OCFS2 集群服务器执行, 即 ocfs2-host1 ocfs2-host2 和 ocfs2-host3 版本 1.10 上海云轴版权所有 / 33

27 # /dev/sdg 未显示为 ocfs2 标记磁盘 ~]# mounted.ocfs2 -d Device Stack Cluster F UUID Label /dev/sda o2cb zstackstorage G 9924FC4C94BE403BAB24BB6C5D4417FB ocfs2-disk1 /dev/sdb o2cb zstackstorage G 6311E734E8AC453C9E860C7A06E85DE8 ocfs2-disk1 /dev/sdc o2cb zstackstorage G D6E82EB382A54BD3BE84F101770F07D5 ocfs2-disk1 格式化新增加裸设备 /dev/sdg: # /dev/sdg 未显示为 ocfs2 标记磁盘 [root@ocfs2-host1 ~]# mkfs.ocfs2 --cluster-stack=o2cb -C 256K -J size=128m -N 16 -L ocfs2-disk1 --cluster-name=zstackstorage --fs-feature-level=default -T vmstore /dev/sdg # 执行挂载操作 [root@ocfs2-host1 ~]# partprobe [root@ocfs2-host1 ~]# mkdir -p /opt/smp/disk4/ [root@ocfs2-host1 ~]# mount.ocfs2 /dev/disk/by-uuid/cffe295f-07f5-4c5d e0f887c0c8dd /opt/smp/disk4/ [root@ocfs2-host2 ~]# partprobe [root@ocfs2-host2 ~]# mkdir -p /opt/smp/disk4/ [root@ocfs2-host2 ~]# mount.ocfs2 /dev/disk/by-uuid/cffe295f-07f5-4c5d e0f887c0c8dd /opt/smp/disk4/ [root@ocfs2-host3 ~]# partprobe [root@ocfs2-host3 ~]# mkdir -p /opt/smp/disk4/ [root@ocfs2-host3 ~]# mount.ocfs2 /dev/disk/by-uuid/cffe295f-07f5-4c5d e0f887c0c8dd /opt/smp/disk4/ 至此, 新裸设备 /dev/sdg 已经添加到 OCFS2 集群, 作为共享目录可读写 版本 1.10 上海云轴版权所有 / 33

28 4.2 移除裸设备 如果需要移除裸设备, 管理员需确保该设备的挂载目录应用是否已经停止 注意 : 当需要移除裸设备, 确保其挂载目录上的云主机必须已经停止或数据已经迁移 在 ZStack 管理界面上, 针对该共享目录, 需停止云主机并迁移数据, 然后删除该共享目录 管理员确认该共享目录已经从 ZStack 中删除后, 执行以下移除操作 : [root@ocfs2-host1 ~]# umount /opt/smp/disk4/ [root@ocfs2-host2 ~]# umount /opt/smp/disk4/ [root@ocfs2-host3 ~]# umount /opt/smp/disk4/ # 从 SCSI 中移除 /dev/sdg [root@ocfs2-host1 ~]# lsscsi -s [1:0:0:0] cd/dvd QEMU QEMU DVD-ROM 1.5. /dev/sr0 - [2:0:0:0] disk OPNFILER VIRTUAL-DISK 0 /dev/sda 20.9GB [2:0:0:1] disk OPNFILER VIRTUAL-DISK 0 /dev/sdb 26.2GB [2:0:0:2] disk OPNFILER VIRTUAL-DISK 0 /dev/sdc 31.4GB [2:0:0:3] disk OPNFILER VIRTUAL-DISK 0 /dev/sdg 41.9GB # 移除 [2:0:0:3] SCSI 设备 [root@ocfs2-host1 ~]# echo "scsi remove-single-device " >/proc/scsi/scsi [root@ocfs2-host2 ~]# lsscsi -s [1:0:0:0] cd/dvd QEMU QEMU DVD-ROM 1.5. /dev/sr0 - [2:0:0:0] disk OPNFILER VIRTUAL-DISK 0 /dev/sda 20.9GB [2:0:0:1] disk OPNFILER VIRTUAL-DISK 0 /dev/sdb 26.2GB [2:0:0:2] disk OPNFILER VIRTUAL-DISK 0 /dev/sdc 31.4GB [2:0:0:3] disk OPNFILER VIRTUAL-DISK 0 /dev/sdg 41.9GB # 移除 [2:0:0:3] SCSI 设备 [root@ocfs2-host2 ~]# echo "scsi remove-single-device " >/proc/scsi/scsi 版本 1.10 上海云轴版权所有 / 33

29 ~]# lsscsi -s [1:0:0:0] cd/dvd QEMU QEMU DVD-ROM 1.5. /dev/sr0 - [2:0:0:0] disk OPNFILER VIRTUAL-DISK 0 /dev/sda 20.9GB [2:0:0:1] disk OPNFILER VIRTUAL-DISK 0 /dev/sdb 26.2GB [2:0:0:2] disk OPNFILER VIRTUAL-DISK 0 /dev/sdc 31.4GB [2:0:0:3] disk OPNFILER VIRTUAL-DISK 0 /dev/sdg 41.9GB [3:0:0:0] disk OPNFILER VIRTUAL-DISK 0 /dev/sdd 838MB [3:0:0:1] disk OPNFILER VIRTUAL-DISK 0 /dev/sde 973MB [3:0:0:2] disk OPNFILER VIRTUAL-DISK 0 /dev/sdf 1.07GB # 移除 [2:0:0:3] SCSI 设备 [root@ocfs2-host3 ~]# echo "scsi remove-single-device " >/proc/scsi/scsi 至此,/dev/sdg 已经从 ocfs2-host1 ocfs2-host2 和 ocfs2-host3 中移除 管理员需在 iscsi 存储移除 /dev/sdg 对应的裸设备 : 图四 iscsi 存储取消裸设备映射 版本 1.10 上海云轴版权所有 / 33

30 4.3 添加服务器 若 ZStack 所管理的物理资源不足, 需要添加服务器, 则需将服务器添加到 OCFS2 集群 添加步骤如下 : [root@ocfs2-host1 ~]# vim /etc/hosts ocfs2-host4 [root@ocfs2-host1 ~]# scp /etc/hosts ocfs2-host2:/etc/ [root@ocfs2-host1 ~]# scp /etc/hosts ocfs2-host3:/etc/ [root@ocfs2-host1 ~]# scp /etc/hosts ocfs2-host4:/etc/ # 设置主机名 [root@localhost ~]# hostnamectl set-hostname ocfs2-host4 # 安装 UEK 内核和 OCFS2 工具 [root@ocfs2-host4 ~]# yum --disablerepo=* --enablerepo=zstack-local,uek4-ocfs2 update # 安装 UEK 内核和 OCFS2 工具 [root@ocfs2-host4 ~]# yum --disablerepo=* --enablerepo=zstack-local,uek4-ocfs2 \ install kernel-uek kernel-uek-devel kernel-uek-doc kernel-uek-firmware \ dtrace-modules ocfs2-tools ocfs2-tools-devel iscsi-initiator-utils \ device-mapper-multipath device-mapper-multipath-sysvinit # 默认从 UEK 内核引导 [root@ocfs2-host4 ~]# grub2-set-default "CentOS Linux ( el7uek.x86_64) 7 (Core)" # 检查默认启动项 [root@ocfs2-host4 ~]# grub2-editenv list # 配置防火墙, 允许网络访问 [root@ocfs2-host4 ~]# vim /etc/sysconfig/iptables -A INPUT -s /16 -j ACCEPT [root@ocfs2-host4 ~]# service iptables restart # 重启 ocfs2-host4 服务器 [root@ocfs2-host4 ~]# reboot 版本 1.10 上海云轴版权所有 / 33

31 # 配置 ocfs2-host4 iscsi 发起名 ~]# vim /etc/iscsi/initiatorname.iscsi InitiatorName=iqn org.zstack:ocfs2-host4 # 配置 ocfs2-host4 iscsi CHAP [root@ocfs2-host1 ~]# vim /etc/iscsi/iscsid.conf node.session.auth.authmethod = CHAP node.session.auth.username = zstack node.session.auth.password = password # 扫描 iscsi 存储裸设备 [root@ocfs2-host4 ~]# iscsiadm -m discovery -t sendtargets -p :3260,1 iqn org.zstack:tsn :3260,1 iqn org.zstack:tsn # 登陆 iscsi 存储设备 [root@ocfs2-host4 ~]# iscsiadm --mode node --targetname iqn org.zstack:tsn portal login [root@ocfs2-host4 ~]# iscsiadm --mode node --targetname iqn org.zstack:tsn portal login [root@ocfs2-host4 ~]# mkdir -p /etc/ocfs2/ [root@ocfs2-host4 ~]# mkdir -p /dlm # 增加 ocfs2-host4 到 OCFS2 集群配置文件, 在 ocfs2-host1 设置 [root@ocfs2-host1 ~]# o2cb add-node zstackstorage ocfs2-host4 --ip # 同步配置文件到各节点 [root@ocfs2-host1 ~]# scp /etc/sysconfig/o2cb ocfs2-host4:/etc/sysconfig/ # 动态添加节点信息 [root@ocfs2-host1 ~]# o2cb_ctl -C -i -n ocfs2-host4 -t node -a number=3 -a ip_address= a ip_port=7777 -a cluster=zstackstorage [root@ocfs2-host2 ~]# o2cb_ctl -C -i -n ocfs2-host4 -t node -a number=3 -a ip_address= a ip_port=7777 -a cluster=zstackstorage [root@ocfs2-host3 ~]# o2cb_ctl -C -i -n ocfs2-host4 -t node -a number=3 -a ip_address= a ip_port=7777 -a cluster=zstackstorage # 复制集群配置文件 [root@ocfs2-host1 ~]# scp /etc/ocfs2/cluster.conf ocfs2-host4:/etc/ocfs2/ 版本 1.10 上海云轴版权所有 / 33

32 关于多路径简单配置 : [root@ocfs2-host1 ~]# modprobe dm-multipath [root@ocfs2-host1 ~]# modprobe dm-round-robin [root@ocfs2-host1 ~]# service multipathd start [root@ocfs2-host1 ~]# mpathconf --enable # 显示多路径信息 [root@ocfs2-host1 ~]# multipath -ll # 如果是多路径环境, 将会显示 /dev/mapper/mpatha, 可直接使用该聚合设备启动 OCFS2 集群管理服务 : # ocfs2-host4 启动 o2cb 服务 [root@ocfs2-host4 ~]# o2cb.init start checking debugfs... Mounting configfs filesystem at /sys/kernel/config: OK Loading stack plugin "o2cb": OK Loading filesystem "ocfs2_dlmfs": OK Mounting ocfs2_dlmfs filesystem at /dlm: OK Setting cluster stack "o2cb": OK Registering O2CB cluster "zstackstorage": OK Setting O2CB cluster timeouts : OK Starting local heartbeat for cluster "zstackstorage": OK [root@ocfs2-host4 ~]# o2cb.init online [root@ocfs2-host4 ~]# systemctl enable o2cb.service [root@ocfs2-host4 ~]# systemctl enable ocfs2.service # 创建 OCFS2 磁盘的挂载点 [root@ocfs2-host4 ~]# mkdir -p /opt/smp/disk1 /opt/smp/disk2 /opt/smp/disk3 # 挂载 OCFS2 磁盘 [root@ocfs2-host4 ~]# mount /dev/disk/by-uuid/9924fc4c-94be-403b-ab24-bb6c5d4417fb /opt/smp/disk1/ [root@ocfs2-host4 ~]# mount /dev/disk/by-uuid/6311e734-e8ac-453c-9e86-0c7a06e85de8 /opt/smp/disk2/ [root@ocfs2-host4 ~]# mount /dev/disk/by-uuid/d6e82eb3-82a5-4bd3-be84-f101770f07d5 /opt/smp/disk3/ 至此,ocfs2-host4 节点已经成功添加到 OCFS2 集群, 并挂载共享磁盘, 接下来可在 ZStack 界面上添加此服务器作为虚拟化的物理主机 版本 1.10 上海云轴版权所有 / 33

33 4.4 移除服务器 若需要移除某个物理主机, 管理员先在 ZStack 界面上, 把该物理主机设置为 维护模式, 此时将会触发该物理主机上的云主机动态迁移 该物理主机上的云主机迁移完毕, 该物理主 机则进入维护模式状态 此时, 管理员可在界面上 删除 该物理主机 物理主机删除后, 管理员需要 SSH 进入该物理主机, 执行以下 OCFS2 集群移除步骤 : # 卸载共享目录 [root@ocfs2-host4 ~]# umount /opt/smp/disk1 [root@ocfs2-host4 ~]# umount /opt/smp/disk2 [root@ocfs2-host4 ~]# umount /opt/smp/disk3 # 关闭 ocfs2-host4 节点 [root@ocfs2-host4 ~]# halt -p # 在 ocfs2-host1,ocfs2-host2 和 ocfs2-host3 上移除 ocfs2-host4 信息 [root@ocfs2-host1 ~]# o2cb remove-node zstackstorage ocfs2-host4 [root@ocfs2-host2 ~]# o2cb remove-node zstackstorage ocfs2-host4 [root@ocfs2-host3 ~]# o2cb remove-node zstackstorage ocfs2-host4 至此,ocfs2-host4 已经从 OCFS2 集群中移除 更多的配置与实践指导请访问 ZStack 官方网站 版本 1.10 上海云轴版权所有 / 33