OCFS2 共享存储实践指南

Size: px

Start display at page:

Download "OCFS2 共享存储实践指南"

豌牛
4 years ago
Views:

1 OCFS2 共享存储实践指南 iscsi存储部署教程产品版本 ZStack 2.3.2

3 OCFS2 共享存储实践指南 / 版权声明版权声明版权所有上海云轴信息科技有限公司 218 保留一切权利非经本公司书面许可任何单位和个人不得擅自摘抄复制本文档内容的部分或全部并不得以任何形式传播商标说明 ZStack商标和其他云轴商标均为上海云轴信息科技有限公司的商标本文档提及的其他所有商标或注册商标由各自的所有人拥有注意您购买的产品服务或特性等应受上海云轴公司商业合同和条款的约束本文档中描述的全部或部分产品服务或特性可能不在您的购买或使用范围之内除非合同另有约定上海云轴公司对本文档内容不做任何明示或暗示的声明或保证由于产品版本升级或其他原因本文档内容会不定期进行更新除非另有约定本文档仅作为使用指导本文档中的所有陈述信息和建议不构成任何明示或暗示的担保 I

5 OCFS2 共享存储实践指南 / 1 概述 1 概述 OCFS2是Oracle发起的开源共享文件系统项目以开源版权协议GPLv2发布管理员通过安装OCFS2软件把各节点共享访问的裸设备 Raw Device 以共享文件系统形式呈现类似网络文件系统 NFS 应用程序可直接读写OCFS2目录而无需更改 OCFS2支持iSCSI FC FCoE SAS共享访问协议共享访问协议 OCFS2常用于Oracle数据库集群和虚拟化存储环境本文将描述虚拟化存储环境下基于iSCSI安装OCFS2共享文件系统 1

6 OCFS2 共享存储实践指南 / 2 环境准备 2 环境准备 2.1 iscsi存储在安装OCFS2前管理员需检查目标存储是否支持iSCSI访问协议通过存储设备出厂时候的产品说明书可快速查看iSCSI相关技术参数若当前不具备存储设备管理员可采用 OpenFiler FreeNAS 或 NAS4Free等基于 x86服务器的软件存储方案可提供 iscsi 存储访问方式确认存储支持 iscsi 记录存储 iscsi IP和控制器识别名管理员需在存储中预先创建以下裸设备存储 IP地址控制器识别码设备名 OpenFiler iqn org.zstack:tsn zstack-sto-1 容量 (MB) LUN ID OpenFiler iqn org.zstack:tsn zstack-sto-2.21 OpenFiler iqn org.zstack:tsn zstack-sto-3.21 注: 以上服务每个控制识别码 CHAP 验证名为zstack CHAP 验证密码为password 本文档使用OpenFiler构建iSCSI存储服务,并配置单个IP地址管理员在生产环境中,务必使用具备商业服务的存储系统,并具备双控制器和多路径,整体架构上容忍模块单点故障,从而达到高可用上述的裸设备中 zstack-sto-1 zstack-sto-2 和 zstack-sto-3将自我实现心跳检测从而判断目录挂载节点的存储链路是否正常同时 zstack-sto-1 zstack-sto-2和zstack-sto-3是实际使用的存储设备管理员可将这些存储设备通过OCFS2挂载后提供ZStack使用如图 1: OCFS2挂载存储设备-存放数据所示图 1: OCFS2挂载存储设备-存放数据 2

OCFS2 共享存储实践指南 / 2 环境准备至此 iscsi存储端裸设备就绪 2.2 物理服务器本文预设服务器如下服务器硬件配置 IP地址配置主机名 zstack-mn 4核 8G内存 172.2.12.249 hostnamectl sethostname ZStack-mn ocfs2-host1 4核 6G内存 172.2.11.

7 OCFS2 共享存储实践指南 / 2 环境准备至此 iscsi存储端裸设备就绪 2.2 物理服务器本文预设服务器如下服务器硬件配置 IP地址配置主机名 zstack-mn 4核 8G内存 hostnamectl sethostname ZStack-mn ocfs2-host1 4核 6G内存 hostnamectl sethostname ocfs2-host1 ocfs2-host2 4核 6G内存 hostnamectl sethostname ocfs2-host2 ocfs2-host3 4核 6G内存 hostnamectl sethostname ocfs2-host3 注: 以上服务器均使用ZStack定制版ISO安装操作系统安装完成,配置防火墙规则: [root@ocfs2-host1 ~]# vim /etc/sysconfig/iptables -A INPUT -s /16 -j ACCEPT [root@ocfs2-host1 ~]# service iptables restart [root@ocfs2-host2 ~]# vim /etc/sysconfig/iptables -A INPUT -s /16 -j ACCEPT [root@ocfs2-host2 ~]# service iptables restart [root@ocfs2-host3 ~]# vim /etc/sysconfig/iptables -A INPUT -s /16 -j ACCEPT 3

OCFS2 共享存储实践指南 / 2 环境准备 [root@ocfs2-host3 ~]# service iptables restart 配置全局主机名解析: [root@ocfs2-host1 ~]# cat /etc/hosts 172.2.11.17 ocfs2-host1 172.2.11.244 ocfs2-host2 172.2.12.

8 OCFS2 共享存储实践指南 / 2 环境准备 [root@ocfs2-host3 ~]# service iptables restart 配置全局主机名解析: [root@ocfs2-host1 ~]# cat /etc/hosts ocfs2-host ocfs2-host ocfs2-host3 至此,物理服务器准备就绪 2.3 存储网络拓扑物理服务器存储设备和存储交换机网络拓扑如图 2: OCFS2与iSCSI存储网络拓扑图所示图 2: OCFS2与iSCSI存储网络拓扑图上图展示物理服务器与iSCSI存储的网络拓扑本文为了便于描述此网络拓扑为单链路若在生产环境部署OCFS2共享文件系统 iscsi存储必须双控且配置存储网络为高可用冗余模式 4

9 OCFS2 共享存储实践指南 / 3 安装OCFS2 3 安装OCFS2 3.1 升级系统内核可选使用OCFS2共享文件系统需要Linux内核预编译 ocfs2.ko 等相关模块目前由于RHEL/CentOS 7.x中尚未预先编译推荐使用Oracle Linux UEK内核选择OCFS2存储节点安装模式 ZStack定制版ISO提供了5种安装模式 OCFS2存储节点模式是其中之一如果管理员选择OCFS2存储节点模式将自动化安装UEK内核和OCFS2工具选择其他安装模式如果管理员选择其他安装模式由于ZStack定制版ISO已包含UEK内核和OCFS2工具管理员可通过以下操作安装UEK内核和OCFS2工具 # 升级软件包 [root@localhost ~]# yum -y --disablerepo=* --enablerepo=zstack-local,uek4-ocfs2 update # 安装UEK内核和OCFS2工具 [root@localhost ~]# yum --disablerepo=* --enablerepo=zstack-local,uek4-ocfs2 \ install kernel-uek kernel-uek-devel kernel-uek-doc kernel-uek-firmware \ dtrace-modules ocfs2-tools ocfs2-tools-devel iscsi-initiator-utils \ device-mapper-multipath device-mapper-multipath-sysvinit # 默认从UEK内核引导 [root@localhost ~]# grub2-set-default "CentOS Linux ( el7uek.x86_64) 7 (Core)" # 检查默认启动项 [root@localhost ~]# grub2-editenv list 完成以上步骤后重启物理主机 # 重启物理主机 [root@localhost ~]# reboot # 重启后查看内核版本 [root@localhost ~]# uname -a Linux localhost el7uek.x86_64 #1 SMP Tue May 8 16:45:18 UTC 216 x86_64 x86_64 x86_64 GNU/Linux 注: 以上安装UEK内核和OCFS2工具的过程务必在每个运行云主机的物理主机上配置原则上 ZStack管理服务器不运行云主机,无需安装UEK内核和OCFS2工具 5

10 OCFS2 共享存储实践指南 / 3 安装OCFS2 ocfs2-host1 ocfs2-host2和ocfs2-host3均执行以上步骤至此物理主机已经安装UEK内核和OCFS2工具 3.2 配置 iscsi 发起操作步骤 1. 配置物理服务器 iscsi 发起配置检查各物理服务器网络确认可互相 Ping 也能 Ping 存储服务器配置物理服务器 iscsi 发起配置: # 配置ocfs2-host1 iscsi发起名 [root@ocfs2-host1 ~]# vim /etc/iscsi/initiatorname.iscsi InitiatorName=iqn org.zstack:ocfs2-host1 # 配置ocfs2-host1 iscsi CHAP [root@ocfs2-host1 ~]# vim /etc/iscsi/iscsid.conf node.session.auth.authmethod = CHAP node.session.auth.username = zstack node.session.auth.password = password # 配置ocfs2-host2 iscsi发起名 [root@ocfs2-host2 ~]# vim /etc/iscsi/initiatorname.iscsi InitiatorName=iqn org.zstack:ocfs2-host2 # 配置ocfs2-host2 iscsi CHAP [root@ocfs2-host2 ~]# vim /etc/iscsi/iscsid.conf node.session.auth.authmethod = CHAP node.session.auth.username = zstack node.session.auth.password = password # 配置ocfs2-host3 iscsi发起名 [root@ocfs2-host3 ~]# vim /etc/iscsi/initiatorname.iscsi InitiatorName=iqn org.zstack:ocfs2-host3 # 配置ocfs2-host3 iscsi CHAP [root@ocfs2-host1 ~]# vim /etc/iscsi/iscsid.conf node.session.auth.authmethod = CHAP node.session.auth.username = zstack node.session.auth.password = password 2. 扫描 iscsi 存储: [root@ocfs2-host1 ~]# iscsiadm -m discovery -t sendtargets -p :326,1 iqn org.zstack:tsn :326,1 iqn org.zstack:tsn.11 [root@ocfs2-host2 ~]# iscsiadm -m discovery -t sendtargets -p

11 OCFS2 共享存储实践指南 / 3 安装OCFS :326,1 iqn org.zstack:tsn :326,1 iqn org.zstack:tsn.11 [root@ocfs2-host3 ~]# iscsiadm -m discovery -t sendtargets -p :326,1 iqn org.zstack:tsn :326,1 iqn org.zstack:tsn 记录 iscsi 存储控制器标识在 3 个物理服务器登陆到 iscsi 存储: [root@ocfs2-host1 ~]# iscsiadm --mode node --targetname iqn org.zstack:tsn.11 --portal login [root@ocfs2-host1 ~]# iscsiadm --mode node --targetname iqn org.zstack:tsn.21 --portal login [root@ocfs2-host2 ~]# iscsiadm --mode node --targetname iqn org.zstack:tsn.11 --portal login [root@ocfs2-host2 ~]# iscsiadm --mode node --targetname iqn org.zstack:tsn.21 --portal login [root@ocfs2-host3 ~]# iscsiadm --mode node --targetname iqn org.zstack:tsn.11 --portal login [root@ocfs2-host3 ~]# iscsiadm --mode node --targetname iqn org.zstack:tsn.21 --portal login 4. 检查识别的裸设备: [root@ocfs2-host1 ~]# fdisk -l grep sd Disk /dev/sda: 21. GB, bytes, 496 sectors Disk /dev/sdb: 26.2 GB, bytes, sectors Disk /dev/sdc: 31.5 GB, bytes, sectors [root@ocfs2-host1 ~]# lsscsi [1:::] cd/dvd QEMU QEMU DVD-ROM 1.5. /dev/sr [2:::] disk OPNFILER VIRTUAL-DISK /dev/sda [2:::1] disk OPNFILER VIRTUAL-DISK /dev/sdb [2:::2] disk OPNFILER VIRTUAL-DISK /dev/sdc [root@ocfs2-host2 ~]# fdisk -l grep sd Disk /dev/sda: 21. GB, bytes, 496 sectors Disk /dev/sdb: 26.2 GB, bytes, sectors Disk /dev/sdc: 31.5 GB, bytes, sectors [root@ocfs2-host2 ~]# lsscsi [1:::] cd/dvd QEMU QEMU DVD-ROM 1.5. /dev/sr [2:::] disk OPNFILER VIRTUAL-DISK /dev/sda [2:::1] disk OPNFILER VIRTUAL-DISK /dev/sdb [2:::2] disk OPNFILER VIRTUAL-DISK /dev/sdc [root@ocfs2-host3 ~]# fdisk -l grep sd Disk /dev/sda: 21. GB, bytes, 496 sectors Disk /dev/sdb: 26.2 GB, bytes, sectors Disk /dev/sdc: 31.5 GB, bytes, sectors [root@ocfs2-host3 ~]# lsscsi [1:::] cd/dvd QEMU QEMU DVD-ROM 1.5. /dev/sr [2:::] disk OPNFILER VIRTUAL-DISK /dev/sda [2:::1] disk OPNFILER VIRTUAL-DISK /dev/sdb 7

12 OCFS2 共享存储实践指南 / 3 安装OCFS2 [2:::2] disk OPNFILER VIRTUAL-DISK /dev/sdc 5. 查看更多信息可以通过 lsscsi 带参数-st -i 查看更多信息 [root@ocfs2-host1 ~]# lsscsi -st [1:::] cd/dvd ata: /dev/sr [2:::] disk iqn org.zstack:tsn.21,t,x1 /dev/sda 2.9GB [2:::1] disk iqn org.zstack:tsn.21,t,x1 /dev/sdb 26.2GB [2:::2] disk iqn org.zstack:tsn.21,t,x1 /dev/sdc 31.4GB [root@ocfs2-host1 ~]# lsscsi -i [1:::] cd/dvd QEMU QEMU DVD-ROM 1.5. /dev/sr [2:::] disk OPNFILER VIRTUAL-DISK /dev/sda 14f54e46494c d 394b6a462d52696e482d e [2:::1] disk OPNFILER VIRTUAL-DISK /dev/sdb 14f54e46494c d a2d [2:::2] disk OPNFILER VIRTUAL-DISK /dev/sdc 14f54e46494c45524b6f d d d 至此 3 个物理服务器发现 iscsi 存储设备另外如果 iscsi 存储是 2 个以上的链路可配置多路径访问方式 [root@ocfs2-host1 ~]# modprobe dm-multipath [root@ocfs2-host1 ~]# modprobe dm-round-robin [root@ocfs2-host1 ~]# service multipathd start [root@ocfs2-host1 ~]# mpathconf --enable # 显示多路径信息 [root@ocfs2-host1 ~]# multipath -ll # 如果是多路径环境将会显示/dev/mapper/mpatha 可直接使用该聚合设备 3.3 初始化集群操作步骤 1. 清理防火墙规则 [root@ocfs2-host1 ~]# iptables -F && iptables-save [root@ocfs2-host2 ~]# iptables -F && iptables-save [root@ocfs2-host3 ~]# iptables -F && iptables-save 2. OCFS2 集群初始化物理服务器发现iSCSI裸设备后方可进行OCFS2集群初始化注: 若使用多路径则可以根据SCSI ID设定裸设备别名防止因为服务器重启后盘符变更导致挂载失效 # 创建DLM目录 [root@ocfs2-host1 ~]# mkdir -p /dlm [root@ocfs2-host2 ~]# mkdir -p /dlm 8

13 OCFS2 共享存储实践指南 / 3 安装OCFS2 [root@ocfs2-host3 ~]# mkdir -p /dlm # 创建OCFS2集群配置 [root@ocfs2-host1 ~]# o2cb add-cluster zstackstorage [root@ocfs2-host1 ~]# o2cb add-node zstackstorage ocfs2-host1 --ip [root@ocfs2-host1 ~]# o2cb add-node zstackstorage ocfs2-host2 --ip [root@ocfs2-host1 ~]# o2cb add-node zstackstorage ocfs2-host3 --ip [root@ocfs2-host1 ~]# o2cb heartbeat-mode zstackstorage local # 查看OCFS2配置 [root@ocfs2-host1 ~]# cat /etc/ocfs2/cluster.conf cluster: heartbeat_mode = local node_count = 3 name = zstackstorage node: number = cluster = zstackstorage ip_port = 7777 ip_address = name = ocfs2-host1 node: number = 1 cluster = zstackstorage ip_port = 7777 ip_address = name = ocfs2-host2 node: number = 2 cluster = zstackstorage ip_port = 7777 ip_address = name = ocfs2-host3 执行 OCFS2 集群初始化: [root@ocfs2-host1 ~]# o2cb.init configure Configuring the O2CB driver. This will configure the on-boot properties of the O2CB driver. The following questions will determine whether the driver is loaded on boot. The current values will be shown in brackets ('[]'). Hitting <ENTER> without typing an answer will keep that current value. Ctrl-C will abort. Load O2CB driver on boot (y/n) [n]: y Cluster stack backing O2CB [o2cb]: Cluster to start on boot (Enter "none" to clear) [ocfs2]: zstackstorage Specify heartbeat dead threshold (>=7) [31]: 121 Specify network idle timeout in ms (>=5) [3]: 3 Specify network keepalive delay in ms (>=1) [2]: 5 Specify network reconnect delay in ms (>=2) [2]: 4 Writing O2CB configuration: OK checking debugfs... Loading filesystem "ocfs2_dlmfs": OK Mounting ocfs2_dlmfs filesystem at /dlm: OK Setting cluster stack "o2cb": OK 9

14 OCFS2 共享存储实践指南 / 3 安装OCFS2 Registering O2CB cluster "zstackstorage": OK Setting O2CB cluster timeouts : OK Starting local heartbeat for cluster "zstackstorage": OK 创建自启动: [root@ocfs2-host1 ~]# systemctl enable o2cb.service [root@ocfs2-host1 ~]# systemctl enable ocfs2.service 3. 检查状态并添加参数检查 ocfs2-host1 上 o2cb 状态: [root@ocfs2-host1 ~]# o2cb.init online [root@ocfs2-host1 ~]# o2cb.init status Driver for "configfs": Loaded Filesystem "configfs": Mounted Stack glue driver: Loaded Stack plugin "o2cb": Loaded Driver for "ocfs2_dlmfs": Loaded Filesystem "ocfs2_dlmfs": Mounted Checking O2CB cluster "zstackstorage": Online Heartbeat dead threshold: 121 Network idle timeout: 3 Network keepalive delay: 5 Network reconnect delay: 4 Heartbeat mode: Local Checking O2CB heartbeat: No Active 状态显示正常 Nodes in O2CB cluster:,显示只有 ID 为的服务器加载添加 Kernel Panic 参数: [root@ocfs2-host1 ~]# vim /etc/sysctl.conf kernel.panic = 3 kernel.panic_on_oops = 1 [root@ocfs2-host1 ~]# sysctl -p 4. 添加节点到集群增加 ocfs2-host2 节点到 OCFS2 集群: [root@ocfs2-host2 ~]# mkdir -p /etc/ocfs2/ [root@ocfs2-host1 ~]# scp /etc/ocfs2/cluster.conf ocfs2-host2:/etc/ocfs2/ [root@ocfs2-host1 ~]# scp /etc/sysconfig/o2cb ocfs2-host2:/etc/sysconfig/ [root@ocfs2-host2 ~]# systemctl start o2cb.service Loading filesystem "ocfs2_dlmfs": OK Mounting ocfs2_dlmfs filesystem at /dlm: OK Setting cluster stack "o2cb": OK Registering O2CB cluster "zstackstorage": OK Setting O2CB cluster timeouts : OK Starting local heartbeat for cluster "zstackstorage": OK 1

15 OCFS2 共享存储实践指南 / 3 安装OCFS2 # 查看状态 [root@ocfs2-host2 ~]# o2cb.init status Driver for "configfs": Loaded Filesystem "configfs": Mounted Stack glue driver: Loaded Stack plugin "o2cb": Loaded Driver for "ocfs2_dlmfs": Loaded Filesystem "ocfs2_dlmfs": Mounted Checking O2CB cluster "zstackstorage": Online Heartbeat dead threshold: 121 Network idle timeout: 3 Network keepalive delay: 5 Network reconnect delay: 4 Heartbeat mode: Local Checking O2CB heartbeat: No Active [root@ocfs2-host2 ~]# systemctl enable o2cb.service [root@ocfs2-host2 ~]# systemctl enable ocfs2.service [root@ocfs2-host2 ~]# o2cb.init online ocfs2-host1 和 ocfs2-host2 已经添加到集群增加 ocfs2-host3 节点到 OCFS2 集群: [root@ocfs2-host3 ~]# mkdir -p /etc/ocfs2/ [root@ocfs2-host1 ~]# scp /etc/ocfs2/cluster.conf ocfs2-host3:/etc/ocfs2/ [root@ocfs2-host1 ~]# scp /etc/sysconfig/o2cb ocfs2-host3:/etc/sysconfig/ [root@ocfs2-host3 ~]# o2cb.init start checking debugfs... Loading filesystem "ocfs2_dlmfs": OK Mounting ocfs2_dlmfs filesystem at /dlm: OK Setting cluster stack "o2cb": OK Registering O2CB cluster "zstackstorage": OK Setting O2CB cluster timeouts : OK Starting local heartbeat for cluster "zstackstorage": OK # 查看状态 [root@ocfs2-host3 ~]# o2cb.init status Driver for "configfs": Loaded Filesystem "configfs": Mounted Stack glue driver: Loaded Stack plugin "o2cb": Loaded Driver for "ocfs2_dlmfs": Loaded Filesystem "ocfs2_dlmfs": Mounted Checking O2CB cluster "zstackstorage": Online Heartbeat dead threshold: 121 Network idle timeout: 3 Network keepalive delay: 5 Network reconnect delay: 4 Heartbeat mode: Local Checking O2CB heartbeat: No Active [root@ocfs2-host3 ~]# systemctl enable o2cb.service [root@ocfs2-host3 ~]# systemctl enable ocfs2.service [root@ocfs2-host3 ~]# o2cb.init online ocfs2-host1 ocfs2-host2 和 ocfs2-host3 已经添加到集群 11

16 OCFS2 共享存储实践指南 / 3 安装OCFS2 3.4 创建存储设备操作步骤 1. 格式化共享裸设备通过mkfs.ocfs2工具可对共享裸设备进行格式化(只需要在其中一个 host 执行): [root@ocfs2-host1 ~]# mkfs.ocfs2 --cluster-stack=o2cb -C 256K -J size=128m -N 16 -L \ ocfs2-disk1 --cluster-name=zstackstorage --fs-feature-level=default -T vmstore /dev/sda mkfs.ocfs Cluster stack: o2cb Cluster name: zstackstorage Stack Flags: x1 NOTE: Feature extended slot map may be enabled Filesystem Type of vmstore Label: ocfs2-disk1 Features: sparse extended-slotmap backup-super unwritten inline-data strict-journal-super xattr indexed-dirs refcount discontig-bg Block size: 496 (12 bits) Cluster size: (18 bits) Volume size: (8 clusters) (512 blocks) Cluster groups: 3 (tail covers clusters, rest cover clusters) Extent allocator size: (1 groups) Journal size: Node slots: 16 Creating bitmaps: done Initializing superblock: done Writing system files: done Writing superblock: done Writing backup superblock: 3 block(s) Formatting Journals: done Growing extent allocator: done Formatting slot map: done Formatting quota files: done Writing lost+found: done mkfs.ocfs2 successful # 挂载文件系统 [root@ocfs2-host1 ~]# mkdir -p /opt/smp/disk1/ [root@ocfs2-host1 ~]# mount.ocfs2 /dev/sda /opt/smp/disk1/ [root@ocfs2-host2 ~]# mkdir -p /opt/smp/disk1/ [root@ocfs2-host2 ~]# mount.ocfs2 /dev/sda /opt/smp/disk1/ [root@ocfs2-host3 ~]# mkdir -p /opt/smp/disk1/ [root@ocfs2-host3 ~]# mount.ocfs2 /dev/sda /opt/smp/disk1/ 至此 3 个节点已经可以共享访问/opt/smp/disk1/目录同理,/dev/sdb 和/dev/sdc 也通过此方式分别挂载到目录/opt/smp/disk2/和/opt/smp/disk3/ 2. 查看挂载情况挂载完毕,3 个节点的目录挂载情况: [root@ocfs2-host1 ~]# df -Th Filesystem Type Size Used Avail Use% Mounted on dev dev 1.8G 1.8G % /dev 12

17 OCFS2 共享存储实践指南 / 3 安装OCFS2 /dev/vda1 /dev/sda /dev/sdb /dev/sdc xfs ocfs2 ocfs2 ocfs2 1.9G 1.9G % /dev/shm 1.9G 8.4M 1.8G 1% /run 1.9G 1.9G % /sys/fs/cgroup 38G 3.4G 35G 9% / 37M 37M % /run/user/ 2G 2.1G 18G 11% /opt/smp/disk1 25G 2.2G 23G 9% /opt/smp/disk2 3G 2.2G 28G 8% /opt/smp/disk3 [root@ocfs2-host2 ~]# df -Th Filesystem Type Size Used Avail Use% Mounted on dev dev 1.8G 1.8G % /dev 1.9G 1.9G % /dev/shm 1.9G 8.3M 1.8G 1% /run 1.9G 1.9G % /sys/fs/cgroup /dev/vda1 xfs 38G 3.4G 35G 9% / 37M 37M % /run/user/ /dev/sda ocfs2 2G 2.1G 18G 11% /opt/smp/disk1 /dev/sdb ocfs2 25G 2.2G 23G 9% /opt/smp/disk2 /dev/sdc ocfs2 3G 2.2G 28G 8% /opt/smp/disk3 [root@ocfs2-host3 ~]# df -Th Filesystem Type Size Used Avail Use% Mounted on dev dev 1.8G 1.8G % /dev 1.9G 1.9G % /dev/shm 1.9G 8.4M 1.8G 1% /run 1.9G 1.9G % /sys/fs/cgroup /dev/vda1 xfs 38G 3.4G 35G 9% / 37M 37M % /run/user/ /dev/sda ocfs2 2G 2.1G 18G 11% /opt/smp/disk1 /dev/sdb ocfs2 25G 2.2G 23G 9% /opt/smp/disk2 /dev/sdc ocfs2 3G 2.2G 28G 8% /opt/smp/disk3 至此 OCFS2集群创建完毕可用存储目录/opt/smp/disk1 /opt/smp/disk2和/opt/smp/disk3 为了实现服务器重启后可自动挂载,建议在/etc/rc.local 添加挂载项: [root@ocfs2-host1 ~]# vim /etc/rc.local sleep 1 o2cb.init start o2cb.init online mount.ocfs2 /dev/sda /opt/smp/disk1/ [root@ocfs2-host1 ~]# chmod +x /etc/rc.local 注: 由于服务器节点重启后 iscsi导出的裸设备盘符可能发生变化强烈建议通过/dev/ disk/by-uuid/显示的uuid软连接挂载存储设备以免挂载路径不匹配 13

18 OCFS2 共享存储实践指南 / 4 运维管理 4 运维管理 4.1 添加裸设备本节描述如何对线上的 OCFS2 集群增加裸设备管理员需在 iscsi 存储创建一定容量大小的裸设备(LUN),如图 3: iscsi存储添加裸设备所示: 图 3: iscsi存储添加裸设备通过以下方式在线扫描并发现磁盘: [root@ocfs2-host1 ~]# echo "- - -" > /sys/class/scsi_host/host/scan [root@ocfs2-host1 ~]# echo "- - -" > /sys/class/scsi_host/host1/scan [root@ocfs2-host1 ~]# echo "- - -" > /sys/class/scsi_host/host2/scan [root@ocfs2-host1 ~]# echo "- - -" > /sys/class/scsi_host/host3/scan # /dev/sdg为新发现设备 [root@ocfs2-host1 ~]# lsscsi -s [1:::] cd/dvd QEMU QEMU DVD-ROM [2:::] disk OPNFILER VIRTUAL-DISK [2:::1] disk OPNFILER VIRTUAL-DISK [2:::2] disk OPNFILER VIRTUAL-DISK [2:::3] disk OPNFILER VIRTUAL-DISK 1.5. /dev/sr /dev/sda 2.9GB /dev/sdb 26.2GB /dev/sdc 31.4GB /dev/sdg 41.9GB 以上操作需在OCFS2集群服务器执行即ocfs2-host1 ocfs2-host2和ocfs2-host3 # /dev/sdg 未显示为ocfs2标记磁盘 [root@ocfs2-host1 ~]# mounted.ocfs2 -d Device Stack Cluster F UUID Label /dev/sda o2cb zstackstorage G 9924FC4C94BE43BAB24BB6C5D4417FB ocfs2-disk1 /dev/sdb o2cb zstackstorage G 6311E734E8AC453C9E86C7A6E85DE8 ocfs2-disk1 /dev/sdc o2cb zstackstorage G D6E82EB382A54BD3BE84F1177F7D5 ocfs2-disk1 格式化新增加裸设备/dev/sdg: # /dev/sdg 未显示为ocfs2标记磁盘 [root@ocfs2-host1 ~]# mkfs.ocfs2 --cluster-stack=o2cb -C 256K -J size=128m -N 16 -L ocfs2disk1 --cluster-name=zstackstorage --fs-feature-level=default -T vmstore /dev/sdg # 执行挂载操作 14

19 OCFS2 共享存储实践指南 / 4 运维管理 [root@ocfs2-host1 ~]# partprobe [root@ocfs2-host1 ~]# mkdir -p /opt/smp/disk4/ [root@ocfs2-host1 ~]# mount.ocfs2 /dev/disk/by-uuid/cffe295f-7f5-4c5d-8963-ef887cc8dd / opt/smp/disk4/ [root@ocfs2-host2 ~]# partprobe [root@ocfs2-host2 ~]# mkdir -p /opt/smp/disk4/ [root@ocfs2-host2 ~]# mount.ocfs2 /dev/disk/by-uuid/cffe295f-7f5-4c5d-8963-ef887cc8dd / opt/smp/disk4/ [root@ocfs2-host3 ~]# partprobe [root@ocfs2-host3 ~]# mkdir -p /opt/smp/disk4/ [root@ocfs2-host3 ~]# mount.ocfs2 /dev/disk/by-uuid/cffe295f-7f5-4c5d-8963-ef887cc8dd / opt/smp/disk4/ 至此,新裸设备/dev/sdg 已经添加到 OCFS2 集群,作为共享目录可读写 4.2 移除裸设备如果需要移除裸设备,管理员需确保该设备的挂载目录应用是否已经停止注: 当需要移除裸设备确保其挂载目录上的云主机必须已经停止或数据已经迁移在ZStack管理界面上针对该共享目录需停止云主机并迁移数据然后删除该共享目录管理员确认该共享目录已经从 ZStack 中删除后,执行以下移除操作: [root@ocfs2-host1 ~]# umount /opt/smp/disk4/ [root@ocfs2-host2 ~]# umount /opt/smp/disk4/ [root@ocfs2-host3 ~]# umount /opt/smp/disk4/ # 从SCSI中移除/dev/sdg [root@ocfs2-host1 ~]# lsscsi -s [1:::] cd/dvd QEMU QEMU DVD-ROM [2:::] disk OPNFILER VIRTUAL-DISK [2:::1] disk OPNFILER VIRTUAL-DISK [2:::2] disk OPNFILER VIRTUAL-DISK [2:::3] disk OPNFILER VIRTUAL-DISK 1.5. /dev/sr /dev/sda 2.9GB /dev/sdb 26.2GB /dev/sdc 31.4GB /dev/sdg 41.9GB # 移除 [2:::3] SCSI设备 [root@ocfs2-host1 ~]# echo "scsi remove-single-device 2 3" >/proc/scsi/scsi [root@ocfs2-host2 ~]# lsscsi -s [1:::] cd/dvd QEMU QEMU DVD-ROM [2:::] disk OPNFILER VIRTUAL-DISK [2:::1] disk OPNFILER VIRTUAL-DISK [2:::2] disk OPNFILER VIRTUAL-DISK [2:::3] disk OPNFILER VIRTUAL-DISK 1.5. /dev/sr /dev/sda 2.9GB /dev/sdb 26.2GB /dev/sdc 31.4GB /dev/sdg 41.9GB # 移除 [2:::3] SCSI设备 [root@ocfs2-host2 ~]# echo "scsi remove-single-device 2 3" >/proc/scsi/scsi [root@ocfs2-host3 ~]# lsscsi -s [1:::] cd/dvd QEMU QEMU DVD-ROM 1.5. /dev/sr [2:::] disk OPNFILER VIRTUAL-DISK /dev/sda 2.9GB 15

OCFS2 共享存储实践指南 / 4 运维管理 [2:::1] [2:::2] [2:::3] [3:::] [3:::1] [3:::2] disk disk disk disk disk disk OPNFILER VIRTUAL-DISK OPNFILER VIRTUAL-DISK OPNFILER VIRTUAL-DISK OPNFILER VIRTUAL-DISK OPNFILER

20 OCFS2 共享存储实践指南 / 4 运维管理 [2:::1] [2:::2] [2:::3] [3:::] [3:::1] [3:::2] disk disk disk disk disk disk OPNFILER VIRTUAL-DISK OPNFILER VIRTUAL-DISK OPNFILER VIRTUAL-DISK OPNFILER VIRTUAL-DISK OPNFILER VIRTUAL-DISK OPNFILER VIRTUAL-DISK /dev/sdb /dev/sdc /dev/sdg /dev/sdd /dev/sde /dev/sdf 26.2GB 31.4GB 41.9GB 838MB 973MB 1.7GB # 移除 [2:::3] SCSI设备 [root@ocfs2-host3 ~]# echo "scsi remove-single-device 2 3" >/proc/scsi/scsi 至此 /dev/sdg已经从ocfs2-host1 ocfs2-host2和ocfs2-host3中移除管理员需在iSCSI存储移除/dev/sdg对应的裸设备如图 4: iscsi存储取消裸设备映射所示图 4: iscsi存储取消裸设备映射 4.3 添加服务器操作步骤 1. 添加服务器若 ZStack 所管理的物理资源不足,需要添加服务器,则需将服务器添加到 OCFS2 集群添加步骤如下: [root@ocfs2-host1 ~]# vim /etc/hosts ocfs2-host4 [root@ocfs2-host1 ~]# scp /etc/hosts ocfs2-host2:/etc/ [root@ocfs2-host1 ~]# scp /etc/hosts ocfs2-host3:/etc/ [root@ocfs2-host1 ~]# scp /etc/hosts ocfs2-host4:/etc/ # 设置主机名 [root@localhost ~]# hostnamectl set-hostname ocfs2-host4 16

21 OCFS2 共享存储实践指南 / 4 运维管理 # 安装UEK内核和OCFS2工具 [root@ocfs2-host4 ~]# yum --disablerepo=* --enablerepo=zstack-local,uek4-ocfs2 update # 安装UEK内核和OCFS2工具 [root@ocfs2-host4 ~]# yum --disablerepo=* --enablerepo=zstack-local,uek4-ocfs2 \ install kernel-uek kernel-uek-devel kernel-uek-doc kernel-uek-firmware \ dtrace-modules ocfs2-tools ocfs2-tools-devel iscsi-initiator-utils \ device-mapper-multipath device-mapper-multipath-sysvinit # 默认从UEK内核引导 [root@ocfs2-host4 ~]# grub2-set-default "CentOS Linux ( el7uek.x86_64) 7 (Core)" # 检查默认启动项 [root@ocfs2-host4 ~]# grub2-editenv list # 配置防火墙允许网络访问 [root@ocfs2-host4 ~]# vim /etc/sysconfig/iptables -A INPUT -s /16 -j ACCEPT [root@ocfs2-host4 ~]# service iptables restart # 重启ocfs2-host4服务器 [root@ocfs2-host4 ~]# reboot # 配置ocfs2-host4 iscsi发起名 [root@ocfs2-host4 ~]# vim /etc/iscsi/initiatorname.iscsi InitiatorName=iqn org.zstack:ocfs2-host4 # 配置ocfs2-host4 iscsi CHAP [root@ocfs2-host1 ~]# vim /etc/iscsi/iscsid.conf node.session.auth.authmethod = CHAP node.session.auth.username = zstack node.session.auth.password = password # 扫描iSCSI存储裸设备 [root@ocfs2-host4 ~]# iscsiadm -m discovery -t sendtargets -p :326,1 iqn org.zstack:tsn :326,1 iqn org.zstack:tsn.11 # 登陆iSCSI存储设备 [root@ocfs2-host4 ~]# iscsiadm --mode node --targetname iqn org.zstack:tsn.11 --portal login [root@ocfs2-host4 ~]# iscsiadm --mode node --targetname iqn org.zstack:tsn.21 --portal login [root@ocfs2-host4 ~]# mkdir -p /etc/ocfs2/ [root@ocfs2-host4 ~]# mkdir -p /dlm # 增加ocfs2-host4到OCFS2集群配置文件在ocfs2-host1设置 [root@ocfs2-host1 ~]# o2cb add-node zstackstorage ocfs2-host4 --ip # 同步配置文件到各节点 [root@ocfs2-host1 ~]# scp /etc/sysconfig/o2cb ocfs2-host4:/etc/sysconfig/ # 动态添加节点信息 [root@ocfs2-host1 ~]# o2cb_ctl -C -i -n ocfs2-host4 -t node -a number=3 -a ip_address = a ip_port=7777 -a cluster=zstackstorage 17

22 OCFS2 共享存储实践指南 / 4 运维管理 [root@ocfs2-host2 ~]# o2cb_ctl -C -i -n ocfs2-host4 -t node -a number=3 -a ip_address = a ip_port=7777 -a cluster=zstackstorage [root@ocfs2-host3 ~]# o2cb_ctl -C -i -n ocfs2-host4 -t node -a number=3 -a ip_address = a ip_port=7777 -a cluster=zstackstorage # 复制集群配置文件 [root@ocfs2-host1 ~]# scp /etc/ocfs2/cluster.conf ocfs2-host4:/etc/ocfs2/ 2. 关于多路径简单配置 [root@ocfs2-host1 ~]# modprobe dm-multipath [root@ocfs2-host1 ~]# modprobe dm-round-robin [root@ocfs2-host1 ~]# service multipathd start [root@ocfs2-host1 ~]# mpathconf --enable # 显示多路径信息 [root@ocfs2-host1 ~]# multipath -ll # 如果是多路径环境将会显示/dev/mapper/mpatha 可直接使用该聚合设备 3. 启动 OCFS2 集群管理服务: # ocfs2-host4启动o2cb服务 [root@ocfs2-host4 ~]# o2cb.init start checking debugfs... Mounting configfs filesystem at /sys/kernel/config: OK Loading stack plugin "o2cb": OK Loading filesystem "ocfs2_dlmfs": OK Mounting ocfs2_dlmfs filesystem at /dlm: OK Setting cluster stack "o2cb": OK Registering O2CB cluster "zstackstorage": OK Setting O2CB cluster timeouts : OK Starting local heartbeat for cluster "zstackstorage": OK [root@ocfs2-host4 ~]# o2cb.init online [root@ocfs2-host4 ~]# systemctl enable o2cb.service [root@ocfs2-host4 ~]# systemctl enable ocfs2.service # 创建OCFS2磁盘的挂载点 [root@ocfs2-host4 ~]# mkdir -p /opt/smp/disk1 /opt/smp/disk2 /opt/smp/disk3 # 挂载OCFS2磁盘 [root@ocfs2-host4 ~]# mount /dev/disk/by-uuid/9924fc4c-94be-43b-ab24-bb6c5d4417fb / opt/smp/disk1/ [root@ocfs2-host4 ~]# mount /dev/disk/by-uuid/6311e734-e8ac-453c-9e86-c7a6e85de8 /opt/smp/disk2/ [root@ocfs2-host4 ~]# mount /dev/disk/by-uuid/d6e82eb3-82a5-4bd3-be84-f1177f7d5 /opt/smp/disk3/ 至此,ocfs2-host4 节点已经成功添加到 OCFS2 集群,并挂载共享磁盘,接下来可在 ZStack界面上添加此服务器作为虚拟化的物理主机 18

23 OCFS2 共享存储实践指南 / 4 运维管理 4.4 移除服务器若需要移除某个物理主机,管理员先在 ZStack 界面上,把该物理主机设置为维护模式,此时将会触发该物理主机上的云主机动态迁移该物理主机上的云主机迁移完毕,该物理主机则进入维护模式状态此时,管理员可在界面上删除该物理主机物理主机删除后,管理员需要 SSH 进入该物理主机,执行以下 OCFS2 集群移除步骤: # 卸载共享目录 [root@ocfs2-host4 ~]# umount /opt/smp/disk1 [root@ocfs2-host4 ~]# umount /opt/smp/disk2 [root@ocfs2-host4 ~]# umount /opt/smp/disk3 # 关闭ocfs2-host4节点 [root@ocfs2-host4 ~]# halt -p # 在ocfs2-host1 ocfs2-host2和ocfs2-host3上移除ocfs2-host4信息 [root@ocfs2-host1 ~]# o2cb remove-node zstackstorage ocfs2-host4 [root@ocfs2-host2 ~]# o2cb remove-node zstackstorage ocfs2-host4 [root@ocfs2-host3 ~]# o2cb remove-node zstackstorage ocfs2-host4 至此 ocfs2-host4 已经从 OCFS2 集群中移除 19

24 OCFS2 共享存储实践指南 / 术语表术语表区域 Zone ZStack中最大的一个资源定义包括集群二层网络主存储等资源集群 Cluster 一个集群是类似物理主机 Host 组成的逻辑组在同一个集群中的物理主机必须安装相同的操作系统虚拟机管理程序 Hypervisor 拥有相同的二层网络连接可以访问相同的主存储在实际的数据中心一个集群通常对应一个机架 Rack 管理节点 Management Node 安装系统的物理主机提供UI管理云平台部署功能计算节点 Compute Node 也称之为物理主机或物理机为云主机实例提供计算网络存储等资源的物理主机主存储 Primary Storage 用于存储云主机磁盘文件的存储服务器支持本地存储 NFS Ceph FusionStor Shared Mount Point等类型镜像服务器 Backup Storage 也称之为备份存储服务器主要用于保存镜像模板文件建议单独部署镜像服务器镜像仓库 Image Store 镜像服务器的一种类型可以为正在运行的云主机快速创建镜像高效管理云主机镜像的版本变迁以及发布实现快速上传下载镜像镜像快照以及导出镜像的操作云主机 VM Instance 运行在物理机上的虚拟机实例具有独立的IP地址可以访问公共网络运行应用服务镜像 Image 云主机或云盘使用的镜像模板文件镜像模板包括系统云盘镜像和数据云盘镜像 2

25 OCFS2 共享存储实践指南 / 术语表云盘 Volume 云主机的数据盘给云主机提供额外的存储空间共享云盘可挂载到一个或多个云主机共同使用计算规格 Instance Offering 启动云主机涉及到的CPU数量内存网络设置等规格定义云盘规格 Disk Offering 创建云盘容量大小的规格定义二层网络 L2 Network 二层网络对应于一个二层广播域进行二层相关的隔离一般用物理网络的设备名称标识三层网络 L3 Network 云主机使用的网络配置包括IP地址范围网关 DNS等公有网络 Public Network 由因特网信息中心分配的公有IP地址或者可以连接到外部互联网的IP地址私有网络 Private Network 云主机连接和使用的内部网络 L2NoVlanNetwork 物理主机的网络连接不采用Vlan设置 L2VlanNetwork 物理主机节点的网络连接采用Vlan设置 Vlan需要在交换机端提前进行设置 VXLAN网络池 VXLAN Network Pool VXLAN网络中的 Underlay 网络一个 VXLAN 网络池可以创建多个 VXLAN Overlay 网络即 VXLAN 网络这些 Overlay 网络运行在同一组 Underlay 网络设施上 VXLAN网络 VXLAN 使用 VXLAN 协议封装的二层网络单个 VXLAN 网络需从属于一个大的 VXLAN 网络池不同 VXLAN 网络间相互二层隔离 21

26 OCFS2 共享存储实践指南 / 术语表云路由 vrouter 云路由通过定制的Linux云主机来实现的多种网络服务安全组 Security Group 针对云主机进行第三层网络的防火墙控制对IP地址网络包类型或网络包流向等可以设置不同的安全规则弹性IP EIP 公有网络接入到私有网络的IP地址快照 Snapshot 某一个时间点上某一个磁盘的数据备份包括自动快照和手动快照两种类型 22

ST2001-OCFS2共享存储实践指南-iSCSI存储

ST2001-OCFS2共享存储实践指南-iSCSI存储 OCFS2 共享存储实践指南 iscsi 存储版本 2.0 日期 2017-06-13 版权所有上海云轴信息科技有限公司 2017 保留一切权利非经本公司书面许可, 任何单位和个人不得擅自摘抄复制本文档内容的部分或全部, 并不得以任何形式传播商标说明和其他云轴商标均为上海云轴信息科技有限公司的商标本文档提及的其他所有商标或注册商标, 由各自的所有人拥有注意您购买的产品服务或特性等应受上海云轴公司商业合同和条款的约束,

OCFS2 共享存储 实践指南

OCFS2 共享存储实践指南