目录 目录 目录概述适用环境迁移源端主机类型支持金山云系统支持规模支持迁移评估操作系统应用业务迁移过程评估迁移前迁移中迁移后迁移周期迁移成本迁移方案 rsync 介绍注意事项及说明迁移前检查迁移示例安装 rsync host 端安装 rsync client 端 rsync 命

Transcription

1 目录 目录 目录概述适用环境迁移源端主机类型支持金山云系统支持规模支持迁移评估操作系统应用业务迁移过程评估迁移前迁移中迁移后迁移周期迁移成本迁移方案 rsync 介绍注意事项及说明迁移前检查迁移示例安装 rsync host 端安装 rsync client 端 rsync 命令格式参考不同场景下排除及同步的文件举例批量迁移 金山云 1/7

2 迁移教程 概述 企业 IT 进入云架构以后, 随着公有云成为越来越多客户的选择, 云迁移成为必不可少的服务 本章节内容针对 Linux 环境下服务迁移至金山云 EPC 服务器进行介绍 目前 Linux 系统的迁移方式有很多, 如 DD 工具镜像制作 rsync 备份工具等, 也有基于开源优化的迁移工具或购买第三方工具 金山云推荐使用 rsync 工具实现主机服务的迁移, 大致流程如下 : 1. 熟悉 rsync 使用方法, 了解相关参数, 提前做好测试验证 有关 rsync 的详细介绍, 请参见 rsync 官网. 评估迁移时间 / 成本, 制定迁移计划 有关评估方法的详细介绍, 请参见迁移评估. 进行迁移 关于各场景迁移方案的详细介绍, 请参见迁移方案 首次迁移, 默认为源服务器的全量数据做迁移 完成一次全量迁移后, 若源服务器数据有变化, 则多次执行 rsync 进行增量迁移 如果服务器数量为十台以上, 建议制作脚本进行批量迁移 如果源服务器所在网络与金山云目标地域的 VPC 网络已经内网打通, 建议使用高效稳定的内网迁移 4. 迁移后验证相关服务是否启动正常 适用环境 迁移源端主机类型支持 理论上支持源端为虚拟机 云主机 物理机等不同类型的迁移 金山云系统支持 CentOS 6 CentOS 7 Ubuntu 14 Ubuntu 16 Ubuntu 18 Debian 8 Fedora 0 规模支持 rsync 迁移支持大批量迁移任务, 用户可结合自动化工具, 如 ansible puppet 实现批量迁移操作任务 迁移评估 在开始迁移之前, 需要先评估业务内容 迁移时间和成本等因素, 制定迁移计划 本文介绍需要评估的几大因素 操作系统 用户可根据预迁移操作系统的发行版本 内核版本综合考虑迁移方式或升级方式 对于希望借助迁移顺带更换操作系统大版本的用户, 需要结合业务的际情况, 选择重建或只对数据部分做迁移 本节不再作详细介绍 应用业务 业务暂停问题 : 如果有数据库等大型服务应用, 如 Oracle SQLServer MongoDB MySQL 和 Docker, 可以考虑暂停服务应用再进行迁移 如果不能暂停业务, 迁移时可以先将服务应用数据目录排除, 待服务器迁移完成后, 再同步数据库的数据 大数据量问题 : 如果有大量或海量数据文件, 可以先使用 rsync 只迁移服务器应用环境, 同时评估是否需要使用高速云通道或离线迁移设备等专用大数据量传输方案, 以获得更好的迁移传输速度 软件授权问题 : 评估源系统需要授权的软件在迁移后是否需要重新授权 网络配置问题 : 迁移后公网 IP 会发生变化, 需评估是否会影响原业务 迁移过程评估 迁移前 本地网络运营商流量限制, 建议与网络运营商协调确认, 或者在 rsync 中配置传输带宽上限 金山云 /7

3 迁移教程 是否需要进行批量迁移, 如需批量迁移, 需要进行所有服务器环境调研和确认, 主要包含相关服务器系统版本 所装软件及运行环境 相关自定义配置等检查 迁移中 是否需要进行迁移进度日志统计分析 迁移后 迁移后系统批量验证 迁移周期 迁移周期与迁移服务器数量和实际数据量成正比, 建议您根据实际迁移测试演练进行评估 迁移周期主要分为迁移前 迁移中 迁移后 部分, 各阶段所需时间如下 : 迁移前所需时间迁移前时间 = 迁移条件准备时间迁移条件准备时间视实际情况而定 迁移中所需时间迁移中时间 = 数据传输时间数据传输时间 = 实际数据量 / 实际网速迁移后所需时间迁移后时间 = 迁移后系统增量同步时间 ( 可选 )+ 系统配置验证时间系统增量同步时间 = 实际增量数据量 / 实际网速系统配置验证时间视实际情况而定 迁移成本 迁移成本主要为用户的网络传输流量费用及存储费用 ; 若使用其他方式, 如高速云通道或离线迁移设备, 则迁移成本主要为基础设施及服务搬运等相关费用 迁移方案 r sy n c 介绍 rsync 软件适用于 Unix/Linux/Windows 等多种操作系统平台, 是一款开源的 快速的 多功能的 可实现全量及增量的本地或远程数据同步备份的优秀工具 并且可以不进行改变原有数据的属性信息, 实现数据的备份迁移 rsync 支持本地复制和远程复制 支持采用 SSH 协议远程同步复制, 也可以采用 Daemon 守护进程的方式进行同步复制 首次执行时 rsync 会全量同步, 之后只做数据增量同步复制 rsync 在传输数据的过程中可以实行压缩及解压缩操作, 因此可以使用更少的带宽 rsync 提供了大量的参数来控制其行为的各个方面, 并且允许非常灵活的方式来实现文件的传输复制 它以其 Delta-transfer 算法闻名 本节介绍如何基于 rsync daemon 模式实现 Linux 主机迁移, 用户可自主完成上云迁移服务 注意事项及说明 迁移源和目的端系统类型及版本必须一致 rsync host 是数据同步的源端,rsync client 是数据同步的目标端 rsync daemon 监听默认端口为 87 rsync daemon 以 C/S 模式运行 迁移前检查 对于 CentOS 系统, 确保 iptables/firewalld 为关闭状态 ; 对于 Ubuntu 系统, 确保 ufw 为关闭状态 对于 CentOS 系统, 确保 SELlinux 为关闭状态 关闭 NetworkManager 必须开启 sshd 服务 在 rsync client 端, 通过 bandlimit 设置传输带宽大小 迁移示例 安装 rsync ho st 端 1. 查看 rsync 安装包 金山云 /7

4 迁移教程 # rpm -qa rsync rsync el6.x86_64. 安装 rsync 系统默认已安装 rsync 软件包 如果查看发现没有安装 rsync,centos 系统使用 yum 安装,Ubuntu 系统使用 apt-get 安装 # yum install rsync -y # sudo apt-get install rsync. 生成 rsyncd.conf 配置文件 ( 注 : 复制以下文件时删掉后端的注释内容 ) # vim /etc/rsyncd.conf uid = root # 用户远端的命令使用 rsync 访问共享目录 gid = root # 用户组 use chroot = no # 安全相关 max connections = 0 # 最大连接数 timeout = 900 # 超时时间 port = 87 # 监听端口 pid file = /var/run/rsyncd.pid # 进程对应的进程号文件 lock file = /var/run/rsyncd.lock # 锁文件 log file = /var/log/rsyncd.log # 日志文件 ignore errors # 忽略错误 read only = false # 可写 hosts allow = /4 # 允许连接的服务器, 允许所有直接填 * hosts deny = / # 后勤组连接的服务器 auth users = root # 虚拟用户 secrets file = /etc/rsync.password # 虚拟用户对应的用户和密码文件 [migrate] # 模块名称 path = / # 服务端提供访问的目录 4. 根据配置文件 rsyncd.conf 中的 auth users 参数配置远程连接帐户, 并根据 secrets file 参数生成密码文件 # echo " root:<your Password>" > /etc/rsync.password 5. 为密码文件配置权限 # chmod 600 /etc/rsync.password # ls -l /etc/rsync.password -rw root root 0 Nov 15 :5 /etc/rsync.password 6. 启动 rsync 服务并检查 # rsync --daemon # ps -ef grep rsync grep -v grep # lsof -i:87 安装 rsync cl ient 端 1. 查看 rsync 安装包 # rpm -qa rsync rsync el6.x86_64. 安装 rsync 系统默认已安装 rsync 软件包 如果查看发现没有安装 rsync,centos 系统使用 yum 安装,Ubuntu 系统使用 apt-get 安装 # yum install rsync -y # sudo apt-get install rsync. 生成连接服务器需要的密码文件 # echo "<Your Password>" > /etc/rsync.password 4. 为密码文件配置权限 # chmod 600 /etc/rsync.password # ls -1 /etc/rsync.password -rw root root 7 Nov 15 :48 /etc/rsync.password 5. 同步示例 : 在 client 端, 先执行排除文件的命令, 再执行包含文件的命令 # rsync -avuph --progress --password-file=/etc/rsync.password \ --bwlimit= exclude-from=/etc/rsync_excludes_linux.txt \ root@ <rsync host server ip>::migrate / 其中 rsync_excludes_linux.txt 的内容请参考不同场景下排除及同步的文件举例 # rsync -avph --progress --password-file=/etc/rsync.password \ --files-from= rsync_includes_linux.txt \ root@ <rsync host server ip>::migrate / 金山云 4/7

5 迁移教程 其中 rsync_includes_linux.txt 的内容请参考不同场景下排除及同步的文件举例 注 : 对于不同迁移源端, 需要根据实际系统的情况增加或修改 exclude 文件内容 rsync 命令格式参考 rsync 选项源文件目标目录 ( 本地 ) rsync 目标目录 ( 本地文件同步到远程目录,SSH 模式 ) rsync 源文件目标目录 ( 远程目录同步到本地,SSH 模式 ) rsync 目标目录 ( 本地文件同步到远程目录,Daemon 模式 ) rsync 源文件目标目录 ( 远程目录同步到本地,Daemon 模式 ) 不同场景下排除及同步的文件举例 Cento s 物理机之间迁移场景 物理机 > 云物理主机 系统 环境 说明 CentOS6 PP 物理机至云物理主机 CentOS7 PP 物理机至云物理主机 rsync 同步剔除文件及目标内容如下 : rsync_excludes_linux.txt /sys/* /proc/* /boot/* /dev/* /lost+found/* /lib/modules /etc/default/grub /etc/mtab /etc/fstab /etc/sysconfig/network-scripts/ifcfg-eth0 /etc/rc.d/init.d/networkmanager /etc/systemd/system/cloud-init.target.wants/* /etc/systemd/system/dbus-org.freedesktop.nm-dispatcher.service /etc/systemd/system/dbus-org.freedesktop.networkmanager.service /etc/systemd/system/multi-user.target.wants/networkmanager.service /etc/ssh/* /root/.ssh/* /etc/yum.repos.d/* /var/cache/yum/* /var/lib/nfs/rpc_pipefs/* /rsync-linux-bstokingsoft/* CentOS 环境末次同步包含的文件为 : rsync_includes_linux.txt /etc/rc.d/rc.local /root/.ssh/ Cento s 虚拟机至云物理主机迁移场景 虚拟机 > 云物理主机 系统 环境 说明 CentOS6 VP 虚拟机至云物理主机 CentOS7 VP 虚拟机至云物理主机 rsync 同步剔除文件及目标内容如下 : rsync_excludes_linux.txt /sys/* /proc/* /boot/* /dev/* /lost+found/* 金山云 5/7

6 迁移教程 /lib/modules /etc/default/grub /etc/mtab /etc/fstab /etc/udev/rules.d/* /etc/sysconfig/network-scripts/* /etc/rc.d/init.d/networkmanager /etc/systemd/system/cloud-init.target.wants/* /etc/systemd/system/dbus-org.freedesktop.nm-dispatcher.service /etc/systemd/system/dbus-org.freedesktop.networkmanager.service /etc/systemd/system/multi-user.target.wants/networkmanager.service /etc/ssh/* /root/.ssh/* /etc/yum.repos.d/* /var/cache/yum/* /var/lib/nfs/rpc_pipefs/* /rsync-linux-bstokingsoft/* CentOS 环境末次同步包含的文件为 : rsync_includes_linux.txt /etc/rc.d/rc.local /root/.ssh/ Ubuntu 物理机或虚拟机至云物理机迁移场景 物理机 / 虚拟机 > 云物理主机 系统 环境 说明 Ubuntu16 PP/VP 物理机至云物理主机, 虚拟机至云物理主机 Ubuntu18 PP/VP 物理机至云物理主机, 虚拟机至云物理主机 rsync 同步剔除文件及目标内容如下 : rsync_excludes_linux.txt /sys/* /proc/* /boot/* /dev/* /lost+found/* /lib/modules /etc/default/grub /etc/mtab /etc/fstab /etc/network/interfaces /var/lib/lxcfs/* /etc/systemd/system/cloud-final.service.wants/snapd.seeded.service /etc/systemd/system/dbus-org.freedesktop.resolve1.service /etc/systemd/system/multi-user.target.wants/* /etc/ssh/* /root/.ssh/* /etc/apt/sources.list /rsync-linux-bstokingsoft/* Ubuntu 环境末次同步包含的文件为 : rsync_includes_linux.txt /root/.ssh/ 批量迁移 当用户需要迁移的服务器主机数量较多, 逐台迁移耗时费力, 此时可考虑批量迁移的方式来完成迁移工作 主要步骤包括 : 金山云 6/7

7 迁移教程 选型自动化批量运维工具. 批量部署 host 端及相关配置文件. 批量部署 client 端及相关配置文件 4. 编写批量迁移任务脚本, 测试环境验证, 正式环境迁移 金山云 7/7