Getting-Started 连接 RDS MySQL 连接 RDS 实例 MySQL 连接 RDS 实例 对于数据库类型为 MySQL 的 RDS 实例, 有以下几种连接方法 : 方法 1:iDB Cloud( 控制台登录 ) 使用 idb Cloud 连接 RDS 实例, 需要先登陆阿里云管理

Transcription

1 云数据库 RDS Getting-Started

2 Getting-Started 连接 RDS MySQL 连接 RDS 实例 MySQL 连接 RDS 实例 对于数据库类型为 MySQL 的 RDS 实例, 有以下几种连接方法 : 方法 1:iDB Cloud( 控制台登录 ) 使用 idb Cloud 连接 RDS 实例, 需要先登陆阿里云管理控制台, 进入 RDS 管理控制台并选择对应实例之后, 点 击右上角的功能扩展区 登录数据库 按钮, 如下图所示 : 在登陆框页面输入需要登录的数据库连接地址, 账号和密码即可访问 RDS 数据库, 如下图所示 : 1

3 方法 2:MySQL-Front 在 打开登陆信息 对话框中点击 新建 按钮, 弹出 添加信息 对话框 在对话框的 Host 和 端口 栏里分别输入 RDS 实例的内 / 外网地址和端口号 ( 可在 RDS 管理控制台实例的基本信息页面查看 ), 在 用户 和 密码 栏分别输入数据库账号和密码, 点击 确定 即可 如图所示 : 1) 实例管理 : 一个独立占用物理内存的数据库服务进程, 用户可配置不同的内存和空间, 其中内存的规格会决定该实例的性能 ( 包含 IOPS 连接数) 可进行实例创建 删除 变更和查看等功能 2) 数据库管理 : 是在一个实例下创建的逻辑单元, 一个实例可以创建多个数据库, 在实例内数据库命名唯一, 所有数据库都会共享该实例下的资源 ; 其中 MySQL 最多可创建 500 个数据库 ;SQL Server 最多可创建 50 个数据库 3) 帐号管理 : 帐号是标识数据库的访问权限, 一个帐号也可关联多个数据库, 一个数据库也可关联多个帐号, 其中 MySQL 最多可创建 500 个帐号 ;SQL Server 最多可创建 500 个帐号 ; 可在实例内进行帐号的创建 删除 修改等操作 2

4 方法 3:Navicat for MySQL 选择 连接 ->MySQL, 在 MySQL 新建连接 中的 主机名或 IP 地址 和 端口 栏里分别输入 RDS 实例 的内 / 外网地址和端口号 ( 可在 RDS 管理控制台实例的基本信息页面查看 ), 在 用户名 和 密码 栏分别输 入数据库账号和密码, 点击 确定 即可 如图 2 所示 : 方法 4: 使用 mysql 命令登录 用户安装 MySQL 客户端后, 可进入命令行方式连接数据库 命令格式 : mysql hexample.mysql.rds.aliyuncs.com P3306 uusername ppassword 其中,-h 指定的是主机名 ( 即 RDS 实例的内 / 外网地址 ),-P 指定的是端口,-u 指定的是用户名 ( 即 RDS 数据库账号 ),-p 指定的是密码 SQLServer 连接 RDS 实例 3

5 SQL Server 连接 RDS 实例 对于数据库类型为 SQL Server 的用户, 可以使用 Microsoft SQL Server Management Studio 连接 RDS 实例 点击 连接, 在弹出的 连接到服务器 对话框 服务器名称 中输入 RDS 实例内 / 外网地址和端口号, 在 登录名 和 密码 中分别输入数据库账号和密码, 点击 连接 即可 如图所示 : PostgreSQL 连接 RDS 实例 PostgreSQL 连接 RDS 实例 创建初始帐号 在完成实例购买之后, 首先去登陆 RDS 管理控制台, 创建 初始帐号 有了初始帐号, 就可以对实例进行管理和操作 命令行连接实例 在管理控制台的基本信息页面, 可以找到实例的连接地址和端口, 例如我们有如下实例 : pgsupu01.pg.rds.aliyuncs.com:3432 有了实例连接串 端口 初始帐号 密码, 就可以使用命令管理和操作实例了 创建数据库 : createdb -U pgroot -h pgsupu01.pg.rds.aliyuncs.com -p 3432 pg001 连接数据库 : psql -U pgroot -h pgsupu01.pg.rds.aliyuncs.com -p 3432 pg001 4

6 Password for user pgroot: psql (8.4.9, server 9.4.1) WARNING: psql version 8.4, server version 9.4. Some psql features might not work. Type "help" for help. pg001=> 内外网连接数据库 如何选择内网或外网连接数据库 RDS 提供两种地址 : 内网地址和外网地址 若用户的 RDS 和 ECS 处于同一地域或可用区, 则这些 ECS 应该使用 内网地址进行连接 通过内网地址连接 RDS 实例, 可以降低访问时延, 而且安全更好 具体步骤如下 : 若用户没有符合条件的 ECS 实例, 则应该使用外网地址进行连接 此时特别需要注意 RDS 实例的 ip 白名单, 切勿 设置过多的 ip, 以防非法访问 具体步骤如下 : 若用户有符合条件的 ECS, 而且需要 RDS 提供外网访问, 可以同时申请内网地址和外网地址, 同样需要注意 ip 白 名单的设置 具体步骤分为两步 : 若用户想要释放外网地址, 具体步骤如下 : 注意 : 以上操作可能会导致 RDS 连接串对应的 ip 发生变化, 相应的数据库连接也会全部断开, 请确保应用能够 重新连接到 RDS RDS 连接数过多 RDS 连接数过多 5

7 用户在购买 RDS 实例时所选择的内存大小决定了该实例的最大连接数 在 RDS 管理控制台对应实例的基本信息中可看到该实例所支持的最大连接数 什么是 RDS 连接数?>> 当 RDS 实例的连接数量超过该实例的最大连接数时, 将无法创建新的连接, 此时将会影响用户业务的正常进行 MySQL 的连接通常是一个请求占用一个连接, 如果该请求 (update,insert,delete,select 等 ) 长时间没有执行完毕, 则会造成连接的堆积, 迅速的消耗完 RDS 实例的连接数 用户可在 RDS 管理控制台设置所对应的实例的 RDS 连接数报警阈值, 如下图所示 当 RDS 实例的连接数超过指定的阈值时用户将收到报警短信 此时, 需要用户登录数据库进行查看, 尽快确定造成连接堆积的原因 解决方法可参见 : 通过堆积的连接优化 性能 >> RDS 连接闪断 RDS 连接闪断 RDS 连接闪断表现为一段时间内 ( 小于等于 30 秒钟 ) 无法连接到 RDS 实例 连接闪断不会导致实例的连接地址 端口号 数据库账号和密码等的改变 RDS 连接闪断发生的场景有 : 主库出现故障 ( 用户操作不当或实例本身故障 ) 用户升级 RDS 实例配置 ( 用户触发 ) 用户升级数据库版本( 用户触发 ) 执行数据回滚操作( 用户触发 ) 由于 RDS 实例采用一主一备的高可用模式, 当主库出现故障时,RDS 会在 30 秒钟内切换到备库, 切换过程会有小于等于 30 秒钟的不可访问时间 为应对 RDS 连接闪断, 用户需设置程序自动重连 RDS 实例, 从而尽量减小 RDS 连接闪断对业务造成的影响 6

8 更多信息可参考 :RDS 循序渐进 - 闪断篇 >> IP 白名单设置 IP 白名单设置 白名单可以使用户的 RDS 实例得到最高级的访问安全保护, 建议用户在购买 RDS 实例后立即对 IP 白名单进行设置 默认 IP 名单为 %, 代表全网段均可访问, 不受限制 IP 白名单支持设置 IP 地址和 IP 段, 以逗号隔开 ( 英文逗号, ), 最多可设置 100 个 设置成功后仅有白名单中的 IP 地址可以访问实例 登录 RDS 管理控制台对应实例管理页面, 进入 安全控制 -> 白名单设置, 可看到允许访问 IP 名单列表 用户可点击 手动修改 按钮进行手动修改, 如下图所示 : 若用户使用云服务 ECS 连接通过内网来连接 RDS, 可以点击 加载 ECS 内网 IP 添加 按钮, 系统会自动获取用户 该阿里云账号下的所有 ECS 的内网 IP, 用户可以选择添加, 如下图所示 当然, 用户也可以手动进行添加, 效果 是一样的 7

9 例如 : 用户应用程序安装在云服务器 ECS 上, 内网 IP 分别为 , 出于安全考虑, 希望仅这两台 ECS 可通过内网地址访问 RDS 实例 首先, 用户需在 RDS 管理控制台的实例基本信息中确认当前 RDS 实例为内网连接方式, 然后进入 安全控制 - > 白名单设置, 将 ECS 内网地址添加至 允许访问 IP 名单 中, 如下图所示 : 注意 : 若用户需要使用 idb Cloud 或 phpmyadmin 访问 RDS 实例, 则需要将其对应内外网连接的授权 IP 加入到允许访问 IP 名单列表中 例如, 当用户点击 idb Cloud 的时, 如果已设置 IP 白名单, 但未将 idb Cloud 的服务器 IP 添加进去时, 弹出的对话框中会显示 添加访问 IP 至白名单 按钮, 点击后, 系统会自动将 idb Cloud 的服务器 IP 添加至 IP 白名单中 添加后的 IP 白名单列表如下所示 : 注 : /16 为 IP 段的表示方法, 表示 的前 16 位有效 8

10 数据迁移至 RDS MySQL 之利用 mysqldump 工具 数据迁移至 RDS-MySQL 之利用 mysqldump 工具 使用 mysqldump 工具的优点是简单易行, 容易上手 ; 缺点是停机时间较长 因此它适用于数据量不大, 或者允许停机的时间较长的情况 更多信息可参考 :RDS 中的 MySQL 备份恢复 >> 由于 RDS 提供的关系数据库服务与原生的数据库服务完全兼容, 所以对于用户来说, 将原有数据库迁移到 RDS 实例的过程, 与从一个 MySQL 服务器迁移到另外一台 MySQL 服务器的过程基本类似 具体的迁移流程如下图所示 : 迁移步骤 1) 购买 RDS 实例 用户购买 RDS 实例后, 系统会为用户提供 RDS 实例的内 / 外网连接地址和端口, 如 : example.mysql.rds.aliyuncs.com:3306 2) 利用 mysqldump 备份数据 停止业务, 使用 mysqldump 的数据导出工具, 将线下原有数据库数据导出为数据文件 ( 本步骤仅仅导出数据, 不包括存储过程 触发器及函数 ) 命令格式 : mysqldump -hlocalip -uusername -p --opt --default-character-set=utf8 --hex-blob dbname --skip-triggers > /tmp/dbname.sql 参数说明 : (1) localip:mysql 服务器 IP 地址 ; (2) username: 数据库用户名 ; (3) dbname: 需要备份的数据库名 ; (4) /tmp/dbname.sql: 备份生成的文件名 3) 利用 mysqldump 导出存储过程 触发器和函数 备份线下原有数据库的存储过程 触发器和函数 ( 若数据库中没有使用存储过程 触发器和函数, 可跳过此步 骤 ), 在导出存储过程 触发器和函数时, 需要将 definer 去掉, 以兼容 RDS 9

11 命令格式 : mysqldump -hlocalip -uusername -p --opt --default-character-set=utf8 --hex-blob dbname -R sed -e 's/definer[ ]*=[ ]*[^*]*\*/\*/' > /tmp/triggerprocedure.sql 参数说明 : (1) localip:mysql 服务器 IP 地址 ; (2) username: 数据库用户名 ; (3) dbname: 需要备份的数据库名 ; (4) /tmp/triggerprocedure.sql: 备份生成的文件名 4) 将数据文件和存储过程文件上传到已经购买的云服务器 ECS 中 假设已上传的文件在云服务器中的路径为 : /tmp/dbname.sql /tmp/triggerprocedure.sql 5) 将数据导入至 RDS 远程登录到云服务器, 将刚才上传的数据文件导入到已购买的 RDS 实例中, 命令格式 : mysql -hexample.mysql.rds.aliyuncs.com uusername -p dbname < /tmp/dbname.sql 参数说明 : (1) example.mysql.rds.aliyuncs.com:rds 实例连接地址 ; (2) username:rds 数据库账号 ; (3) dbname: 需要导入的数据库名 ; (4) /tmp/dbname.sql: 导入所使用的文件名 6) 将存储过程 触发器和函数导入至 RDS 远程登录到云服务器, 将刚才上传的存储过程文件 ( 包含存储过程 触发器和函数, 若没有则请跳过此步 ) 导入到已购买的 RDS 实例中 命令格式 : mysql -h example.mysql.rds.aliyuncs.com -u username -p dbname < /tmp/triggerprocedure.sql 参数说明 : (1) example.mysql.rds.aliyuncs.com:rds 实例连接地址 ; (2) username:rds 数据库账号 ; (3) dbname: 需要导入的数据库名 ; (4) /tmp/triggerprocedure.sql: 导入所使用的文件名 至此数据迁移完毕, 用户可使用 idb Cloud 数据库客户端工具( 如 MySQL-Front) 第三方数据库管理工具 ( 如 phpmyadmin) 或程序的方式, 通过 RDS 实例连接地址 端口号 数据库账号和密码连接数据库 连接 RDS>> 10

12 MySQL 之利用 RDS 管理控制台 数据迁移至 RDS-MySQL 之利用 RDS 管理控制台 该方法是一种 MySQL 的在线迁移方法, 可以不停服务就能够完成数据库的迁移工作, 支持 MySQL (5.0 版本只支持全量迁移 ) 的迁移 更多迁移信息可参考 : 如何快速平稳的迁入 RDS>> 迁移注意事项 1)MySQL 的系统库将不允许迁移至 RDS, 不允许迁移的数据库包括 :mysql,information_schema,perfermance_schema 这些数据库将不会显示在迁移列表中; 2) 不支持迁移存储过程和函数, 如果待迁移的库中存在存储过程和函数, 将忽略掉不迁移 ; 3) 自建数据库必须与 RDS 实例中的数据库同名 否则, 自建数据库为 暂不可迁移 状态 ; 4) 自建库迁移账号密码不允许含有 % #! 等特殊字符 ; 5) 迁移中禁止使用 DDL 操作例如 : 创建表 删除表 修改索引等操作 ; 6) 自建数据库的视图 (view) 无法迁移到 RDS, 需要您重新创建的 迁移步骤 1) 在自建数据库中创建迁移账号 命令格式 : grant all privileges on DB.* to 'username'@'%' identified by 'password'; 说明 :a) username:mysql 数据库账号 ;b) password: MySQL 数据库账号的密码 2) 设置迁移账号权限 命令格式 : grant super,process,select,reload,lock tables,replication slave,replication client ON *.* TO 'username'@'%'; 说明 : 该命令对数据库账号 username 赋予 super process select reload lock tables replication slave replication client 权限 3) 确认自建数据库中配置文件正确 11

13 确认 MySQL 配置文件 my.cnf 有如下设置项 : 说明 : a) 开启二进制日志,log_bin=mysql-bin; b) 设置 binlog 格式为 ROW 模式,binlog_format=ROW; c) server_id 要大于 1, 如 server_id=2; d) 修改完成后, 重启 MySQL 进程 4) 登录自建数据库, 通过命令查看是否为 ROW 模式 执行命令 : show variables like binlog_format% ; 5) 将数据迁移至 RDS 在 RDS 管理控制台对应的实例页面, 点击 将数据迁移至 RDS 按钮, 在弹出框中填写待迁移的数据库连接地址 数据库连接端口 数据库账号 数据库密码, 如下图所示 : 注意下 : 如果您的表是 myisam 引擎, 无论下图是否选择锁表, 迁移过程中都会锁表, 下个版本我们会提供 myisam 不锁表的支持 12

14 SQLServer 之利用 RDS 管理控制台 数据迁移至 RDS-SQL Server 之利用 RDS 管理控制台 SQL Server 数据迁移流程如下图所示 : 确认工作 1 仅支持 SQL SERVER(2005,2008,2008R2) 2 仅支持全量备份 / 恢复 3 数据库的 Recover 模式必须是 FULL 模式 13

15 准备工作 1 需要有自己的 RDS 实例以及目标数据库 2 如果数据库里有数据, 请做好备份, 目标数据库中的数据将被覆盖 3 推荐使用 Filezilla ( 下载 ) 客户端工具, 安装后请不要升级客户端工具版本提交数据迁移 1 进入 RDS 管理控制台相应实例的数据库管理页面, 选择待迁移数据库并点击 数据迁入, 如下图所示 : 2 进入 数据导入向导 的第一步 备份你的数据库 备份待迁移远程源数据库的步骤如下 : 1) 检查源数据库的 Recover Mode, 执行代码如下 : use master; go select name, case recovery_model when 1 then 'FULL' 14

16 when 2 then 'BULD_LOGGED' when 3 then 'SIMPLE' end model from sys.databases where name not in ('master','tempdb','model','msdb'); go 确认相应 DB 的 model 值为 FULL, 若不为 FULL, 则请按下面步骤先改成 FULL 2) 配置源数据库的 Recover Mode 注 : 如果上一步中 model 值为 FULL, 请跳过此步骤 ALTER DATABASE [dbname] SET RECOVERY FULL; go ALTER DATABASE [dbname] SET AUTO_CLOSE OFF; go 改成 FULL 模式会导致 SQL Server 日志增加, 请注意有足够的硬盘空间 3) 备份源数据库 use master; go BACKUP DATABASE [testdbdb] to disk ='d:\backup\filename.bak' WITH COMPRESSION,INIT; go 注意 : 上面的 filename.bak 文件名, 要与 RDS 返回给你的文件名一致,RDS 返回的文件名在向导第二步, 点击获取 FTP 信息来获取 4) 还原源数据库的 Recover Mode 注 : 这一步不是必需的, 如果未执行步骤 ii 请跳过此步骤 ALTER DATABASE [dbname] SET RECOVERY SIMPLE; go 3 备份好远程源数据库后, 进入第二步上传备份文件点击下图中的 获取 FTP 信息 按钮, 可以获得 FTP 的连接地址 端口 用户名密码以及 RDS 返回的此次上传至 FTP 的上传文件名 注 : 请首先将您的备份集更名为该步骤中返回的 FTP 上传文件名, 然后上传备份集到 FTP 服务器 否则备份集无法上传成功 15

17 将备份文件上传至 FTP 的步骤如下 : 1) 选择 FTP 客户端本文以 Filezilla 为例, 并提供配置说明 2)FTP 配置信息 Filezilla 配置方法 : 进入 文件 -> 站点管理器, 按下图顺序操作 : 16

18 3) 完成上传 4 文件上传完成后, 进入第三步数据导入, 确认 FTP 上传是否完成, 且文件大小一致 特别注意 : 如文件残缺或非法而进行导入, 导入会失败, 该实例控制台将一直处于恢复中状态, 请通过工单的方式解除该状态注意 : 若导入后磁盘容量的总使用量超过 85%, 则无法进行导入, 请先删减实例的数据或扩展磁盘容量 17

19 SQLServer 之利用 SQLServer 客户端工具 数据迁移至 RDS-SQL Server 之利用 SQL Server 客户端工具 适用场景 1) 源端数据库为 SQL Server 2005 及以上 (SQL Server 2000 未测试 ) 2) 可以在低峰期停应用 导出步骤 1) 软件准备如果源端 SQL Server 版本低于 2008, 则需下载 SQL Server 2008 的客户端工具, 可在任意一台机器上安装 下载并安装 Microsoft SQL Server 2008 Management Studio: 安装过程中忽略各种提示, 保持默认选项即可 2) 运行 Microsoft SQL Server Management Studio 2008 并连接到源数据库 18

20 图 1. Microsoft SQL Server Management Studio 连接到服务器 3) 导出目标数据库的生成脚本步骤如下 : 脚本向导中, 生成脚本 ; 选择数据库, 不要勾选 为所选数据库中的有所对象编写脚本 ; 选择脚本选项, 设置 编写数据的脚本 为 TRUE, 其他选项根据实际需要修改 下图是建议值 简单起见除了创建数据库的脚本, 登录脚本, 编写统计信息, 生成依赖对象脚本这几项一定要设置为 FALSE, 其他都可以设置为 TRUE; 选择对象类型, 注意不要选 用户和数据库角色 ; 选择存储过程 ( 如果没有, 就直接跳过 ); 选择表, 不用迁移的表就不要选了 ; 选择视图, 如果没有就跳过 ; 选择输出选项, 可以选择导出到一个文件, 也可以选择每个对象导出一个文件 数据量非常大的情况下建议每个对象导出一个文件 ; 最终确认 ; 等待导出, 需要一段时间 ; Microsoft SQL Server Management Studio 操作过程截图如下所示 : 19

21 图 2. Microsoft SQL Server Management Studio 生成脚本 20

22 图 3. Microsoft SQL Server Management Studio 脚本向导 图 4. Microsoft SQL Server Management Studio 选择数据库 21

23 图 5. Microsoft SQL Server Management Studio 选择对象类型 22

24 图 6. Microsoft SQL Server Management Studio 选择存储过程 图 7. Microsoft SQL Server Management Studio 选择数据库表 23

25 图 8. Microsoft SQL Server Management Studio 选择视图 图 9. Microsoft SQL Server Management Studio 选择输出选项 24

26 图 10. Microsoft SQL Server Management Studio 最终确认 25

27 图 11. Microsoft SQL Server Management Studio 等待导出 4) 新建到 RDS 数据库的连接, 打开查询分析器, 执行上面导出的脚本除可以打开脚本执行外, 还可利用 SQLCMD 模式执行 在目标 RDS 数据库上打开一个查询分析器, 然后点击菜单 查询, 选择 SQLCMD 模式, 如下图 12 所示 : 然后在查询分析器里执行相关语句 图 12. Microsoft SQL Server Management Studio 启动 SQLCMD 模式 执行 OS 命令格式为 :!! + Windows cmd 命令, 如!! dir d:\test 执行 sql 命令格式为 ::r d:\test\script sql 26

28 图 13. Microsoft SQL Server Management Studio 执行导出的数据库文件当文件很大 ( 如 1G 以上 ), 而云服务器 ECS 内存不足够大的时候, 可能会抛出 OufOfMemory Exception 错误 此时可使用 Windows 命令行 cmd 调用 sqlcmd 命令格式为 : sqlcmd S example.sqlserver.rds.aliyuncs.com,3433 -U username -P password d dbname -i sqlfile - o outputfile 图 14. sqlcmd 导入命令窗口 5) 验证数据 ( 略 ) 可能遇到的问题 (1) 如果导出脚本里有乱码, 请检查导出文件是否为 Unicode 格式 (2) 如果导入新库后查询有乱码, 请检查新库和老库的服务器排序规则是否一致 (3) 大表的导入慢问题当表的数据量非常大的时候 ( 如超过百万 ), 上面的导入效率可能非常的低 这时候可以用 bcp 命令来导入数据 方法如下 : 1. 在源库主机上或者云服务器上用 bcp 命令导出源库数据 bcp test.dbo.admininfo out d:\tt\admininfo.out -T -S AY a c 27

29 图 15. 查看 bcp 使用方法 2. 用前面 SQLServer 导出脚本在目标 RDS 数据库中建好表, 但是不要建索引和主键 外键约束 3. 用 bcp 导入数据 bcp yundns8885.dbo.admininfo in d:\tt\admininfo.out U yundns8885 P xxxxxxxx -S "sp500xxxxxxx.sqlserver.rds.aliyuncs.com,3433" c E b 1000 图 16. 执行 bcp 命令后的结果显示 4. 在 RDS 数据库上的表上加索引和主键 外键等 PostgreSQL 之利用 psql 工具 PostgreSQL 之利用 psql 工具 如果有通过 pg_dump 产生的备份文件, 就可以通过 PostgreSQL 提供的 psql 工具来导入数据 例子如下 : psql -U {user-name} -d {desintation_db} -f {dumpfilename.sql} MySQL 之利用 DTS 入云迁移 本地 MySQL 迁移至 RDS 使用 DTS( 将本地的 MySQL 迁移至 RDS, 可以实现本地应用不停服务的情况下, 平滑得 完成数据库的迁移工作 28

30 迁移类型简介 结构迁移 DTS 会将迁移对象的结构定义迁移到目标实例 目前 DTS 支持结构迁移的对象有 : 表 视图 触发器 存储过程 存储函数 全量迁移 DTS 会将源数据库迁移对象在的数据全部迁移到目标实例 如果用户还选择了增量迁移, 那么全量迁 移过程中, 为了保证数据一致性, 无主键的非事务表会被锁定, 锁定期间这些表无法写入, 锁定时长 依赖于这些表的数据量大小, 在这些无主键非事务表迁移完成后, 锁才会释放 增量迁移 增量迁移会将迁移过程进行数据变更同步到目标实例, 如果迁移期间进行了 DDL 操作, 那么这些结构 变更不会迁移到目标实例 迁移限制 迁移过程中, 不支持 DDL 操作 结构迁移不支持 event 的迁移 如果使用了对象名映射功能后, 依赖这个对象的其他对象可能迁移失败 当选择增量迁移时, 源 MySQL 实例需要开启 binlog 当选择增量迁移时, 源库的 binlog_format 要为 row 当选择增量迁移且源 MySQL 如果为 5.6 版本时, 它的 binlog_row_image 必须为 full 迁移权限要求 当使用 DTS 进行 MySQL 迁移时, 在不同迁移类型情况下, 源跟目标数据库的迁移帐号权限要求如下 : 迁移类型结构迁移全量迁移增量迁移 本地 MySQL 实例 select select select replication slave replication client 目的 RDS 实例读写权限读写权限读写权限 迁移步骤 下面详细介绍下用户如何使用 DTS 将本地的 MySQL 迁移到 RDS 上的流程 RDS 实例数据库创建 在正式迁移之前, 需要确认目标 RDS 实例中是否已经创建好了需要迁入的数据库, 如果没有创建的话, 需要在 RDS 控制台中, 先创建迁入数据库 29

31 迁移帐号创建 在正式迁移之前, 需要先在本地 MySQL 数据库及云上 RDS 实例中创建迁移帐号, 并将要迁移的库表的读写权限授权给上面创建的帐号 可以使用 grant 语法给本地 MySQL 的迁移帐号授权, 具体需要授权的权限可以参考上面的迁移权限要求对于目标 RDS 实例, 需要在 RDS 控制台中创建帐号, 并将迁入库的读写帐号授权给这个帐号 其他准备工作 如果需要进行增量迁移, 那么需要确认源库的 binlog 是否开启, 格式是否满足要求 具体确认项如下 : 1) 确认源库的 binlog 是否开启 如果这里面查询出来的 log_bin=off, 那么说明源库没有开启 binlog, 这个时候如果需要使用增量迁移的话, 需要修改本地 MySQL 的 binlog 配置, 打开 binlog 日志 a) 开启二进制日志, 修改 log_bin=mysql_bin b) 设置 binlog 模式为 row, 修改 binlog_format=row c) 配置 server_id 大于 1, 即 server_id= 某一个大于 1 的整数 d) 如果版本为 5.6, 修改 binlog_row_image=full e) 修改完成后, 重启 MySQL 进程 2) 确认源库的 binlog 格式为 row 模式 30

32 使用上面的命令确认本地 MySQL 的 binlog 格式是否为 row, 如果查询出来的结果不为 ROW 的话, 那么通过如下 的参数设置命令将模式修改为 row 当修改完成后, 最好将已有的老连接 KILL 掉重连, 否则可能出现其他的连接依然使用 statement 格式记录 binlog 日志 3) 当本地 MySQL 版本大等于 时, 确认源库的 binlog_row_image=full 如果查询出来的结果不为 FULL 的话, 那么通过如下的参数设置命令将其修改为 full 正式迁移 当上面的所有前提条件都配置完成后, 就可以开始正式的数据迁移了 下面详细介绍下具体的迁移步骤 1) 进入 DTS 控制台, 点击创建迁移任务, 正式开始任务创建 31

33 2) 填写本地 MySQL 跟目标 RDS 实例的连接信息 这里面源实例类型要选择有公网 IP 的自建数据库 3) 选择迁移对象及迁移类型 32

34 默认情况下, 迁移对象迁移到目标库后, 对象名跟源库一致 如果用户想修改对象在目标库上的名字时, 可以 直接修改已选择的对象名 当点击编辑后, 即进入对象名称修改页面 : 33

35 修改了对象名后, 目标实例的对象名即为修改后的对象名 4) 启动预检查 在数据正式迁移之前, 会先进行基础预检查, 只有预检查通过后, 才能启动迁移 如果预检查失败, 那么可以查看具体的失败详情, 根据失败原因修复后, 重新进行预检查 34

36 当点击查看后, 可以查看到具体的预检查失败原因 : 当修复完成后, 可以在任务列表中, 选择这个任务, 然后重新启动预检查 35

37 5) 启动迁移任务 当预检查通过后, 我们可以启动迁移任务, 任务启动后, 可以到任务列表中查看具体的迁移状态及进度 至此, 完成将本地 MySQL 数据库迁移到 RDS 的数据迁移工作 DTS 支持 ECS 自建数据库迁移到 RDS ECS 上的自建 MySQL 迁移至 RDS 使用 DTS( 将 ECS 上的自建 MySQL 迁移至 RDS, 可以实现 ECS 自建 MySQL 不停服务的情 况下, 平滑得完成数据库的迁移工作 迁移限制 迁移权限要求 当使用 DTS 进行 MySQL 上云迁移时, 在不同迁移类型情况下, 源跟目标数据库的迁移帐号权限要求如下 : 迁移类型结构迁移全量迁移增量迁移 ECS 上的自建 MySQL select select select replication slave 36

38 replication client 目的 MySQL 读写权限读写权限读写权限 迁移限制 1) 迁移过程中, 不支持 DDL 操作 2) 结构迁移不支持 event 的迁移 3) 如果使用了对象名映射功能后, 依赖这个对象的其他对象可能迁移失败 4) 当选择增量迁移时, 源 MySQL 实例需要开启 binlog 5) 当选择增量迁移时, 源库的 binlog_format 要为 row 6) 当选择增量迁移且源 MySQL 如果为 5.6 版本时, 它的 binlog_row_image 必须为 full 迁移步骤 下面详细介绍下用户如何使用 DTS 将 ECS 上的自建 MySQL 迁移到 RDS 上的流程 RDS 实例数据库创建 在正式迁移之前, 需要确认目标 RDS 实例中是否已经创建好了需要迁入的数据库, 如果没有创建的话, 需要在 RDS 控制台中, 先创建迁入数据库 迁移帐号创建 在正式迁移之前, 需要先在 ECS 上的自建 MySQL 及云上 RDS 实例中创建迁移帐号, 并将要迁移的库表的读写权限授权给上面创建的帐号 可以使用 grant 语法给 ECS 上的自建 MySQL 的迁移帐号授权, 具体需要授权的权限可以参考上面的迁移权限要求对于目标 RDS 实例, 需要在 RDS 控制台中创建帐号, 并将迁入库的读写帐号授权给这个帐号 其他准备工作 如果需要进行增量迁移, 那么需要确认源库的 binlog 是否开启, 格式是否满足要求 具体确认项如下 : 1) 确认源库的 binlog 是否开启 37

39 如果这里面查询出来的 log_bin=off, 那么说明源库没有开启 binlog, 这个时候如果需要使用增量迁移的话, 需要修改本地 MySQL 的 binlog 配置, 打开 binlog 日志 a) 开启二进制日志, 修改 log_bin=mysql_bin b) 设置 binlog 模式为 row, 修改 binlog_format=row c) 配置 server_id 大于 1, 即 server_id= 某一个大于 1 的整数 d) 如果版本为 5.6, 修改 binlog_row_image=full e) 修改完成后, 重启 MySQL 进程 2) 确认源库的 binlog 格式为 row 模式 使用上面的命令确认 ECS 上的自建 MySQL 的 binlog 格式是否为 row, 如果查询出来的结果不为 ROW 的话, 那么 通过如下的参数设置命令将模式修改为 row 当修改完成后, 最好将已有的老连接 KILL 掉重连, 否则可能出现其他的连接依然使用 statement 格式记录 binlog 日志 3) 当 ECS 上的自建 MySQL 版本大等于 时, 确认源库的 binlog_row_image=full 38

40 如果查询出来的结果不为 FULL 的话, 那么通过如下的参数设置命令将其修改为 full 正式迁移 当上面的所有前提条件都配置完成后, 就可以开始正式的数据迁移了 下面详细介绍下具体的迁移步骤 1) 进入 DTS 控制台, 点击创建迁移任务, 正式开始任务创建 2) 填写 ECS 上的自建 MySQL 跟目标 RDS 实例的连接信息 39

41 这里面源实例类型要选择 ECS 上的自建数据 DTS 会根据 ECS 及 RDS 所在的区域, 判断连接 ECS 是用外网 / 内网, 当 ECS 跟 RDS 在同一个区域时, 会使用 ECS 的内网 IP, 当 ECS 跟 RDS 不在同一个区域时, 会使用 ECS 的外网 如果选择 ECS 上的自建数据库, 那么只支持同一个阿里云帐号下的 ECS 自建数据库迁移到 RDS 上 如果用户需要将其他阿里云帐号下的 ECS 实例上的自建 MySQL 迁移至另外一个阿里云帐号的 RDS 实例上, 那么源实例类型需要选择 有公网 IP 的自建数据 此时: 如果 RDS 跟 ECS 不在同一个地域, 那么 ECS 自建数据库的 主机名或 IP 地址 必须填写 ECS 的公网 IP 当 ECS 同 RDS 在同一个区域时, 那么 ECS 的主机名或 IP 地址可以填写 ECS 的内网 IP 3) 选择迁移对象及迁移类型 40

42 默认的迁移类型为 : 结构迁移 + 全量数据迁移 这种迁移方式对源库没有任何影响, 但是如果在迁移过程中, 源实例有数据写入的话, 其不能保证更新的数据能够被迁移到目的库, 数据一致性不能保证 所以, 如果源库在迁移过程中, 还有数据写入的话, 那么建议选择迁移类型为 : 结构迁移 + 全量数据迁移 + 增量数据迁移 如果选择增量数据迁移, 那么为了保证迁移数据的一致性, 在全量迁移过程, 无主键且非事务表, 会被锁定, 锁定的时间长度依赖于源库迁移对象中所有无主键且非事务表的数据量, 当这些表全部迁移完成后, 锁定才会释放 如果按照上面的步骤, 那么迁移对象迁移到目标库后, 对象名跟源库一致 如果目标库中待迁入对象同源库不同的话, 那么可以使用 DTS 提供的对象名映射功能 例如源实例的苦命为 yuzhi_db1, 而目标 RDS 实例要迁入的库名为 yuzhi_db, 这种情况, 如果不使用对象映射, 那么在预检查会报 schema 不存在的错误, 所以这时, 可以使用对象名映射功能 对于每一个需要修改对象名的对象, 可以将鼠标 focus 到已选择对象上, 然后点击编辑按钮, 进入对象修改页面 当点击编辑后, 即进入对象名称修改页面 : 41

43 修改了对象名后, 目标实例的对象名即为修改后的对象名 例如上图中将源库名 yuzhi_db1 修改成 yuzhi_db, 那么就是将源实例的数据库 yuzhi_db1 下面的数据全部迁移到目标 RDS 实例的 yuzhi_db 库中 除了对象重命名外,DTS 还提供了只迁移表中部分列, 或通过配置 SQL 的 where 条件, 只迁移表中的部分数据 这些操作的入口也是从对象行上的编辑入口 当进入表的编辑页面后, 可以选择要迁移的列, 或配置过滤条件 只有不进行增量数据迁移时, 才能配置数据 过滤条件 42

44 4) 启动预检查 在数据正式迁移之前, 会先进行基础预检查, 只有预检查通过后, 才能启动迁移 如果预检查失败, 那么可以查看具体的失败详情, 根据失败原因修复后, 重新进行预检查 43

45 当点击查看后, 可以查看到具体的预检查失败原因 : 当修复完成后, 可以在任务列表中, 选择这个任务, 然后重新启动预检查 44

46 一般比较经常出现的预检查错误如下 : 这里面有两个预检查项失败, schema 存在性检查 和 " 目标库权限不存在 " 这种情况主要是由于您要迁入的 数据库在目标 RDS 中不存在, 例如上面要迁入的库 yuzhi_db 在目标 RDS 实例中不存在, 此时要到 RDS 控制台中, 创建相应的数据库 并将这个库的读写权限赋给迁移帐号 45

47 5) 启动迁移任务 当预检查通过后, 我们可以启动迁移任务, 任务启动后, 可以到任务列表中查看具体的迁移状态及进度 至此, 完成将本地 MySQL 数据库迁移到 RDS 的数据迁移工作 如果选择了增量迁移, 那么增量迁移过程中, 如 果用户不结束迁移, 任务会一直处于迁移中 建议在增量迁移无延迟的状态时, 源库停写几分钟, 等待增量迁 移再次进入无延迟状态后, 停止掉迁移任务, 将业务切换到目标 RDS 实例上即可 数据迁出 RDS MySQL 之利用物理备份文件恢复到自建数据库 MySQL 之利用物理备份文件恢复到自建数据库 准备工作 RDS 使用开源软件 Xtrabackup 对 MySQL 数据库进行全量物理备份, 版本号为 用户需要下载该软件, 并使用该软件进行恢复 Xtrabackup 官方网站为 : 请选择与您操作系统版本对应的 Xtrabackup 版本进行下载 例如, 我们这里下载 RHEL6/x86_64 版本 并使用 rpm 命令进行安装 : sudo rpm -ivh percona-xtrabackup rhel6.x86_64.rpm 操作步骤 1) 下载备份文件 在 RDS 管理控制台对应实例的 备份与恢复 -> 备份列表, 选择备份方法为物理备份的备份文件并点击 下载 链接, 如下图所示 : 46

48 方法一 : 点击下载后, 在弹出的 文件下载 对话框中点击 我了解, 要下载, 将文件下载到本机备用 如 下图所示 : 备份文件下载完成后, 将其上传至 Linux 系统 上传成功后在 Linux 系统上检测, 如下图所示 : 方法二 : 点击 复制下载地址, 在 Linux 系统中执行 wegt 命令, 注意 wget 后的地址要加引号, 否则会报错 2) 解压备份文件执行命令 :tar vizxf hins47169_xtra_ tar.gz 进行解压 ( 此命令需要在 Linux 下执行 ) 如下图所示 : 3) 查询解压后生成的文件, 其中蓝色字体的目录文件为备份生成时 RDS 实例中存在的数据库, 如下图所示 : 47

49 4) 恢复数据文件进入解压目录, 执行如下命令 : innobackupex --defaults-file=./backup-my.cnf --apply-log./ 如果看到类似如下输出, 表示执行成功, 如下图所示 : 5) 修改配置文件由于存在的版本问题, 请将解压文件 backup-my.cnf 中的 innodb_fast_checksum,innodb_page_size,innodb_log_block_size 注释掉并且添加 datadir=/xxx/xxx/( 备份文件解压路径 ), 如下图所示 : 6) 重装 mysql 系统库 用户可以删除现有的 mysql 系统库, 重新生成 mysql 系统库从而拥有数据库的 root 权限 删除 mysql 系统库命令 为 :rm -rf mysql, 并确认删除成功, 如图所示 : 7) 重装 mysql 系统库 命令格式 :mysql_install_db --user=mysql --datadir=/xxx/xxx/( 备份文件所属目录 ), 并确认操作成功, 如下图所 示 : 48

50 8) 修改文件属主 命令格式 :chown -R mysql:mysql /xxx/xxx/( 备份文件所属目录 ) 检查文件所属为 mysql 用户, 如下图所示 : 9) 启动 mysqld 进程, 并验证启动成功, 如下图所示 : 命令格式 :mysqld_safe --defaults-file=/xxx/xxx/backupmy.cnf &( 备份文件所属目录 ) 10) 客户端登录 MySQL 验证, 如下图所示 : 命令格式 :mysql u root p 49

51 其他问题因为软件限制, 目前恢复只支持在 Linux 系统下进行 Linux 下恢复的数据文件, 无论 Windows Linux 下,MySQL 都可以正常使用 SQLServer 之利用物理备份文件恢复到自建数据库 SQL Server 之利用物理备份文件恢复到自建数据库 操作步骤 1) 登陆 RDS 管理控制台, 找到对应实例并下载备份文件, 下载时请注意 备份类型 列所显示的是 全量 还 是 增量 如下图所示 : 2) 点击 下载 链接会弹出 文件下载 对话框, 点击 复制下载地址 按钮获取下载地址后, 可以使用浏览 器或者下载工具进行下载, 如下图所示 : 50

52 云数据库RDS/Getting-Started 3) 下载完成后 找到需要的数据库备份并解压 备份文件的命名规则是数据库名+备份类型+日期时间+任务号.bak 其中备份类型datafull代表全备 datadiff代表差异备份 log代表日志备份 以数据库rdsumu2myfzbeai1为例 全备份文件见下图 差异和日志备份文件见下图 通过上面的步骤只需要拿到数据库rdsumu2myfzbeai1的全备文件和差异备份即可 因为RDS暂时不支持本地 恢复到某时间点所以日志备份不需要使用 需要使用的文件如图所示 51

53 4) 确定备份文件的物理路径 目标数据库 ( 要恢复的数据库 ) 的存放路径 以 rdsumu2myfzbeai1 数据库为例, 假设备份文件存放的路径为 : 全备 :d:\backup\rdsumu2myfzbeai1_datafull_ _ bak 差异备份 :d:\backup\rdsumu2myfzbeai1_datadiff_ _ bak 目标数据库的存放路径 : 数据地址 :d:\database\rdsumu2myfzbeai1\data 日志地址 :d:\database\rdsumu2myfzbeai1\log 5) 查看数据库的文件逻辑名 ( 以下步骤在本地 SQL Server 控制台执行 ) 代码如下 : restore filelistonly from disk='d:\backup\rdsumu2myfzbeai1_datafull_ _ bak' go 如图 6 中的红框为数据文件和日志文件的逻辑名 : 6) 恢复全备根据自己实际获取的逻辑名 备份存放路径 数据文件和日志文件路径来修改下面的脚本 ( 这里我们以 rdsumu2myfzbeai1 数据库现有情况为例 ) 代码如下 : restore database rdsumu2myfzbeai1 from disk='d:\backup\rdsumu2myfzbeai1_datafull_ _ ba k' with replace,norecovery,stats=10, move 'data1' to 'd:\database\rdsumu2myfzbeai1\data\data1.mdf', move 'log' to 'd:\database\rdsumu2myfzbeai1\log\log.ldf' go 执行完成后, 数据库 rdsumu2myfzbeai1 会处于正在还原状态 如下图所示 : 52

54 如果只需恢复全备, 请直接执行下面的代码, 即可完成全备恢复 如果还需要恢复差异备, 请直接跳到下一步 恢复差异备份, 不要执行下面的代码 代码如下 : restore database rdsumu2myfzbeai1 with recovery 7) 恢复差异备份 ( 同上修改脚本相应参数, 这里以 rdsumu2myfzbeai1 数据库现有情况为例 ) 代码如下 : restore database rdsumu2myfzbeai1 from disk='d:\backup\rdsumu2myfzbeai1_datadiff_ _ ba k' with replace,norecovery,stats=10, move 'data1' to 'd:\database\rdsumu2myfzbeai1\data\data1.mdf', move 'log' to 'd:\database\rdsumu2myfzbeai1\log\log.ldf' go 执行完成后, 数据库 rdsumu2myfzbeai1 会处于正在还原状态 如下图所示 : 然后再执行如下代码 : restore database rdsumu2myfzbeai1 with recovery 53

55 go 执行完后, 数据库恢复成可用状态, 即完成全备 + 差异备的恢复 如下图所示 : MySQL 之利用逻辑备份文件恢复到自建数据库 MySQL 之利用逻辑备份文件恢复到自建数据库 1) 在 RDS 管理控制台对应实例的 备份与恢复 -> 备份列表, 选择备份方法为逻辑备份的备份文件并点击 下 载 链接, 如下图所示 : 54

56 2) 将备份文件放到系统的某个目录下, 如 /root/beifen 目录下 : 3) 解压 mysql 的备份文件执行语句 tar -xvf hins79533_logic_ tar 解压完成后可以发现解压出来的都是实例里面各个数据库的 sql 压缩文件, 以通过 gunzip 进行解压如 :gunzip zhouje_datafull_ _ sql.gz 解压后的文件即为 sql 文件, 如 :zhouje_datafull_ _ sql 4) 执行数据库导入操作, 对数据库进行逻辑导入代码格式 : mysql -u username -p -h hostname -P port dbname < xxxx.sql PostgreSQL 之利用逻辑备份文件恢复到自建数据库 PostgreSQL 之利用逻辑备份文件恢复到自建数据库 导出逻辑备份 RDS for PostgreSQL 完美支持 PostgreSQL 的原生功能, 其中包括通过 pg_dump 导出对应的数据库数据, 命令 参考如下 : 55

57 pg_dump -U {user-name} {source_db} -f {dumpfilename.sql} 示例 :./pg_dump -U pgroot -h pgsupu01.pg.rds.aliyuncs.com -p 3432 pg001 -f pg001.sql 导入逻辑备份 psql -U {user-name} -d {desintation_db} -f {dumpfilename.sql} 数据迁移至其他实例 数据迁移至其他实例 该功能由 RDS 管理控制台提供, 可将实例中的数据迁移至同一账号下其他 RDS 实例的数据库中 用户可在 RDS 管理控制台对于实例的 数据库管理 -> 数据库列表 中查看已创建的数据库 在需要迁移的数据库中, 点 击 操作 列的 数据迁移至其他实例 链接, 如下图 : 在弹出的对话框中的左侧列表中选择目标实例 ( 处于同一账号下 ), 在右侧列表中选择数据迁移的目标数据库 ( 目标数据库必须与源数据库同名 ) 如下图所示 : 56

58 除此之外还需要注意以下几个方面 : 1) 迁移前请先执行 drop table 表名 ; 以确保目标数据库为空, 否则会导致迁移任务失败 2) 建议在迁移中, 源数据库停止写操作, 以确保源数据库和目标数据库的数据一致性 3) 当前仅支持杭州与青岛地域之间的数据迁移, 其他地域只支持地域内的数据迁移 数据库基本管理 创建数据库 创建数据库 由于 RDS 拥有自身的数据库及数据库账号管理体系, 使得用户无法直接使用命令进行数据库创建 用户可以通过 RDS 管理控制台创建数据库, 数据库名称实例内唯一, 实例间互不影响 对于 MySQL 类型实例, 最多可创建 500 个数据库, 而 SQL Server 类型实例最多可创建 50 个数据库 若需要对创建或绑定数据库账号, 可参见 : 数据库账号管理 >> 首先登录 RDS 管理控制台, 打开对应实例的管理页面, 在 数据库管理 -> 数据库列表 中可以看到已存在的数据库 点击在页面右上角的 创建数据库 按钮即可打开数据库创建页面 如下图所示 : 57

59 MySQL 实例的创建数据库页面 (SQL Server 支持的字符集不同, 显示会略有差异 ) 如下图所示 : 依次输入数据库名称, 字符集 点击 数据库账号 输入框, 在弹出的下拉菜单中可以选择 RDS 实例中已存在的数据库账号 若用户输入新的数据库账号, 则同时需要输入该账号密码和选择账号类型 ( 读写或只读 ) 用户点击 提交 后,RDS 在创建数据库的时会同时创建该数据库账号 ( 创建后可在 账号管理 页面进行查看 ); 否则用户只需选择已存在的数据库账号并点击 提交 即可, 如下图 3 所示 创建成功后, 用户可使用该数据库账号访问新创建的数据库 58

60 数据库账号管理 数据库账号管理 数据库账号管理可用于创建新的数据库账号, 或者修改已有数据库账号的信息 对于 MySQL 和 MSSQL 类型实例, 每个实例最多可创建 500 个数据库账号 数据库账号管理建议可参见 : 数据库账号权限分配原则 >> 数据库账号管理页面如下图所示, 列表中包含已存在的数据库账号 用户可以点击右上角 创建账号 按钮来创建新的数据库账号, 也可以点击数据库账号对应的 修改 链接来修改该数据库账号信息 点击 创建账号 按钮后进入数据库账号创建页面, 如下图所示 数据库账号名称实例内唯一, 用户可以使用 添加 > 和 < 移除 按钮来选择需要绑定的数据库 输入密码, 选择账号类型 ( 读写或只读 ) 后点击 提交 即可 59

61 同时点击 重置密码 和 修改权限 按钮即可对账号做密码修改和权限修改, 如下图 : 登录数据库 登录数据库 一 概述 DMS( 原 idb Cloud) 是一款访问管理云端数据的 WEB 服务, 支持 MySQL SQL Server PostgreSQL 和 ADS 等数据源, 覆盖 RDS ADS TAE 和万网等阿里云环境 DMS 提供了数据管理 对象管理 数据流转和实例管理 4 部分功能 你可以在 SQL 窗口 和 命令窗口 上通过 SQL 语句来访问数据, 也可以在 打开表 上通过鼠标点击完成数据的便捷操作 提供表 索引 视图 存储过程 函数 触发器 事件等对象的丰富操作功能 库 表级别的导入和导出功能令数据流转更加顺畅 诊断报告 实时性能 实例会话 锁检测等专业实例管理功能让你轻松应对 二 访问方式 覆盖范围 RDS ADS TAE 万网 DRDS 访问方式 RDS 控制台 - 登录数据库 ADS 控制台 TAE 控制台 近期上线, 敬请期待 近期上线, 敬请期待 60

62 三 功能介绍 登录 输入或选择可网络访问实例连接串 ( 网络地址 : 端口 ) 正确的账号和密码, 点击 登录 开启奇妙的旅程! 勾选 记住密码, 今后让你免输入密码登录! 界面布局 3 大板块 : (1) 左侧区域 (2) 顶部区域 (3) 资源呼啦圈 实例基本信息 中心区域 想看实时资源使用状态点 刷新, 资源使用疑问点 查看诊断报告, 可以获取实例历史性能诊断分析的报 61

63 告信息 提示 : 该功能在不同环境上会有细微区别, 如果你能看得出来 对象列表 通过库名和表名的模糊匹配, 快速定位到你的表 鼠标在表上点一下, 你猜会怎么样 62

64 63 云数据库 RDS/Getting-Started

65 提示 : 该功能在不同数据库类型上会有细微区别, 自己去探索吧 功能导航 秘密都藏在这里, 一般人我还不告诉呢 64

66 不要点 实例连接串 - 退出, 我舍不得你离去, 重新连接 在默默等待, 你快回来, 我一个人承受不来 资源呼啦圈 实例资源规格 使用状况应有尽有, 看实时点 刷新, 有问题点 查看诊断报告 提示 : 该功能在不同环境上会有重大区别, 非 RDS 环境就根本没有呼啦圈, 哈哈 实时性能 MySQL 用户有福了, 实例性能实时刷, 不懂点 参数说明 65

67 实例会话 SQL 语句实例跑, 你是要单杀 群杀 运行中 sleep, 任你挑 任你选 == 刀下留人, 点 SQL 语句最后看一眼执行计划吧 InnoDB 锁等待 MySQL 锁, 一点便知有没有 66

68 诊断报告 在 RDS 环境上有一个秘密, 你的 RDS 实例运行状态被实时监控着, 然后通过不明觉厉的分析技术铸造出一件神兵利器 诊断报告, 你可以 发起诊断 手工获取, 也可以在历史列表中精挑细选, 至于威力, 只有拥有的人才能感受到表数据量统计 查询实例中所有表的空间信息, 支持实例内所有表的全局排序, 你猜能不能用来全局搜索表名? 非 SQL 窗口 我读书少, 没学过 SQL, 你可不要骗我 67

69 SQL 窗口 如果你会一点 SQL 就爽了, 格式化 让你的 SQL 更易读, 今天没写完不要紧, 我的 SQL 先保存, 明天接着 写, 写来写去总是错, 点点 模板 找灵感 命令窗口 世界并不是非白即黑, 我们崇尚黑白配, 命令窗口 让你找到 DBA 的感觉, 想想还有点小激动, 不明觉厉起 来了 68

70 批量语句 存储过程执行不在话下, 上下翻阅历史命令轻松自如 导入 心动了吗, 导点数据进来吧,CSV SQL ZIP 文件都可以, 不过现在门小, 大于 8M 的你压缩下再进来, 如果 压缩后还超 8M 那就真进不来, 担心水土不服, 点击 忽略报错 可预防, 有何风险 知晓副作用 如果你瘦身挤进来, 任务进度 执行 SQL 量和详细日志都能看到, 万一水土不服, 下载所有错误 SQL 详情文 件 知病因, 该打针打针 该吃药吃药, 大病初愈 重新导入 我们继续冲 导出 我们这里上山容易下山也容易, 哈哈! 69

71 选择 导出数据库表 进入新增导出任务窗口, 目前支持 SQL 和 CSV 两种导出文件类型, 导出内容可以是结构与数据 数据和结构, 选择 SQL 文件合并 选项会将多个表的导出文件合并到同一个总文件, 选择 insert 语句合并 选项会将一行数据一条 insert 语句合并成每 5M 数据一条 insert 语句, 单表行数限制 用来控制导出数据的行数, 如果选择无限制则导出全表数据 点击 高级选项 可以对导出任务的更多选项进行设置 选择 SQL 结果集导出 进入新增 SQL 导出任务窗口, 在 执行 SQL 输入框中输入要导出数据对应的完整 select 语句, 其他选项与 导出数据库表 相同 70

72 点击 高级选项 可以对导出任务的更多选项进行设置 点击 确定 开始导出, 会弹出 任务进度跟踪 窗口, 显示当前进度 已导出总行数 已导出表数以及详细 日志 四 注意事项 登录 DMS 的前提是必须先登录阿里云 在线数据编辑功能对于没有主键的表或结果集中未包含主键不支持, 对于多表 JOIN 后的结果不支持 导入只支持 8M 以内的文件上传并支持 ZIP 压缩文件上传, 若压缩后的 ZIP 文件大小仍然超过 8M 请走其 它的方式 SQL 窗口暂时只支持单条 SQL 执行, 多条 SQL 可分别选中执行即可, 命令窗口支持多条 SQL 同时执行, 如果语句中包含存储过程, 请使用 :delimiter 语法 SQL 窗口支持 3000 条数据的展现, 命令窗口单 SQL 支持 3000 条数据内的返回 推荐使用 chrome 浏览器, 另外支持 Firefox Safari IE9 以上浏览器 RDS 支持的数据库类型与存储引擎 RDS 支持的数据库类型与存储引擎 数据库类型版本支持的存储引擎 支持的字符集 / 排序规则 71

73 MySQL MySQL 5.1 MySQL 5.5 MySQL5.6 InnoDB MyISAM ARCHIVE TokuDB utf8 gbk latin1 utf8mb4(mysql5.1 不支持 ) SQL ServerSQL Server 2008 R Chinese_PRC_CI_AS Chinese_PRC_CS_AS SQL_Latin1_General_ CP1_CI_AS SQL_Latin1_General_ CP1_CS_AS Chinese_PRC_BIN RDS for MySQL 版本融入了 RDS 源码团队的 MySQL 补丁 用户可以通过 MySQL 调用命令 show variables like version ; 来查看 MySQL 版本号 阿里云强烈推荐使用 InnoDB 存储引擎, 不仅因为其具备更好的性能, 而且由于 InnoDB 其自身良好的设计, 能够更有效避免数据表损坏情况的发生 RDS 备份 配置备份策略 配置备份策略 MySQL 类型与 SQL Server 类型的 RDS 实例具有不同的备份策略 : 1.MySQL 类型 MySQL 所有备份类型均为全量备份, 备份方式分为物理备份和逻辑备份两种 对于所有的自动备份, 备份方式均为物理备份 ; 在用户手动创建临时备份时, 可选择进行物理备份或逻辑备份 详见: 创建临时备份 >> 2.SQL Server 类型 SQL Server 所有备份方式均为物理备份, 备份类型分为全量备份和增量备份两种 SQL Server 自动备份以 全量备份 增量备份 增量备份 为周期循环, 如 : 周一为全量备份则周二和周三为增量备份, 周四为全量备份, 周五和周六为增量备份, 以此循环 如果手动临时备份类型是全量备份, 则接下来的两天的自动备份是增量备份, 详见 : 创建临时备份 >> 每次自动备份或手动临时备份,SQL Server 都会自动收缩事务日志 用户购买 RDS 实例后, 可以进行实例的备份设置 打开 RDS 管理控制台对应实例, 在 备份与恢复 -> 备份设置 页面点击 修改 按钮即可进行设置 如下图所示 : 72

74 用户可以设置的选项包括备份周期 ( 仅 MySQL) 和备份开始时间, 备份文件保留时长固定为 7 天 对于 SQL Server 类型实例, 默认每天都进行备份, 不可修改, 用户只需设置备份开始时间即可 备份设置对话框如下图所示 : 创建临时备份 创建临时备份 若用户需要立即备份实例, 可在不更改备份策略的情况下 ( 配置备份策略 >>), 对实例进行临时备份, 临时备 份实例动作每天可触发次数不受限制, 但备份会占用实例的系统资源, 请用户合理规划备份时间 用户可登录 RDS 管理控制台, 在对应实例的管理页面右上角功能扩展区点击 备份实例 按钮, 如下图所示 : 对于不同数据库类型的 RDS 实例, 弹出对话框的内容将有所不同 对于 MySQL 类型 RDS 实例, 对话框如下图所示, 用户可以选择进行 物理备份 还是 逻辑备份, 两种备份 73

75 方法均为全量备份 对于 SQL Server 类型的 RDS 实例, 对话框如下图所示, 默认备份方式会根据备份策略自动设定此次备份是全量备份还是增量备份 ( 若前两次备份中存在全量备份, 则此次备份为增量备份 ; 若前两次均为增量备份, 则此次为全量备份 ) 如果用户勾选 全量备份 选项, 则此次备份为全量备份 ( 根据备份策略, 以后的两次备份将为增量备份 ) 备份文件及 BINLOG 下载 备份文件及 BINLOG 下载 RDS 提供备份文件和 MySQL BINLOG 文件的下载功能,SQL Server 事务日志不提供下载 用户可在 RDS 管理控制台对应实例的管理页面 备份与恢复 -> 备份列表 中查看目前可用的全部备份文件, 如下图所示 对于 MySQL 类型实例, 可在 备份与恢复 ->BINLOG 列表 中查看目前可用的全部 BINLOG 文件 备份文件和 BINLOG 文件均默认保留 7 天, 如有需要请用户及时下载 74

76 MySQL 类型实例备份方法为全量物理备份和全量逻辑备份两种,SQL Server 类型实例备份方法为全量物理备份 和增量物理备份, 具体备份规则可参见 : 配置备份策略 >> 释放 RDS 释放 RDS 释放 RDS RDS 实例是预付费模式, 不能主动删除或释放实例 当用户所购买的服务期满后,RDS 实例将会被锁定, 无法 进行读写 如需继续使用, 请尽快续费 ( 如何续费 >> ); 如不再使用, 服务期满 7 天后, 实例将会被自动删除且 不可恢复, 请用户提前做好数据备份 (RDS 备份 >>, 数据迁出 RDS>>), 以免数据丢失 只读实例基本操作 只读实例如何开通 只读实例开通说明 : 1. 只读实例目前只支持主实例为 MySQL5.6 类型的实例进行创建, 如果您的主实例为 MySQL5.6 以下版本需要将版本升级到 MySQL 只读实例采用按小时付费的方式, 开通只读实例时不收费, 用户可根据自己的需要选择实例配置 开通方法登陆 RDS 控制台, 选择一个 MySQL5.6 版本实例, 点击 管理 按钮, 进入 基本信息 模块, 在右边 实例关系图 上点击购买只读实例的 + 即可开通只读实例 请查看 MySQL5.6 版本特性 >> 请查看只读实例为什么要使用 MySQL5.6 版本 >> 75

77 只读实例创建流程介绍 只读实例创建流程介绍 只读实例的创建流程主要分为以下步骤 : 第 1 步 : 创建一个空的只读实例, 该步骤大概在 5-10 分钟内完成第 2 步 : 检查用户选择的 RDS 主实例最近 24 小时内是否进行了物理备份, 如果未进行物理备份, 会对主实例进行临时备份 该步骤花费时间较长, 所以建议用户在购买只读实例之前, 先对主实例进行一次物理备份, 从而缩短只读实例的创建时间 第 3 步 : 将主实例的物理备份覆盖到只读实例中 该步骤的耗时取决于主实例的数据大小 下表是主实例备份文件大小在此步骤的花费时间, 仅供参考 第 4 步 : 只读实例同步创建过程中主实例的增量数据 当第 1 步 第 2 步 第 3 步进行中时, 只读实例的实例状态为 创建中, 该状态用户无法通过管理控制台进行只读实例的管理 ; 只读实例此时也不可连接, 用户无法通过 MySQL 相关客户端工具进行数据读取 当创建流程进入第 4 步, 只读实例状态为 运行中 此时只读实例可以连接并提供数据服务 用户也可以通过控制台进行只读实例的管理 但是由于此时只读实例正在进行增量数据的同步, 主实例 只读实例数据有可能存在不一致的情况, 请通过 管理控制台查看数据延迟时间, 如下图, 或者登陆只读实例执行 show slave lag; 查看 ; 以免对您的应用产生影响 76

78 只读实例如何变更配置 只读实例如何变更配置 只读实例采用按小时付费方式, 用户可以对内存进行升级 降级操作, 对硬盘做升级操作 ( 为防止锁定, 暂不 支持降级 ) 1. 进入 管理控制台 -> 选择只读实例 -> 进入 基本信息 页, 点击变更配置按钮 如下图 2. 选择变更内存 硬盘配置项 77

79 注 : 1. 变更配置完成后, 只读实例会有一次闪断, 请设置应用程序重连机制 2. 变更配置过程中, 只读实例的实例状态为 升降级中 只读实例在控制台无法进行管理类任务, 比如 : 变更配置 内外网切换 重启实例 参数设置等 查询类操作不受影响, 比如 : 查看 SQL 慢日志 SQL 审计 优化建议 系统资源监控等 并且只读实例可以正常连接并提供服务 3. 变更配置过程中, 只读实例的对应源数据库实例 ( 主实例 ) 状态也为 升降级中 主实例无法进行操作类任务, 比如 : 创建实例 备份实例 变更配置 内外网切换 重启实例 参数设置等 查询类操作不受影响, 比如 : 查看 SQL 慢日志 SQL 审计 优化建议 系统资源监控等 并且主实例可以正常连接并提供服务 只读实例如何释放 只读实例如何释放 只读实例的释放分为两种方式 方式一 : 自动释放 只读实例绑定的 RDS 主实例可以为包年包月或按量付费类型, 当 RDS 主实例到期或者欠费需要释放时, 阿里云 会自动将该主实例所绑定的所有只读实例一同释放 RDS 主实例到期前 7 天会短信通知 ; 方式二 : 手动释放 用户可以手动选择释放只读实例, 进入 管理控制台 -> 选择只读实例 -> 进入 基本信息 页, 点击释放按钮 如下图 78

80 MySQL5.6 版本限制与特性 MySQL5.6 版本限制与特性 版本限制 : MySQL5.6 在协议和 SQL 语句上都向下兼容 MySQL5.1,MySQL5.5 版本 ; 除了以下限制 : 1. 语法限制 : 1)create table a as(select * from b) ( 此项限制在阿里云的 RDS for MySQL5.6 版本已经支持 ) 2) 不允许在事务中创建临时表 3) 不允许在一个事务中同时更新事务引擎表和非事务引擎表, 如同时更新 InnoDB 表和 MyISAM 表 建议 : 如果您使用 java connector, 最好设置为 autocommit=1 2. 语法变更 : 1>ALTER [ONLINE OFFLINE] [IGNORE] TABLE tbl_name 取消了 ONLINE/OFFLINE 的支持 2>CREATE [ONLINE OFFLINE] [UNIQUE FULLTEXT SPATIAL] INDEX index_name --> 取消了 ONLINE/OFFLINE 的支持 3>ALTER TABLE 取消了 PARTITION BY partitioning_expression 语法的支持 版本特性 : 1 可进行在线的 DDL 表结构变更不会锁表 ; 2 支持 InnoDB 全文检索 ; 3 只读事务性能优化 ; 4 基于 SSD 架构的性能优化 ; 5 全局事务 ID, 更安全的主备同步方案 ; 6 性能优化 :binlog 组提交方式 ; 7 性能优化 :index push down, 提升查询性能 ; 8 子查询性能优化 ; 9 能够对 UPDATE DELETE 语句执行 explain 分析 想了解更多 MySQL5.6 新特性请至官网查看 : MySQL5.6 新特性白皮书下载 ( 需要登录 ) 79

81 mysql-5-6/ 只读节点升级 MySQL5.6 版本的必要性 只读节点升级 MySQL5.6 版本的必要性 RDS 实例采用的主备架构, 实例的备节点利用 MySQL 的原生复制同步主节点的增量数据 支持只读实例后, 只 读实例将挂载在主节点上, 只读实例通过 MySQL 原生复制从主实例的主节点上同步增量数据, 如下图 : MySQL 的原生复制需要先设定好源实例 目标实例的对应关系 ( 主从复制关系 ), 源实例将所有的 DDL(Data define language, 如创建表, 修改索引等 SQL 语句语句 ),DML(Data modify language, 如插入 删除 变更数据库表中的数据的 SQL 语句 ) 变更语句 ( 事务 ) 记录在 BinLog 文件中, 目标实例拉取源实例 Binlog 文件中的增量数据, 然后将变更数据写入到实例中 Binlog 文件中记录了每个 DDL DML 语句的变更情况, 每条记录 ( 事务 ) 的变更时间 ( 最低秒级别 ), 以及语句在 Binlog 文件中的位置等信息 当 RDS 主实例的主节点发生故障, 将发生主备切换, 如果有只读实例, 需要将只读实例指向 RDS 主实例的备用节点, 并且利用 MySQL 原生复制将备用节点的增量数据同步到只读实例上, 保证用户的正常应用请求 如下图 80

82 基于以上的 RDS 系统架构以及只读实例的应用场景,MySQL5.6 之前的版本是不能满足的 原因如下 : 当 RDS 主节点发生故障, 需要进行主备切换时, 由于主实例的备节点以及只读实例都是利用 MySQL 原生复制从主节点异步同步数据, 备节点与只读实例之间会有数据不一致的情况 在发生主备切换后, 只读实例将去备节点拉取增量数据, 由于 Binlog 文件中针对变更记录 ( 事务 ) 的变更时间只会到秒级别, 针对一秒钟有大量事物的应用, 将无法保证主备切换后备节点与只读实例之间数据一致性 ( 例如 :2014 年 8 月 4 日 15:33:33 有 1 万条记录 ( 事务 ), 备节点执行了 5000 条,2 个只读实例分别执行了 3400 条,8700 条 ) MySQL5.6 版本针对这一情况推出了 GTID 的概念, 在 Binlog 文件中的每条变更记录 ( 事务 ) 都会记录一个 GTID, 当 RDS 发生主备切换, 只读实例切换备节点为主实例的时候,MySQL 原生复制能够根据 GTID 精确的比对只读实例和备节点的 Binlog 文件中每条事务的 GTID, 将只读实例切换至备节点 Binlog 文件的正确位置, 从而保证主备切换后的数据一致性 只读实例的数据延迟及优化 只读实例的数据延迟及优化 什么是数据延迟 阿里云 RDS 使用 MySQL 的原生复制功能, 将源数据库实例 ( 以下简称主实例 ) 的更改传播到所有相关的只读节点 在以下情况下可能会发生只读节点数据延迟 : 81

83 1) 只读节点的读压力非常大, 从而影响了同步主实例 BINLOG 日志的效率 ; 2) 只读节点的配置过低, 无法快速同步主实例 Binlog 日志 ; 建议只读节点配置高于主实例 ; 3) 当主实例执行大表 DDL 或者大数据量更新时, 耗费时间过长 数据同步到只读节点也需要相同的时间来执行, 从而产生延时 ; 请关注数据延迟, 以免造成应用程序读取只读节点数据不一致 如何查看只读实例的数据延迟 方法一 : 登陆控制台查看数据延迟时间, 进入只读实例查看该实例的数据延迟, 如下图 方法二 : 登陆 idb Cloud, 执行 show slave lag; 查看数据延迟 如何减少只读实例的数据延迟 : 方法一 : 优化实例性能根据主实例 只读实例的优化建议 慢查询 SQL 运行报告等信息来优化, 可以有效缩短只读实例的数据延迟时间 具体可参考根据优化建议分析 RDS>> SQL 运行报告 >> 通过堆积优化性能 >> 方法二 : 升级只读实例配置缩短数据延迟时间另一个好的方法是升级只读实例的配置, 使相同的 SQL 语句在只读节点执行时间缩短, 从而缩小数据延迟时间, 升级只读实例配置方法详见只读实例变更配置 >> 82