常见问题 FAQ 数据迁移 FAQ 数据迁移 FAQ (1) 数据迁移预检查时, 预检查项 schema 不存在失败是什么原因? 如何修复? 目前 DTS 已经支持自动在目标 RDS 实例创建数据库如果在预检查时报 schema 不存在, 那么可能的原因如下 : 您本地的数据名称含有大写字母特殊

Size: px

Start display at page:

Download "常见问题 FAQ 数据迁移 FAQ 数据迁移 FAQ (1) 数据迁移预检查时, 预检查项 schema 不存在失败是什么原因? 如何修复? 目前 DTS 已经支持自动在目标 RDS 实例创建数据库如果在预检查时报 schema 不存在, 那么可能的原因如下 : 您本地的数据名称含有大写字母特殊"

革却
5 years ago
Views:

1 数据传输 ( 公测中 ) 常见问题 FAQ

2 常见问题 FAQ 数据迁移 FAQ 数据迁移 FAQ (1) 数据迁移预检查时, 预检查项 schema 不存在失败是什么原因? 如何修复? 目前 DTS 已经支持自动在目标 RDS 实例创建数据库如果在预检查时报 schema 不存在, 那么可能的原因如下 : 您本地的数据名称含有大写字母特殊字符或是为 RDS 的关键字 RDS 要求数据名由小写字母数字下划线中划线组成, 字母开头, 字母或数字结尾, 最长 64 个字符如果您源实例的数据名称不满足这个要求, 那么 DTS 就不会自动在 RDS 中创建这个库, 而会在预检查时, 报 schema 不存在的错误特殊字符为了解决这个问题, 您需要先手动在 RDS 控制台创建一个合法的数据库, 然后在配置 DTS 迁移任务时, 使用库名映射, 将本地数据库中的数据迁移到 RDS 上这个名字合法的数据库中具体可以参考 : 最佳实践中的库名不同的数据库之间的数据迁移一节 (2) RDS 的白名单列表中突然添加了很多不认识的 IP, 这些 IP 是哪里的? 是否安全? DTS 在数据迁移之前, 会判断源或目标 RDS 实例是否设置了白名单, 如果 RDS 实例限制了白名单,DTS 服务器不能访问那么 DTS 会在配置迁移任务时, 将服务器的 IP 列表添加到 RDS 实例的白名单中, 防止因为白名单限制,DTS 连接不上 RDS 实例导致迁移失败在迁移完成后的一天内, DTS 会将自己服务器列表 IP 从 RDS 白名单中删除掉 (3) 使用 DTS 进行数据迁移, 源数据库的数据会不会在迁移后被删除掉? 不会,DTS 进行数据迁移时, 其实是复制了源数据库的一份数据, 并不会对源数据库的数据有任何影响 (4) 我的阿里云账号下面有两个 RDS 实例 A,B,DTS 是否可以将 A 中的数据库 C 迁移到 B 中的数据库 D? 可以,DTS 提供的库名映射功能, 可以实现将两个 RDS 实例中不同库名的两个数据库之间的数据迁移具体任务配置方法详见 : 最佳实践中的库名不同的数据库之间的数据迁移 (5) DTS 是否能支持两个不同阿里云账号下的 RDS 实例之间的数据迁移? 是否支持增量迁移? 可以, 进行跨阿里云账号下 RDS 实例间的迁移, 需要以目标 RDS 实例所属的阿里云账号登陆 DTS, 同时源实例类型选择有公网 IP 的自建数据库具体的任务配置方法详见 : 最佳实践中的跨阿里云账号的 RDS 实例间的数据迁移 (6) 迁移的目标库中已经存在表了, 使用 DTS 进行数据迁移是否会覆盖掉这些数据? 不会, 如果配置迁移任务时, 要进行整个数据库的迁移, 那么预检查时, 会要求目标待迁入数据库为空库, 如果不是空库, 那么预检查的目标库是否为空项会报错如果配置迁移任务时, 只迁移几个表, 那么预检查时, 会要求目标库中这些表必须没有数据, 如果含有数据库的, 那么预检查的目标库是否为空项会报错在目标库有数据的情况下,DTS 不支持进行数据迁移, 所以不会 DTS 数据迁移不会覆盖掉已存在的数据 (7) DTS 是否支持在一个 RDS 实例中, 复制出一个跟数据库 A 一模一样的库 B? 1

3 支持,DTS 提供的对象名映射功能, 可以实现在一个 RDS 实例内复制出一个跟已存在库一模一样的库具体任务配置方法详见 : 最佳实践中的实例内不同数据库之间的数据迁移一节 (8) DTS 迁移过程中, 是否会锁表, 对源数据库是否有影响? 如果配置迁移任务时, 选择了全量数据迁移和增量数据迁移, 那么在全量数据迁移过程中,DTS 会判断源数据库中是否存在非事务且无主键的表, 如果存在, 那么为了保证迁移数据一致性,DTS 会给这些表上只读锁, 然后将这些表的数据全量迁移到目标库之后, 释放掉只读锁, 进行其他表的全量迁移在上只读锁期间, 只有被上锁的表只能进行只读操作, 其他表可以正常读写 (9) DTS 迁移时, 对于 ECS RDS 实例是走内网还是公网? 如果是进行同一个地区内部的数据迁移, 那么 DTS 会使用内网连接 ECS RDS 实例如果是进行跨地区的数据迁移, 那么 DTS 会使用外网连接源实例 (ECS RDS), 使用内网连接目标 RDS 实例 (10) 数据迁移过程中, 是否支持 DDL 操作? 目前 DTS 数据迁移过程中, 不支持源库进行 DDL 操作如果迁移过程中源库进行了 DDL 操作, 那么可能导致数据丢失 (11) 全量迁移报 java.sql.batchupdateexception: INSERT, DELETE command denied to user 'user'@'host' for table * 是什么原因? 全量迁移如果报 INSERT CREATE 或 DELETE 等的权限问题, 一般都是由于目标 RDS 实例被锁定了, 导致账号写权限被回收对于这个问题, 需要先回收目标 RDS 实例的日志空间或升级目标 RDS 实例的规格后, 在 DTS 控制台触发重试功能, 断点重启任务具体修复方法详见 : 最佳实践中的失败修复一节 (12) DTS 的增量迁移基本原理是什么? 是否能够保证两边数据库实时的? 使用增量迁移时, 什么时候会锁表? DTS 的增量迁移是实时获取在迁移过程中, 源数据库产生的增量数据, 然后在全量迁移完成后, 开始同步到目标 RDS 实例中当增量迁移第一次追平源库的写入时, 增量迁移的状态为无延迟, 此后增量迁移会一直同步源数据库的业务写入如果用户选择了量数据迁移和增量数据迁移, 那么在全量数据迁移过程中,DTS 会判断源数据库中是否存在非事务且无主键的表, 如果存在, 那么为了保证迁移数据一致性,DTS 会给这些表上只读锁, 其他情况下,DTS 不会给源数据库上锁 (13) DTS 进行 RDS 迁移时, 是从 RDS 的主库还是备库获取数据? DTS 进行数据迁移时, 是从 RDS 的主库上拉取数据 (14) DTS 是否支持 VPC 模式下的 RDS 实例的数据迁移? 如果 VPC 模式的 RDS 实例为目标实例时,DTS 暂时不支持它的数据迁移如果 VPC 模式的 RDS 实例为源实例时,DTS 可以支持将它的数据迁移到经典网络的 RDS 实例上但是在配置任务时, 源实例的类型为由公网 IP 的自建数据库, 然后填写源 RDS 实例的外网连接串, 此时 DTS 会使用外网 DNS 连接 RDS 实例 (15) DTS 是否支持 VPC 内的 ECS 上的自建数据库迁移到 RDS 实例? 不支持,DTS 现在还不能支持 VPC 内部的 ECS 上的自建数据库迁移到 RDS 实例 (16) 使用 DTS 将自建数据库迁移到 RDS, 为什么迁移过程中 RDS 的空间大小会比源数据库大? 因为 DTS 进行的是逻辑迁移方式, 它是将迁移数据封装成 SQL 后, 同步到目标 RDS 实例中的, 此时会在目标 2

4 RDS 实例中产生 binlog 数据, 所以迁移过程中,RDS 的空间大小可能比源数据库大 (17) DTS 是否支持定时自动迁移? DTS 暂时还不支持定时启动数据迁移 (18) 创建数据迁移任务时, 报获取结构连接超时是什么原因? 获取结构连接超时的错误, 可能由于下面两种原因 : 1) 您的源数据库设置了白名单, 导致 DTS 服务器不能连接上建议将白名单放开后重试 2) 您提供的迁移账号对应的 host 为 localhost, 导致 DTS 服务器不能从远程连接上建议将迁移账号对应的 host 调整为 % 后, 重试 (19) 数据迁移时, 目标数据库中多了一个表 increment_trx, 这个表是做什么的? increment_trx 是 DTS 增量迁移在目标实例中创建的位点表, 主要用于记录增量迁移的位点, 解决任务异常重启后的断点续传问题在迁移过程中勿删除, 否则会导致迁移失败 (20) 创建迁移任务时, 报获取迁移结构失败, 原因 [java.sql.sqlexception: Io exception: The Network Adapter could not establish the connection] 如果配置 Oracle 到 RDS MySQL 迁移任务时, 在点击授权白名单并进入下一步时, 如果报如上的错误, 一般是由于数据传输服务器连接不上源 Oracle 数据库当遇到此问题时, 需要在 Oracle 安装服务器上执行 netstat -ano 查看 Oracle 数据库的端口是否配置了内外网 IP 监听如果没有配置, 那么需要修改 Oracle 的监听服务重启数据库服务后, 重新创建迁移任务即可数据订阅 FAQ 数据订阅 FAQ (1) RDS 是否有解决方案可以实现自动的 binlog 下载, 下载到本地的统计服务器 DTS 的数据订阅支持 RDS binlog 日志的实时订阅, 可以开通 DTS 的数据订阅服务, 通过 DTS SDK 订阅 RDS binlog 数据并实时同步到本地的统计服务器中 (2) 类似混合云场景下的 HA, 比如我的业务都在 RDS 里了, 在本地的数据中心做一个从库, 这个 DTS 支持吗? 支持, 可以开通 DTS 的数据订阅服务, 通过 RDS 备份恢复 +DTS 实时订阅二者结合, 实现本地灾备的功能具体实现方案详见 : 最佳时间中的利用数据订阅实现本地灾备 (3) 启动订阅 SDK 时报 get guid info failed, 是什么原因? 这个是由于您在 SDK 中设置的订阅通道 ID 不对需要将示例代码中的 client.askforguid(" 订阅通道 ID"); 这里面的订阅通道 ID 替换成您要订阅的订阅通道对应的 ID (4) RDS 实例和本地数据库的表结构相同, 但是索引不同, 可以使用数据订阅功能进行实时同步吗? 可以, 如果数据订阅只订阅数据变更, 那么两边索引不同不会影响但是如果订阅了结构变更, 而且 RDS 上涉及到索引变更的话, 可能会由于两边索引不同, 导致结构变更在本地消费失败 (5) 数据订阅可以订阅实时增量数据, 这个新增的数据是只指新增数据, 还是包含修改的数据? DTS 的数据订阅可以订阅的增量数据包括 : 所有的增删改以及结构变更 (DDL) (6) 数据订阅启动 SDK, 报如下的错误 Exception in thread "main" com.aliyuncs.exceptions.clientexception: SignatureDoesNotMatch : Specified signature is not matched with our calculation. at 3

5 com.aliyuncs.defaultacsclient.parseacsresponse(defaultacsclient.java:139) at com.aliyuncs.defaultacsclient.getacsresponse(defaultacsclient.java:89) at com.aliyun.drc.regionmanager.regionrouter.getregionrouterinfo(regionrouter.java:38) at com.aliyun.drc.clusterclient.partition.partitionpool.init(partitionpool.java:94) 这是为什么? 这个报错是由于您在 SDK 中配置的 AccessKeyID/AccessKeySecret 不正确建议重新生成新的 AccessKeyID/AccessKeySecret 后, 使用新的 AK 重启 SDK (7) 一个 sdk 客户端可以订阅多个通道吗不能, 目前数据传输服务的 SDK 还不能支持一个 SDK 订阅多个订阅通道的数据 (8) 数据订阅启动 SDK 报如下的错误 :keep alive error 如果数据订阅报如上的错误, 一般原因可能有两个 : 1) SDK 运行的服务器没有公网 IP, 不能连接数据传输服务的服务器 2) 订阅通道的消费时间点不在订阅通道的数据范围之内 4

常见问题 FAQ 数据迁移 FAQ (1) 数据迁移预检查时, 预检查项 schema 不存在失败是什么原因? 如何修复? 目前 DTS 已经支持自动在目标 RDS 实例创建数据库如果在预检查时报

常见问题 FAQ 数据迁移 FAQ (1) 数据迁移预检查时, 预检查项 schema 不存在失败是什么原因? 如何修复? 目前 DTS 已经支持自动在目标 RDS 实例创建数据库如果在预检查时报数据传输常见问题 FAQ 常见问题 FAQ 数据迁移 FAQ (1) 数据迁移预检查时, 预检查项 schema 不存在失败是什么原因? 如何修复? 目前 DTS 已经支持自动在目标 RDS 实例创建数据库如果在预检查时报 schema 不存在, 那么可能的原因如下