常见问题

Size: px

Start display at page:

Download "常见问题"

屋婴权
4 years ago
Views:

1 分布式数据库中间件常见问题文档版本 14 发布日期华为技术有限公司

2 版权所有华为技术有限公司 2020 保留一切权利非经本公司书面许可, 任何单位和个人不得擅自摘抄复制本文档内容的部分或全部, 并不得以任何形式传播商标声明和其他华为商标均为华为技术有限公司的商标本文档提及的其他所有商标或注册商标, 由各自的所有人拥有注意您购买的产品服务或特性等应受华为公司商业合同和条款的约束, 本文档中描述的全部或部分产品服务或特性可能不在您的购买或使用范围之内除非合同另有约定, 华为公司对本文档内容不做任何明示或默示的声明或保证由于产品版本升级或其他原因, 本文档内容会不定期进行更新除非另有约定, 本文档仅作为使用指导, 本文档中的所有陈述信息和建议不构成任何明示或暗示的担保华为技术有限公司地址 : 深圳市龙岗区坂田华为总部办公楼邮编 : 网址 : 文档版本 14 ( ) 版权所有华为技术有限公司 i

3 目录目录 1 DDM 通用类 DDM 提供哪些高可靠保障 DDM 监控能力有哪些 DDM 自身是否会存储业务数据使用 DDM 事务模型有哪些注意事项 DDM 支持创建逻辑表的方式有哪些如何选择和配置安全组 DDM 使用类向逻辑表中插入数据时出现报错 DDM 如何进行分片 DDM 逻辑表支持哪几种类型 DDM 实例是否支持跨 VPC 访问如何解决 JDBC 驱动方式连接 DDM 异常问题如何选择 JDBC 驱动方式的版本和参数 DDM 实例的计费模式是否支持按需和包周期互转使用 mysqldump 从 MySQL 导出数据非常缓慢的原因导入数据到 DDM 后出现主键重复如何进行选择和配置安全组如何处理创建表失败如何处理数据面建表失败如何处理 mysqldump 导出数据报错如何处理数据迁移过程中自增列后报错 : 主键重复如何处理配置参数未超时却报错 SQL 语法类 DDM 是否支持 SQL 跨库访问 DDM 是否支持分布式 JOIN 如何进行 SQL 优化 DDM 支持哪些 SQL DDM 是否支持数据类型强制转换 DDM 是否支持外键如何处理 INSERT 语句批量插入多条数据时报错 RDS 相关类文档版本 14 ( ) 版权所有华为技术有限公司 ii

4 目录 4.1 数据库表名是否区分大小写 RDS 实例参数配置 (binlog_format) 如何处理所关联的 RDS 实例异常 DDM 对 RDS 采用哪种检测机制 DDM 控制台显示的 RDS 实例名称 /ID 和 RDS 控制台显示的 RDS 实例名称 /ID 为什么不同 RDS 哪些高危操作会影响 DDM 导入 RDS 失败提示 DDM.0095 是什么原因创建逻辑表时提示 RDS 分片上有残留的同名表怎么办如何处理表中存在主键重复的数据如何通过 show full innodb status 指令查询 RDS 相关信息创建逻辑库报错 :RDS 无法连接错误如何处理导入且关联 DDM 的 RDS 故障连接管理类连接 DDM 实例连接 DDM 时密码多次错误被锁定该如何解决本地环境是否可以连接 DDM 实例 MySQL 连接 DDM 时出现乱码如何解决 A 修订记录文档版本 14 ( ) 版权所有华为技术有限公司 iii

5 1 DDM 通用类 1 DDM 通用类 1.1 DDM 提供哪些高可靠保障数据完整性容错机制 DDM 实例故障不会影响数据的完整性业务数据存储在 RDS 实例上分片中,DDM 不存储业务数据逻辑库与逻辑表等配置信息存储在 DDM 数据库中,DDM 数据库主备高可用 DDM 采用的是 RDS 自身的容错机制, 数据是否写入 DB 由 RDS 保证 RDS 返回 sql 执行成功,DDM 就认为成功 1.2 DDM 监控能力有哪些云监控 DDM 当前提供云监控查看指标和 DDM 管理控制台监控管理的能力, 您可以根据监控结果对数据库进行调优, 保障性能云监控提供 DDM 实例节点的监控, 可查看指标如表 1-1 所示, 您可以配置告警规则表 1-1 云监控指标监控参数名称 CPU 使用率内存使用率网络输入吞吐量网络输出吞吐量监控参数说明用于统计数据面 core 的 CPU 利用率用于统计数据面 core 的内存使用率用于统计数据面 core 平均每秒的输入流量用于统计数据面 core 平均每秒的输出流量文档版本 14 ( ) 版权所有华为技术有限公司 1

6 1 DDM 通用类监控参数名称连接数请求数慢 SQL 数读占比监控参数说明用于统计数据面服务 core 的连接数用于统计数据面服务 core 的每秒请求数用于统计数据面服务 core 的慢 SQL 条数用于统计每个 DDM 节点的总体的读写比例 DDM 管理控制台监控管理管理控制台提供了对 DDM 实例的监控管理, 包括读占比查看与慢 SQL 查看, 用户可以根据监控反馈结果, 对数据库进行调优步骤 1 步骤 2 步骤 3 步骤 4 登录管理控制台在导航上选择数据库 > 分布式数据库中间件, 进入总览页面单击左侧菜单栏的 DDM 实例管理, 进入 DDM 实例管理页面选择需要操作的实例, 单击右边操作栏更多 > 查看监控链接, 进入实例监控管理页面 ---- 结束 1.3 DDM 自身是否会存储业务数据 DDM 实例自身不存储客户业务相关数据, 客户业务相关数据都存储在 RDS 实例上分片中 DDM 节点目前硬盘配置为 100G, 主要用来存储日志和一些临时文件, 日志和临时文件会做定期清理, 空间足够使用 1.4 使用 DDM 事务模型有哪些注意事项 1. 事务补偿仅支持对事务中的 insert update 和 delete 语句的补偿 2. 事务隔离性在最终原子性下, 默认极端情况下会有脏读, 可以通过对 select 加 for update 或者 lock in share mode 避免脏读 3. 对应 autocommit=true 时, 若单条 sql(insert update delete 等 ) 执行跨了多个分片, 请在事务里执行 4. 对 DDL 如 truncate table 等,MySQL 会隐式提交, 无法做到事务一致性, 建议单独分开 5. insert into...on duplicate key update 语句仅支持对唯一主键方式, 对联合主键或其他唯一索引导致的 update 行为不支持, 无法保证一致性 1.5 DDM 支持创建逻辑表的方式有哪些 DDM 目前支持单表全局表分片表, 建表方式支持情况如表 1-2 所示文档版本 14 ( ) 版权所有华为技术有限公司 2

7 1 DDM 通用类表 1-2 建表方式表格类型 Console 控制台创建 MySQL 连接 DDM 创建单表不支持支持全局表支持支持分片表支持支持本文主要介绍使用 DDL 语句进行建表的语法以及样例建表前请确保已经使用 MySQL 连接 DDM 单表 : 只在第一个分片创建表以及存储数据全局表 : 在每一个分片创建表并且存储全量数据分片表 : 在每一个分片创建表, 数据按照拆分规则分散存储在分片中单表建一张单表 : CREATE TABLE single_table( id int, name varchar(30), primary key(id) ); 分片表假设已经建好的逻辑库分片数为 8, 创建分片表, 拆分算法为 hash, 拆分键为 id CREATE TABLE split_table( id int, name varchar(30), primary key(id) ) dbpartition by hash(id); 假设已经建好的逻辑库分片数为 8, 创建分片表, 按照日期进行 hash CREATE TABLE table_date( id int auto_increment, name varchar(30), insert_date datetime not null, primary key(id) ) dbpartition by hash(day(insert_date)); 当拆分算法不指定任何拆分字段时, 系统默认使用主键作为拆分字段以下示例将介绍如何使用主键使用主键当拆分键 : CREATE TABLE prmkey_table( id int, name varchar(30), primary key(id) ) dbpartition by hash(); range 分片建表, CREATE TABLE t_range_1( id int, dt datetime, primary key(id) ) 文档版本 14 ( ) 版权所有华为技术有限公司 3

8 1 DDM 通用类 dbpartition by range(id) { =0, =1, =2, =3, default=7 }; 全局表子句 BROADCAST 用来指定创建全局表全局表是指将这个表复制到每个分片上, 在分片上通过同步机制实现数据一致, 有秒级延迟优势是可以将 JOIN 操作下推到底层的 RDS(MySQL), 来避免跨库 JOIN CREATE TABLE global_table( id int, name varchar(30), primary key(id) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 BROADCAST; 全局序列定义 :AUTO_INCREMENT [by db time 步长 ], 默认为 DB 起始值 :AUTO_INCREMENT = 1, 默认为 1 CREATE TABLE tab1 ( col1 INT NOT NULL AUTO_INCREMENT [by db time] 1000, col2 VARCHAR(16), PRIMARY KEY(col1) ) AUTO_INCREMENT = 1 DBPARTITION BY HASH(col1); 其他 MySQL 建表属性您在建表的同时还可以指定其他的 MySQL 建表属性, 例如 : CREATE TABLE multi_db_multi_tbl( id int, name varchar(30), primary key(id) ) ENGINE=InnoDB DEFAULT CHARSET=utf8 dbpartition by hash(id); 1.6 如何选择和配置安全组 DDM 实例采用了 VPC 和安全组等网络安全保护措施, 以下内容帮助您正确配置安全组通过 VPC 内网访问 DDM 实例 DDM 实例的访问和使用, 包括客户端所在 ECS 访问 DDM 实例, 以及 DDM 实例访问其关联的 RDS 实例除了 ECS DDM 实例 RDS 实例必须处于相同 VPC 之外, 还需要他们的安全组分别配置了正确的规则, 允许网络访问 1. 建议 ECS DDM RDS 配置相同的安全组安全组创建后, 默认包含同一安全组内网络访问不受限制的规则文档版本 14 ( ) 版权所有华为技术有限公司 4

9 1 DDM 通用类 2. 如果配置了不同安全组, 可参考如下配置方式 : 说明假设 ECS DDM RDS 分别配置了安全组 :sg-ecs sg-ddm sg-rds 假设 DDM 实例服务端口为 5066,RDS 实例服务端口为 3306 以下规则, 远端可使用安全组, 也可以使用具体的 IP 地址 ECS 所在安全组需要增加图 1-1 中的规则, 以保证客户端能正常访问 DDM 实例 : 图 1-1 ECS 安全组配置 DDM 所在安全组需要增加图 1-2 和图 1-3 中的规则, 以保证能访问 RDS, 且被客户端访问图 1-2 DDM 安全组入方向配置图 1-3 DDM 安全组出方向配置 RDS 所在安全组需要增加图 1-4 中的规则, 以保证能被 DDM 访问文档版本 14 ( ) 版权所有华为技术有限公司 5

11 2 DDM 使用类 2 DDM 使用类 2.1 向逻辑表中插入数据时出现报错问题描述连接 DDM 逻辑库, 用 source 命令执行.sql 文件向逻辑表中插入 500 万数据时, 出现 MySQL server has gone away 的错误提示信息如下原因分析解决方案 DDM 支持大小不超过 16MB 的单条 SQL 语句, 本次插入数据大小为 50MB, 大于最大允许值 16MB 在 console 上修改参数 max_allowed_packet 值 2.2 DDM 如何进行分片在分布式数据库中, 可以通过分片存储方式, 轻松解决大数据量单表容量达到单机数据库存储上限的瓶颈, 因此创建逻辑库和逻辑表时, 需要根据实际情况确定逻辑表是否进行分片以及按什么规则分说明分片存储后, 需要尽量避免跨库 JOIN 操作带来的性能与资源消耗问题逻辑表是否分片文档版本 14 ( ) 版权所有华为技术有限公司 7

12 2 DDM 使用类 DDM 逻辑表支持全局表分片表单表三种类型用户可以按照数据表的实际使用需求, 选择最合适的逻辑表类型创建单表只在第一个分片创建表以及存储数据全局表在每一个分片创建表并且存储全量数据分片表在每一个分片创建表, 数据按照拆分规则分散存储在分片中按什么规则分逻辑表的拆分键选择非常重要建议按实际业务场景选择拆分键, 不同逻辑表, 如果具有 E-R 关系, 建议选择相同字段做拆分键, 避免跨库 JOIN 操作在实际使用中, 请结合以下建议评估是否进行分片 : 数据量在 1000 万以下的表, 不建议分片数据量在 1000 万以上的表, 建议分片将数据分片存储后, 既能解决单张表容量过大带来的性能瓶颈, 同时提高并发支持注意要选择合适的拆分键, 提前做好规划业务读取尽量少用多表 JOIN, 同一个事务避免跨分片查询条件尽量带上拆分键, 避免全分片表扫描 2.3 DDM 逻辑表支持哪几种类型 DDM 逻辑表支持分片表全局表单表和普通表四种类型分片表 DDM 实例在 RDS 实例上创建多个物理库, 每一个物理库称为分片, 在分片上建立的表, 叫分片表 ( 不包括单表和全局表 ) 数据按照分片规则被分配到不同的分片上, 分片上的数据支持分布式并行计算全局表将一些数据量小且更新操作不频繁的数据表, 如字典表配置表等, 在所有分片上都存储全量数据, 提升 JOIN 效率, 这类表叫全局表单表当表数据量不大, 且不需要与分片表进行连接查询时, 可以只在 DDM 的默认分片上建表与存储数据, 这类表称为单表单表只能通过 MySQL 客户端或者应用程序连接逻辑库创建普通表 DDM 将未配置 sharding 的表, 以单表的形式存储在其中一个默认分片上表 2-1 各类型逻辑表创建方法逻辑库类型逻辑表类型建表方法拆分分片表通过管理控制台创建拆分全局表拆分单表通过 sql 客户端或者应用程序直接发起创建请求, 非拆分普通表建表语句兼容 MySQL 的 CREATE TABLE 语法文档版本 14 ( ) 版权所有华为技术有限公司 8

13 2 DDM 使用类 2.4 DDM 实例是否支持跨 VPC 访问一般情况下, 不同 VPC 间网络不互通, 不在同一 VPC 下的弹性云服务器无法访问 DDM 实例可以通过创建 VPC 对等连接, 将两个 VPC 的网络打通, 实现跨 VPC 访问 DDM 实例关于创建和使用 VPC 对等连接用户通过 VPC 对等访问 DDM 实例时, 除了满足 VPC 对等网跨 VPC 访问的约束之外, 还存在如下约束 : 同 VPC 跨子网互通需求上线之前创建的实例 ( 即 2018 年 5 月 10 日 24:00 前创建的实例 ), 不支持跨 VPC 访问 2.5 如何解决 JDBC 驱动方式连接 DDM 异常问题 MySQL 驱动 ( JDBC) 通过 Loadbalance 方式连接 DDM, 在某些场景下连接切换时会陷入死循环, 最终导致栈溢出问题定位 1. 查看 APP 日志, 定位异常原因例如, 从以下日志中分析出异常最终原因为栈溢出 Caused by: java.lang.stackoverflowerror at java.nio.heapbytebuffer.<init>(heapbytebuffer.java:57) at java.nio.bytebuffer.allocate(bytebuffer.java:335) at java.nio.charset.charsetencoder.encode(charsetencoder.java:795) at java.nio.charset.charset.encode(charset.java:843) at com.mysql.jdbc.stringutils.getbytes(stringutils.java:2362) at com.mysql.jdbc.stringutils.getbytes(stringutils.java:2344) at com.mysql.jdbc.stringutils.getbytes(stringutils.java:568) at com.mysql.jdbc.stringutils.getbytes(stringutils.java:626) at com.mysql.jdbc.buffer.writestringnonull(buffer.java:670) at com.mysql.jdbc.mysqlio.sqlquerydirect(mysqlio.java:2636) 2. 分析溢出源例如, 从以下日志可以分析出, 溢出原因为驱动内部陷入死循环 at com.mysql.jdbc.loadbalancedconnectionproxy.picknewconnection(loadbalancedconnectionproxy.java: 344) at com.mysql.jdbc.loadbalancedautocommitinterceptor.postprocess(loadbalancedautocommitintercepto r.java:104) at com.mysql.jdbc.mysqlio.invokestatementinterceptorspost(mysqlio.java:2885) at com.mysql.jdbc.mysqlio.sqlquerydirect(mysqlio.java:2808) at com.mysql.jdbc.connectionimpl.execsql(connectionimpl.java:2483) at com.mysql.jdbc.connectionimpl.setreadonlyinternal(connectionimpl.java:4961) at com.mysql.jdbc.connectionimpl.setreadonly(connectionimpl.java:4954) at com.mysql.jdbc.multihostconnectionproxy.syncsessionstate(multihostconnectionproxy.java:381) at com.mysql.jdbc.multihostconnectionproxy.syncsessionstate(multihostconnectionproxy.java:366) at com.mysql.jdbc.loadbalancedconnectionproxy.picknewconnection(loadbalancedconnectionproxy.java: 344) 3. 查看使用的 MySQL 版本, 为查看该版本源代码, 发现获取连接时,LoadBalance 会根据负载均衡策略更新连接, 并将老连接的配置复制给新连接, 在新连接 AutoCommit 为 true, 新连接部文档版本 14 ( ) 版权所有华为技术有限公司 9

14 2 DDM 使用类分参数和老连接不一致,loadBalanceAutoCommitStatementThreshold 参数没有配置的场景下, 会陷入死循环, 更新连接函数调用同步参数函数, 同步参数又调用更新连接, 最终导致栈溢出解决方法在连接 DDM 的 URL 添加 loadbalanceautocommitstatementthreshold=5&retriesalldown=10 参数 // 使用负载均衡的连接示例 //jdbc:mysql:loadbalance://ip1:port1,ip2:port2..ipn:portn/{db_name} String url = "jdbc:mysql:loadbalance:// :5066, :5066/db_5133? loadbalanceautocommitstatementthreshold=5&retriesalldown=10"; loadbalanceautocommitstatementthreshold: 表示连接上执行多少个语句后会重新选择连接假设 loadbalanceautocommitstatementthreshold 设为 5, 则当执行 5 个 sql 后 (Queries 或者 updates 等 ), 将会重新选择连接若为 0 表示粘性连接, 不重新选择连接关闭自动提交时 (autocommit=false) 会等待事务完成再考虑是否重新选择连接 2.6 如何选择 JDBC 驱动方式的版本和参数 DDM 暂不支持使用版本的 JDBC 驱动连接 DDM, 建议您使用以下版本的 JDBC 驱动 : JDBC 驱动下载地址 : JDBC URL 中推荐参数如表 2-2 所示表 2-2 参数参数名称参数说明推荐取值 ip:port 连接地址和端口, 用于连接 DDM 在 DDM 管理控制台 DDM 实例管理中查看连接地址 db_name 连接逻辑库名称在 DDM 管理控制台, DDM 实例管理 > 逻辑库管理下查看逻辑库名称 loadbalance AutoCommit StatementTh reshold 表示连接上执行多少个语句后会重新选择连接若取值为 5, 则当执行 5 个 sql 后 (Queries 或者 updates 等 ), 将会重新选择连接若取值为 0, 则表示粘性连接, 不重新选择连接关闭自动提交时 (autocommit=false) 会等待事务完成再考虑是否重新选择连接 5 文档版本 14 ( ) 版权所有华为技术有限公司 10

15 2 DDM 使用类参数名称参数说明推荐取值 loadbalance HostRemoval GracePeriod 设置主机从负载均衡连接中移除的宽限时间 loadbalanceb lacklisttimeo ut 设置服务器在全局黑名单中存留的时间 loadbalancep ingtimeout retriesalldow n connecttime out sockettimeo ut 使用负载均衡连接时, 等待每个负载均衡连接 ping 响应的毫秒数当所有的连接地址都无法连接时, 轮询重试的最大次数重试次数达到阈值仍然无法获取有效连接, 将会抛出 SQLException 和数据库服务器建立 socket 连接时的超时单位 : 毫秒,0 表示永不超时, 适用于 JDK 1.4 及更高版本 socket 操作 ( 读写 ) 超时单位 : 毫秒, 0 表示永不超时根据业务实际情况合理配置 2.7 DDM 实例的计费模式是否支持按需和包周期互转 DDM 实例的计费模式支持按需和包周期互转说明只有状态为运行中的实例才能进行按需和包周期互转操作步骤 1 步骤 2 步骤 3 登录 DDM 管理控制台在导航上选择数据库 > 分布式数据库中间件, 进入总览页面单击左侧菜单栏的 DDM 实例管理, 进入 DDM 实例管理页面步骤 4 在需要转换计费模式的实例右侧, 选择更多 > 转按需 / 转包周期步骤 5 跳转至费用中心界面进行操作 ---- 结束 2.8 使用 mysqldump 从 MySQL 导出数据非常缓慢的原因 mysqldump 客户端的版本和 DDM 所支持的 MySQL 版本不一致, 可能会导致从 MySQL 导出数据非常缓慢建版本保持一致文档版本 14 ( ) 版权所有华为技术有限公司 11

16 2 DDM 使用类 2.9 导入数据到 DDM 后出现主键重复问题描述问题分析解决方案数据导入到 DDM 后, 出现主键重复的现象 DDM 全局序列服务实现分布式环境下唯一键主键等数据的全局唯一性当向 DDM 导入数据后, 由于记录含有主键 ID, 全局序列无法变更, 新插入数据主键 ID 值大于当前值, 导致主键冲突, 从而出现主键重复的现象创表时设置自增起始值, 并确保起始值大于导入数据自增键的最大值 2.10 如何进行选择和配置安全组 DDM 实例采用了 VPC 和安全组等网络安全保护措施, 以下内容帮助您正确配置安全组通过 VPC 内网访问 DDM 实例 DDM 实例的访问和使用, 包括客户端所在 ECS 访问 DDM 实例, 以及 DDM 实例访问其关联的 RDS 实例除了 ECS DDM 实例 RDS 实例必须处于相同 VPC 之外, 还需要他们的安全组分别配置了正确的规则, 允许网络访问 1. 建议 ECS DDM RDS 配置相同的安全组安全组创建后, 默认包含同一安全组内网络访问不受限制的规则 2. 如果配置了不同安全组, 可参考如下配置方式 : 说明假设 ECS DDM RDS 分别配置了安全组 :sg-ecs sg-ddm sg-rds 假设 DDM 实例服务端口为 5066,RDS 实例服务端口为 3306 以下规则, 远端可使用安全组, 也可以使用具体的 IP 地址 ECS 所在安全组需要增加图 2-1 中的规则, 以保证客户端能正常访问 DDM 实例 : 图 2-1 ECS 安全组配置文档版本 14 ( ) 版权所有华为技术有限公司 12

17 2 DDM 使用类 DDM 所在安全组需要增加图 2-2 和图 2-3 中的规则, 以保证能访问 RDS, 且被客户端访问图 2-2 DDM 安全组入方向配置图 2-3 DDM 安全组出方向配置 RDS 所在安全组需要增加图 2-4 中的规则, 以保证能被 DDM 访问图 2-4 RDS 安全组配置 2.11 如何处理创建表失败问题描述问题分析在控制台创建表失败, 报错 :DDM.4119 创表语句语法有误文档版本 14 ( ) 版权所有华为技术有限公司 13

18 2 DDM 使用类解决方案在控制台删除创建失败的表, 使用正确创表语句重新创建 2.12 如何处理数据面建表失败问题描述数据面建表失败, 报错如下 Can't create table 'db.tb'. The server is busy. Please try again later 问题分析解决方案 DDM 与 RDS 的网络通讯不稳定导致的在控制台重新建表, 并选择覆盖 RDS 已存在的同名表 2.13 如何处理 mysqldump 导出数据报错问题描述问题分析使用 mysqldump 导出数据报错 mysqldump 参数选项错误解决方案事务模型为最终原子性时, 导入数据前建议先切换事务模型为最大努力提交, 导入完成后再切回最终原子性 ( 适用于小于的实例版本 ) 使用 mysqldump 导入导出数据时建议带参数 --single-transaction 选项, 该选项在导出数据之前提交 BEGIN SQL 语句, 保证导出时数据库的一致性状态使用 mysqldump 导出数据建议去掉 order-by-primary 选项 2.14 如何处理数据迁移过程中自增列后报错 : 主键重复问题描述问题分析数据迁移过程中, 指定主键为 AUTO_INCREATEMENT 自增列后报错 : 主键重复迁移的数据主键值大于自增主键的初始值文档版本 14 ( ) 版权所有华为技术有限公司 14

19 2 DDM 使用类解决方案重新设置自增主键的初始值为大于当前已有数据的最大值, 执行如下语句 : ALTER SEQUENCE 库名.SEQ 名 START WITH 新初始值 ; 2.15 如何处理配置参数未超时却报错问题描述配置 connection_idle_timeout sql_execute_timeout 参数未到超时时间报错如下 java.net.sockettimeoutexception: Read timed out 问题分析解决方案客户端应用配置 JDBC 超时参数 SocketTimeOut 导致的建议可将参数 SocketTimeOut 值调整或者去掉, 默认为 0 则不断开连接文档版本 14 ( ) 版权所有华为技术有限公司 15

20 3 SQL 语法类 3 SQL 语法类 3.1 DDM 是否支持 SQL 跨库访问不支持 SQL 通过带数据库名称的方式跨逻辑库访问 DDM 会自动去除 SQL 中的库名, 比如 select * from dn1.item, 会自动改成 select * from item 3.2 DDM 是否支持分布式 JOIN DDM 支持分布式 JOIN 表设计时, 增加字段冗余支持跨分片的 JOIN, 主要实现的方式有三种 : 全局表,ER 分片和 ShareJoin DDM 目前禁止多个表的跨库 update 和 delete 3.3 如何进行 SQL 优化尽量避免使用 LEFT JOIN 或 RIGHT JOIN, 建议使用 INNER 在使用 LEFT 或 RIGHT JOIN 时,ON 会优先执行,WHERE 条件在最后执行, 所以在使用过程中, 条件尽可能在 ON 语句中判断, 减少 WHERE 的执行尽量少用子查询, 改用 JOIN, 避免大表全表扫描 3.4 DDM 支持哪些 SQL DDM 对 SQL 语法的支持情况请参见 SQL 兼容性和 SQL 语法限制 3.5 DDM 是否支持数据类型强制转换数据类型转换属于高级用法,DDM 对 SQL 的兼容性会逐步完善, 如有需要请提工单处理文档版本 14 ( ) 版权所有华为技术有限公司 16

21 3 SQL 语法类 3.6 DDM 是否支持外键操作场景操作步骤对于分布式数据库中间件, 目前仅单表支持外键, 分片表和全局表不支持外键步骤 1 步骤 2 步骤 3 关闭外键校验 SET FOREIGN_KEY_CHECKS=0; 创建表 create table tabletext; 开启外键校验 SET FOREIGN_KEY_CHECKS=1; ---- 结束使用样例 SET FOREIGN_KEY_CHECKS=0; create table t_order_detail ( detail_id int(10) primary key not null, goods_name varchar(13) not null, goods_num int not null, order_id int not null, foreign key(order_id) references t_order(order_id) ); create table t_order ( order_id int not null primary key, order_type tinyint(1), order_user varchar(32) not null ); SET FOREIGN_KEY_CHECKS=1; 3.7 如何处理 INSERT 语句批量插入多条数据时报错问题描述问题分析解决方案 INSERT 语句批量插入多条数据报错 :MySQL server has gone away Lost connection. INSERT 语句批量插入多条, 默认配置 SQL 语句大小 16M, 因超出限制而导致报错建议拆分为多条 INSERT 语句插入, 或在控制台配置参数管理页面, 修改 max_allowed_packet 参数值, 并重启实例使之生效文档版本 14 ( ) 版权所有华为技术有限公司 17

22 4 RDS 相关类 4 RDS 相关类 4.1 数据库表名是否区分大小写 DDM 和 RDS 的 MySQL 版本默认对数据表名和序列名称不区分大小写,DDM 在导入 RDS 时会将 lower_case_table_names 设置为 1 建议不要修改 RDS 实例中的参数设置,lower_case_table_names 取值固定为 1, 表示不区分大小写, 且以小写的形式保存 4.2 RDS 实例参数配置 (binlog_format) DDM 在导入 RDS 时会将 binlog_format 设置为 row, 表示将 binlog 记录成每一行数据被修改的形式, 包括修改前和修改后的数据建议不要对该参数进行修改, 否则可能影响您的正常使用 4.3 如何处理所关联的 RDS 实例异常 DDM 针对 RDS 实例异常的处理机制为 : DDM 采用心跳检测机制保持对 RDS 实例的状态监控 DDM 不管理 RDS 实例当路由分发到故障实例上, 则返回错误, 如果路由没有分发到故障实例, 则 SQL 请求正常返回因此, 建议购买 RDS 实例类型为主备, 以增强 RDS 实例的高可用性 4.4 DDM 对 RDS 采用哪种检测机制 DDM 采用基于 sql 语句的定时心跳检测机制, 属于业务层检测当 RDS 只读实例异常时 ( 包括 RDS 重启或者 SQL 执行异常 ),DDM 会自动屏蔽该故障节点, 确保业务不受影响当 RDS 主备实例节点都异常时,DDM 会自动重试, 待故障恢复后再恢复业务当 RDS 主备实例或只读实例故障时, 由于 DDM 不会存储业务数据, 所以 DDM 会返回错误信息给应用程序文档版本 14 ( ) 版权所有华为技术有限公司 18

23 4 RDS 相关类 4.5 DDM 控制台显示的 RDS 实例名称 /ID 和 RDS 控制台显示的 RDS 实例名称 /ID 为什么不同 RDS 实例 ID DDM 基于 RDS 的 OpenAPI,RDS 实例名称 /ID 为导入 RDS 时从 RDS 获取的 RDS 实例名称 /ID,DDM 显示的 RDS 实例名称采用 RDS 实例名称加后缀方式命名,RDS 实例名称 /ID 可在 RDS 的查看监控中查阅例如 : RDS 上的实例名称为 "rds-infopq"( 图 4-1), 对应 DDM 上显示的 RDS 实例名称为 rds-infopq_node0 ( 图 4-3) DDM 上显示的 RDS 实例名称 /ID( 图 4-3), 与 RDS 查看监控中的节点名称 /ID( 图 4-2) 相对应在 RDS 管理控制台, 左侧导航单击实例管理, 图 4-1 红框所示即为 RDS 实例 ID 图 4-1 RDS 实例名称 /ID RDS 节点名称 /ID 在 RDS 管理控制台, 在任一实例右操作列选择更多 > 查看监控, 并在左侧导航选择关系型数据库图 4-2 中红框所示即为 RDS 节点名称 /ID 文档版本 14 ( ) 版权所有华为技术有限公司 19

24 4 RDS 相关类图 4-2 RDS 节点名称 /ID DDM 实例名称 /ID DDM 中的 RDS 实例名称 /ID( 图 4-3) 为实例名称所对应的 RDS 节点名称 /ID( 图 4-2) 图 4-3 DDM 实例名称 /ID 4.6 RDS 哪些高危操作会影响 DDM RDS 相关高危操作如表 4-1 所示表 4-1 RDS 高危操作操作类别操作操作影响 RDS 控制台操作类删除 RDS 实例切换 RDS 主备实例重启实例 RDS 实例删除后,DDM 关联该 RDS 实例的逻辑库逻辑表都无法使用切换主备实例可能造成短时间内的 RDS 服务闪断, 并有可能在主备同步时延过大的情况下, 导致少量数据丢失 RDS 实例主备切换过程中,DDM 将无法进行创建逻辑库逻辑表平滑扩容等操作 RDS 实例主备切换后,DDM 中 RDS 实例 ID 不变, 固定为首次导入 RDS 实例时的 RDS 节点 ID 重启过程中,RDS 实例将不可用,DDM 业务将会受影响文档版本 14 ( ) 版权所有华为技术有限公司 20

25 4 RDS 相关类操作类别操作操作影响 RDS 客户端类重置密码修改数据库端口修改参数组修改安全组修改 VPC 恢复删除 DDM 创建的物理库删除 DDM 创建的物理账号删除 DDM 创建的物理表修改 DDM 创建的物理表名修改记录修改白名单在 RDS 重置 RDS 控制台重置密码后, 需在 DDM 同步重置密码, 否则将导致无法 DDM 和 RDS 无法连接修改 RDS 数据库端口后,RDS 会自动重启 RDS 实例 ( 如果是主备模式, 重启主实例同时也会重启备实例 ), 如果不在 DDM 同步 RDS 信息会导致 DDM 无法连接 RDS 其中如下参数为固定值, 如果修改, 将会影响 DDM 正常运行对数据表名和序列名称不区分大小写, lower_case_table_names 固定为 1 扩容场景, 必须将 local_infile 配置为 ON 将导致 DDM 无法连接 RDS DDM 与 RDS 不在同一 VPC 中将导致无法互通恢复数据可能会破坏数据完整性删除物理库后, 原数据将会丢失, 新数据将无法写入删除物理账号后将无法在 DDM 上创建逻辑表删除物理表后, 将导致 DDM 数据丢失,DDM 后续无法正常使用该逻辑表将导致 DDM 无法获取该逻辑表的数据, 且后续无法正常使用如修改全局表记录, 将会影响各分片数据一致性需要确保 DDM 在 RDS 的白名单内, 否则 DDM 将无法访问 RDS 4.7 导入 RDS 失败提示 DDM.0095 是什么原因可能是 RDS 的状态不允许设置参数或者重启 RDS, 需要先移除 RDS, 等 RDS 状态为运行中后再导入 4.8 创建逻辑表时提示 RDS 分片上有残留的同名表怎么办本章节分别描述在控制台和客户端创建逻辑表时提示 RDS 分片上有残留的同名表的处理方法文档版本 14 ( ) 版权所有华为技术有限公司 21

26 4 RDS 相关类控制台创建表问题现象 : 在 DDM 管理控制台创建逻辑表时提示,RDS 实例分片中已存在同名数据表错误码 :DDM.4208 解决方法 : a. 若确认该表并未使用, 可先执行删除, 同时勾选删除关联 RDS 实例的数据, 再重新创建 b. 若删除时未勾选删除关联 RDS 实例的数据, 可在重建时勾选覆盖 RDS 分片上残留的同名表客户端创建表问题现象 : 文档版本 14 ( ) 版权所有华为技术有限公司 22

27 4 RDS 相关类通过 MySQL 客户端连接到 DDM 创建分片表或全局表, 返回表已存在的提示, 如下 : mysql> CREATE TABLE test_broadcast_all_01 (id int, name varchar(30), primary key(id)) BROADCAST; ERROR 1005 (HY000): Can't create table 'test_broadcast_all_01'. "A data table with the same name already exists in the shard of the RDS DB instance." 解决方法 : a. 若确认该表并未使用, 可使用 DROP TABLE 语句先删除,DROP TABLE 会删除当前逻辑库所有关联分片上残留的同名表 mysql> drop table test_broadcast_all_01; Query OK, 0 rows affected (2.45 sec) b. 重新创建该表 mysql> CREATE TABLE test_broadcast_all_01 (id int, name varchar(30), primary key(id)) BROADCAST; Query OK, 0 rows affected (3.64 sec) 4.9 如何处理表中存在主键重复的数据场景一处理方法 DDM 实例的逻辑表中已存在主键数据类型边界值的记录, 如果插入的数据超过主键数据类型的范围, 表中会出现主键重复的数据步骤 1 步骤 2 登录华为云管理控制台在 RDS 的实例管理页面, 查找 DDM 实例对应的 RDS 实例, 单击目标 RDS 实例名称, 进入实例的基本信息页面步骤 3 在基本信息页面的左侧导航栏中选择参数修改步骤 4 在参数组页签搜索 sql_mode, 单击值列中的下拉框, 勾选 STRICT_ALL_TABLES 或 STRICT_TRANS_TABLES 方式, 单击保存说明 STRICT_ALL_TABLES 和 STRICT_TRANS_TABLES 方式属于严格模式严格模式控制 MySQL 如何处理非法或丢失的输入值非法 : 数据类型错误或超出范围丢失 : 如果某列定义为非空列且没有 DEFAULT 值, 当新插入的行不包含该列时, 该行记录丢失关于 sql_mode 更多信息, 请参考 Server SQL Modes 图 4-4 修改实例参数文档版本 14 ( ) 版权所有华为技术有限公司 23

28 4 RDS 相关类步骤 5 在 DDM 实例管理页面, 重启 DDM 实例 ---- 结束场景二 DDM 实例的分片表 (hash\range\mod) 联合主键, 如果拆分键数据中有插入 0 和 1 的话, 一定会出现重复主键 1 处理方法步骤 1 步骤 2 登录华为云管理控制台在 RDS 的实例管理页面, 查找 DDM 实例对应的 RDS 实例, 单击目标 RDS 实例名称, 进入实例的基本信息页面步骤 3 在基本信息页面的左侧导航栏中选择参数修改步骤 4 在参数组页签搜索 sql_mode, 单击值列中的下拉框, 勾选 NO_AUTO_VALUE_ON_ZERO 方式, 单击保存图 4-5 修改实例参数步骤 5 在 DDM 实例管理页面, 重启 DDM 实例 ---- 结束 4.10 如何通过 show full innodb status 指令查询 RDS 相关信息通过 MySQL 客户端连接 DDM 实例后, 可直接输入 show full innodb status 指令查询该 DDM 实例所关联的 RDS 实例信息可查询信息如 : 当前的时间及自上次输出以来经过的时长可以使用命令 show full innodb status 来查看 master thread 的状态信息如果有高并发的工作负载, 您需关注 SEMAPHORES 信号量, 它包含了两种数据 : 事件计数器以及可选的当前等待线程的列表, 如果有性能上的瓶颈, 可使用这些信息来找出瓶颈文档版本 14 ( ) 版权所有华为技术有限公司 24

29 4 RDS 相关类 4.11 创建逻辑库报错 :RDS 无法连接错误问题描述问题分析解决方案在创建逻辑库时, 出现报错信息 :RDS 无法连接 DDM 与 RDS 连接存在问题在 RDS 导入管理页面进行 RDS 连通性检测如果连通性检测失败, 请检查 DDM 与 RDS 之间网络安全组, 保证网络互通安全组配置可参考如何选择和配置安全组 4.12 如何处理导入且关联 DDM 的 RDS 故障问题描述问题分析解决方案导入且关联 DDM 的 RDS 故障 RDS 实例相关信息有变化 : 如增删只读实例, 连接地址 / 端口号 / 安全组 / 规格变更, 删除 RDS 实例, 将 RDS 从一个企业项目迁移到另一个企业项目等在 RDS 导入管理页面同步 RDS 信息才能正常使用文档版本 14 ( ) 版权所有华为技术有限公司 25

30 5 连接管理类 5 连接管理类 5.1 连接 DDM 实例前提条件操作步骤 DDM 兼容 MySQL 协议, 支持通过 MySQL 客户端进行连接访问 DDM 实例客户端所在的弹性云服务器必须与 DDM 实例处于相同的虚拟私有云和子网内步骤 1 步骤 2 步骤 3 步骤 4 登录弹性云服务器下载并安装 MySQL 客户端查看并获取目标实例连接信息连接实例步骤 5 通过 MySQL 命令使用 DDM 步骤 6 查看详情信息 ---- 结束 5.2 连接 DDM 时密码多次错误被锁定该如何解决连接 DDM 时, 如果多次输入错误密码, 系统将会自动锁定 20 分钟,DDM 支持在管理控制台手工解除锁定 1. 登录管理控制台 2. 在导航上选择数据库 > 分布式数据库中间件, 进入总览页面 3. 单击左侧菜单栏的 DDM 实例管理, 进入 DDM 实例管理页面 4. 单击 DDM 实例名称, 进入实例基本信息页面 5. 在实例基本信息页面, 选择账号管理选项卡, 查看账号管理页面文档版本 14 ( ) 版权所有华为技术有限公司 26

31 5 连接管理类 6. 在需要解锁的逻辑库右侧操作栏选择更多 > 解锁说明 DDM 实例状态如果处于非运行中将无法解锁 5.3 本地环境是否可以连接 DDM 实例本地环境不能直接连接 DDM 实例, 以下三种场景可以实现本地环境连接 1. DDM 实例公有云采用虚拟私有云 (VPC) 管理各服务的网络安全, 用户创建的 DDM 实例, 只允许被与实例处于相同虚拟私有云的弹性云服务器访问 2. 用户可以通过网络代理转发的方式, 用一台能与 DDM 实例网络互通的弹性云服务器 (ECS) 做中转, 实现本地环境连接 DDM 实例 3. 用户还可以通过本地与华为云专线打通的方式, 实现本地环境直接连接 DDM 实例用户通过这种方式连接 DDM 实例需要在安全组出入方向开通 5066 端口 5.4 MySQL 连接 DDM 时出现乱码如何解决 MySQL 连接的编码和实际的编码不一致, 可能导致 DDM 解析时出现乱码通过 default-character-set=utf8 指定客户端连接的编码即可如下所示 : mysql -h P5066 -Dbase --default-character-set=utf8 -uddmuser p 文档版本 14 ( ) 版权所有华为技术有限公司 27

32 A 修订记录 A 修订记录发布日期修订记录第十五次正式发布, 本次修改包括 : 如何处理配置参数未超时却报错导入数据到 DDM 后出现主键重复如何处理 mysqldump 导出数据报错如何处理数据面建表失败如何处理数据迁移过程中自增列后报错 : 主键重复如何处理 INSERT 语句批量插入多条数据时报错导入 RDS 失败提示 DDM.0095 是什么原因创建逻辑库报错 :RDS 无法连接错误如何处理导入且关联 DDM 的 RDS 故障第十四次正式发布, 本次修改包括 : 新增通过 show full innodb status 指令查询 RDS 相关信息第十三次正式发布, 本次修改包括 : 优化 FAQ: 本地环境是否可以连接 DDM 实例新增 FAQ: 导入数据到 DDM 后出现主键重复第十二次正式发布, 本次修改包括 : 新增 FAQ:DDM 是否支持外键新增 FAQ: 如何处理表中存在主键重复的数据第十一次正式发布, 本次修改包括 : 新增 FAQ: 创建逻辑表时提示 RDS 分片上有残留的同名表怎么办第十次正式发布, 本次修改包括 : 新增 FAQ:DDM 实例的计费模式是否支持按需和包周期互转新增 FAQ: 导入 RDS 失败提示 DDM.0095 是什么原因第九次正式发布, 本次修改包括 : 新增 FAQ:DDM 支持创建逻辑表的方式有哪些文档版本 14 ( ) 版权所有华为技术有限公司 28

33 A 修订记录发布日期修订记录第八次正式发布, 本次修改包括 : 新增 FAQ: 连接 DDM 时密码多次错误被锁定该如何解决新增 FAQ:DDM 支持哪些 SQL 新增 FAQ:DDM 是否支持数据类型强制转换第七次正式发布, 本次修改包括 : 新增 FAQ: 使用 DDM 事务模型有哪些注意事项第六次正式发布, 本次修改包括 : 新增 FAQ: 如何解决 JDBC 驱动方式连接 DDM 异常问题新增 FAQ: 如何选择 JDBC 驱动方式的版本和参数第五次正式发布, 本次修改包括 : 新增 FAQ:MySQL 连接 DDM 时出现乱码如何解决新增 FAQ:DDM 实例是否支持跨 VPC 访问新增 FAQ: 数据库表名是否区分大小写新增 FAQ:DDM 控制台显示的 RDS 实例名称 /ID 和 RDS 控制台显示的 RDS 实例名称 /ID 为什么不同新增 FAQ:RDS 哪些高危操作会影响 DDM 第四次正式发布, 本次修改包括 : 新增 FAQ:DDM 监控能力有哪些第三次正式发布本次修改包括 : 新增 FAQ:DDM 是否支持 SQL 跨库访问第二次正式发布本次修改包括 : 新增 FAQ:DDM 自身是否会存储业务数据新增 FAQ: 本地环境是否可以连接 DDM 实例新增 FAQ:DDM 提供哪些高可靠保障新增 FAQ:DDM 如何进行分片新增 FAQ:DDM 逻辑表支持哪几种类型新增 FAQ: 如何处理所关联的 RDS 实例异常新增 FAQ:DDM 对 RDS 采用哪种检测机制第一次正式发布文档版本 14 ( ) 版权所有华为技术有限公司 29