最佳实践

Size: px

Start display at page:

Download "最佳实践"

规佳柯
5 years ago
Views:

1 阿里云云数据库 MySQL 版最佳实践文档版本 :

2 最佳实践 / 法律声明法律声明阿里云提醒您在阅读或使用本文档之前仔细阅读充分理解本法律声明各条款的内容如果您阅读或使用本文档, 您的阅读或使用行为将被视为对本声明全部内容的认可 1. 您应当通过阿里云网站或阿里云提供的其他授权通道下载获取本文档, 且仅能用于自身的合法合规的业务活动本文档的内容视为阿里云的保密信息, 您应当严格遵守保密义务 ; 未经阿里云事先书面同意, 您不得向任何第三方披露本手册内容或提供给任何第三方使用 2. 未经阿里云事先书面许可, 任何单位公司或个人不得擅自摘抄翻译复制本文档内容的部分或全部, 不得以任何方式或途径进行传播和宣传 3. 由于产品版本升级调整或其他原因, 本文档内容有可能变更阿里云保留在没有任何通知或者提示下对本文档的内容进行修改的权利, 并在阿里云授权通道中不时发布更新后的用户文档您应当实时关注用户文档的版本变更并通过阿里云授权渠道下载获取最新版的用户文档 4. 本文档仅作为用户使用阿里云产品及服务的参考性指引, 阿里云以产品及服务的现状有缺陷和当前功能的状态提供本文档阿里云在现有技术的基础上尽最大努力提供相应的介绍及操作指引, 但阿里云在此明确声明对本文档内容的准确性完整性适用性可靠性等不作任何明示或暗示的保证任何单位公司或个人因为下载使用或信赖本文档而发生任何差错或经济损失的, 阿里云不承担任何法律责任在任何情况下, 阿里云均不对任何间接性后果性惩戒性偶然性特殊性或刑罚性的损害, 包括用户使用或信赖本文档而遭受的利润损失, 承担责任 ( 即使阿里云已被告知该等损失的可能性 ) 5. 阿里云网站上所有内容, 包括但不限于著作产品图片档案资讯资料网站架构网站画面的安排网页设计, 均由阿里云和 / 或其关联公司依法拥有其知识产权, 包括但不限于商标权专利权著作权商业秘密等非经阿里云和 / 或其关联公司书面同意, 任何人不得擅自使用修改复制公开传播改变散布发行或公开发表阿里云网站产品程序或内容此外, 未经阿里云事先书面同意, 任何人不得为了任何营销广告促销或其他目的使用公布或复制阿里云的名称 ( 包括但不限于单独为或以组合形式包含阿里云 Aliyun 万网等阿里云和 / 或其关联公司品牌, 上述品牌的附属标志及图案或任何类似公司名称商号商标产品或服务名称域名图案标示标志标识或通过特定描述使第三方能够识别阿里云和 / 或其关联公司 ) 6. 如若发现本文档存在任何错误, 请与阿里云取得直接联系文档版本 : I

3 最佳实践 / 通用约定通用约定格式说明样例该类警示信息将导致系统重大变更甚至故障, 或者导致人身伤害等结果禁止 : 重置操作将丢失用户配置数据该类警示信息可能导致系统重大变更甚至故障, 或者导致人身伤害等结果警告 : 重启操作将导致业务中断, 恢复业务所需时间约 10 分钟用于补充说明最佳实践窍门等, 不是用户必须了解的内容您也可以通过按 Ctrl + A 选中全部文件 > 多级菜单递进设置 > 网络 > 设置网络类型粗体表示按键菜单页面名称等 UI 元素单击确定 courier 字体命令执行 cd /d C:/windows 命令, 进入 Windows 系统文件夹斜体表示参数变量 bae log list --instanceid Instance_ID [] 或者 [a b] 表示可选项, 至多选择一个 ipconfig [-all -t] {} 或者 {a b} 表示必选项, 至多选择一个 swich {stand slave} 文档版本 : I

4 最佳实践 / 目录目录法律声明...I 通用约定...I 1 MySQL 通过数据传输服务 (DTS) 将 RDS 的数据实时同步至 DataHub 自建数据库与 RDS 性能对比的注意事项解决 MDL 锁导致无法操作数据库的问题通过修改读权重解决只读实例阻塞问题通过 IP 地址限制用户权限授权用户只能访问数据库中的某个表双十一背后的数据库技术 II 文档版本 :

5 1 MySQL 1.1 通过数据传输服务 (DTS) 将 RDS 的数据实时同步至 DataHub 为了让数据可以实时进入流计算等大数据产品进行数据实时分析, 您可以使用数据传输服务 (DTS) 将 RDS 数据实时同步到 DataHub 准备工作创建一个数据库和表, 您可以选择使用阿里云的 RDS 数据库, 也可以在本地服务器上自建数据库本案例以华东 1 区的 RDS MySQL 数据库为例, 数据库表的名称为 datav_test, 字段及数据如下图所示登录阿里云 Datahub 控制台, 选择华东 1, 单击创建 Project, 创建一个 DataHub 项目 ( 本案例的项目名称为 dts_test) 数据同步 1. 进入阿里云 DTS 控制台, 单击左侧菜单栏中的数据同步 2. 单击创建同步作业, 购买数据传输服务实例, 配置如下图所示源实例选择 MySQL, 目标实例选择 Datahub 源实例区域和目标实例区域以及同步作业实例区域需保持一致 3. 购买成功后, 返回控制台, 单击实例右侧的配置同步链路 4. 选择同步通道的源及目标实例, 如下图所示, 完成后单击授权白名单并进入下一步 5. 选择同步对象选择需要同步的表, 单击图标按钮 6. 单击预检查并启动, 启动预检查如果预检查成功, 系统会显示如下对话框 7. 单击关闭, 返回数据同步页面, 单击页面右上角的刷新, 查看实例状态此时正常情况下, 实例的状态应该显示为初始化中文档版本 :

6 初始化的时间依赖于同步表的数量大小 8. 当初始化完成后, 同步链路即进入同步中的状态, 此时源跟目标实例的同步链路才真正建立完成单击页面右上角的刷新, 查看实例的同步概况 9. 进入阿里云 Datahub 控制台, 单击项目右侧的查看, 进入 Topics 页面, 可以看到已经同步完成的表的名称即为 topic 的名称 10. 单击 topic 右侧的查看, 选择 Schema 页签, 查看已经同步完成的表的结构数据采集由于 DataHub 同步的是增量数据, 因此您必须在数据库中增加一条或多条数据, 才能同步到 DataHub 中此案例采用手动插入数据的方式, 仅作为参考, 在实际应用中, 您表中的数据应该是实时写入的 1. 登录您的数据库, 在表中插入一条数据, 如下图所示 2. 回到阿里云 Datahub 控制台, 查看刚才的项目, 单击 topic 右侧的查看, 选择 Shards 页签 3. 单击某个 shard 右侧的数据抽样 4. 在 Shard 数据抽样页面, 指定一个时间, 单击抽样, 查看数据同步结果 Shard 数据抽样的时间要小于等于最新数据时间, 否则无法抽取数据常见问题 1. DTS 数据同步失败, 如何处理? 可能原因 : 同步链路规格配置不合适导致解决方法 : 参考数据同步规格说明, 选择合适的规格, 重新创建同步作业 2. Datahub 中单击数据抽样, 抽样数据为空, 如何处理? 可能原因 : 2 文档版本 :

7 指定的时间大于最新数据时间数据库中不存在增量数据解决方法 : a. 在进行数据抽样时, 设置指定的时间小于等于最新数据时间, 再次单击抽样, 若数据不为空, 问题解决, 若数据为空, 执行下一步 b. 在您的数据库中插入一条或多条数据, 重新回到 DataHub 控制台, 对数据进行抽样如果问题仍然无法解决, 请在控制台上提交工单, 或者直接联系阿里云技术支持工程师相关文档对于同步过来的数据, 您可以结合 DataV 搭建流数据大屏, 请参考流数据与大屏 DataV 1.2 自建数据库与 RDS 性能对比的注意事项您可以自行搭建数据库, 或者购买阿里云 RDS 实例推荐您购买 RDS 实例, 因为它完全由阿里云托管, 而且有完备的安全备份恢复扩容性能优化等机制, 您无需执行各种安全措施 ( 如搭建备库 ) 和维护工作, 只需专注于业务的发展和创新关于自建数据库与 RDS 的各方面对比, 请参见 RDS 与自建数据库对比优势您也可以通过测试来对比自建数据库与 RDS 的性能差异, 但是对比时需要保证二者具有相同的条件, 如相同的网络环境性能规格数据库版本等本文介绍具体的注意事项网络环境应用和自建数据库都需要部署于 ECS 实例, 且与 RDS 实例位于同一地域, 使得应用与 RDS 之间, 以及应用与自建数据库之间都是通过内网进行通信应用与自建数据库需要部署于两台不同的 ECS 实例如果部署于同一台 ECS 实例, 则应用到自建数据库的网络路径短于应用到 RDS 的网络路径, 而且应用对 CPU 资源的占用也会影响自建数据库的性能表现, 对比测试将不公平您可以采用以下其中一种部署架构 : 应用自建数据库和 RDS 实例的主节点位于同一个可用区自建数据库与 RDS 实例的主节点位于同一个可用区应用位于同一地域下的另一个可用区文档版本 :

8 性能规格自建数据库所在 ECS 实例和 RDS 拥有相同的 CPU 核数与内存数据库版本自建数据库和 RDS 的数据库版本相同, 例如, 两者都为 MySQL 5.6 数据复制方式主备节点之间的数据复制方式分为异步半同步和强同步关于数据复制方式的介绍, 请参见数据复制方式具体要求如下表所示自建数据库无备库, 不涉及数据复制方式有 1 个备库, 且数据复制方式为异步有 1 个备库, 且数据复制方式为半同步有 2 个备库, 且数据复制方式为强同步 RDS 高可用版, 且数据复制方式为异步高可用版, 且数据复制方式为异步高可用版, 且数据复制方式为半同步金融版 ( 数据复制方式为强同步, 且无法修改 ) 数据库参数自建数据库和 RDS 的参数设置需要一致关于如何修改 RDS 的参数设置, 请参见修改实例参数出于安全考虑,RDS 不支持部分参数的修改如果某参数不一致, 而 RDS 不支持修改, 请修改自建数据库的参数案例分析场景 : 某客户正在将本地的业务系统迁移上云, 在 RDS 上的 SQL 执行时间明显要比线下自建数据库执行时间要长 1 倍原因 : 自建数据库与 RDS 的参数配置不同, 如下所示 : 用户本地参数配置 : join_buffer_size = 128M 4 文档版本 :

9 read_rnd_buffer_size = 128M tmp_table_size = 128M RDS 参数配置 : join_buffer_size = 1M read_buffer_size = 1M tmp_table_size =256K 1.3 解决 MDL 锁导致无法操作数据库的问题异常情况下的元数据锁 MDL(metadata lock) 会阻塞后续对表的操作, 本文介绍通过 DMS 工具解决该问题背景信息 MySQL 5.5 版本开始, 引入了 MDL 锁, 用于解决或者保证 DDL 操作与 DML 操作之间的一致性, 但是在部分场景下会出现阻塞, 例如执行 DML 操作时执行 ALTER 操作存在长时间查询时执行 ALTER 操作等等操作步骤 1. 使用 DMS 登录 RDS 数据库网络地址 : 端口需要输入对应 RDS 实例的内网地址及内网端口, 可在 RDS 实例基本信息页面查看 2. 在首页上方选择 SQL 操作 > SQL 窗口 3. 在命令行输入 show full processlist; 并执行, 查看所有线程状态, 在 State 列发现大量 Waiting for table metadata lock 即表示出现阻塞, 在对应的 Info 列可以查看到是对哪个表的操作, 找到正在对该表进行操作的会话, 记下 Id 文档版本 :

10 这里需要找到的是一直在占用该表的会话, 而不是正在等待 MDL 锁解除的会话, 注意区分可以根据 State 列的状态和 Info 列的命令内容来进行分析判断 4. 在命令行输入 kill Id 数字, 例如 kill 267, 即可中断会话, 解除 MDL 锁 6 文档版本 :

1.4 通过修改读权重解决只读实例阻塞问题当只读实例产生阻塞时, 会严重影响业务, 可以通过修改只读实例的权重将读请求暂时不发往该只读实例背景信息当主实例执行复杂 SQL 语句后, 将 binlog 日志传给只读实例, 只读实例根据日志内容执行相同操作来同步主实例, 因此执行复杂 SQL 语句可能会导致在部分只读实例上产生临时阻塞, 必须等待所有传来的 binlog

11 1.4 通过修改读权重解决只读实例阻塞问题当只读实例产生阻塞时, 会严重影响业务, 可以通过修改只读实例的权重将读请求暂时不发往该只读实例背景信息当主实例执行复杂 SQL 语句后, 将 binlog 日志传给只读实例, 只读实例根据日志内容执行相同操作来同步主实例, 因此执行复杂 SQL 语句可能会导致在部分只读实例上产生临时阻塞, 必须等待所有传来的 binlog 日志内容都被执行完毕才会完成同步当发现无法同步的只读实例时, 可以通过 show processlist; 查看线程占用情况, 确定问题实例需要为 MySQL 5.6 高可用版或金融版, 或 MySQL 5.7 高可用版只有开通了读写分离功能才可以设置读权重操作步骤 1. 登录 RDS 管理控制台 2. 在页面左上角, 选择实例所在地域 3. 找到目标实例, 单击实例 ID 4. 在左侧导航栏中单击数据库代理 5. 单击读写分离页签, 然后单击右侧设置读写分离 6. 在弹框中选择读权重分配 > 自定义, 将出问题的只读实例权重设置为 0, 单击确定文档版本 :

12 读权重为 0 表示读请求不会再发往该实例, 就不会对业务产生影响复杂 SQL 语句执行完毕后, 确定该只读实例已经同步后, 再将权重修改回去 1.5 通过 IP 地址限制用户权限在白名单上放通多个 IP 地址的情况下, 会导致同一个用户在这些 IP 地址内部拥有相同权限, 在安全性上有较大缺陷例如某个账号由于安全性要求只允许在总公司登录, 分公司只能使用只读权限的账号登录前提条件 8 文档版本 :

13 创建高权限账号操作步骤 1. 登录 RDS 管理控制台 2. 在页面左上角, 选择实例所在的地域 3. 找到目标实例, 单击实例 ID 4. 在右上角单击登录数据库, 使用高权限账号登录数据库 5. 单击 SQL 操作 > SQL 窗口 6. 通过以下命令创建新用户并授权管理数据库, 允许用户通过某 IP 地址访问数据库, 此账号在控制台上无法查看到所属数据库示例创建新用户 test001 并授权管理 rds001 数据库, 允许从访问数据库 CREATE USER BY 'passwd'; GRANT PROCESS, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO ' GRANT ALL PRIVILEGES ON `rds001`.* TO GRANT SELECT ON `mysql`.`help_topic` TO GRANT SELECT ON `mysql`.`func` TO GRANT SELECT ON `mysql`.`time_zone` TO GRANT SELECT ON `mysql`.`slow_log` TO GRANT SELECT ON `mysql`.`time_zone_transition` TO '; GRANT SELECT ON `mysql`.`event` TO GRANT SELECT ON `mysql`.`proc` TO GRANT SELECT ON `mysql`.`help_category` TO '; 文档版本 :

14 GRANT SELECT ON `mysql`.`help_relation` TO '; GRANT SELECT ON `mysql`.`help_keyword` TO GRANT SELECT ON `mysql`.`general_log` TO GRANT SELECT ON `mysql`.`time_zone_leap_second` TO GRANT SELECT ON `mysql`.`time_zone_transition_type` TO GRANT SELECT ON `mysql`.`time_zone_name` TO '; 如果将所有的更改为 %, 就和通过控制台创建的账号一样了, 也可以在控制台看见此账号的所属数据库如果想要修改 IP 为 , 可以使用如下命令 : RENAME USER `test001`@` ` TO `test001`@` `; 1.6 授权用户只能访问数据库中的某个表控制台创建的账号授权后默认是可以管理整个数据库, 如果只想要账号管理数据库中的某个表, 可以通过 SQL 命令进行授权前提条件创建高权限账号操作步骤 1. 登录 RDS 管理控制台 2. 在页面左上角, 选择实例所在的地域 3. 找到目标实例, 单击实例 ID 4. 在右上角单击登录数据库, 使用高权限账号登录数据库 5. 单击 SQL 操作 > SQL 窗口 10 文档版本 :

6. 通过以下命令创建新用户并授权管理数据库下的表, 此账号在控制台上无法查看到所属数据库示例创建新用户 test01 并授权管理 rds001 数据库下的表 test100 CREATE USER `test01`@`%`identified BY 'passwd'; GRANT PROCESS, REPLICATION SLAVE, REPLICATION CLIENT ON *.

15 6. 通过以下命令创建新用户并授权管理数据库下的表, 此账号在控制台上无法查看到所属数据库示例创建新用户 test01 并授权管理 rds001 数据库下的表 test100 CREATE USER BY 'passwd'; GRANT PROCESS, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO ' GRANT ALL PRIVILEGES ON `rds001`.`test100` TO GRANT SELECT ON `mysql`.`help_topic` TO GRANT SELECT ON `mysql`.`func` TO GRANT SELECT ON `mysql`.`time_zone` TO GRANT SELECT ON `mysql`.`slow_log` TO GRANT SELECT ON `mysql`.`time_zone_transition` TO GRANT SELECT ON `mysql`.`event` TO GRANT SELECT ON `mysql`.`proc` TO GRANT SELECT ON `mysql`.`help_category` TO GRANT SELECT ON `mysql`.`help_relation` TO GRANT SELECT ON `mysql`.`help_keyword` TO GRANT SELECT ON `mysql`.`general_log` TO GRANT SELECT ON `mysql`.`time_zone_leap_second` TO GRANT SELECT ON `mysql`.`time_zone_transition_type` TO GRANT SELECT ON `mysql`.`time_zone_name` TO 如果将命令第三行的 test100 更改为 *, 就和通过控制台创建的账号一样了, 也可以在控制台看见此账号的所属数据库文档版本 :

16 最佳实践 / 2 双十一背后的数据库技术 2 双十一背后的数据库技术双十一就要来了, 全世界都为其疯狂, 但是经常会出现几万人抢一个红包或者很多人共同购买一个商品的情况, 这就引发了一个数据库比较担心的场景 --- 高并发作为历届双十一重要保障之一的云数据库 RDS 团队, 从参数优化链路访问弹性扩容架构设计等方面应对高并发场景 ( 如秒杀百万人抢单等 ), 保障双十一顺利进行这背后的技术是如何实现的呢? 本文, 将带您了解双十一阿里云 RDS 数据库背后技术的小秘密数据库参数在处理高并发场景的时候, 一些特定的数据库参数就成了数据快速响应平顺处理的关键, 如下面列出的几个重要参数 : loose_rds_max_tmp_disk_space: 控制 MySQL 能够使用的临时文件的大小 loose_rds_threads_running_high_watermark: 控制 MySQL 并发的查询数目, 常用于秒杀业务场景 loose_tokudb_buffer_pool_ratio: 控制 TokuDB 引擎能够使用的 buffer 内存大小 loose_max_statement_time: 控制 MySQL 查询的最长执行时间接下来举例说明 loose_rds_threads_running_high_watermark 在秒杀场景下的影响在秒杀活动刚开始的时候, 可以看到连接数呈指数级变化, 瞬间增加了 10 倍 12 文档版本 :

我们提供更高安全性的数据库代理访问模式, 用户可以根据需要随时开启或关闭数据库代理的规格由 RDS 系统自动管理,

17 最佳实践 / 2 双十一背后的数据库技术调整参数之前, 可以看到 run 数值非常高, 会导致数据库报警调整参数之后,update 数值与 run 数值往好的方向变化, 并发性能得到了增强链路访问在链路访问方面, 我们提供更高安全性的数据库代理访问模式, 用户可以根据需要随时开启或关闭数据库代理的规格由 RDS 系统自动管理, 可以在保证租户间资源隔离的前提下, 根据负载大小自适应调节数据库代理对应用透明无感知, 也无需人工干预, 大大降低了运维成本文档版本 :

最佳实践 / 2 双十一背后的数据库技术数据库代理位于运行于 ECS 的应用程序和数据库引擎中间, 由 RDS 系统自动进行维护, 所有的数据库请求和响应均从代理层经过并处理目前, 数据库代理支持如下功能 : 透明切换 :RDS 实例在发生故障规格升级或降级时, 数据库代理可以使实例切换更加柔和, 降低对应用的影响读写分离 : 提供透明的读写分离功能,

18 最佳实践 / 2 双十一背后的数据库技术数据库代理位于运行于 ECS 的应用程序和数据库引擎中间, 由 RDS 系统自动进行维护, 所有的数据库请求和响应均从代理层经过并处理目前, 数据库代理支持如下功能 : 透明切换 :RDS 实例在发生故障规格升级或降级时, 数据库代理可以使实例切换更加柔和, 降低对应用的影响读写分离 : 提供透明的读写分离功能, 应用层无需修改代码, 将查询请求分发到 RDS 只读实例, 降低主库的负载短连接优化 : 将突发性的高并发短连接 ( 常见于 PHP 应用 ) 在代理层进行缓冲, 减轻对 RDS 实例的冲击, 降低 RDS 的 CPU 负载和 CPS( 每秒新建连接数 ), 保障数据库运行稳定防暴力破解 : 保护 RDS 实例的账号密码, 避免账号密码被暴力破解 14 文档版本 :

最佳实践 / 2 双十一背后的数据库技术弹性扩容 RDS 实例支持弹性扩容, 既可以纵向增加本身实例规格, 也可以横向增加只读实例数量用户提前扩容, 就可以在双十一期间笑对大流量冲击, 而在高峰期过后也可以及时释放掉多余实例, 避免资源浪费架构设计为了应对日渐增长的双十一购买数据量和仓储数据量,RDS

19 最佳实践 / 2 双十一背后的数据库技术弹性扩容 RDS 实例支持弹性扩容, 既可以纵向增加本身实例规格, 也可以横向增加只读实例数量用户提前扩容, 就可以在双十一期间笑对大流量冲击, 而在高峰期过后也可以及时释放掉多余实例, 避免资源浪费架构设计为了应对日渐增长的双十一购买数据量和仓储数据量,RDS 团队也对各个支持的数据库进行了新的架构设计,ApsaraDB for RDS 当前支持 4 款关系型引擎, 提供容灾备份恢复监控等方面的全套解决方案信息安全信息安全问题也一直是商家和用户最关心的问题, 在疯狂的剁手中, 您一定不想您的商品信息和购买信息被泄露, 对于这个问题,RDS 团队做了多重保护, 确保用户信息安全文档版本 :

20 最佳实践 / 2 双十一背后的数据库技术除了以上几点,RDS 团队还对数据库的性能等进行了重新优化, 让商家和购买者完全不用担心数据库的性能和安全问题, 无忧无虑的剁手, 尽情享受双十一盛会! 16 文档版本 :

法律声明法律声明阿里云提醒您在阅读或使用本文档之前仔细阅读充分理解本法律声明各条款的内容如果您阅读或使用本文档, 您的阅读或使用行为将被视为对本声明全部内容的认可 1. 您应当通过阿里云网站或阿里云提供的其他授权通道下载获取本文档, 且仅能用于自身的合法合规的业务活动本文档的内容视为阿里

法律声明法律声明阿里云提醒您在阅读或使用本文档之前仔细阅读充分理解本法律声明各条款的内容如果您阅读或使用本文档, 您的阅读或使用行为将被视为对本声明全部内容的认可 1. 您应当通过阿里云网站或阿里云提供的其他授权通道下载获取本文档, 且仅能用于自身的合法合规的业务活动本文档的内容视为阿里阿里云云数据库 MySQL 版性能技术白皮书法律声明法律声明阿里云提醒您在阅读或使用本文档之前仔细阅读充分理解本法律声明各条款的内容如果您阅读或使用本文档, 您的阅读或使用行为将被视为对本声明全部内容的认可 1. 您应当通过阿里云网站或阿里云提供的其他授权通道下载获取本文档, 且仅能用于自身的合法合规的业务活动本文档的内容视为阿里云的保密信息, 您应当严格遵守保密义务 ; 未经阿里云事先书面同意,