SDCC-成都-运维技术与实战峰会v0.2

Size: px

Start display at page:

Download "SDCC-成都-运维技术与实战峰会v0.2"

贺翁
4 years ago
Views:

1 阿里巴巴云时代的数据库管理

2 阿里巴巴云时代的数据库管理目录阿里数据库技术团队概述 && 个人简介业务发展与规模化挑战与机遇 : 性能系统性问题多样化 DBA 的挑战与进化云时代 : 让研发具备 DBA 的能力

3 个人简介阿里巴巴数据库团队高级专家高性能 MySQL 第三版译者 09 年研究生毕业加入阿里数据库团队, 负责淘宝核心数据库运维管理优化配置, 构建了淘宝数据库第一代 MySQL 运维监控系统 2013 年开始支持阿里云数据库 RDS 运维与线上故障处理, 并开始探索并实践数据库服务产品化之路, 向用户提供数据库管理数据传输数据库优化等服务产品个人博客 : Google: orczhou

4 阿里巴巴数据库技术团队概述负责阿里旗下所有子公司的数据库管理负责历年双 11 双 12 春节红包等大型活动的数据库容量规划架构升级运行稳定性等主导了阿里去 IOE 异地多活等架构落地, 负责阿里巴巴 MySQL 内核研发研发了 idb( 企业数据库研发流程平台 ) OceanBase 云平台数据管理 DMS 数据传输 DTS 等云产品

5 数据库团队的进化运维工具时代 Oracle 小型机存储脚本平台与服务时代双 11 去 IOE 异地多活云服务时代云计算 OceanBase Docker DevOps 自助

6 来自业务的压力 2012 年 : 某核心集群总共执行 293 亿次 SQL/ 天, 集群总 QPS 达 86 万 / 秒, 集群 TPS11 万 / 秒, 单机 QPS 高达 6.5 万 / 秒 2015 年 : 约 500 万 QPS

7 规模化与性能优化简单的数学 :5% 的性能提升意味什么? 台主机 *5 万 *5% = 2500 万台主机 *5 万 *10% = 5000 万技术进化 1: 对性能极致的追求

8 对性能极致的追求 : 电商库存场景原生 MySQL 版本事务数 :550 业务 : 每秒卖出多少商品成本巨大架构复杂

9 对性能极致的追求 : 电商库存场景 Version 1 InnoDB Strict Concurrency Version 2 commit on success select from update Version 3 Row Cache Group Update

10 对性能极致的追求 : 电商库存场景 Transactions per Second Original Strict Hints + Strict Doing Responce Time / milliseconds TPS RT

11 对性能极致的追求 : 电商库存场景 T1 Transaction model: 1 begin; 2 insert normal row; 3 update hot row; 4 selecthot row; 5 commit; Deadlook Searching T2 T3... T1000 lock_sys->mutex InnoDB Row Locks hot rows normal rows T1 T2 InnoDB Concurrency InnoDB Row Locks lock_sys->mutex InnoDB Concurrency normal rows normal rows T3 T4 T5... hot rows normal rows normal rows Limit The Waiters

12 对性能极致的追求 : 电商库存场景 Transaction model: Transaction model: 1 begin; 1 begin; 2 insert normal row; 2 insert normal row; 3 select * from update hot row; 3 update hot row; 4 commit; 4 select hot row; 1 5 commit; st step 2 nd step Transaction model: 1 begin; 2 insert normal row; 3 select * from update commit_on_success rollback_on_fail

13 对性能极致的追求 : 电商库存场景自动热点识别批量提交

14 规模化与系统问题简单的数学 : 如果某个系统正常运行十年出一次故障, 那么运行一万个该系统的实例, 每个月会有多少次故障? (1/10/12)*10000 = 83.33

15 规模化与系统问题标准化 : 让系统更稳定上线前压测提升稳定性让自动化成为可能每次解决一个问题, 其实是解决了整个平台的问题解决每一个暴露的系统问题

16 系统问题案例 :Bug#77572 现象 :5.6 在 online DDL 的时候, 如果其他客户端写入数据出现了 UK 冲突后, 那么会导致 online DDL 失败 DDL 表有 UK 键 DDL 的表比较大时会出现 DDL 时其他客户端写入了冲突数据会出现

17 系统问题案例 :Bug#77572 背后的原因分析 : 在 Online DDL 过程中, 会记录所有对目标表的 PK 的修改行为, 即 Online Log 在 Insert 的时候先插入 PK, 发现成功, 记录一条 Insert log 再插入 UK, 发现冲突, 回滚 Insert 操作, 记录一条 Delete log 全量数据拷贝完成后, 在应用增量 Online Log 的时候, 在应用第一条 Insert log 时, 发现 UK 冲突, 报错退出,DDL 失败

18 系统问题案例 :Bug#77572 官方态度 : 是一个明确的 Limitation; 只修改报错内容 ; 阿里数据库 : 修复该 bug 通过平台自动化处理

19 业务扩张与多样化淘宝 1688 支付宝余额宝高德阿里云优土菜鸟天猫速卖通口碑招财宝 UC 钉钉虾米数据库技术与产品服务 MySQL OceanBase MongoDB SQLite

20 阿里巴巴云时代的数据库管理目录阿里数据库技术团队概述 && 个人简介业务发展与规模化挑战与机遇 : 性能与系统稳定性 DBA 的挑战与进化云时代 : 让研发具备 DBA 的能力

21 DBA 的挑战与进化不再处理重复的日常制定标准与规范解决深入的极端的系统问题形成新的最佳实践解决多样化需求与标准化的矛盾让新技术成为新常态专职的 DBA 会越来越少 : 平台会取代 DBA 的所具备的基础能力专业的 DBA 会越来越贵 :DBA 的专业能力会被平台所放大

22 云时代 : 让研发具备 DBA 的能力 idb: 企业数据库研发流程平台流程与规范性能优化与诊断研发 idb 平台

23 让研发具备 DBA 的能力 : 流程与规范研发直接变更 DBA 手动快但是质量良莠不齐质量高但是慢结构规范索引合理 SQL 高效引擎使用 InnoDB 不使用外键表必须加上注释尽量使用 UNSIGNED 字符集使用 UTF8 默认定义为 NOT NULL 表必须有数值主键 (InnoDB) 索引命名规范不要过多使用单列索字符串尽量定义前缀质量高但是略慢 DB Task 自动化尽量使用索引尽量使用索引覆盖核心 SQL 避免复杂逻辑 : 计算避免 WHERE 中的隐式转换建议使用合理的分页实现快质量比较高研发自助完成

24 让研发具备 DBA 的能力 : 诊断与优化内部用户 idb SQL 诊断引擎空间诊断诊断与优化会话诊断安全诊断高级功能全链路诊断云用户 DMS 索引推荐 SQL 改写专业建议空间分布空间增长碎片分析会话来源等待事件连接增长账号安全配置安全 SQL 注入分析实时预警容量评估手机 APP 健康评分锁诊断配置诊断网络诊断主动实时采集操作链路 jdbc staragent/ssh 基础采集与流计算平台 Top SQL SQL 直方图 Top 空间性能基线空间增长基线会话基线性能指标 SQL/ 日志专业数据 CPU 内存 QPS TPS Net in/out, SQL 流水慢 SQL 会话 SQL alert log, 锁表容量会话账号参数状态, 公司内部 DB RDS MySQL MongoDB OceanBase SQLServer ECS 自建库

25 挑战还在继续, 欢迎加入

PowerPoint 演示文稿

PowerPoint 演示文稿 AliSQL 5.6 及其应用阿里巴巴江疑个人简介花名 : 江疑真名 : 章颖强微博 : 小强 -zju AliSQL 内核主要维护者 AliSQL 的历史摘要 AliSQL 5.6 的性能 & 功能性能对比 AliSQL 的里程碑 2011 2012 2014 AliSQL 5.1 发布 AliSQL 5.5 发布 AliSQL 5.6 发布并行复制热点补丁线程池 SQL hint