InnoDB架构分析以及TNT引擎的优势

Size: px

Start display at page:

Download "InnoDB架构分析以及TNT引擎的优势"

岁梅
5 years ago
Views:

1 InnoDB 架构分析以及 TNT 引擎的优势网易杭研院 : 微博 : 博客 : 邮箱 : 何登成何 _ 登成深入 MySQL 内核 he.dengcheng@gmail.com

2 Outline Why MySQL? Why InnoDB? Why TNT? TNT vs InnoDB: Tests

3 Why MySQL MySQL 这个双十一狂欢节, 淘宝核心系统全部去 IOE, 使用 PC 和 MySQL, 众集群表现稳定, 其中某核心集群总共执行 293 亿次 SQL/ 天, 集群总 QPS 达 86 万 / 秒, 集群 TPS11 万 / 秒, 单机 QPS 高达 6.5 万 / 秒, 分布式 MySQL 丁原 :Alipay MySQL 集群双 11 当天支撑了 156 亿次 SQL, 和 oracle 集群还是有很大差距, particular, on the number of Tweets per second (TPS). Last night, Twitter averaged about 9,965 TPS from 8:11pm to 9:11pm PT, with a one-second peak of 15,107 TPS at 8:20pm PT and a one-minute peak of 874,560 TPM.

4 Why MySQL 使用最广的开源数据库评分标准成熟的社区与研发 Oracle s MySQL Percona MariaDB Planet MySQL

5 MySQL Architecture

6 Why InnoDB 事务引擎在目前 MySQL 的所有官方开源引擎中,InnoDB 是唯一的一个支持事务的通用性引擎 ; 使用广泛淘宝支付宝网易 Facebook Twitter..., 均使用 InnoDB 存储引擎 ; 研发 Oracle s InnoDB 团队每年都会推出新版本 ; Percona s XtraDB 发展较快 ; 各大公司提供改进 Patch(Google/Facebook/Twitter/Alibaba/NetEase...)

7 InnoDB Architecture General Architecture OLTP 引擎索引组织表 ( 聚簇索引包含完整数据 ); 行存储 ; 行级锁 ; MVCC( 多版本 ) 核心架构与 Oracle 类似 ; 历史版本存储于 Rollback Segment( 回滚段 ); 文件组织数据存储于 Tablespace; 日志存储于 Log File; 内存管理 Buffer Pool;

8 InnoDB Architecture( 续 ) 架构优化 Insert Buffer Cache 二级索引的更新, 提高更新效率 ; Adpative Hashing 提高二级索引查找效率 ; Async I/O 提高 I/O 效率 ; Fuzzy Checkpoint 降低检查点操作, 对于系统性能影响 ; 可提高崩溃恢复的效率 ; Double Write 解决磁盘 Half-Writtern 问题 ;

10 What s Good in InnoDB 按照个人理解, 排名分先后 MVCC InnoDB 采用了于 Oracle 类似的多版本实现策略 ; 此策略是 InnoDB 能够成功的基础 ; Simple First InnoDB 架构实现简单, 包括 : 并发控制 ;B+-Tree; 大对象... 简单先行, 是 InnoDB 成功的第二个基础 ; Cluster Index 索引组织表, 是 InnoDB 在互联网简单 OLTP 应用中高性能的基础 ;...

11 What s Bad in InnoDB 研发进度慢用户需求, 往往要几年后才能加上 ; 新版本稳定性新版本发布之后,Bug 较多 ( 新版本功能越多, 稳定周期越长 ); 目前广泛使用的, 仍旧是 MySQL 5.1,MySQL 5.5 逐步推广... InnoDB 目前在 Oracle 手中考虑到 Oracle 自己的产品, 以及其针对开源的策略, 有使用风险 ; 缺乏有效的度量数据运维过程中无法定位问题所在 ;

12 What s Bad in InnoDB( 续 ) Simple First 后遗症较多但节点可扩展性较差 : 单机多实例? 高可用支持较差 : 运维困难 ; 不支持行级缓存 : 需要与 Memcached 配合使用 ; 压缩实现较差 : 压缩功能使用较少 ; 索引大对象实现效率较低 ;... Cluster Index 索引查询 ( 辅助索引 ), 性能较差 ; MVCC 外存空间消耗较大 ; 旧版本回收对性能有较大影响 ;...

13 Why TNT What s TNT? 由网易杭研研发的具有自主知识产权的, 基于 MySQL 的存储引擎 ; TNT 在网易研发的前一版本存储引擎 NTSE 的基础上发展而来 ; NTSE Non-Transaction Storage Engine 非事务存储引擎 ; TNT Transaction Non-Transaction (Storage Engine) 事务与非事务统一支持的存储引擎 ;

14 TNT Architecture General Architecture OLTP 引擎堆组织表 ; 行存储 ; 行级锁 ; 持久化依赖于 NTSE 充分吸收 NTSE 的优势 ; 减少重复轮子 ; MVCC 多版本支持, 读写不冲突 ; 历史版本存储于版本池 ( 类似于 InnoDB 的回滚段 ) 行级多版本, 与 InnoDB 一致 ; 内存多版本, 外存单一版本 ;

16 TNT 的架构创新 MVCC Cache 内存多版本, 外存单一版本减少了多版本存储开销 ; 减少了多版本回收开销 ; Row Cache 记录级缓存, 相对于页面级缓存, 提高了内存利用率 ; 内嵌记录级缓存, 省去了搭建 Memcached 的开销 ; 内嵌记录级缓存, 缓存能够与数据库保持一致性 ; 基于数据字典的压缩压缩 / 解压粒度更细, 记录级 / 列级压缩解压粒度 ; 压缩 / 解压效率更高 ; 表级数据字典采集, 每个表拥有自己的数据字典, 压缩率更高 ; 数据字典可在线重采集, 表可以在线重压缩 ;

19 基于全局数据字典的压缩记录压缩 TNT 的采用的是全表基于数据字典的记录级压缩, 压缩算法参考 LZ77/78,Deflate 等 ; 数据字典针对每个压缩表, 首先采集数据字典所谓数据字典, 就是记录中出现频率较高的字符串 ; 测试效果注 1:TPC-H 10GB 数据量压缩比 ; 注 2: 数据压缩,TNT 完全继承自 NTSE; 注 3: 其他数据库测试结果, 参考自

20 TNT 引擎的其他优势高可用设计创建 / 删除索引 Optimize 等操作, 在线完成, 过程无需拷贝表, 最终短暂锁表 ; 新增列操作, 瞬时完成, 只修改表定义, 不修改数据 ; 监控与诊断提供各方面的监控信息, 方便运维管理 ; 高并发支持内部并发瓶颈较少研发进度保障 TNT 自主研发, 能更快的响应 Bug 与用户需求 ; 完备的性能测试框架 TNT 有一整套完备的性能测试框架, 用于定位系统的性能瓶颈等 ; 事务与非事务切换功能 TNT 引擎, 可以同时支持事务表与非事务表, 由用户选择 ;

21 TNT 的监控与诊断丰富的监控信息对象级监控信息表堆索引 MMS... 并发冲突监控 Mutex RW Lock Intention Lock 其他监控连接内存等表名 TNT_NTSE_BUF_DISTRIBUTION TNT_NTSE_DBOBJ_STATS TNT_NTSE_HEAP_STATS TNT_NTSE_INDEX_STATS TNT_NTSE_LOB_STATS TNT_NTSE_MMS_STATS TNT_NTSE_MUTEX_STATS TNT_NTSE_RWLOCK_STATS TNT_NTSE_TABLE_STATS TNT_TNT_TRANSACTION_SYS_STATS TNT_TNT_INDEX_STATS TNT_TNT_MHEAP_STATS TNT_TNT_MEMORY_INDEX_STATS 说明及常用功能 TNT 各数据库对象占用页面缓存情况, 可用于确定占用 TNT 内存较多的表或数据库对象 TNT 各表各类数据库对象操作统计各 TNT 表堆存储组件的操作统计各 TNT 表索引存储组件的操作统计各 TNT 表大对象存储组件的操作统计各 TNT 表 Row Cache 存储组件的操作统计 TNT 内部各类互斥锁的统计信息 TNT 内部各类读写锁的统计信息各 TNT 表操作统计信息 TNT 内部事务情况的统计信息 TNT 的索引统计信息 MVCC Buffer 中堆的统计信息 MVCC Buffer 中索引的统计信息

22 TNT 的性能测试框架性能测试框架实时收集各类统计信息并绘制为可视图, 方便问题的跟踪与定位操作系统层面信息收集 CPU 利用率走势 ; I/O 利用率走势 ; I/O 合并情况 I/O 队列大小等 ;... TNT 引擎内部信息收集采集 TNT 系统内部提供的监控信息 ; 并发冲突信息 ; 脏页情况...

23 TNT 性能测试框架 ( 举例 ) 操作系统层面信息 CPU 利用率 TNT 引擎内部信息 Mutex 等待次数

24 TNT 目前的不足之处 TNT 引擎目前的不足之处新生产品, 未经过线上应用挑战引入 TCPCopy 工具, 模拟线上应用测试 ; TNT 对于长事务的支持较差长事务, 会导致内存多版本无法回收, 内存使用量增加 ; 适用于短事务的 OLTP 应用 ; TNT 在很多细节上的优化, 还不够 TNT 的很多模块, 缺乏在于细节上的深入优化 ( 这也跟我们产品初创阶段有关 ); TNT RC 版本代码量 11 万行左右 ; MySQL GA 版 InnoDB 代码量 16 万行左右 ;

25 TNT vs InnoDB: Tests TNT 与 InnoDB 的对比测试测试环境 Intel(R) Xeon(R) CPU 2.00GHz 32-Core 8 块 SAS 盘,RAID-0 128G Memory MySQL (TNT 基于此版本开发 ) Blogbench 测试 Blogbench 测试工具, 为自主研发的测试工具, 用于模拟网易博客类应用 ; 测试准备 1000 万记录 ;10 小时运行 ; 内存使用为 InnoDB 数据量的 30%; TPCC 测试 TPCC, 测试数据库 OLTP 性能的基准工具 ; 测试准备 TPCC 客户端 :Percona 开源 tpcc-mysql 工具 ; 100-warehouses;32-threads;10 小时 ;25G Memory;

27 TNT vs InnoDB:Blogbench 结果分析 TPS TNT: Total( ) Avg(26331) InnoDB: Total( ) Avg(6715) TNT 的 avg TPS 为 InnoDB 的 4 倍左右 ; Response Time TNT: Avg(1 ms) 90%(1 ms) InnoDB: Avg(4 ms) 90%(14 ms) TNT 的响应时间要优于 InnoDB; InnoDB 8MB Log Buffer;1 GB Log File; 关闭 Binlog; innodb_flush_log_at_trx_commit = 0;

29 TNT vs InnoDB: TPCC 结果分析 TNT TPMC 在 InnoDB 的 2 倍左右 ( vs ); 每秒的 TPS 已经较为稳定, 但是与 InnoDB 还是有所差距 ; InnoDB 未详细定位奇异点产生的原因 ; InnoDB 的调优集中于参数层面, 未修改源码 ; 参数设置 : innodb_flush_log_at_trx_commit = 0; binlog_ignore_db

30 总结与展望 MySQL MySQL 数据库使用广泛 ; InnoDB InnoDB 存储引擎有其架构优势, 也有不足之处 ; TNT 引擎自主研发, 相对于 InnoDB 有功能优势 ; In-Memory MVCC;Row Cache;Compression;... 在测试中, 表现出比 InnoDB 更好的性能 ; , 将发布第一个 GA 版本 ; 功能增强 vs 性能优化

31 参考资料 Peter Zaitsev, InnoDB Architecture and Internals. Peter Zaitsev, InnoDB Architecture and Performance Optimization. Heikki Tuuri, InnoDB: Architecture, Status, and New Featuers. DB-Engines, DB-Engines Ranking DB-Engines, Method of calculating the scores of DB-Engines Ranking ChinaUnix, 数据库横评 5 款主流行式数据库评测总结

32 Questions?

33 谢谢大家!

NTSE: Non-Transactional Storage Engine MySQL InnoDB 10 InnoDB +Memcached 5 50% / K C++

NTSE Web MySQL (Breezes/ ).. http://wangyuanzju.blog.163.com wangyuan@corp.netease.com NTSE: Non-Transactional Storage Engine MySQL InnoDB 10 InnoDB +Memcached 5 50% / 2008.6 2010.5 90K C++ Web - UGC