PowerPoint 演示文稿

Size: px

Start display at page:

Download "PowerPoint 演示文稿"

清童
4 years ago
Views:

1 新硬件环境下的数据库技术演讲人 : 朱阅岸

2 内容大纲现代处理器及新型存储的发展现代处理器下的数据库技术面向新型存储的数据库系统总结

3 Do not go gentle into that good night,... Though wise men at their end know dark is right,...

4 内容大纲现代处理器及新型存储的发展现代处理器下的数据库技术面向新型存储的数据库系统总结

5 现代处理器功耗与制造工艺的原因使得处理器制造商不再追求高频率, 而是转向片上多处理器技术 Intel Haswell Ex 144 Cores Xeon Phi 72 cores nvidia GeForce GPU 216 cores Triple GeForce GPU 648 cores

6 CPU 与内存的速度日益扩大, 以前访问内存只需要一个 CPU 周期的时间, 现在访问内存都成了昂贵的操作, 出现了 "memory wall" 效应现代处理器 CPU 与 Memory 的速度日益增大

7 新型存储设备非易失性内存从实验室开始走向工业界, 例如 Intel 傲腾具有磁盘的持久存储特性与接近内存的访问速度主要特性是非易失低延迟高密度和读写不对称 + Non-Volatile Memory 兼具磁盘与内存特征

8 非易失性内存的技术主要有如下几种 : a) 相变存储器 : 材料可以在结晶状态与非结晶状态转变 b) 自旋磁矩 : 改变两层磁性材料磁矩方向 c) 铁电材料 : 材料所形成的电荷高低, 二元状态 d) 忆阻器 : 是一种有记忆功能的非线性电阻新型存储设备原理介绍 1. 相变技术 (phase change memory) 2. 自旋磁矩 3. 铁电材质 4. 忆阻器

9 相关参数 DRAM NAND Flash PCM 页面大小读延迟写延迟带宽擦除延迟 64B ~100ns ~100ns GB/s per die N/A 4KB ~25 µs ~500 µs 5-40 MB/s per die 2 ms 64B ~100ns ~1 µs MB/s per die N/A 寿命读耗能写耗能空闲耗能 0.8 J/GB 1.2 J/GB ~100 mw/gb 1.5 J/GB [28] 17.5 J/GB [28] 1 10 mw/gb 1 J/GB 6 J/GB ~1 mw/gb 密度

10 底层硬件决定上层软件的设计关系数据系统的开发始于上世纪 70 年代末, 磁盘 I/O 是那个时期系统性能的主要瓶颈数据库系统落后的设计观念与现代硬件的矛盾日益突出 DBMS 的设计不同并发下, 各个系统的扩展性 ref: Shore-MT: A Scalable Storage Manager for the Multicore Era

11 时间都去哪儿了 [SIGMOD 08] :OLTP through the looking glass, and what we found there 研究表明, 传统的磁盘数据库只有约 12% 的 CPU 时间用于实际事务处理, 其它时间都耗费在缓存池管理并发控制和恢复子系统等辅助性模块上传统的数据库系统的设计主要为优化磁盘 IO 与复用 CPU 而设计, 并且这些模块中存在中大量的临界区阻碍系统的扩展性

12 内容大纲现代处理器及新型存储的发展现代处理器下的数据库技术面向新型存储的数据库系统总结

13 列存储技术 : 这主要应用在 OLAP 领域, 例如列存储先驱 MonetDB, 为高效挖掘 CPU 的效率针对 cache 进行了大量的优化设计高速缓存友好的数据结构与算法 : 例如 cache line 对齐 cache 友好的表连接算法向量化查询执行引擎等 RAM-Locality 设计原则向量化查询执行 row store Vs. colum store cache 友好的表连接算法

14 一个例子 struct PGPROC {... TransactionId TransactionId int BackendId Oid Oid bool uint8... }; typedef struct PGXACT { TransactionId xid; TransactionId xmin;... } PGXACT; xid; xmin; pid; backendid; databaseid; roleid; incommit; vacuumflags; 25 个成员 5 个成员 for (i = 0; i < arrayp->numprocs; i++) { volatile PGPROC *proc = arrayp->procs[i]; TransactionId pxid = proc->xid; if (!TransactionIdIsValid(pxid)) continue;... if (TransactionIdEquals(pxid, xid)){ result = true; break; } }

$避免热点与简化临界区 txn_commit() { // prepare$ atomic_fetch_and_add(&global_tid);

15 避免热点与简化临界区 txn_commit() { // prepare commit // [ ] commit_tid = atomic_fetch_and_add(&global_tid); // quickly serialize transactions a la Hekaton }

16 避免热点与简化临界区 InnoDB 的性能瓶颈目前主要集中在锁管理器与日志模块 ; PostgreSQL 的性能瓶颈体现在缓冲区管理模块与日志模块先写日志数据库通常采用的一种事务日志实现方法

17 避免热点与简化临界区传统的日志提交算法主要有三个步骤 : 1. 首先获取写日志缓冲区上的排他锁 2. 线程将日志记录拷贝到相应的日志缓冲区 3. 释放缓冲区上的锁题 WAL 的实现引发的热点问

18 避免热点分布式日志 1. 日志管理器上竞争激烈的根本原因是系统强制给不相关的更新事务规定顺序实际上, 系统大部分事务没有冲突, 并行地执行 2. 将负载分散到 N 个不同的日志管理器上, 提高写日志的并行性

19 简化临界区 START_CRIT_SECTION(); /* Now wait to get insert lock */ #933 LWLockAcquire( WALInsertLock, LW_EXCLUSIVE);... copy the redo record #1220 LWLockRelease( WALInsertLock); END_CRIT_SECTION(); Pg9.4 之前的 WAL 实现 SpinLockAcquire( &Insert->insertpos_lck); startbytepos endbytepos prevbytepos = Insert->CurrBytePos; = startbytepos + size; = Insert->PrevBytePos; Insert->CurrBytePos = endbytepos; Insert->PrevBytePos = startbytepos; SpinLockRelease( &Insert->insertpos_lck) 优化的 WAL 实现

20 锁管理器 ( 锁申请 ) Lock ID Hash Table Lock Head L1 Lock Request L2 T1 Transaction Head Requirements 并发地查找或者创建锁每个锁追踪多个请求 L3 每个事务需要保存申请的锁 Lock Manager

21 事务执行热点问题 Hot lock Cold lock trx 1 trx 2 trx 3 锁管理器频繁地修改共享数据结构, 引发热点

22 事务执行减少与临界区的交互 Hot lock Cold lock trx 1 trx 2 trx 3 锁管理器代理线程将锁保留在本地, 传递给下一个事务

23 内容大纲现代处理器及新型存储的发展现代处理器下的数据库技术面向新型存储的数据库系统总结

24 NVRAM 之六脉神剑面向新型存储的数据库系统可字节寻址 N V RA M 特征非易失性

25 面向新型存储的数据库系统 NVRAM 接入 DBMS 的三种方式 Transaction Transaction Transaction Transaction Log buffer DRAM Data buffer DRAM Log buffer DRAM Data buffer DRAM Log buffer NVRAM Data buffer DRAM Data buffer DRAM Log and database files (HDD/SSD) log and data files (NVRAM) data files (HDD/SSD) undo and data files (NVRAM) 图 a. 传统的设计图 b. 作为磁盘替代图 c. 作为日志存储图 d. 全系统接入

26 面向新型存储的数据库系统 write-behind logging 1. 运行时只需追踪脏页, 无需构造 redo 日志 2. 事务按时间片成组提交, 提交时先写脏页, 然后写日志日志记录包含提交时间区间 (Cp,Cd), 无需构造 after-image 图. 刷盘次序 checksum LSN optype persisted Commit timestamp (C p ) dirty Commit timestamp(c d ) 图. 日志记录格式

27 write-behind logging 面向新型存储的数据库系统 1. 系统崩溃恢复时刻, 需要扫描日志, 建立崩溃时间区间 2. 为了减少系统崩溃恢复阶段需要扫描的日志量, 需要定期建立检查点 3. GC 进程会清理崩溃时间区间

28 面向新型存储的数据库系统 TPC-C benchmark

29 内容大纲现代处理器及新型存储的发展现代处理器下的数据库技术面向新型存储的数据库系统总结

30 总结应用需求数据以及计算机硬件是拉动数据库系统发展的三驾马车多核与内存计算时代下, 系统设计人员应当将更多的精力放在系统扩展性, 更应注重数据访问的局部性 NVM 的出现使得系统设计人员可以将注意力完全地从 I/O 上移除, 专注系统扩展性设计

31 这是最坏的时代, 这是最好的时代

32 THANK YOU!

Oracle 4

Oracle 4 01 04 Oracle 07 Oracle Oracle Instance Oracle Instance Oracle Instance Oracle Database Oracle Database Instance Parameter File Pfile Instance Instance Instance Instance Oracle Instance System