PowerPoint 演示文稿

Size: px

Start display at page:

Download "PowerPoint 演示文稿"

婴告宣
7 years ago
Views:

1 从分区到 Sharding 数据库核心业务表的分区设计杨廷琨

2 杨廷琨 (yangtingkun) Oracle ACE Director ITPUB 数据库管理区版主 ACOUG 核心会员个人介绍参与编写 Oracle 数据库性能优化 Oracle DBA 手记和 Oracle DBA 手记 3 十六年的一线 DBA 经验个人 BLOG 中积累了 2500 篇原创技术文章云和恩墨 CTO

3 目录分区与 Sharding 分区概述分区设计案例 12.2 分区新特性

6 10.2 压力测试

7 11.2 真实环境

8 12.1 Exadata 压测

9 12.1 Exadata 压测

10 Oracle vs. 天猫版本描述事务数天猫交易 10.2 HP Superdome X86 服务器全闪存阵列 Exadata X * Sharding 20000*100?

11 Oracle Sharding Sharding 数据垂直分区到多个独立的数据库中线性扩展自动部署自动 Rebalance 和 Resharding 支持 HASH RANGE LIST 和复合方式的自动数据分区

12 目录分区与 Sharding 分区概述分区设计案例 12.2 分区新特性

13 定义分区概述根据内部定义的规则, 将一张表的数据拆分到多个数据段中对应用透明, 程序可以不做任何额外调整可以通过分区列上的条件访问指定分区的数据, 也可以通过分区扩展语句显式的访问分区级别上提供删除, 截断, 迁移, 索引的能力

14 分区概述分区的优点可维护性可用性增强 OLTP: 降低共享资源争用 OLAP: 提升查询性能

15 Oracle 分区演进历史版本功能性能管理性 Oracle 8.0 Oracle 8.1 范围分区本地全局范围索引哈希分区范围哈希分区静态分区剪裁基本维护功能 :ADD DROP EXCHANGE 分区智能连接动态分区剪裁扩展维护功能 :MERGE Oracle 9.0 列表分区全局索引维护 Oracle 9.2 范围列表分区快速分区 SPLIT Oracle 10.1 全局哈希索引分区本地索引维护 Oracle 10.2 单表允许 1 百万分区多维度分区剪裁快速 DROP TABLE Oracle 11.1 虚拟列分区多重复合分区方式参考分区间隔分区分区建议增量统计信息收集 Oracle 11.2 HASH 复合分区扩展参考分区 AND 分区剪裁多分支执行 Oracle 12.1 间隔参考分区多个分区的分区维护操作异步全局索引维护在线分区 MOVE 级联 TRUNCATE 部分分区索引

16 目录分区与 Sharding 分区概述分区设计案例 12.2 分区新特性

17 适用场景时间属性关注近期数据最佳实践数据生命周期和访问范围明确时间条件限定定期清理过期分区非主键优先本地索引优势数据分布平均, 分区数量可控 DDL 清理过期数据查询仅访问个别分区表大小相对稳定索引大小相对稳定范围分区

18 范围分区面临挑战分区清理逻辑复杂 DELETE 效率低下 DELETE 无法释放空间数据量迅速膨胀分区数量不断增长解决方案 INSERT + EXCHANGE 方式 MERGE 分区减少分区数量避免 DELETE 效率低下避免空间无法释放

19 范围分区 SQL> SELECT TEMPORARY, COUNT(*) FROM T_PART PARTITION (P3) GROUP BY TEMPORARY; T COUNT(*) Y 30 N SQL> LOCK TABLE T_PART PARTITION (P3) IN EXCLUSIVE MODE; Table(s) Locked. SQL> INSERT INTO T_INTER SELECT * FROM T_PART PARTITION (P3) WHERE TEMPORARY = 'Y'; 30 rows created. SQL> ALTER TABLE T_PART EXCHANGE PARTITION P3 WITH TABLE T_INTER; Table altered. SQL> SELECT TEMPORARY, COUNT(*) FROM T_PART PARTITION (P3) GROUP BY TEMPORARY; T COUNT(*) Y 30

20 面临挑战子表不包含分区时间列主子表时间列字段含义不同数据清理破坏主子表依赖关系子表需要冗余主表分区字段主外键约束禁止 DDL 操作范围分区解决方案主表时间字段范围分区子表外键建立参考分区参考分区不会破坏主外键依赖关系

21 参考分区适用场景主子表采用相同的数据清理策略子表没有合适的分区字段主子表经常关联访问 SQL> CREATE TABLE T_PRIMARY (ID NUMBER PRIMARY KEY, NAME VARCHAR2(128), CREATED DATE) 2 PARTITION BY RANGE (CREATED) 3 (PARTITION P1 VALUES LESS THAN (TO_DATE('201512', 'YYYYMM')), 4 PARTITION P2 VALUES LESS THAN (MAXVALUE)); Table created. SQL> CREATE TABLE T_FOREIGN (ID NUMBER, FID NUMBER NOT NULL, NAME VARCHAR2(128), 2 CONSTRAINT FK_FID FOREIGN KEY (FID) REFERENCES T_PRIMARY (ID)) 3 PARTITION BY REFERENCE (FK_FID); Table created.

22 适用场景没有时间属性缺少区分数据的业务字段哈希分区最佳实践分区键值列选择重复度不高的字段分区数量应为 2 的幂多创建全局索引哈希分区索引可解决索引热点块问题优势分区没有业务特点的数据数据均匀分布有效解决递增索引的热点块问题

23 哈希全局分区索引批量插入导致索引热点块争用 RAC 全局等待加重热点块问题逆键索引不支持范围扫描 SQL> CREATE TABLE T_PART (ID NUMBER, NAME VARCHAR2(30), CREATED DATE); Table created. SQL> CREATE INDEX IND_PART_CREATED ON T_PART(CREATED) GLOBAL 2 PARTITION BY HASH (CREATED) 3 PARTITIONS 32; Index created.

24 适用场景地域, 类型等有限的业务属性访问一种或几种业务属性通过业务属性可平均拆分数据最佳实践地区字段是常见候选列表分区数据分布和访问方式确定分区键值划分设定 DEFAULT 分区优势分区方式和业务匹配度更好数据如何在分区中存放的选择度更高分区键值与分区的对应更加明确

25 全局索引索引扫描不会导致逻辑读增加索引选择大部分分区维护操作会导致索引失效对于并行执行没有帮助

26 索引选择本地索引大部分分区维护操作不会导致索引失效支持并行扫描和创建唯一索引必须包含分区键值列未限定分区的查询将扫描全部索引分区

27 全局哈希分区索引具有分散热点数据的能力索引范围扫描将扫描全部索引分区索引选择

28 目录分区与 Sharding 分区概述分区设计案例 12.2 分区新特性

29 Oracle 12.2 新特性版本功能性能管理性多列列表分区多种在线分区操作过滤分区维护操作 Oracle 12.2 自动列表分区间隔子分区非分区表与分区表在线转换 DDL 操作减少游标失效只读分区创建交换分区表外部表分区

30 自动列表分区 Oracle 12.2 新特性 SQL> CREATE TABLE T_LIST_AUTO (ID NUMBER, NAME VARCHAR2(30), TYPE VARCHAR2(30)) 2 PARTITION BY LIST (TYPE) AUTOMATIC 3 (PARTITION P1 VALUES ('TABLE')); Table created. SQL> INSERT INTO T_LIST_AUTO VALUES (1, 'V_VIEW', 'VIEW'); 1 row created. SQL> SELECT TABLE_NAME, PARTITION_NAME, HIGH_VALUE FROM USER_TAB_PARTITIONS WHERE TABLE_NAME = 'T_LIST_AUTO'; TABLE_NAME PARTITION_NAME HIGH_VALUE T_LIST_AUTO P1 'TABLE' T_LIST_AUTO SYS_P1366 'VIEW'

31 Oracle 12.2 新特性间隔子分区 SQL> CREATE TABLE T_INTER_SUBPART (ID NUMBER, CREATED DATE, TYPE VARCHAR2(30)) 2 PARTITION BY LIST (TYPE) SUBPARTITION BY RANGE (CREATED) INTERVAL (NUMTOYMINTERVAL(1, 'MONTH')) 3 SUBPARTITION TEMPLATE (SUBPARTITION SP1 VALUES LESS THAN (TO_DATE(' ', 'YYYYMMDD'))) 4 (PARTITION P1 VALUES ('TABLE')); Table created. SQL> INSERT INTO T_INTER_SUBPART VALUES (1, SYSDATE, 'TABLE'); 1 row created. SQL> SELECT SUBPARTITION_NAME, HIGH_VALUE FROM USER_TAB_SUBPARTITIONS WHERE TABLE_NAME = 'T_INTER_SUBPART'; SUBPARTITION_NAME HIGH_VALUE P1_SP1 TO_DATE(' :00:00', 'SYYYY-MM-DD HH24:MI:SS', 'NLS_CALENDAR=GREGORIA SYS_SUBP1367 TO_DATE(' :00:00', 'SYYYY-MM-DD HH24:MI:SS', 'NLS_CALENDAR=GREGORIA

32 Oracle 12.2 新特性非分区表在线转换分区表 SQL> CREATE TABLE T_ONLINE_PART (ID NUMBER, NAME VARCHAR2(128), CREATED DATE); Table created. SQL> INSERT INTO T_ONLINE_PART SELECT ROWNUM, OBJECT_NAME, CREATED FROM DBA_OBJECTS; rows created. SQL> COMMIT; Commit complete. SQL> ALTER TABLE T_ONLINE_PART MODIFY PARTITION BY RANGE (CREATED) 2 (PARTITION P1 VALUES LESS THAN (TO_DATE('201512', 'YYYYMM')), 3 PARTITION P2 VALUES LESS THAN (TO_DATE('201601', 'YYYYMM')), 4 PARTITION PMAX VALUES LESS THAN (MAXVALUE)) ONLINE; Table created.

Oracle高级复制冲突解决机制的研究

Oracle高级复制冲突解决机制的研究 Oracle dbms_rectifier_diff Oracle : eygle (eygle.com@gmail.com dbms_rectifier_diff Oracle dbms_rectifier_diff : http://www.eygle.com/archives/2005/01/eoadbms_rectifi.html DIFFERENCES Oracle dbms_rectifier_diff.differences