曹鲁

Size: px

Start display at page:

Download "曹鲁"

献人柳
5 years ago
Views:

1 CarbonData Partition 功能介绍与上汽集团 CarbonData实践分享曹鲁 79

2 关于我曹鲁年毕业于武汉学计算机学院曾负责某融业公司BI ETL系统开发某互联电商业公司数据仓库的容量管理性能调优等 6年加上汽集团数据业务部负责数据平台架构设计与开发关注数据技术与开源社区 Mail

3 上汽集团数据业务部主要负责规划和实施数据管理体系建设数据基础架构和分析平台拓展和提升集团内企业数据业务能推动智能技术在集团业务中的应用为上汽集团战略转型和创新发展提供支持和服务

4 议题 CarbonData Partition 功能介绍 CarbonData背景件结构建索引过程简介 Partition功能将带来的改变 PartitionTable的建表语句 PartitionTable的数据加载过程 PartitionTable的查询过程 Partition 的新增(add) 拆分(split)及删除(drop) 上汽集团的CarbonData实践

5 CarbonData Partition 功能介绍 Apache CarbonData 是数据平台上种带索引的列式存储数据格式 6年6月由华为公司贡献 apache基会成为apache孵化项目 7年4月正式毕业为apache顶级项目

6 CarbonData Partition 功能介绍件结构简介 Blocklet: 件内的数据块 Carbon Data File File Header Version Column chunk: Blocklet内的列数据元数据和索引信息 Header Version Schema Footer Blocklet Offset, Index & statistics Schema Blocklet Page Column Chunk Page Page Column Chunk Column n Chunk Blocklet N File Footer Blocklet Offset, Index & Stats

CarbonData Partition 功能介绍索引成过程字典编码 + 排序 MDK => Multi Dimension Key Blocklet (Columnar view) Quarters QTR QTR QTR QTR QTR QTR QTR QTR QTR QTR Months Jan Jan Jan Feb Feb Mar Mar Mar Apr Apr Territor

58 5545 9749 5 598 [,,,,] : [4,4] [,,,,] : [44,446] [,,,,] : [54,547] [,,,,4] : [545,5887] [,,,,5] : [675,568] [,,,,7] : [57,58] Quantity 4 54 44 545 675 5 57 56 55 44 Sales,4 54,7 44,6 58,87 56,8

7 CarbonData Partition 功能介绍索引成过程字典编码 + 排序 MDK => Multi Dimension Key Blocklet (Columnar view) Quarters QTR QTR QTR QTR QTR QTR QTR QTR QTR QTR Months Jan Jan Jan Feb Feb Mar Mar Mar Apr Apr Territor y EMEA APAC EMEA EMEA EMEA APAC EMEA Japan APAC EMEA Countr y Germany China Spain Denmark Italy India UK Japan Australia Germany C C C4 C5 C6 C [,,,,] : [4,4] [,,,,] : [44,446] [,,,,] : [54,547] [,,,,4] : [545,5887] [,,,,5] : [675,568] [,,,,7] : [57,58] Quantity Sales,4 54,7 44,6 58,87 56,8 9,749 5,8 55,45 5,98,5 Encoding Sorted MDK Index C Years Sort (MDK Index) [,,,,] [,,,,] [,,,,] [,,,,4] [,,,,5] [,,,,6] [,,,,7] [,,,,8] [,,4,,9] [,,4,,] : [4,4] : [54,547] : [44,446] : [545,5887] : [675,568] : [5,9749] : [57,58] : [56,5545] : [55,598] : [44,5]

8 CarbonData Partition 功能介绍索引成过程 File Footer Blocklet Blocklet Blocklet Blocklet Blocklet Blocklet Index Blocklet Start Key End Key C(Min, Max) C7(Min, Max) Start Key End Key4 Start Key End Key Blocklet4 Start Key4 End Key4 C(Min, Max) C7(Min, Max) Start Key End Key4 Start Key Start Key End Key End Key Start Key End Key Start Key4 End Key4 C(Min,Max) C(Min,Max) C(Min,Max) C(Min,Max) C7(Min,Max) C7(Min,Max) C7(Min,Max) C7(Min,Max)

9 CarbonData Partition 功能介绍初次性能测试相对较慢的查询场景没有排序维度过滤条件的聚合查询即法使用Btree索引有排序维度列作为过滤条件但聚合列在MDKey中排序较为靠后的聚合查询 CarbonData对比Parquet查询性能测试 Dec 6, CarbonData

10 CarbonData Partition 功能介绍为什么我们要做Partition功能 or Partition功能将带来哪些改变

11 CarbonData Partition 功能介绍 Partition带来的改变改变数据将基于Partition列更为集中存储查询时可过滤掉量block 减少spark task数量查询引擎 P P P P4

12 CarbonData Partition 功能介绍 Partition带来的改变改变可以使其他列在排序中更靠前提升查询性能 Col A Col B Col C Col D Col D Col E Col A Col B Col C Col E P P

13 CarbonData Partition 功能介绍目前支持三种类型Partition Table Hash Partition Range Partition List Partition Range Interval Developing

14 CarbonData Partition 功能介绍 Hash Partition DDL Syntax CREATE TABLE [IF NOT EXISTS] [db_name]table_name [(col_name data_type, )] PARTITIONED BY (partition_col_name data_type) STORED BY 'carbondata' [TBLPROPERTIES ('PARTITION_TYPE'='HASH', 'PARTITION_NUM'='N' )] //N is the number of hash partitions Example create table if not exists hash_partition_table( col_a String, col_b Int, col_c Long, col_d Decimal(,), col_f Timestamp ) partitioned by (col_e Long) stored by 'carbondata' tblproperties('partition_type'='hash','partition_num'='9')

15 CarbonData Partition 功能介绍 Range Partition DDL Syntax CREATE TABLE [IF NOT EXISTS] [db_name]table_name [(col_name data_type, )] PARTITIONED BY (partition_col_name data_type) STORED BY 'carbondata' [TBLPROPERTIES ('PARTITION_TYPE'='RANGE', 'RANGE_INFO'='4--, 5--, 6--' )] Example create table if not exists range_partition_table( col_a String, col_b Int, col_c Long, col_d Decimal(,), RangeInfo 必须为升序 col_e Long ) partitioned by (col_f Timestamp) stored by 'carbondata' tblproperties('partition_type'='range', 'range_info'='5--, 6--, 7--, 7--')

16 CarbonData Partition 功能介绍 List Partition DDL Syntax CREATE TABLE [IF NOT EXISTS] [db_name]table_name [(col_name data_type, )] PARTITIONED BY (partition_col_name data_type) STORED BY 'carbondata' [TBLPROPERTIES ('PARTITION_TYPE'='LIST', 'LIST_INFO'='A, B, C' )] Example create table if not exists list_partition_table( col_b Int, col_c Long, col_d Decimal(,), col_e Long, ListInfo支持One Level Group col_f Timestamp ) partitioned by (col_a String) stored by 'carbondata' tblproperties('partition_type'='list', 'list_info'='aaaa, bbbb, (cccc, dddd), eeee')

17 CarbonData Partition 功能介绍 Show Partition Syntax: SHOW PARTITIONS [db_name]table_name Hash Partition Range Partition partition vin = HASH_NUMBER(5) partition , logdate = DEFAULT, logdate < 4//, 4// <= logdate < 5//, 5// <= logdate < 6// Partition Id List Partition partition , country = DEFAULT, country = China, country = UK, US, country = Japan 7, country = Canada 8, country = Russia 9, country = Fiji 5, country = Korea 6, country = India

18 CarbonData Partition 功能介绍数据加载过程 Rddpartitionby(partitioner) Shuffle Writer DataNode Reader Writer DataNode Reader Writer DataNode Reader Writer HDFS Scan RDD row => (partitionvalue, row) Load RDD

19 CarbonData Partition 功能介绍查询过程根据SQL中的过滤条件=, <=, <, >, >=, in, not in以及表达式右值确定命中的partitionId Example 某表A以年龄为分区字段创建range partition table 分区信息为 range_info =,,, 4, 5, 6, 7, 8 SQL过滤条件: age >= and age < 4 得到命中的分区ID为, 4 如果有其他在排过序的维度列有过滤条件则在driver端根据Btree索引获取blocklet 所在的件名如没有则获取全部再根据件名中的 partitionid 筛选得到需要读取的件最后再下发spark task进读取 Partition Id

20 CarbonData Partition 功能介绍 Add Partition Syntax ALTER TABLE [db_name]table_name ADD PARTITION('new_partition') Process 修改PartitionInfo 读取默认分区 PartitionId为数据并根据新的 PartitionInfo重新导数据删除旧的默认分区数据件 N Max N Max Max

21 CarbonData Partition 功能介绍 Split Partition Syntax ALTER TABLE [db_name]table_name SPLIT PARTITION(partition_id) INTO('new_partition', 'new_partition') Process 修改PartitionInfo Note 不能Split 分区默认分区 6

22 CarbonData Partition 功能介绍 Split Partition Process 读取目标分区数据并根据新的PartitionInfo重新导数据 RangePartition A C ListPartition D [A, B) => [A, C), [C, D), [D, B) 删除旧分区数据件 B

23 CarbonData Partition 功能介绍 Drop Partition Syntax //Drop partition definition only and keep data ALTER TABLE [db_name]table_name DROP PARTITION(partition_id) //Drop both partition definition and data ALTER TABLE [db_name]table_name DROP PARTITION(partition_id) WITH DATA Process 修改PartitionInfo

24 CarbonData Partition 功能介绍 Drop Partition Process a Drop Partition 但保留数据 RangePartition Drop最后个partition 数据merge到default partiton Drop非最后partition 数据merge到 next partition

25 CarbonData Partition 功能介绍 Drop Partition Process a Drop Partition 但保留数据 ListPartition 数据merge到default partiton 6 b Drop Partition 不保留数据

26 上汽集团CarbonData实践分享集群环境台Spark client server 6台DataNode server 启用资源测试数据样本 spark-shell --master yarn --deploy-mode client --num-executors 6 --driver-memory g --executor-memory 5g --executor-cores 5 荣威RX5 7年月日~月日数据每天~5亿条 9~G 天共9亿条约667G

27 上汽集团CarbonData实践分享建表语句 CREATE TABLE IF NOT EXISTS rx5_carbon_partition_test( Id string, create_time timestamp, Field_C Int, Field_D String, 共5个字段其中绝部分为维度 Field_XX ) PARTITIONED BY (create_time_hour int) STORED BY 'carbondata' TBLPROPERTIES('PARTITION_TYPE' = 'RANGE', 'RANGE_INFO' = ',,, 4, 5, 6, 7, 8, 9,,,,, 4, 5, 6, 7, 8, 9,,,,, 4', 'SORT_COLUMNS' = 'Id, Field_C, Field_D ')

28 上汽集团CarbonData实践分享 Load时间对比 Partition(mins) Non-Partition(mins)

上汽集团CarbonData实践分享性能测试Case 排序维度列作为过滤条件有partition列上的范围过滤条件的聚合查询 select Date(create_time), count(distinct ID) from defaultrx5_carbon_partition_test where create_time_hour >= 7 and

29 上汽集团CarbonData实践分享性能测试Case 排序维度列作为过滤条件有partition列上的范围过滤条件的聚合查询 select Date(create_time), count(distinct ID) from defaultrx5_carbon_partition_test where create_time_hour >= 7 and create_time_hour < group by Date(create_time) 法应用索引或在索引中排序位置较为靠后 sql 578 sql Carbon partition Carbon non-partition Carbon partition Carbon non-partition 查询时间对比 Spark Task数对比

上汽集团CarbonData实践分享性能测试Case 有维度列作为过滤条件有Partition列过滤条件的聚合查询 select Date(create_time), count(*) from defaultrx5_carbon_partition_test where create_time_hour >= 7 and

30 上汽集团CarbonData实践分享性能测试Case 有维度列作为过滤条件有Partition列过滤条件的聚合查询 select Date(create_time), count(*) from defaultrx5_carbon_partition_test where create_time_hour >= 7 and create_time_hour < and id = XXXX group by Date(create_time) sql sql Carbon partition Carbon non-partition Carbon partition 查询时间对比 Carbon non-partition Spark Task数对比

31 上汽集团CarbonData实践分享性能测试Case 没有过滤条件的聚合查询性能测试Case4 没有过滤条件的聚合查询聚合列为partition列 select Date(create_time), count(*) from defaultrx5_carbon_partition_test group by Date(create_time) select create_time_hour, count(*) from defaultrx5_carbon_partition_test group by create_time_hour select Date(create_time), count(*) from defaultrx5_carbon_nonpartition_test group by Date(create_time) select hour(create_time), count(*) from defaultrx5_carbon_nonpartition_test group by hour(create_time) Carbon partition Carbon non-partition sql sql4 查询时间对比 Carbon partition Carbon non-partition sql sql4 Spark Task数对比

32 上汽集团CarbonData实践分享性能测试5:明细数据查询 select * from defaultrx5_carbon_partition_test where create_time_hour>= 7 and create_time_hour < and id= XXX78979' and date(create_time) = '7--4' 明细数据查询 sql5 Carbon partition Carbon non-partition

33 CarbonData Partition的性能调优选择最合适的Partition列结合业务了解哪些列会作为常用的过滤条件结合数据可粗略统计下数据分布情况避免选择数据倾斜严重的列如有多种选择可再结合数据加载效率考虑尽可能的使用Partition列作为过滤条件例如Partition列为A 你根据业务需求在Column B上有筛选条件但你注意到A与B列之间存在某种固定的mapping关系这时就可以根据B列的过滤条件再新增个partition列的过滤条件以提查询效率

34 CarbonData PartitionTODO List 4 Range Interval Partition Value-Based Partition Alter Table Merge Partition Optimization for join between partition tables

35 谢谢扫描维码获取上汽集团数据业务部开放职位欢迎加 Apache CarbonData社区: 发邮件邮件组关于使用CarbonData过程中遇到任何问题均可发邮件官

PowerPoint 演示文稿

PowerPoint 演示文稿 Hadoop 生态技术在阿里全网商品搜索实战阿里巴巴 - 王峰自我介绍真名 : 王峰淘宝花名 : 莫问微博 : 淘莫问 2006 年硕士毕业后加入阿里巴巴集团淘及搜索事业部 ( 高级技术与家 ) 目前负责搜索离线系统团队技术方向 : 分布式计算