站在hadoop上看hive

Size: px

Start display at page:

Download "站在hadoop上看hive"

暮夔
4 years ago
Views:

1 Hive 优化以及执行原理数据平台杨新彦

2 1. 整体架构优化 2. MR 阶段优化 3. JOB 优化 4. SQL 作业优化 5. 平台优化

3 开发量大为什么要用 hive 简单 SELECT word, count(1) FROM ( select explode(split(line, \s )) AS word FROM article ) w GROUP BY word ORDER BY word 3

4 Hive 架构 & 执行流程 Luna 离线数据平台

Hive 执行流程 & 操作符操作符 TableScanOperator ReduceSinkOperator JoinOperator SelectOperator FileSinkOperator FilterOperator GroupByOperator MapJoinOperator

5 Hive 执行流程 & 操作符操作符 TableScanOperator ReduceSinkOperator JoinOperator SelectOperator FileSinkOperator FilterOperator GroupByOperator MapJoinOperator LimitOperator UnionOperator 描述扫描 hive 表数据创建将发送到 Reduce 端的 <key,reduce> 对 Join 两份数据选择输出列建立结果数据, 输出至文件过滤输入数据 Group By 语句 /*+mapjoin(t)*/ Limit 语句 Union 语句

6 逻辑执行计划

7 7 强大

8 Hive == RDBMS? TRUE : FALSE HIVE RDBMS 查询语言 HQL SQL 数据存储 HDFS RAW Devices 事物 NO ACID 索引 Yes( 待测试 ) YES 执行 MR Excutor 扩展性 BIG BIG 大 20 nodes 数据规模大小执行延迟高低业务数据分析数据分析 OR 线上硬件配置一般高 8

9 查询慢? 建索引? NO! 建索引 9

10 1. 整体架构优化 2. MR 阶段优化 3. JOB 优化 4. SQL 作业优化 5. 平台优化

11 Datawarehouse 优化

12 表分区动态分区查询维度业务需求日期分区类型分区

13 压缩分布式缓存优化原始日志 BZ2 压缩 MR 中间输出 LZO 压缩中间表 SEQUENCEFILE RCFILE 格式

15 MR 阶段优化 MAP 阶段优化 REDUCE 阶段优化 SHUFFLE 阶段优化

17 MAP 阶段优化 mapred.map.tasks 无效 num_map_tasks 切割大小影响参数 mapred.max.split.size 默认 : 256M mapred.min.split.size 默认 : 1B dfs.block.size 默认 :128M 切割算法 splitsize = max[minsize,min(maxsize,blocksize)] minsize = ${mapred.min.split.size} maxsize = ${mapred.max.split.size} 列裁剪 hive.optimize.cp=true map 端聚合 hive.map.aggr=true Map 端谓语下推 hive.optimize.ppd=true

18 调整 map reduce 参数 Map 数 maxsize Reduce 数 perreducer 时间 M 55 1G 2288s M 55 1G 1860s M M 1166s M M 1169s

19 REDUCE 阶段优化 mapred.reduce.tasks 直接设置 num_reduce_tasks 大小影响参数 hive.exec.reducers.max 默认 :999 hive.exec.reducers.bytes.per.reducer 默认 :1G 切割算法 numrtasks = min[maxreducers,input.size/perreducer] maxreducers = ${hive.exec.reducers.max} perreducer = {hive.exec.reducers.bytes.per.reducer}

20 Shuffle 阶段优化压缩中间数据减少磁盘操作减少网络传输数据量配置方法 mapred.compress.map.output 设为 true mapred.compress.output.compression.codec org.apache.hadoop.io.compress.lzocodec org.apache.hadoop.io.compress.snappycodec

21 Shuffle 参数 Map 端参数 Reduce 端参数 io.sort.mb io.sort.spill.percent min.num.spill.for.combine io.sort.factor io.sort.record.percent mapred.reduce.parallel.copies mapred.reduce.copy.backoff io.sort.factor mapred.job.shuffle.input.buffer.percent mapred.job.shuffle.input.buffer.percent mapred.job.reduce.input.buffer.percent

22 JOB 优化执行模式 JOIN 算法数据倾斜

23 执行模式本地模式 ( 小数据量 ) hive.exec.mode.local.auto=true hive.exec.mode.local.auto.inputbytes.max(128mb by default) hive.exec.mode.local.auto.tasks.max(4 by default) num_reduce_tasks <= 1 伪分布式模式单机测试使用分布式模式正常 job

24 JOIN 算法 Common join Map join Bucket map join

26 Map join hive.auto.convert.join=true (default false) hive.mapjoin.smalltable.filesize=600m(default 25M) Select /*+MAPJOIN(a)+*/..a join b 强制指定 mapjoin

29 Bucket Map Join set hive.optimize.bucketmapjoin=true mapjoin 一起工作所有要 join 的表必须分桶, 大表的桶的个数是小表的整数倍做了 bucket 的列必须等于 join 的列

31 数据倾斜 count distinct common join

32 count distinct 数据倾斜 Select count(distinct id) from acorn_3g.iplog where log_date like % ; 耗时 :1600S Select count(1) from (select distinct id from acorn_3g.iplog where log_date like % and id>0) tmp; 耗时 :260s

33 common join 倾斜 select m.uid as user_id,m.from_id,m.app_id,m.is_auto,u.stage from acorn_3g.mcs_access m join user u on m.uid = u.id where m.log_date=' ; 耗时 : 最起码 2 个小时 select m.uid,m.from_id,m.app_id,m.is_auto,u.stage from user u join (select m.uid,m.from_id,m.app_id,m.is_auto from acorn_3g.mcs_access m where log_date=' ' and uid>0 group by m.uid,m.from_id,m.app_id,m.is_auto) m on m.uid = u.id 耗时 :600s

34 SQL 作业优化作业并行执行 MR 迭代次数推测业务 sql 优化

35 Sql 并行执行 hive.exec.parallel=true (default false) hive.exec.parallel.thread.number =8 (default 8) hive 并行执行 sql

36 MR 迭代次数推测 Sql 语句之我见聚合函数 max min avg count distinct 连接 Join left outer join right outer join 多表连接迭代推测 Select from a join b on a.id = b.id Select col1,..count(col2) from a join b on.. Select col1,..count(distinct col2) from a join b on.. 公式 : 逢 join distinct 加 1, 遇 mapjoin 减 1

37 业务优化多条件用户 id 筛选筛选 8 个省份, 每省特定条件用户 ID 20,000 个周 wau 周 wau 保留率最近半年 400G 数据 2 千万 *180 天行记录

38 Hive 之吐槽加强公用 UDF 函数异常 JOB 探测, 培训优化 Hive tez, 脱胎换骨 Spark shark, 业界良心, 大趋势

39 异常 job 探测 Reduce: 最长时长比平均时长超过 10 分钟, 且最长时长超过平均时长 2 倍平均记录数超过 50W 且最大记录是平均记录数四倍归纳分析, 通知业务部门, 培训优化

41 Spark Apache Spark is an open source cluster computing system that aims to make data analytics fast both fast to run and fast to write. To run programs faster, Spark offers a general execution model that can optimize arbitrary operator graphs, and supports in-memory computing, which lets it query data faster than disk-based engines like Hadoop.

42 Spark 生态环境迭代计算流数据处理机器学习 SPARK Spark Streaming GraphX MLlib

43 离线数据平台

44 参考文献数据平台 Hive 相关实践数据平台 Spark 相关探索 Hive 官方文档 Spark 官方文档阿里数据平台

PowerPoint 演示文稿

PowerPoint 演示文稿 Apache Spark 与多数据源的结合田毅 @ 目录为什么会用到多个数据源 Spark 的多数据源方案有哪些已有的数据源支持 Spark 在 GrowingIO 的实践分享为什么会用到多个数据源从数据本身来看大数据的特性之一 :Variety 数据的多样