个人介绍思考数据分析系统的基本指标 Hadoop 史前和史后的数据仓库流程 Hadoop 史前和史后的数据分析流程思考 Hadoop 解决了什么样的根本问题演讲大纲 Python 如何在构建数据仓库系统的作用 1. 使用 Python 快速构建数据分析模块 ComETL 2. 基于 Pytho

Size: px

Start display at page:

Download "个人介绍思考数据分析系统的基本指标 Hadoop 史前和史后的数据仓库流程 Hadoop 史前和史后的数据分析流程思考 Hadoop 解决了什么样的根本问题演讲大纲 Python 如何在构建数据仓库系统的作用 1. 使用 Python 快速构建数据分析模块 ComETL 2. 基于 Pytho"

一慧闻
5 years ago
Views:

1 Python&Hadoop 构建数据仓库从开源中来, 到开源中去 EasyHadoop 童小军 2012 年 10 年 20 日

2 个人介绍思考数据分析系统的基本指标 Hadoop 史前和史后的数据仓库流程 Hadoop 史前和史后的数据分析流程思考 Hadoop 解决了什么样的根本问题演讲大纲 Python 如何在构建数据仓库系统的作用 1. 使用 Python 快速构建数据分析模块 ComETL 2. 基于 Python MapReduce Streaming 快速并行编程 3. Hive 如果内嵌 Python 实现自定义逻辑 4. Pig 内嵌 JPython 实现 PageRank 挖掘算法 5. JPython MapReduce 框架 Pydoop Happy 等使用开源软件配合 Python 快速构建数据仓库 EasyHadoop 提供的资料 [EasyHadoop 部署安装手册,EasyHive 手册 ] EasyHadoop 开源技术聚会

3 思考 - 数据分析系统的基本指标

4 思考 - 数据分析系统的基本指标

5 思考 - 数据分析系统的基本指标反馈决策周期! 快反馈决策粒度! 细反馈决策准确性! 准反馈总体成本! 廉价数据统计 / 分析是一个组织自动控制, 自学习, 自调整系统核心组成部分机会成本! 想象空间!

6 Hadoop 前的数据仓库流程 perl,shell,awk 反馈决策周期! 快? 反馈决策粒度! 细? 反馈决策准确性! 准? 反馈总体成本! 廉价?

7 Hadoop 后的数据仓库流程 Hql,Pig,Mapreduce, 工作流反馈决策周期! 快? 反馈决策粒度! 细? 反馈决策准确性! 准? 反馈总体成本! 廉价? 持续扩展成本?

8 Hadoop 解决了什么样的根本问题? Hadoop 为何会比数据库快? 本地化 IO? 大数据计算任务任务划分子任务子任务子任务子任务结果合并计算结果

9 Hadoop 分布式安装

10 磁盘读取速度, 网络 IO?

11 基于 hadoop 的数据平台总体架构

12 Python 结合 Hadoop Streaming 原理解析

13 MapReduce 基本流程

14 实现 distinct 一日志格式 : {0E3AAC3B-E ED4-EB7B1E963590} {FB11E363-6D2B-40C6-A096-95D8959CDB92} {06F7CAAB-E165-4F48-B32C-8DD1A8BA2562} {B17F6175-6D36-44D1-946F-D748C494648A} {06F7CAAB-E165-4F48-B32C-8DD1A8BA2562} {B17F6175-6D36-44D1-946F-D748C494648A} B11E363-6D2B-40C6-A096-95D8959CDB92 17F6175-6D36-44D1-946F-D748C494648A E3AAC3B-E ED4-EB7B1E F7CAAB-E165-4F48-B32C-8DD1A8BA2562 4

15 使用 python 实现 distinct/count 一日志格式 : {0E3AAC3B-E ED4-EB7B1E963590} {FB11E363-6D2B-40C6-A096-95D8959CDB92} {06F7CAAB-E165-4F48-B32C-8DD1A8BA2562} {B17F6175-6D36-44D1-946F-D748C494648A} {06F7CAAB-E165-4F48-B32C-8DD1A8BA2562} {B17F6175-6D36-44D1-946F-D748C494648A} B11E363-6D2B-40C6-A096-95D8959CDB92 17F6175-6D36-44D1-946F-D748C494648A E3AAC3B-E ED4-EB7B1E F7CAAB-E165-4F48-B32C-8DD1A8BA2562 4

16 ( distinct\count)--map (distinct)--red import sys for line in sys.stdin: try: flags = line[1:-2] str = flags+'\t'+'1' print str except Exception,e: print e #!/usr/bin/python import sys res = {} for line in sys.stdin: try: flags = line[:-1].split('\t') if len(flags)!= 2: continue field_key = flags[0] if res.has_key(field_key) == False: res[field_key] = [0] res[field_key][0] = 1 except Exception,e: pass for key in res: print key

17 (count 的优化实现 )--reduce #!/usr/bin/python import sys lastuid="" num=1 for line in sys.stdin: uid,count=line[:-1].split('\t') if lastuid =="": lastuid=uid if lastuid!= uid: num+=1 lastuid=uid print num

18 基于 Python MapReduce Streaming 快速并行编程一单机测试 head test.log python map.py python red.py 一将文件上传到集群 /bin/hadoop fs -copyfromlocal test.log /hdfs/ 三运行 map red /bin/hadoop jar contrib/streaming/hadoop-streaming jar -file /path/map.py -file /path/red.py -mapper map.py -reducer red.py -input /path/test.log -output /path/

19 通过界面查看任务状态

20 Python 快速构建数据分析模块 ComETL 极少的代码量, 几万行吧! 1. 支持简单工作流 2. 支持自动恢复 3. 支持自定义驱动 4. 支持 Hive Mysql MapReduce 等模式类似系统 Sqoop DataX Oozie 作者 : 赵修湘软件地址 :

21 ComEtl 配置样例 etl_op = {"run_mode":'day', "delay_hours":2, "jobs":[{"job_name":"job1", "analysis":[{'etl_class_name':'extractionetl', 'step_name':'mysql_e_1', 'db_type':'hive', 'db_coninfo':[{'db_ip':' ','db_port':3306,'db_user':'jobs','db_passwd':'hhxxttxs','db_db':'test'}], 'db_path':'test.a2', 'pre_sql':[], 'post_sql':[], 'data_save_type':'simpleoutput', "sql_assemble":'simpleassemble', 'sql':'select * from test.a2 limit 30', },], "transform":[{'etl_class_name':'transformetl', 'step_name':'transform1', 'data_source':[{"job_name":"job1","step_name":'mysql_e_1','data_field':''},], 'data_transform_type':'simpletransform', },], "loading":[{'etl_class_name':'loadingetl', 'step_name':'load1', 'data_source':{"job_name":"job1","step_name":'transform1'}, 'db_type':'mysql', 'db_coninfo':[{'db_ip':' ','db_port':3306,'db_user':'jobs','db_passwd':'hhxxttxs','db_db':'test'}], 'db_path':'test.a2', 'pre_sql':[], 'post_sql':[], 'data_load_type':'splitload', 'data_field':'a b'},]} }

22 Pig 内嵌 JPython 实现 PageRank 算法

23 JPython+pig 代码实现演示

24 其他 Python MapReduce 框架 Pydoop - Python API for Hadoop MapReduce and HDFS Happy - datafu -Pig 算法库 linkedin

25 总体数据规模总空间 150T 以上, 每日新增数据 0.5T 服务器的 Hadoop/hive 计算平台单个任务优化从 7 个小时到 1 个小时每日 Hive 查询每天处理作业任务每天处理 10T 0T+ 数据

26 集群资源利用率

27 数据平台技术路线发展

28 Python Hadoop 最佳实践通过 Tornado Nginx 接受日志通过 Scribe 同步数据使用 Python 编写加载和清洗脚本使用 ComEtl 通过 Hive 做 ETL 参考 HappyEtl,Pydoop 编写 Python Streaming 使用 CronHub 做定时调度使用 phphiveadmin 提供自助查询使用 Mysql 存储中间结果通过 Tornado+highcharts/gnuplot 提供报表展现使用 Python + Nagios Cacti Ganglia 监控集群整体构建在 Hadoop+Hive+pig 基础平台之上参加 EasyHadoop 聚会学习使用 EasyHadoop 管理集群

29 EasyHadoop 社区电子出版物

30 EasyHadoop 组织了六次技术分享

31 HadoopCloud 开放平台计划学习 Hadoop 需要具备三大前提资源第一 : 海量的数据集第二 : 大规模的分析硬件平台第三 : 大量真实的业务分析需求 HadoopCloud 提供以上三个平台给用户学习使用

32 谢谢! ComETL Happyetl CronHub 多开放一些有趣的开源项目

培训机构介绍中科普开是国内首家致力于 IT 新技术领域的领航者, 专注于云计算大数据物联网移动互联网技术的培训, 也是国内第一家开展 Hadoop 云计算的培

培训机构介绍中科普开是国内首家致力于 IT 新技术领域的领航者, 专注于云计算大数据物联网移动互联网技术的培训, 也是国内第一家开展 Hadoop 云计算的培 Hadoop 2.0 培训 Hadoop 2.0Training Hadoop 2.0 运维与开发实战培训邀请函培训机构介绍 www.zkpk.org 中科普开是国内首家致力于 IT 新技术领域的领航者, 专注于云计算大数据物联网移动互联网技术的培训, 也是国内第一家开