Greenplum 机器器学习工具集和案例例姚延栋 Pivotal 研发技术总监 2017.thegiac.com

Size: px

Start display at page:

Download "Greenplum 机器器学习工具集和案例例姚延栋 Pivotal 研发技术总监 2017.thegiac.com"

吹睛侯
5 years ago
Views:

1 Greenplum 机器器学习工具集和案例例姚延栋 Pivotal 研发技术总监

2 大纲 Greenplum 大数据平台 Greenplum 机器器学习工具 Greenplum 机器器学习案例例

3 Greenplum: 新一代开源大数据平台

4 Greenplum 集群

5 USERS IT Dev Business Analysts Data Scientists ANALYTICAL APPLICATIONS SQL Custom Apps BI / Reporting Machine Learning AI NATIVE INTERFACES ANSI SQL JDBC, OBBC Other DB SQL Teradata SQL ML/Statistics/Graph Apache MADlib Programmatic Python. R, Java, Perl, C Text Apache SOLR GeoSpatial PostGIS NEXT GENERATION DATA PLATFORM PIVOTAL GREENPLUM PLATFORM Massively Parallel (MPP) Petabyte Scale Loading Query Optimizer (GPORCA) Workload Manager Polymorphic Storage Command Center SQL Compatibility (Hyper-Q) PostgreSQL Kernel MULTI- STRUCTURED DATA Structured Data JSON, Apache AVRO, Apache Parquet and XML SOURCES & PIPELINES Local Storage HDFS Cloud Object Storage GemFire Spark Other RDBMSes Spring Cloud Data Flow ETL Kafka FLEXIBLE DEPLOYMENT On-Premises Public Clouds Private Clouds Fully Managed Clouds

6 Greenplum 大数据平台一次打包, 到处运行 : 裸机私有云公有云各种数据源 :Hadoop S3 数据库文件 Spark Ka,a 各种数据格式 : 结构化半结构化 (JSON/XML/Hstore) 非结构化强大内核 : MPP 优化器多态存储灵活分区高速加载 PG 内核强大的灵活性可扩展 :PL/X Extension PXF 外部表机制完善的标准支持 :SQL JDBC ODBC 集成数据平台 :BI/DW 文本 GIS 图图像机器学习开放源代码, 持续大力投入敏捷方法学 : 快速迭代持续发布质量内建企业级稳定性, 成熟生态系统

7 Greenplum: 机器学习工具集

8 Greenplum 机器器学习工具集 PL/X: 各种语言实现自定义函数 ( 存储过程 ) MADLib: 数据挖掘统计分析图 (Graph) 等算法 GPText: 文本检索和分析 GeoSpatial: 地理信息数据分析 Image: 图像数据分析

9 Greenplum Procedure Language PLPython, PLR

10 PL/Python 例例子 CREATE TABLE sales (id int, year int, qtr int, day int, region text) DISTRIBUTED BY (id) ; INSERT INTO sales VALUES (1, 2014, 1,1, 'usa'), (2, 2002, 2,2, 'europe'), (3, 2014, 3,3, 'asia'), (4, 2014, 4,4, 'usa'), (5, 2014, 1,5, 'europe'), (6, 2014, 2,6, 'asia'), CREATE OR REPLACE FUNCTION mypytest(index integer) RETURNS text AS $$ rv = plpy.execute("select * FROM sales ORDER BY id", 5) region = rv[index]["region"] return region $$ language plpythonu; SELECT mypytest(2) ;

12 PL/R 例例子 CREATE OR REPLACE FUNCTION r_norm(n integer, mean float8, std_dev float8) RETURNS float8[ ] AS $$ x<-rnorm(n,mean,std_dev) return(x) $$ LANGUAGE 'plr'; CREATE TABLE test_norm_var AS SELECT id, r_norm(10,0,1) as x FROM (SELECT generate_series(1,30:: bigint) AS ID) foo DISTRIBUTED BY (id);

14 适用场景适合模型应用于数据子集的场景, 并行执行效率非常高如果节点间数据通讯, 使用

15 MADlib

16 基于 SQL 的数据库内置的机器器学习库 Apache 上的开源项目 MPP 系统上的可扩展应用强大的分析能力力发布了了 6 个版本 Apache 顶级项目 Pivotal Greenplum PostgreSQL 机器器学习图形分析统计分析

17 历史回顾创始于 2011 年 EMC/Greenplum Joe Hellerstein from Univ. of California, Berkeley.

18 MADlib 用户和场景互联网金融保险制造医疗娱乐和媒体科研汽车零售政府机构

19 功能 Supervised Learning Neural Networks Support Vector Machines (SVM) Regression Models Clustered Variance Cox-ProporDonal Hazards Regression ElasDc Net RegularizaDon Generalized Linear Models Linear Regression LogisDc Regression Marginal Effects MulDnomial Regression Naïve Bayes Ordinal Regression Robust Variance Tree Methods Decision Tree Random Forest CondiDonal Random Field (CRF) Unsupervised Learning AssociaDon Rules (Apriori) Clustering (k-means) Topic Modelling (Latent Dirichlet AllocaDon) Nearest Neighbors k-nearest Neighbors Graph All Pairs Shortest Path (APSP) Breadth-First Search Average Path Length Closeness Centrality Graph Diameter In-Out Degree PageRank Single Source Shortest Path (SSSP) Weakly Connected Components Utility FuncJons Conjugate Gradient Linear Solvers Dense Linear Systems Sparse Linear Systems Path PMML Export Sampling Random StraDfied Sessionize Term Frequency for Text Analysis 成熟的数据科学学习库 Time Series Analysis ARIMA Data Types and TransformaJons Array and Matrix Operations Matrix FactorizaDon Low Rank Singular Value DecomposiDon (SVD) Norms and Distance FuncDons Sparse Vectors Principal Component Analysis (PCA) Encoding Categorical Variables Pivot Stemming StaJsJcs DescripDve StaDsDcs Cardinality EsDmators CorrelaDon and Covariance Summary InferenDal StaDsDcs Hypothesis Tests Probability FuncDons Model SelecJon Cross ValidaDon PredicDon Metrics Train-Test Split Sept 2017

20 MADlib 特性更好的并行度算法充分利用 MPP 架构实现并行更好的可扩展性算法随着数据扩充而线性扩展更高的预测精准度适用更多数据, 而不是抽样顶级 ASF 开源项目社区驱动开发模式

21 执行行流程存储过程 SQL 客户端数据库服务器器 Master String 结果集聚集 Segment 1 Segment 2 Segment n psql

22 工作原理理 SQL Master Servers Query planning & dispatch Network Interconnect Segment Servers Query processing & data storage External Sources Load, streaming, etc Massively Parallel Processing

........... In-Database Functions Machine learning & statistics & math & graph

23 工作原理理 SQL Input validation & pre-processing Master Servers Query planning & dispatch Network Interconnect Segment Servers Query processing & data storage In-Database Functions Machine learning & statistics & math & graph & utilities Massively Parallel Processing External Sources Load, streaming, etc.

24 MADlib 架构用户接口 SQL 高层抽象层 ( 迭代控制器器 ) Python 数据库内建函数内循环函数 ( 实现机器器学习逻辑 ) 底层抽象层 ( 数组操作类型转换数值计算库等 ) C++ C API (Greenplum, PostgreSQL, HAWQ)

25 示例例 - PageRank 是一种由搜索引擎根据网页之间相互的超链接计算的技术, 而作为网页排名的要素之一, 以 Google 创办人 Larry Page 来命名 Image from h_ps://en.wikipedia.org/wiki/pagerank

26 示例例 - PageRank 数据计算

27 示例例 - PageRank 计算结果

28 可扩展性 PageRank 性能 (1M s) 5B edges (10K s) 每个定点有 50 个边的图 (100s) (1s) (1K) (10K) (100K) (1M) (10M) (100M) Greenplum 集群规模 : 1 主 4 数据节点每个节点 6 个 segment Note: log-log scale

29 MADlib vs. Spark: 不不同的产品, 侧重点不不同 MADlib Spark 算法库易用性查询优化需要编程成熟度稍差内存和流处理通过 Gemfire SQL 语法支持磁盘数据并发性能大数据关联需要提升不是核心焦点不是核心焦点不是核心焦点

30 用户案例例 1 Greenplum + MADlib 助力力邮件营销

31 背景客户某大型跨国多元化传媒和娱乐公司问题邮件广告点击预测模型不不够精准, 需要更更好的邮件营销策略略现有数据分析流程繁琐, 速度慢, 有很多手动步骤, 易易出错数据科学解决方案简化 Data 流程在 Madlib 上重新建模和预测实现流程全自动化

32 数据和技术预览数据源客户数据 - 购买 - 预定 - 营销 - 在线注册 - 网页浏览历史 - 地理理信息数据 - 业务部门信息 - 网站用户信息 TB 级别数据特征平台建模工具 PL/pgSQL

33 原始工作流程 2 3 数据准备成对相关性 4 6 逻辑回归信息价值和证据权重 5 删除高度相关变量量计算 KS 分值模型验证 7 1 数据整理理 8 手动预测

34 改进后的 in-database 流程 3 4 特征选择模型 1 2 信息价值逻辑回归 5 6 数据整理理特征生成方差膨胀验证预测因子 Elastic Net 成对相关性

35 工作流程优化之前之后性能提升数据编辑 / 整理理 181 行行代码 75 分钟 116 行行代码 8 分钟 9.35x 特征编辑 439 特征 4,517 行行代码 100 分钟 934 特征 1,438 行行代码 30 分钟多 495 个特征, 快 3.33x 信息价值 ~450 个变量量,~30 分钟计算结果并写入 excel 在 GPDB 中花 58 秒计算 ~200 个变量量的 IV 13.7x/ 变量量建模 < 50 个变量量, 运行行一次逻辑回归迭代需要 ~30 分钟 376 个变量量, 运行行一次逻辑回归迭代需要 ~1.86 分钟 ~16x/ 迭代

36 建模结果原始模型模型精确度 = 99.7% 真正率 (True Positive Rate) = 0% 改良后的模型模型精确度 = 62.8% 真正率 = 66% 该模型善于预测不不会点击邮件的用户, 但是无法预测会点击邮件的用户该模型更善于预测会点击邮件的用户, 这样是用户真正关心的, 能为公司带来价值的用户群体

37 商业影响改良前 X 对数据集的探索有限 X 对 Pivotal 产品线不不熟悉 X 在 SAS 和 Excel 上有很多手动流程 X 代码复杂冗余, 很多数据类型转换 X 原始模型预测效果不不理理想改良后在 Greenplum 里充分探索了数据集在 Greenplum 上充分利用了 MADlib 和 PL/X 在 Greenplum 内部实现了了流程自动化代码更更精简, 更更便便于维护的代码新模型能够更更精准地预测目标客户

38 用户案例例 2 基于 API 日志的金金融产品用户分析

39 背景客户某大型跨国金金融服务公司移动应用 API 分析问题更更好地理理解不不同种类的用户更更好地了了解用户与 APP 的交互对实时 API 请求进行行分类和安全检测数据量量大, 现有数据分析团队缺乏技能数据科学解决方案使用 Madlib 进行行聚类分析, 建立会话识别模型和主题模型建立 scoring pipeline, 对新访问的安全性进行行评估使用可视化工具对结果进行行更更好地呈现

40 数据和技术概览数据源数据 - API 访问日志 - 客户数据 45 天区域数据 50 亿条数据上百万订购者平台建模工具可视化 PL/R, PL/PYTHON, PDLTools

41 建模过程对 API 请求结合超时和 K-means 聚类处理理根据原始特征对用户聚类 API 请求日志会话识别抽取会话特征验证聚类结果新会话主题模型对主题进行行 K- means 聚类标记回话人工审查 S 评分

42 建模过程 API 请求日志对 API 请求结合超时和 K-means 聚类处理理会话识别

43 对 API 请求进行行会话化会话 1 会话 2 会话 3 时间 + 聚类会话 1 会话 2 会话 3 时间基于时间的会话化

44 建模过程对 API 请求结合超时和 K-means 聚集处理理 API 请求日志会话识别

45 建模过程对 API 请求结合超时和 K-means 聚集处理理根据原始特征对用户聚类 API 请求日志会话识别抽取会话特征

46 K-means 聚类示例例会话聚类会话特征

47 建模过程对 API 请求结合超时和 K-means 聚集处理理根据原始特征对用户聚类 API 请求日志会话识别抽取会话特征

48 建模过程对 API 请求结合超时和 K-means 聚集处理理根据原始特征对用户聚类 API 请求日志会话识别抽取会话特征主题模型对主题进行 K- Means 聚类

49 主题模型 :Latent Dirichlet Allocation (LDA) 一篇文章中反复出现在一起的几个词语往往在描述同一个主题一篇文章往往含有多个主题, 且每个主题所占的比例例各不不相同 LDA 自动分析每个文档, 统计文档内的词语, 根据统计的信息来断定当前文档含有哪些主题, 以及每个主题所占的比例例各为多少

50 基于 LDA 特征的聚类会话主题分布 K-means 会话聚类把每个会话看成一篇文章百万级别文档词汇量 8000+

51 某个特定用户在一个月内都关注什什么?

52 建模过程对 API 请求结合超时和 K-means 聚集处理理根据原始特征对用户聚类 API 请求日志会话识别抽取会话特征主题模型对主题进行 K- Means 聚类

53 建模过程对 API 请求结合超时和 K-means 聚集处理理根据原始特征对用户聚类 API 请求日志会话识别抽取会话特征验证聚类结果主题模型对主题进行 K-Means 聚类 S 评分

54 建模过程对 API 请求结合超时和 K-means 聚集处理理根据原始特征对用户聚类 API 请求日志会话识别抽取会话特征验证聚类结果新会话主题模型对主题进行行 K- Means 聚类标记会话人工审查 S 评分

55 主题分布热力力图检测异常

56 建模效果示例例股票分析师固定收益分析师客户行为热图

57 案例例优化总结改良前 X 在 R 上对 data sample 进行行分析, DCA 闲置 X 没有良好的用户分类体系 X 不不能高效监测可疑 Session X 考虑转换到 Teradata 改良后使用 Greenplum+MADlib 对大数据集进行行了了更更充分的分析建立了了两套模型对典型用户进行行聚类分析, 对用户群体和用户习惯有了了更更深入的了了解, 制定相应的营销策略略建立了可疑 Session 实时评分体系决定增加 Greenplum Cluster 数量

58 Pivotal Greenplum: 开源大数据高级分析平台

PowerPoint 演示文稿

PowerPoint 演示文稿 Apache Spark 与多数据源的结合田毅 @ 目录为什么会用到多个数据源 Spark 的多数据源方案有哪些已有的数据源支持 Spark 在 GrowingIO 的实践分享为什么会用到多个数据源从数据本身来看大数据的特性之一 :Variety 数据的多样

Greenplum 机器器学习 工具集和案例例 姚延栋 Pivotal 研发技术总监 2017.thegiac.com

Greenplum 机器器学习工具集和案例例姚延栋 Pivotal 研发技术总监 2017.thegiac.com