PowerPoint 演示文稿

Size: px

Start display at page:

Download "PowerPoint 演示文稿"

法俞
5 years ago
Views:

1 流式计算在苏宁的发展历程苏宁云商. 大数据平台研发中心张毅 2016/9/26 苏宁云商. 大数据平台研发中心 1

2 关于我和我的小伙伴们大数据平台研发中心团队职责 : 提供集团各个业务所需要的存储和计算能力保证平台的稳定高效运行提高平台易用性我目标 : 打造稳定易用高效的平台, 提高数据分析效率, 实现人人都是数据分析师大数据攻城狮 6 年工作经验,3 年半的流式计算领域相关经验作为核心人员参与了苏宁流式计算平台的整个发展历程, 并主导了 Libra(sql on Storm) 项目的研发目前主要关注 Storm,Spark Streaming 及 sql on Storm 等技术 2016/9/26 苏宁云商. 大数据平台研发中心 2

3 目录 1 应用场景 2 发展历程 & 问题解决 3 TODO 2016/9/26 苏宁云商. 大数据平台研发中心 3

4 实时计算过程实时计算过程数据的产生与收集数据实时计算实时查询服务开源技术 Flume, Kafka, Storm, Spark Cassandra Redis, 2016/9/26 苏宁云商. 大数据平台研发中心 4

5 流式计算在苏宁的应用场景统计报表监控分析广告推荐风险控制 2016/9/26 苏宁云商. 大数据平台研发中心 5

6 苏宁集群现状 Storm 开源 Storm 节点 23 个集群 70+topology 复杂算法数据清洗实时推荐商户实时统计等 Libra 自研 300+ 节点 8 个集群 700+sql 70+topology 简单 sql 可描述流量分析性能监控等 Spark Streaming 开源 Spark 节点 (hadoop 共用 ) 30+ streaming 任务统计分析 2016/9/26 苏宁云商. 大数据平台研发中心 6

7 目录 1 应用场景 2 发展历程 & 问题解决 3 TODO 2016/9/26 苏宁云商. 大数据平台研发中心 7

8 发展历程苏宁第一个 storm 项目 -- 展厅系统 2016/9/26 苏宁云商. 大数据平台研发中心 8

9 展厅数据流向易购网站 Http 请求展厅 Flash Log Server Cassandra Flume Kafka1 Storm Kafka2 Flume Flume API Server Hadoop Hive Sqoop DB Log Server ESB 经营系统 Sqoop 实时离线 2016/9/26 苏宁云商. 大数据平台研发中心 9

10 展厅项目之后, 数据清洗平台实时广告推荐系统易付宝业务监控系统商户实时统计系统移动端实时数据分析系统. 2016/9/26 苏宁云商. 大数据平台研发中心 10

11 存在的问题需求多变流程复杂? Kafka Storm Cassandra 产品迭代快开发周期长产品开发 ALL 2016/9/26 苏宁云商. 大数据平台研发中心 11

12 发展历程启动 Libra(sql on Storm) 2016/9/26 苏宁云商. 大数据平台研发中心 12

13 Libra 是什么? 离线分析实时分析 Hadoop Storm Hive Libra 通过类 SQL 语句实现统计分析需求, 不必额外开发代码以类 SQL 语句的形式提供实时计算规则, 不用专门编码实现 2016/9/26 苏宁云商. 大数据平台研发中心 13

14 Libra 数据流向数据采集模块实时计算 (Libra) Kafka 实时查询模块数据采集 MQ 输入模块计算模块 Esper MQ 处理数据 Kafka 缓存模块 Cassandra Redis Cassandra 查询数据 Sql Server Hbase 2016/9/26 苏宁云商. 大数据平台研发中心 14

15 Libra 主要功能点支持类 SQL 语法 --ANTLR 保证数据不丢 --Cassandra 动态更改计算规则 --Dubbo 2016/9/26 苏宁云商. 大数据平台研发中心 15

16 SQL 语法解析 --ANTLR Select count(distinct userid) from login group by ip ANTLR 词法分析 select distinct count from group by 语法分析按 ip 分组 (group by), 对 userid 去重 (distinct), 输出去重后 userid 数量 (count) 抽象语法树逻辑运算 2016/9/26 苏宁云商. 大数据平台研发中心 16

17 动态更改计算规则 2 zookeeper Libra_web 1 3 Config Spout 4 Worker Worker Worker Update bolt bolt Context Update bolt bolt Context Update bolt bolt Context bolt bolt bolt bolt bolt bolt 2016/9/26 苏宁云商. 大数据平台研发中心 17

18 Libra 1.0 DAG Topology Bolt login Login_sql1 result result Bolt spout Login_sql2 Bolt Bolt Bolt Login_sql3 Bolt result Bolt 输入事件分发过滤 SQL 语法解析输出单个分组中, distinct 计算过于庞大统计计算 2016/9/26 苏宁云商. 大数据平台研发中心 18

19 Libra 2.0 DAG Topology Bolt Bolt Bolt spout Bolt Bolt Bolt Bolt Bolt Bolt Bolt 输入事件分发过滤数据拆分 SQL 语法解析统计计算 Select count(distinct userid) from login group by ip 事件名 sql 计算合并分发 :ID = event+sql+group by+ distinct 输出 Login_sql1 Login_sql2 Login_sql3 sql1 sql2 sql3 合并 :ID = event+sql+group by 集群数据均匀分布 2016/9/26 苏宁云商. 大数据平台研发中心 19

20 Storm SQL: STORM-1040 采用 ANTLR 语法解析支持根据关键字排序支持分布式部署支持将 Kafka 作为外部表支持输出到 Kafka 2016/9/26 苏宁云商. 大数据平台研发中心 20

21 发展历程 Libra 集群 30+ 节点数最大的 Topology 用 60+worker Libra 集群 80+ 节点数最大的 Topology 用 150+worker Topology 启动慢 2016/9/26 苏宁云商. 大数据平台研发中心 21

22 Topology 启动过程 Topology 启动过程 Nimbus 提交 storm-jar 命令初始化 NimbusClient 上传 Jar 包检查 Topology 的 DAG 检查该 Topology 是否存在分配资源和任务调度 Zookeeper 数据写入到 Zookeeper Supervisor Watcher 读取数据是否有新的任务分配是下载 jar 启动新的 worker 2016/9/26 苏宁云商. 大数据平台研发中心 22

23 Jar 包下载的规模效应 supervisor supervisor supervisor supervisor Nimbus supervisor Nimbus supervisor supervisor supervisor supervisor supervisor jar 包大小 80MB+,Nimbus 带宽 200mbps: 30 个 supervisor, 下载 jar 时间 = (30*80*8)/200 = 96s 80 个 supervisor, 下载 jar 时间 = (80*80*8)/200 = 256s 2016/9/26 苏宁云商. 大数据平台研发中心 23

24 Jar 包分离方案将 Topology 代码包和依赖包分离使用 Rsync, 提前将依赖包分发到各个节点修改 Nimbus 源码, 在 Topology 提交时, 加载依赖包修改 Supervisor 源码, 在启动 Worker 时, 加载依赖包优化效果 : 代码包 6MB 80 个 Supervisor, 下载 Jar 时间 = (80*6*8)/200 = 19.2s 2016/9/26 苏宁云商. 大数据平台研发中心 24

25 Dist Cache: STORM-876 contributed by Yahoo Jar 包存储在 Dist Cache 中支持 HDFS 作为后端存储, 提升副本数分散压力 2016/9/26 苏宁云商. 大数据平台研发中心 25

26 发展历程节点数节点数监控困难 2016/9/26 苏宁云商. 大数据平台研发中心 26

27 Storm 监控比较挫的方法 : 通过 crontab + shell 脚本, 定时的抓取 Storm-UI 页面信息, 监控集群和 Topology 的健康状况问题 : 1 新增监控比较麻烦 2 无法快速定位问题 3 无历史数据展示 2016/9/26 苏宁云商. 大数据平台研发中心 27

28 Storm-monitor Storm 集群监控 Topolog y 监控 Stormmonitor 系统运行数据统计进程级 cpu/me m 监控 Kafka 堆积监控 2016/9/26 苏宁云商. 大数据平台研发中心 28

29 Storm-monitor Storm-monitor 2016/9/26 苏宁云商. 大数据平台研发中心 29

30 发展历程最大 Storm 集群节点数 100+ 最大 Storm 集群节点数 200+ ZK 节点 IO 高 2016/9/26 苏宁云商. 大数据平台研发中心 30

31 Storm Zookeeper IO 高网络 IO 400worker 每次心跳 23.4KB/worker 心跳间隔 1s worker worker worker worker Zookeeper worker ZK Leader 带宽 :~9.14MB 方案 : worker.heartbeat.frequency.secs 调整为 /9/26 苏宁云商. 大数据平台研发中心 31

32 Storm Zookeeper IO 高磁盘 IO 每次心跳 20KB-50KB/worker;440 个 worker;3313 个 executor ZK Leader IOUtil: 50%+ 可选方案 : 增强磁盘性能, 比如换为 SSD 盘继续降低 worke 心跳频率将 zookeeper 参数 forcesync 设置为 no 结果 : ZK Leader 的 IOUtil 降低至 10% 2016/9/26 苏宁云商. 大数据平台研发中心 32

33 发展历程节点节点节点应用管理麻烦资源隔离困难组件繁杂多样 2016/9/26 苏宁云商. 大数据平台研发中心 34

34 saas Storm 服务化集群管理应用管理应用监控报警管理用户管理集群状态监控集群创建销毁应用包上传及启动应用状态监控权限分配集群扩缩容应用包版本管理增加数据源监控, 删除报警人员角色分配集群启停 Libra 堆积监控 sql 配置及发布修改配置 cpu/mem/gc 监控 2016/9/26 苏宁云商. 大数据平台研发中心 35

35 Storm 服务化 --CPU 绑定 CPU 超分 1:3 大促期间, 业务之间相互影响 CPU1:1 未绑定 CPU Steal Time 很高, 达到 40% CPU 绑定 CPU Steal Time 非常低, 接近 0% 2016/9/26 苏宁云商. 大数据平台研发中心 36

36 Storm 服务化异常表象收集智能诊断引擎如何快速定位问题? 智能报警聚合报警平台 2016/9/26 苏宁云商. 大数据平台研发中心 37

37 Storm 服务化 -- 扩缩容建议数据源 TPS Worker cpu mem 使用量应用该分配多少 WORKER? 是否存在资源浪费数据源堆积情况合理的资源建议 2016/9/26 苏宁云商. 大数据平台研发中心 38

38 Storm 服务化 2016/9/26 苏宁云商. 大数据平台研发中心 39

39 发展历程 libra 项目监控平台 Storm 服务平台 Storm 是否适用于所有的场景? 2016/9/26 苏宁云商. 大数据平台研发中心 40

40 Storm & Libra & Spark Streaming? Storm 统计报表 Sql on storm Libra 监控分析 Spark Streaming 广告推荐风险控制 2016/9/26 苏宁云商. 大数据平台研发中心 41

41 发展历程 Spark Streaming 第一个 Spark Streaming 任务启动 Spark Streaming 任务提交平台 (SSMP) Standalone 升级到 on Yarn 2016/9/26 苏宁云商. 大数据平台研发中心 42

42 Spark Streaming 部署结构自研 CBT 平台自研 SSMP MR HIVE SPARK SPARK STREAMING YARN1 YARN2 HDFS ZOOKEEPER 2016/9/26 苏宁云商. 大数据平台研发中心 43

43 Spark Streaming 平台主要负责任务的创建, 启动, 停止及任务的版本管理任务管理监控管理主要负责任务执行异常情况分析, 对执行失败的任务进行拉起并报警资源池管理健康状态展示主要负责管理各资源池的资源分配合理的利用集群资源主要负责展示任务的执行情况比如单位时间处理数据量, 批处理时间等 2016/9/26 苏宁云商. 大数据平台研发中心 44

44 Spark Streaming 平台 2016/9/26 苏宁云商. 大数据平台研发中心 45

45 目录 1 应用场景 2 发展历程 & 问题解决 3 TODO 2016/9/26 苏宁云商. 大数据平台研发中心 46

46 TO DO Storm1.0 落地 Spark 2.0 落地 Storm 自动扩缩容 Storm exactly-once 统一的 sql 引擎参与社区, 回馈社区 2016/9/26 苏宁云商. 大数据平台研发中心 47

47 The End Thanks 如果你对苏宁大数据技术有兴趣, 欢迎来聊聊 ~~~~ 你懂的 O( _ )O~ 2016/9/26 苏宁云商. 大数据平台研发中心 48

大数据和大数据平台的那些事

大数据和大数据平台的那些事苏宁云商的大数据平台架构王志强苏宁云商. 大数据中心. 平台开发部 2015-07-25 关于我和我的小伙伴们大数据中心. 平台开发部团队职责 : 提供集团各个业务所需要的存储和计算能力保证平台的稳定高效运行提高平台易用性目标 : 打造稳定易用高效的平台, 提高数据分析效率, 实现人人都是数据分析师我大数据攻城狮 5 年的大数据工作经验 2015/7/28 Copyright