PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

钻习
5 years ago
Views:

大数据技术基础厦门大学计算机科学系厦门大学计算机科学系林子雨 ziyulin@xmu.edu.

8 章流计算 (2013 年新版 ) 林子雨厦门大学计算机科学系 E-mail:

1 大数据技术基础厦门大学计算机科学系厦门大学计算机科学系林子雨 2013 年新版 2013 年 9 月厦门大学计算机科学系研究生课程大数据技术基础第 8 章流计算 (2013 年新版 ) 林子雨厦门大学计算机科学系 ziyulin@xmu.edu.cn 主页 :

2 课程提要什么是流计算流计算处理流程流计算应用实例流计算框架 Twitter Storm 流计算框架汇总参考资料本讲义 PPT 存在配套教材, 由林子雨通过大量阅读收集整理各种资料后编写而成下载配套教材请访问大数据技术基础 2013 班级网站 :

3 流计算产生的背景大数据时代数据处理及业务的变化初期 : 数据量小, 业务简单少量人力服务器就可以满足需求过渡期 : 数据量有所膨胀, 业务较复杂需要增加大量服务器以支撑业务大数据时期 : 数据量急剧膨胀, 业务很复杂传统方案扛不住, 简单的增加服务器已不能满足需求挑战数据量膨胀所带来的质变个性化实时化的需求

4 什么是流计算流计算来自于一个信念 : 数据的价值随着时间的流逝而降低, 所以事件出现后必须尽快地对它们进行处理, 最好数据出现时便立刻对其进行处理, 发生一个事件进行一次处理, 而不是缓存起来成一批再处理流计算的概念 : 流计算是针对流式数据的实时计算流式数据 ( 流数据 ): 是指将数据看作数据流的形式来处理数据流是在时间分布和数量上无限的一系列动态数据集合体 ; 数据记录是数据流的最小组成单元流数据具有数据实时持续不断到达到达次序独立数据来源众多格式复杂数据规模大且不十分关注存储注重数据的整体价值而不关注个别数据等特点

5 什么是流计算流计算应用场景流计算是针对流数据的实时计算, 其主要应用在于产生大量流数据同时对实时性要求高的领域流计算一方面可应用于处理金融服务如股票交易银行交易等产生的大量实时数据另一方面流计算主要应用于各种实时 Web 服务中, 如搜索引擎购物网站的实时广告推荐,SNS 社交类网站的实时个性化内容推荐, 大型网站网店的实时用户访问情况分析等

6 什么是流计算流计算 : 对流数据实时分析, 从而获取有价值的实时信息

7 流计算与关系存储模型的区别主要区别有如下几个方面 : 流中的数据元素在线到达 ; 系统无法控制将要处理的新到达的数据元素的顺序 ; 数据流的潜在大小也许是无穷无尽的 ; 一旦数据流中的某个元素经过处理, 要么被丢弃, 要么被归档存储因此, 除非该数据被直接存储在内存中, 否则将不容易被检索相对于数据流的大小, 这是一种典型的极小相关

8 流计算需求对于一个流计算系统来说, 它应达到如下需求 : 高性能 : 处理大数据的基本要求, 如每秒处理几十万条数据海量式 : 支持 TB 级甚至是 PB 级的数据规模实时性 : 必须保证一个较低的延迟时间, 达到秒级别, 甚至是毫秒级别分布式 : 支持大数据的基本架构, 必须能够平滑扩展易用性 : 能够快速进行开发和部署可靠性 : 能可靠地处理流数据针对不同的应用场景, 相应的流计算系统会有不同的需求, 但是, 针对海量数据的流计算, 无论在数据采集数据处理中都应达到秒级别的要求

9 流计算与 Hadoop Hadoop 的批量化处理是人们喜爱它的地方, 但这在某些领域仍显不足, 尤其是在例如移动 Web 客户端或金融网页广告等需要实时计算的领域这些领域产生的数据量极大, 没有足够的存储空间来存储每个业务收到的数据而流计算则可以实时对数据进行分析, 并决定是否抛弃无用的数据, 而这无需经过 Map/Reduce 的环节 MapReduce 框架为批处理做了高度优化, 系统典型地通过调度批量任务来操作静态数据, 任务不是常驻服务, 数据也不是实时流入 ; 而数据流计算的典型范式之一是不确定数据速率的事件流流入系统, 系统处理能力必须与事件流量匹配数据流实时处理的模式决定了要和批处理使用非常不同的架构, 试图搭建一个既适合流式计算又适合批处理的通用平台, 结果可能会是一个高度复杂的系统, 并且最终系统可能对两种计算都不理想

10 流计算与 Hadoop 基于 MapReduce 的业务不得不面对处理延迟的问题有一种想法是将基于 MapReduce 的批量处理转为小批量处理, 将输入数据切成小的片段, 每隔一个周期就启动一次 MapReduce 作业, 这种实现需要减少每个片段的延迟, 并且需要考虑系统的复杂度 : 将输入数据分隔成固定大小的片段, 再由 MapReduce 平台处理, 缺点在于处理延迟与数据片段的长度初始化处理任务的开销成正比小的分段是会降低延迟, 但是, 也增加附加开销, 并且分段之间的依赖管理更加复杂 ( 例如一个分段可能会需要前一个分段的信息 ); 反之, 大的分段会增加延迟最优化的分段大小取决于具体应用为了支持流式处理,MapReduce 需要被改造成 Pipeline 的模式, 而不是 reduce 直接输出 ; 考虑到效率, 中间结果最好只保存在内存中等等这些改动使得原有的 MapReduce 框架的复杂度大大增加, 不利于系统的维护和扩展用户被迫使用 MapReduce 的接口来定义流式作业, 这使得用户程序的可伸缩性降低

11 课程提要什么是流计算流计算处理流程流计算应用实例流计算框架 Twitter Storm 流计算框架汇总参考资料

12 传统数据处理流程传统的数据操作, 首先将数据采集并存储在 DBMS 中, 然后通过 query 和 DBMS 进行交互, 得到用户想要的结果这样的一个流程隐含了两个前提 : Data is old 当对数据做查询的时候, 里面数据其实是过去某一个时刻数据的一个 snapshot, 数据可能已经过期了 ; 这样的流程需要人们主动发出 query 也就是说用户是主动的, 而 DBMS 系统是被动的传统数据处理流程示意图

13 流计算处理流程流计算一般有三个处理流程 : 数据实时采集数据实时计算实时查询服务实时计算三个阶段

14 流计算处理流程阶段一 : 数据实时采集为流计算提供实时数据, 要保证实时性低延迟稳定可靠许多开源分布式日志收集系统均可满足每秒数百 MB 的数据采集和传输需求 Hadoop 的 Chukwa Facebook 的 Scribe LinkedIn 的 Kafka Cloudera 的 Flume 淘宝的 TimeTunnel

15 流计算的阶段阶段一 : 数据实时采集数据采集系统基本架构一般由三部分组成 Agent: 主动采集数据, 并把数据推送到 collector Collector: 接收多个 Agent 的数据, 并实现有序可靠高性能的转发 Store: 存储 Collector 的数据 ( 对于流计算来说, 这边接收的数据一般直接用于计算 ) 实时采集系统基本架构

16 流计算的阶段阶段二 : 数据实时计算现在大量存在的实时数据, 人们需要根据当前的数据实时的作出判断流计算在流数据不断变化的运动过程中实时地进行分析, 捕捉到可能对用户有用的信息, 并把结果发送出去, 在这种情况下 : 能对流数据做出实时回应 ; 用户是被动的而 DBMS 是主动的数据实时计算示意图

17 流计算的阶段阶段三 : 实时查询服务经由流计算框架得出的结果可供实时查询展示或存储

18 课程提要什么是流计算流计算处理流程流计算应用实例流计算框架 Twitter Storm 流计算框架汇总参考资料

19 流计算的应用分析系统传统的分析系统都是离线计算, 即将数据全部保存下来, 然后每隔一定时间进行离线分析, 再将结果保存但这样会有一定的延时, 这取决于离线计算的间隔时间和计算时长而通过流计算, 能在秒级别内得到实时分析结果, 有利于根据实时分析结果及时做出决策调整基于分析系统的应用场景广告系统 : 如搜索引擎和购物网站, 实时分析用户信息, 展示更佳的相关广告个性化推荐 : 如社交网站, 实时统计和分析用户行为, 精确推荐, 增加用户粘性

20 流计算的应用量子恒道挑战实时计算处理数据 3T/ 日离线分布式计算处理数据超过 20T/ 日服务超过百万的淘宝卖家问题离线计算分析延时太大, 对于需要实时分析数据的应用场景 ( 如双 11, 双 12, 一年就一次, 需要实时数据来帮助调整决策 ), 如何实现秒级别的实时分析?

21 流计算的应用量子恒道 Super Mario 2.0 流计算框架海量数据实时计算引擎实时流传输框架基于 Erlang+Zookeeper 开发低延迟高可靠性 Super Mario 2.0( 监控界面 )

22 流计算的应用量子恒道实时数据处理流程 Log 数据由 TimeTunnel 在毫秒级别内实时送达实时数据经由 Super Mario 流计算框架进行处理 HBase 输出存储结果实现效果可处理每天 TB 级的实时流数据从用户发起请求到数据展示, 延时控制在 2-3 秒内量子恒道实时数据处理示意图

23 流计算的应用实时交通信息管理 IBM 的流计算平台 InfoSphere Streams 能够广泛应用于制造零售交通运输金融证券以及监管各行各业的解决方案之中, 使得实时快速做出决策的理念得以实现汇总来自不同源的实时数据 InfoSphere Stream 界面

24 流计算的应用实时交通信息管理 Streams 应用于斯德哥尔摩的交通信息管理, 通过结合来自不同源的实时数据,Streams 可以生成动态的多方位的看待交通流量的方式, 为城市规划者和乘客提供实时交通状况查看通过 InfoSphere Streams 分析实时交通信息

25 课程提要什么是流计算流计算处理流程流计算应用实例流计算框架 Twitter Storm 流计算框架汇总参考资料

26 流计算框架要求流计算框架要求高性能处理大数据的基本要求, 如每秒处理几十万条数据海量式支持 TB 级数据, 甚至是 PB 级实时性保证较低延迟事件, 达到秒级, 最好是毫秒级分布式支持大数据的基本架构, 必须能平滑扩展易用性可靠性

27 Twitter Storm 简介免费开源的分布式实时计算系统简单高效可靠地处理大量的流数据 Storm 对于实时计算的意义类似于 Hadoop 对于批处理的意义基于 Clojure 和 Java 开发 Storm 流式计算

28 Twitter Storm 简介为了处理最近的数据, 需要一个实时系统和批处理系统同时运行要计算一个查询函数, 需要查询批处理视图和实时视图, 并把它们合并起来以得到最终的数据 Twitter 中进行实时计算的系统就是 Storm, 它在数据流上进行持续计算, 并且对这种流式数据处理提供了有力保障 Twitter 分层的数据处理架构由 Hadoop 和 ElephantDB 组成批处理系统, Storm 和 Cassandra 组成实时系统, 实时系统处理的结果最终会由批处理系统来修正, 正是这个观点使得 Storm 的设计与众不同 Twitter 数据系统分层处理架构

29 Storm 应用领域流计算 (Stream processing) 实时分析 (Real-time analytics) 连续计算 (Continuous computation) 分布式远程过程调用 (Distributed RPC) 在线机器学习 (Online machine learning) 更多

30 Storm 主要特点简单的编程模型 :Storm 降低了进行实时处理的复杂性支持各种编程语言 : 默认支持 Clojure Java Ruby 和 Python 要增加对其他语言的支持, 只需实现一个简单的 Storm 通信协议即可容错性 :Storm 会自动管理工作进程和节点的故障水平扩展 : 计算是在多个线程进程和服务器之间并行进行的可靠的消息处理 :Storm 保证每个消息至少能得到一次完整处理快速 : 系统的设计保证了消息能得到快速的处理本地模式 :Storm 有一个本地模式, 可以在处理过程中完全模拟 Storm 集群, 这样可以快速进行开发和单元测试容易部署 :Storm 集群易于部署, 只需少量的安装和配置就可运行

31 Storm 设计思想 Storm 对于流 Stream 的抽象 : 流是一个不间断的无界的连续 Tuple( 元组, 是元素有序列表 ) Stream 消息流, 是一个没有边界的 Tuple 序列, 这些 Tuples 会被以一种分布式的方式并行地创建和处理

32 Storm 设计思想 Storm 认为每个 Stream 都有一个源头, 它将这个源头抽象为 Spouts Spouts 流数据源, 它会从外部读取流数据并发出 Tuple

33 Storm 设计思想 Storm 将流的中间状态转换抽象为 Bolts,Bolts 可以处理 Tuples, 同时它也可以发送新的流给其他 Bolts 使用 Bolts 消息处理者, 所有的消息处理逻辑被封装在 Bolts 里面, 处理输入的数据流并产生输出的新数据流, 可执行过滤, 聚合, 查询数据库等操作

34 Storm 设计思想为了提高效率, 在 Spout 源接上多个 Bolts 处理器 Storm 将这样的无向环图抽象为 Topology( 拓扑 ) Topology 是 Storm 中最高层次的抽象概念, 它可以被提交到 Storm 集群执行, 一个拓扑就是一个流转换图图中的边表示 Bolt 订阅了哪些流当 Spout 或者 Bolt 发送元组到流时, 它就发送元组到每个订阅了该流的 Bolt 上进行处理

35 Storm 设计思想 Topology 实现 :Storm 中拓扑定义仅仅是一些 Thrift 结构体 (Thrift 是基于二进制的高性能的通讯中间件 ), 这样一来就可以使用其他语言来创建和提交拓扑 Tuple 实现 : 一个 Tuple 就是一个值列表列表中的每个 value 都有一个 name, 并且该 value 可以是基本类型, 字符类型, 字节数组等, 也可以是其他可序列化的类型拓扑的每个节点都要说明它所发射出的元组字段的 name, 其他节点只需要订阅该 name 就可以接收数据

36 Storm 设计思想 Stream groupings( 消息分发策略 ): 定义一个 Stream 应该如何分配给 Bolts, 解决两个组件 (Spout 和 Bolt) 之间发送 tuple 元组的问题 Task( 任务 ): 每一个 Spout 和 Bolt 会被当作很多 task 在整个集群里面执行, 每一个 task 对应到一个线程 Stream groupings 示意图 Task 示意图

37 Storm 设计思想一个 Topology 的完整示意图

38 Storm 框架设计 Storm 集群表面类似 Hadoop 集群在 Hadoop 上运行的是 MapReduce jobs, 在 Storm 上运行的是 Topologies 两者大不相同, 一个关键不同是一个 MapReduce 的 Job 最终会结束, 而一个 Topology 永远处理消息 ( 或直到 kill 它 ) Storm 集群有两种节点 : 控制 (Master) 节点和工作者 (Worker) 节点控制节点运行一个称之为 Nimbus 的后台程序, 负责在集群范围内分发代码为 worker 分配任务和故障监测每个工作者节点运行一个称之 Supervisor 的后台程序, 监听分配给它所在机器的工作, 基于 Nimbus 分配给它的事情来决定启动或停止工作者进程

39 Storm 框架设计一个 Zookeeper 集群负责 Nimbus 和多个 Supervisor 之间的所有协调工作 ( 一个完整的拓扑可能被分为多个子拓扑并由多个 supervisor 完成 )

40 Storm 框架设计 Nimbus 后台程序和 Supervisor 后台程序都是快速失败 (fail-fast) 和无状态的, 所有状态维持在 Zookeeper 或本地磁盘这种设计中 master 并没有直接和 worker 通信, 而是借助中介 Zookeeper, 这样一来可以分离 master 和 worker 的依赖, 将状态信息存放在 zookeeper 集群内以快速回复任何失败的一方这意味着你可以 kill 杀掉 nimbus 进程和 supervisor 进程, 然后重启, 它们将恢复状态并继续工作, 这种设计使 Storm 极其稳定

41 Storm 框架设计 Storm 工作流程示意图

42 Storm 实例单词统计 TopologyBuilder builder = new TopologyBuilder(); builder.setspout("sentences", new RandomSentenceSpout(), 5); builder.setbolt("split", new SplitSentence(), 8).shuffleGrouping("sentences"); builder.setbolt("count", new WordCount(), 12).fieldsGrouping("split", new Fields("word")); Bolt 通过订阅 Tuple 的 name 值来接收数据编程模型非常简单, 通过 Topology 定义整个处理逻辑 Topology 中定义了一个 Spout 和两个处理消息的 Bolt

43 Storm 实例单词统计 TopologyBuilder builder = new TopologyBuilder(); builder.setspout("sentences", new RandomSentenceSpout(), 5); builder.setbolt("split", new SplitSentence(), 8).shuffleGrouping("sentences"); builder.setbolt("count", new WordCount(), 12).fieldsGrouping("split", new Fields("word")); Shuffle Grouping 是随机分组, 表示 Tuple 会被随机的分发给 Bolt Fields Grouping 是按字段分组, 保证具有相同 field 值的 Tuple 会分发给同一个 Task 进行统计, 保证统计的准确性

44 Storm 实例 SplitSentence

45 Storm 实例 WordCount

46 Storm 实例每个从 spout 发送出来的消息 ( 英文句子 ) 都会触发很多的 task 被创建 Bolts 将句子分解为独立的单词, 然后发射这些单词最后, 实时的输出每个单词以及它出现过的次数一个句子经单词统计后的统计结果示意图

47 Storm 实例

48 Storm 应用使用 Storm 的公司和项目

49 Storm 应用淘宝阿里巴巴将流计算广泛应用于业务监控广告推荐买家实时数据分析等场景淘宝数据部新架构

50 课程提要什么是流计算流计算处理流程流计算应用实例流计算框架 Twitter Storm 流计算框架汇总参考资料

51 流计算框架汇总 IBM InfoSphere Streams: 商业级高级计算平台, 帮助用户开发的应用程序快速摄取分析和关联来自数千个实时源的信息 03.ibm.com/software/products/cn/zh/infosphere-streams/ IBM StreamBase:IBM 开发的另一款商业流计算系统, 在金融部门和政府部门使用 Twitter Storm: 免费开源的分布式实时计算系统, 可简单高效可靠地处理大量的流数据 Yahoo! S4(Simple Scalable Streaming System): 开源流计算平台, 是通用的分布式的可扩展的分区容错的可插拔的流式系统 Facebook Puma:Facebook 使用 Puma 和 Hbase 相结合来处理实时数据 DStream: 百度正在开发的属于百度的通用实时数据流计算系统银河流数据处理平台 : 淘宝开发的通用流数据实时计算系统 Super Mario: 基于 erlang 语言和 zookeeper 模块开发的高性能数据流处理框架 Hstream Esper SQLstream 等

52 课程提要什么是流计算流计算处理流程流计算应用实例流计算框架 Twitter Storm 流计算框架汇总参考资料

53 网上资料关于流计算的文章对互联网海量数据实时计算的理解 Beyond MapReduce: 谈 2011 年风靡的数据流计算系统 Twitter Storm (Storm 官方网站 ) (Storm 的 GitHub 主页, 有完善的 Wiki) ( 徐明明,GitHub 上 Storm 的核心贡献者, 博客中提供了不少关于 Storm 的文章 ) ( 量子恒道提供的 Storm 入门教程 )

主讲教师和助教主讲教师 : 林子雨单位 : 厦门大学计算机科学系 E-mail: ziyulin@xmu.edu.cn 个人网页 :http://www.cs.

54 主讲教师和助教主讲教师 : 林子雨单位 : 厦门大学计算机科学系 ziyulin@xmu.edu.cn 个人网页 : 数据库实验室网站 : 助教 : 赖明星单位 : 厦门大学计算机科学系数据库实验室 2011 级硕士研究生 ( 导师 : 林子雨 ) mingxinglai@gmail.com 个人主页 : 欢迎访问大数据技术基础 2013 班级网站 : 本讲义 PPT 存在配套教材大数据技术基础, 请到上面网站下载

55 Department of Computer Science, Xiamen University, September, 2013

大数据技术基础

获取教材和讲义 PPT 等各种课程资料请访问 http://dblab.xmu.edu.cn/node/422 = 课程教材由林子雨老师根据网络资料编著 = 厦门大学计算机科学系教师林子雨编著 http://www.cs.xmu.edu.cn/linziyu 2013 年 9 月 1 / 28 前言本教程由厦门大学计算机科学系教师林子雨编著, 可以作为计算机专业研究生课程大数据技术基础的辅助教材