幻灯片 1

Size: px

Start display at page:

Download "幻灯片 1"

贡贾
5 years ago
Views:

1 2015 年 8 月 22 日星期六 StreamCQL 构建在分布式流处理平台上的查询语言

2 个人简介 StreamCQL 简介 StreamCQL 与流处理平台 StreamCQL 功能 StreamCQL 后期开发计划 2

3 个人简介何志强,StreamCQL 核心作者之一, 实时处理资深架构师 2011 年 4 月加入华为, 目前在华为进行实时分析开发一直从事大数据分析分布式计算流式处理等方面的研究及开发 3

4 StreamCQL 简介 StreamCQL(Stream Continuous Query Language) 是建立在分布式流处理平台基础上的查询语言 (CQL), 架构支持构建在多种流处理引擎之上, 目前主要适配 Storm 当前多数流处理平台仅提供分布式处理能力, 业务逻辑开发复杂, 流计算业务功能较弱, 存在业务逻辑重用性不高重复开发开发效率低下等问题 StreamCQL 提供了较丰富的分布式流计算功能, 除了具有过滤转换等传统的 SQL 基本能力之外, StreamCQL 引入基于窗口的计算, 提供窗口数据的统计关联等能力, 以及流数据的拆分合并等功能 4

5 CQL 2003 年, 斯坦福大学 The CQL Continuous Query Language: Semantic Foundations and Query Execution* CQL(continuous query language) 是一个基于 SQL 的声明式语言, 它用于在流 (streams) 和可更新关系 (updatable relation) 上进行可持续查询 5

6 CQL 流 : 一个流就是一组 ( 无穷 ) 元素的集合, <s, t> 表示元组 s 在时间 t 到达流. 关系 : 一个关系就是一个随时间变化的数据集 6

7 CQL 窗口窗口就是一个有限范围内任意一个时间点的数据状态快照 7

8 CEP 市场状况 8

9 StreamCQL 与流处理平台业务接口 CQL IDE 功能 Join Aggregate Split Merge Pattern Matching Stream Window 引擎 Storm 其它流处理引擎 9

10 StreamCQL 架构 StreamCQL Parser Driver SemanticAnalyzer Combiner Optimizer Strom StormAdapter Other Stream Engine OtherAdapter ExecutorPlan StreamExecutor ExpressionGenerator WindowGenerator ApplicationGenerator AplicationChecker 10

11 StreamCQL 带来 Storm 开发方式的转变 Storm 原生 API //Def Input: public void open(map conf, TopologyContext context, SpoutOutputCollector collector) { } public void nexttuple() { } public void ack(object id) { } public void declareoutputfields(outputfieldsdeclarer declarer) { } //Def logic: public void execute(tuple tuple, BasicOutputCollector collector) { } public void declareoutputfields(outputfieldsdeclarer ofd) { } //Def Output: public void execute(tuple tuple, BasicOutputCollector collector) { } public void declareoutputfields(outputfieldsdeclarer ofd) { } //Def Topology: public static void main(string[] args) throws Exception { } StreamCQL --Def Input: CREATE INPUT STREAM S1 --Def logic: INSERT INTO STREAM filterstr SELECT * FROM S1 WHERE name="huawei"; --Def Output: CREATE OUTPUT STREAM S2 --Def Topology: SUBMIT APPLICATION test; 11

12 StreamCQL 生成 Storm 拓扑 CREATE INPUT STREAM S1 (...) SOURCE KafkaInput PROPERTIES(...); Spout Spout CREATE INPUT STREAM S2...; CREATE INPUT STREAM S3...; S1 SelectBolt S2 Spout CREATE OUTPUT STREAM RS(...) SINK kafkaoutput PROPERTIES(...) INSERT INTO s4 SELECT *,1 FROM S1; INSERT INTO S4 SELECT *,2 FROM S2; INSERT INTO STREAM rs SELECT * FROM S4[ROWS 10 BATCH] INNER JOIN S3[RANGE 3 HOURS SLIDE] ON s4.id=s3.id WHERE s4.id > 5; s4 JoinBolt RS OutputBolt S3 12

13 StreamCQL 功能创建输入流 CREATE INPUT STREAM example ( eventid INT, eventdesc STRING ) COMMENT "this is a example of create input stream." SERDE SimpleSerDe PROPERTIES (separator = " ") SOURCE TCPClientInput PROPERTIES ( server = " ",port = "9999" ) PARALLEL 2; 13

14 StreamCQL 功能 Join INSERT INTO STREAM rs SELECT * FROM S1[RANGE 20 SECONDS BATCH] JOIN S2[RANGE UNBOUNDED] ON s1.id=s2.id WHERE s1.id > 5; INSERT INTO STREAM rs SELECT * FROM S1[ROWS 10 SLIDE] LEFT JOIN S2[range today ts] ON s1.id=s2.id; 14

15 StreamCQL 功能窗口语法名称说明 S[ROWS N1 BATCH] S[RANGE T1 SLIDE] S[ROWS N1 SLIDE PARTITION BY EXP1] S[RANGE T1 SLIDE TRIGGER BY EXP1] 长度跳动窗时间滑动窗分组长度滑动窗事件驱动时间滑动窗窗口内最大保存 N1 个事件, 当有新事件产生的时候, 窗口内每攒满 N1 个事件, 就过期一次同时过期的所有事件处于同一批次窗口内保存最近 T1 时间范围内的数据,T1 是一个时间单位, 可以加入 Seconds 等时间单位窗口内的事件依次过期每个过期事件的批次都不同同长度滑动窗, 但是加入了分组的概念, 事件归属于不同的分组, 每个分组的长度为 N1, 逐个过期窗口内保存最近 T1 时间单位的数据,exp1 是一个返回值为时间类型的表达式, 每次产生数据之后, 都会和窗口内的数据做对比, 然后将大于 T1 时间单位的数据吐出, 每次只吐出一个数据 15

16 StreamCQL 功能窗口 -- 按照 type 对窗口内数据进行分组, 每组容量为 10 SELECT * FROM transformevent[rows 10 SLIDE PARTITION BY TYPE]; -- 时间排序窗, 一般用来解决数据乱序问题 SELECT * FROM transformevent[range 1000 MILLISECONDS SORT BY dte]; -- 事件驱动时间滑动窗 INSERT INTO STREAM rs sum(orderprice),avg(orderprice),count(orderprice) FROM transformevent[range 10 SECONDS SLIDE TRIGGER by TS EXCLUDE now]; -- 保存周期为一个自然天的分组窗 INSERT INTO STREAM rs select id,name,count(id) FROM transformevent[range TODAY ts PARTITION BY TYPE] WHERE id > 5 GROUP BY TYPE HAVING id > 10; 16

17 StreamCQL 功能 Split 功能 FROM teststream INSERT INTO STREAM s1 SELECT * INSERT INTO STREAM s2 SELECT a INSERT INTO STREAM s3 SELECT id, name WHERE id > 10 PRARLLEL 4; stream < * > OutputBolt1 Spout teststream SplitBolt stream < a > OutputBolt2 stream < id, name > OutputBolt3 17

18 StreamCQL 后期模式匹配 (follow by.) CQLServer(CQL 远程提交, 多语言接口,JDBC 接口 ) 可靠性增强 Github 开源 18

19 团队介绍华为实时分析团队, 致力于大数据的实时计算实时分析及挖掘等领域 ; 团队中每位成员都在大数据和实时分析领域深耕细作多年, 同时在电信银行医疗公安等多行业具有丰富的实战经验, 欢迎各位有志之士加入, 和我们一起玩转大数据! 产品公众号 :FusionInsight 联系人 : 沙欧 shaou@huawei.com 19

future product portfolio, new technology, etc.

20 HUAWEI ENTERPRISE ICT SOLUTIONS A BETTER WAY Copyright 2013 Huawei Technologies Co., Ltd. All Rights Reserved. The information in this document may contain predictive statements including, without limitation, statements regarding the future financial and operating results, future product portfolio, new technology, etc. There are a number of factors that could cause actual results and developments to differ materially from those expressed or implied in the predictive statements. Therefore, such information is provided for reference purpose only and constitutes neither an offer nor an acceptance. Huawei may change the information at any time without notice.

PowerPoint 演示文稿

PowerPoint 演示文稿华为最高级别技术认证演讲人 : 徐一鸣 / yiming.xu@huawei.com 职位 : HCIE 讣证系统架构师 HCIE 深度解析目录 1 2 3 4 为什么参加 HCIE 讣证 HCIE 讣证考试大揭秘怎么获得 HCIE 讣证 HCIE 相关信息获取途径为什么选择 HCIE? 知