产品介绍

Size: px

Start display at page:

Download "产品介绍"

软史
4 years ago
Views:

1 实时流计算服务产品介绍文档版本 11 发布日期华为技术有限公司

2 版权所有华为技术有限公司 2019 保留一切权利非经本公司书面许可, 任何单位和个人不得擅自摘抄复制本文档内容的部分或全部, 并不得以任何形式传播商标声明和其他华为商标均为华为技术有限公司的商标本文档提及的其他所有商标或注册商标, 由各自的所有人拥有注意您购买的产品服务或特性等应受华为公司商业合同和条款的约束, 本文档中描述的全部或部分产品服务或特性可能不在您的购买或使用范围之内除非合同另有约定, 华为公司对本文档内容不做任何明示或默示的声明或保证由于产品版本升级或其他原因, 本文档内容会不定期进行更新除非另有约定, 本文档仅作为使用指导, 本文档中的所有陈述信息和建议不构成任何明示或暗示的担保华为技术有限公司地址 : 深圳市龙岗区坂田华为总部办公楼邮编 : 网址 : 客户服务邮箱 : support@huawei.com 客户服务电话 : 文档版本 11 ( ) 版权所有华为技术有限公司 i

4 1 什么是 CS 1 什么是 CS 实时流计算服务 (Cloud Stream Service, 简称 CS), 是运行在公有云上的实时流式大数据分析服务, 全托管的方式用户无需感知计算集群, 只需聚焦于 Stream SQL 业务, 即时执行作业, 完全兼容 Apache Flink(1.5.3 版本 )API 和 Apache Spark(2.2.1 版本 ) API 实时流计算平台是公司在 IT 领域主推的低时延 (ms 级时延 ) 高吞吐高可靠的分布式实时流计算服务它以 Flink 为基础, 加入公司沉淀的特性增强和安全增强, 是批流合一的分布式计算服务, 提供了数据处理所必须的 Stream SQL 特性, 后续还会支持在 Stream SQL 上增加机器学习和图计算相关算法的功能文档版本 11 ( ) 版权所有华为技术有限公司 1

6 2 产品优势 2 产品优势实时流计算服务主要具有以下优势分布式实时流计算支持大规模分布式集群, 集群弹性伸缩, 按作业使用的资源扩容和缩容集群, 最大化节省成本简单易用在线 SQL 编辑平台编写 Stream SQL, 定义数据流入数据处理数据流出, 快捷实现业务逻辑 ; 用户无需关心计算集群, 无需学习编程技能, 降低流数据分析门槛独享集群全托管模式, 自动弹性伸缩, 用户完全不感知计算集群, 无需关心大数据框架和资源调度框架, 即时提交作业后, 可视化查看作业的运行状态提供共享集群和独享集群两种模式, 独享集群与其他租户和共享集群完全物理隔离, 并支持配额限制管理安全隔离租户安全机制保障, 确保作业安全运行, 且租户计算集群完全和其他租户物理隔离, 独立的安防设置, 确保计算集群的安全性按需计费按资源使用量计费, 用多少算多少, 定价单位是 SPU(Stream Processing Unit, 1 SPU=1 核 CPU+4G 内存 ), 用户选定 SPU 数, 按时长计费, 精确到秒高吞吐低时延采用 Apache Flink 的 Dataflow 模型, 完全的实时计算框架采用高性能计算资源, 从用户自建的 Kafka MRS-Kafka DMS-Kafka 消费数据, 单 SPU 每秒大约处理 1 万条消息文档版本 11 ( ) 版权所有华为技术有限公司 3

7 3 应用场景 3 应用场景实时流分析场景实时流计算服务的使用, 聚焦于互联网和物联网场景, 适用于实时性要求高吞吐量大的业务场景主要应用在互联网行业中小企业物联网车联网金融反欺诈等多种行业应用场景, 如互联网汽车日志在线分析在线机器学习在线图计算在线推荐算法应用等提供易用低时延高吞吐的实时流分析服务支持 Stream SQL 和用户自定义作业做流分析场景优势易用 : 在线编辑 Stream SQL, 丰富的 SQL 函数满足复杂业务需要完全托管 : 用户完全不感知计算集群, 聚焦流分析本身按需计费 : 作业选定 SPU 资源量, 按时长计费, 精确到秒场景特点 : 面向流数据, 支持 Window CEP Join 等复杂的流分析操作, 毫秒级时延适用场景 : 实时日志分析, 网络流量监控, 实时风险管控, 实时数据统计, 实时数据 ETL 文档版本 11 ( ) 版权所有华为技术有限公司 4

3 应用场景图 3-1 实时流分析场景物联网 IoT 场景物联网设备或边缘设备, 上传数据到数据接入服务 (DIS) 或者其他云存储服务, 实时流计算服务直接从 DIS 读取数据, 实时分析数据流 ( 故障检测数据清洗统计分析指标预警等等 ), 实时把流分析结果持久化或推送告警通知场景优势丰富的 IoT SQL 函数 : 区域检测函数偏航检测函数相对位置判断等常用的 IoT

8 3 应用场景图 3-1 实时流分析场景物联网 IoT 场景物联网设备或边缘设备, 上传数据到数据接入服务 (DIS) 或者其他云存储服务, 实时流计算服务直接从 DIS 读取数据, 实时分析数据流 ( 故障检测数据清洗统计分析指标预警等等 ), 实时把流分析结果持久化或推送告警通知场景优势丰富的 IoT SQL 函数 : 区域检测函数偏航检测函数相对位置判断等常用的 IoT 函数高吞吐低时延 : 使用 Apache Flink 执行引擎, 完全的实时计算框架安全隔离 : 租户之间完全隔离, 确保数据安全场景特点 : 物联网 IoT 直接调用实时流计算服务 API, 实时流计算服务可以实时读取传感器信息并执行用户的分析逻辑, 分析结果对接到 DIS RDS 等服务, 并用于可视化持久化告警或报表展示适用场景 : 电梯 IoT 工业 IoT 共享单车互联网汽车和智能家居文档版本 11 ( ) 版权所有华为技术有限公司 5

10 4 产品功能 4 产品功能实时流计算服务主要具有以下功能 : 丰富的 StreamSQL 在线分析能力支持 Window Join 等聚合函数地理函数 CEP 函数等, 用 SQL 表达业务逻辑, 简便快捷实现业务详细内容请参见实时流计算服务 SQL 语法参考 StreamingML 提供多种流式机器学习方法对数据进行实时分析与预测, 用户仅需编写 SQL 调用相关函数便可实现数据统计, 异常检测, 实时聚类, 时间序列分析等场景详细内容请参见 StreamingML 地理位置分析提供地理位置分析函数对地理空间数据进行实时分析, 用户仅需编写 SQL 便可实现例如偏航检测, 电子围栏等地理分析场景详细内容请参见地理函数 CEP SQL 提供基于 Match Recognize 的模式匹配检测, 帮助业务人员使用 SQL 实现基于复杂事件规则的异常检测业务典型应用场景如欺诈检测车辆异常行为检测工业设备异常运行状态检测等详细内容请参见 CEP 模式匹配数据可视化提供多种图表类型实时展示作业数据输出, 用户还可以通过 API 网关服务自由访问作业数据, 接入自定义工作流中详细内容请参见数据可视化可视化 SQL 编辑器实时流计算服务针对不太熟悉 SQL 的用户, 提供了可视化编辑器功能, 它将实时流计算服务需要对接的上下游服务 ( 如 DIS CloudTable 等 ) 和内部逻辑算子 ( 如 filter window 等 ) 封装成可拖拽的组件, 用户只需要将其拖入画布中并用连线将各个元素连接, 就能轻松的创建出一个作业的拓扑, 再通过点击画布中的各个元素设置对应参数, 就能轻松完成一个作业的编辑详细内容请参见可视化编辑器支持独享集群及其作业的资源配额允许租户创建独享集群, 独享集群与其他租户和共享集群是完全物理隔离的, 不会受其他作业影响租户可配置独享集群最大可使用 SPU 配额, 并为其子用户分配可用的集群以及可使用的 SPU 配额详细内容请参见集群管理支持在线测试 SQL 作业作业调试功能可以帮助用户校验 SQL 语句逻辑是否正确, 通过用户的样例数据输入 ( 支持手动输入和 OBS 输入两种方式 ) 结合 SQL 逻辑快速输出样例结果, 确保在作业正式运行时, 逻辑处理正确详细内容请参见调试作业文档版本 11 ( ) 版权所有华为技术有限公司 7

11 4 产品功能支持 Flink 和 Spark 自定义作业允许用户在独享集群上提交 Flink 和 Spark 自定义作业支持 Spark streaming 和 Structured streaming 允许用户在独享集群上提交 Spark streaming 自定义作业支持与多种云服务连通, 形成丰富的流生态圈实时流计算服务的生态分为云服务生态和开源生态 : 云服务生态 : 实时流计算服务在 Stream SQL 中支持与其他服务的连通用户可以直接使用 SQL 从这些服务中读写数据, 如 DIS OBS CloudTable MRS RDS SMN DCS 等开源生态 : 通过对等连接建立与其他 VPC 的网络连接后, 用户可以在实时流计算服务的租户独享集群中访问所有 Flink 和 Spark 支持的数据源与输出源, 如 Kafka Hbase ElasticSearch 等详细内容请参见实时流计算服务流生态开发指南支持智能边缘平台 (Intelligent EdgeFabric) 智能边缘平台 (IEF) 与实时流计算服务的结合, 支持流处理云端管理, 边缘侧运行, 提供实时流处理能力文档版本 11 ( ) 版权所有华为技术有限公司 8

12 5 与其他云服务的关系 5 与其他云服务的关系介绍实时流计算服务与其他服务的关系关于实时流计算服务的云服务生态和开源生态及其开发指导, 请参见实时流计算服务流生态开发指南数据接入服务 (Data Ingestion Service) 实时流计算服务的数据源和作业输出数据默认为数据接入服务 (DIS) 数据源 :DIS 接入用户数据, 实时流计算服务从 DIS 的 channel 读取数据, 作为作业的输入数据数据的输出 : 实时流计算服务将作业的输出数据写入 DIS 对象存储服务 (Object Storage Service) 对象存储服务 (OBS) 可用作实时流计算服务的数据源作业输出数据存储和作业 Checkpoint 数据的备份地数据源 : 实时流计算服务支持从 OBS 上读取用户存储的数据, 作为作业的输入数据输出数据存储 : 实时流计算服务将作业的输出数据写入 OBS 作业 Checkpoint 数据的备份地和保存作业日志功能 : 如果作业开启了 Checkpoint 功能或保存作业日志功能, 实时流计算服务支持将作业快照和日志存储到 OBS 中, 以便作业在出现异常时可以从 Checkpoint( 一致性检查点 ) 恢复作业和查看作业日志找出异常原因关系型数据库 (Relational Database Service) 实时流计算服务可以将作业的输出数据写入关系型数据库 (RDS) 中数据仓库服务 (Data Warehouse Service) 实时流计算服务可以将作业的输出数据写入数据仓库服务 (DWS) 中消息通知服务 (Simple Message Notification) 实时流计算服务使用消息通知服务 (SMN) 使用户可以在事件发生 ( 作业运行异常 ) 时能立即接收到通知实时流计算服务还可以将作业的输出数据写入消息通知服务中表格存储服务 (CloudTable Service) 实时流计算服务可以使用表格存储服务 (CloudTable) 作为数据输入源, 也可以把作业的输出数据写入表格存储服务 (CloudTable) 中云搜索服务 (Cloud Search Service) 实时流计算服务可以将作业的输出数据写入云搜索服务 (CSS) 中文档版本 11 ( ) 版权所有华为技术有限公司 9

13 5 与其他云服务的关系分布式缓存服务 (Distributed Cache Service) 实时流计算服务可以将作业的输出数据写入分布式缓存服务 (DCS) 中 MapReduce 服务 (MapReduce Service) 实时流计算服务可以将 MapReduce 服务 (MRS) 作为数据输入源, 也可以把作业的输出数据写入 MapReduce 服务中文档数据库服务 (Document Database Service) 实时流计算服务可以将作业的输出数据写入文档数据库服务 (DDS) 中 API 网关 (API Gateway) 实时流计算服务将作业的输出数据输出到 API 网关服务的开放 API 中, 用户通过 API 网关服务的调用 API 方式访问数据智能边缘平台 (Intelligent EdgeFabric) 智能边缘平台 (IEF) 与实时流计算服务 (CS) 的结合, 支持流处理云端管理, 边缘侧运行, 提供实时流处理能力用户可以一键式部署边缘流处理应用, 并在云上基于 StreamSQL 开发测试边缘流处理作业, 将云上的流处理能力下发到边缘 ; 而云上统一进行边缘流处理任务的管理发放监控, 提供边缘和云上统一的流处理体验 ; 这样可以满足用户对边缘计算资源的远程管控数据处理分析决策智能化的诉求, 为用户提供完整的边缘和云协同的一体化服务与统一身份认证服务的关系 (Identity and Access Management) 实时流计算服务使用统一身份认证服务 (IAM) 提供鉴权功能云审计服务 (Cloud Trace Service) 云审计服务 (CTS) 可以记录与实时流计算服务相关的操作, 供用户查询审计和回溯使用云监控服务 (Cloud Eye) 云监控 (Cloud Eye) 为实时流计算服务提供监控数据, 监控作业中的多项指标, 从而集中高效地呈现状态信息弹性云服务器 (Elastic Cloud Server) 实时流计算服务使用弹性云服务器作为集群的节点, 每个弹性云服务器是集群中的一个节点虚拟私有云 (Virtual Private Cloud) 虚拟私有云 (VPC) 为集群提供网络拓扑, 实现多个不同集群互相隔离并控制访问文档版本 11 ( ) 版权所有华为技术有限公司 10

14 6 如何访问 6 如何访问实时流计算服务提供了 Web 化的服务管理平台, 即管理控制台, 还提供了基于 HTTPS 请求的 API(Application programming interface) 方式访问实时流计算服务管理控制台方式使用管理控制台方式访问实时流计算服务用户在注册后, 可直接登录管理控制台, 选择服务列表 > EI 企业智能 > 实时流计算服务 API 方式如果用户需要将实时流计算服务集成到第三方系统, 用于二次开发, 请使用 API 方式访问, 具体操作请参见实时流计算服务 API 参考文档版本 11 ( ) 版权所有华为技术有限公司 11

15 7 配额说明 7 配额说明为防止资源滥用, 平台限定了各服务资源的配额, 对用户的资源数量和容量做了限制实时流计费服务的默认用户配额如表 7-1 所示关于如何查看配额以及扩大配额的详细信息, 请参见关于配额表 7-1 用户配额资源类型总配额集群 SPU 数 800 集群数 10 用户可用 SPU 数 1,000 单作业最大 SPU 数 400 文档版本 11 ( ) 版权所有华为技术有限公司 12

16 8 权限管理 8 权限管理如果您需要对华为云上购买的 CS 资源, 给企业中的员工设置不同的访问权限, 以达到不同员工之间的权限隔离, 您可以使用统一身份认证服务 (Identity and Access Management, 简称 IAM) 进行精细的权限管理该服务提供用户身份认证权限分配访问控制等功能, 可以帮助您安全的控制华为云资源的访问通过 IAM, 您可以在华为云账号中给员工创建 IAM 用户, 并使用策略来控制他们对华为云资源的访问范围例如您的员工中有负责软件开发的人员, 您希望他们拥有 CS 的使用权限, 但是不希望他们拥有删除集群等高危操作的权限, 那么您可以使用 IAM 为开发人员创建用户, 通过授予仅能使用 CS 服务, 但是不允许删除集群的权限策略, 控制他们对 CS 资源的使用范围如果华为云账号已经能满足您的要求, 不需要创建独立的 IAM 用户进行权限管理, 您可以跳过本章节, 不影响您使用 CS 服务的其它功能 IAM 是华为云提供权限管理的基础服务, 无需付费即可使用, 您只需要为您账号中的资源进行付费关于 IAM 的详细介绍, 请参见 IAM 产品介绍 CS 系统策略策略是以 JSON 格式描述权限集的语言默认情况下, 新建的 IAM 用户没有任何权限, 您需要将其加入用户组, 并给用户组授予策略, 才能使得用户组中的用户获得策略定义的权限, 这一过程称为授权授权后, 用户就可以基于策略对云服务进行操作 IAM 系统预置了各服务的常用权限, 例如管理员权限只读权限, 您可以直接使用这些系统策略 CS 部署时通过物理区域划分, 为项目级服务, 需要在各区域 ( 如华北 - 北京 1) 对应的项目 (cn-north-1) 中设置策略, 并且该策略仅对此项目生效, 如果需要所有区域都生效, 则需要在所有项目都设置策略访问 CS 时, 需要先切换至授权区域如表 8-1 所示, 包括了 CS 的所有系统策略策略根据授权精度分为细粒度策略和 Role-Based Access Control(RBAC) 策略细粒度策略是 RBAC 策略的升级版, 当前处于公测阶段, 推荐您开通细粒度策略, 开通后可免费使用, 开通方法请参见 : 申请细粒度访问控制公测 RBAC 策略 :RBAC 策略是将服务作为一个整体进行授权, 授权后, 用户可以拥有这个服务的所有权限, 如访问整个服务管理整个服务,RBAC 策略无法针对服务中的具体操作做权限控制细粒度策略 : 细粒度策略以 API 接口为粒度进行权限拆分, 授权更加精细, 可以精确到具体操作授权后, 用户可以对这个服务执行特定的操作, 如不允许某用户文档版本 11 ( ) 版权所有华为技术有限公司 13

17 8 权限管理组删除集群, 仅允许操作 CS 基本操作, 如创建查询作业等 CS 支持的 API 授权项请参见权限策略和授权项表 8-1 CS 系统策略策略名称描述策略类别 CS Admin CS User CS Viewer CS Tenant Admin CS Tenant User 实时流计算服务管理员权限, 拥有实时流计算服务所有权限实时流计算服务普通用户权限, 拥有该权限的用户可以创建删除修改作业和模板实时流计算服务只读权限, 拥有该权限的用户仅能查看实时流计算服务的作业模板和独享集群实时流计算服务管理员权限, 拥有实时流计算服务所有权限操作权限 : 创建删除修改作业模板和独享集群为具有 CS User 权限的子用户分配可用集群和可用配额查看独享集群里的所有用户作业操作权限 : 创建删除修改作业和模板细粒度策略细粒度策略细粒度策略 RBAC 策略 RBAC 策略表 8-2 列出了 CS 常用操作与系统策略的授权关系, 您可以参照该表选择合适的系统策略表 8-2 CS 操作与系统策略关系操作 CS Admin CS User CS Viewer CS Tenant Admin CS Tenant User 创建作业 x 更新作业 x 获取作业详细信息获取作业列表删除作业 x 启动作业 x 停止作业 x 文档版本 11 ( ) 版权所有华为技术有限公司 14

18 8 权限管理操作 CS Admin CS User CS Viewer CS Tenant Admin CS Tenant User 创建集群 x x x 更新集群 x x x 获取集群详细信息获取集群列表 x x x x 停止集群 x x x 重启集群 x x x 删除集群 x x x 查询用户配额信息查询所有用户配额信息修改用户配额获取审计信息 x x x x x x x x x x 创建模板 x 更新模板信息获取模板信息获取模板列表 x 删除模板 x 相关链接 IAM 产品介绍创建用户组用户并授予 CS 权限策略语法细粒度策略支持的授权项文档版本 11 ( ) 版权所有华为技术有限公司 15

API参考

API参考文档版本 03 发布日期 2018-06-20 华为技术有限公司版权所有华为技术有限公司 2018 保留一切权利非经本公司书面许可, 任何单位和个人不得擅自摘抄复制本文档内容的部分或全部, 并不得以任何形式传播商标声明和其他华为商标均为华为技术有限公司的商标本文档提及的其他所有商标或注册商标, 由各自的所有人拥有注意您购买的产品服务或特性等应受华为公司商业合同和条款的约束, 本文档中描述的全部或部分产品