产品介绍

Size: px

Start display at page:

Download "产品介绍"

屐里施
4 years ago
Views:

1 数据湖治理产品介绍文档版本 01 发布日期华为技术有限公司

2 版权所有华为技术有限公司 2019 保留一切权利非经本公司书面许可, 任何单位和个人不得擅自摘抄复制本文档内容的部分或全部, 并不得以任何形式传播商标声明和其他华为商标均为华为技术有限公司的商标本文档提及的其他所有商标或注册商标, 由各自的所有人拥有注意您购买的产品服务或特性等应受华为公司商业合同和条款的约束, 本文档中描述的全部或部分产品服务或特性可能不在您的购买或使用范围之内除非合同另有约定, 华为公司对本文档内容不做任何明示或默示的声明或保证由于产品版本升级或其他原因, 本文档内容会不定期进行更新除非另有约定, 本文档仅作为使用指导, 本文档中的所有陈述信息和建议不构成任何明示或暗示的担保华为技术有限公司地址 : 深圳市龙岗区坂田华为总部办公楼邮编 : 网址 : 客户服务邮箱 : support@huawei.com 客户服务电话 : 文档版本 01 ( ) 版权所有华为技术有限公司 i

4 1 DLG 简介 1 DLG 简介数据湖治理 (Data Lake Governance, 简称 DLG) 是一站式数据治理平台, 提供了统一的元数据管理数据的智能分析管理落地数仓标准和业务标准数据质量智能监控和数据质量提升等功能, 其数据底座支持各种 EI 大数据核心服务如 MRS DWS DLI CloudTable MLS 等技术特点一站式治理平台提供一站式元数据管理数据标准管理数据质量管理数据安全管理等功能数据底座丰富基于多种大数据平台进行治理, 满足多种数仓需求, 数据底座支持各种 EI 大数据核心服务如 MRS DWS DLI CloudTable MLS 等全局数据资产管理业务资产和技术资产统一管理, 全局资产视图数据溯源和数据开放共享 ; 智能数据规划将华为多年数据体系设计方法论沉淀在产品中, 实现数据规范定义 -> 数据指标设计 -> 数据模型设计 -> 数据中台主题库建设, 帮助企业数据标准化治理助力企业数据中台落地文档版本 01 ( ) 版权所有华为技术有限公司 1

5 2 DLG 的架构 2 DLG 的架构 DLG 是分布式多租户共享集群, 其产品架构请参见图 2-1 图 2-1 DLG 架构表 2-1 架构说明名称元数据管理数据标准描述支持连接数据源 (DWS DLI Hive Mysql OBS 等 ) 自动提取元数据, 自定义采集策略, 元数据变更审计支持周期性调度, 实时监控任务运行情况标准化数据体系设计, 支持标准定义数据指标设计数据模型设计数据主题库设计支持指标模型自动化生产数据处理代码文档版本 01 ( ) 版权所有华为技术有限公司 2

6 2 DLG 的架构名称数据质量数据安全数据地图描述对数据库里的数据质量进行管理的工具, 支持从完整性有效性及时性一致性准确性唯一性六个维度进行单列跨列跨行和跨表的分析支持数据的清洗和标准化, 可根据数据标准自动生成清洗和标准化的质量规则, 支持周期性的监控和清洗数据全面安全管控, 统一的安全认证, 租户隔离, 数据的分级分类管理, 数据智能脱敏, 数据的全生命周期管理, 保证数据的隐私合规可审计可回溯全局数据资产视图, 业务资产和技术资产统一管理, 提供资产全局视图支持资产搜索资产关联数据血缘资产分类管理, 从业务视角查看和使用资产文档版本 01 ( ) 版权所有华为技术有限公司 3

7 3 DLG 的功能 3 DLG 的功能元数据管理数据地图注册数据源, 批量定时或者实时获取元数据信息 ; 配置元数据采集任务和策略, 支持按数据库和表分类采集 ; 监控元数据采集任务运行情况, 查看采集日志, 元数据变更等, 支持采集任务重跑等操作 ; 元数据列表, 搜索, 数据溯源影响分析全链路分析等业务资产和技术资产统一管理, 提供资产全局视图 ; 支持资产搜索资产关联数据血缘资产分类管理, 从业务视角查看和使用资产业务指标监控对业务指标数据进行质量管理, 创建业务指标业务规则和业务场景, 实时周期性进行调度, 满足业务的数据质量监控需求数据质量管理对数据质量进行质量管理, 从完整性有效性及时性一致性准确性唯一性六个维度进行单列跨列跨行和跨表的分析, 也支持数据的清洗和标准化, 能够根据数据标准自动生成清洗和标准化的质量规则, 支持周期性的监控和清洗文档版本 01 ( ) 版权所有华为技术有限公司 4

4 DLG 的应用场景 4 DLG 的应用场景元数据采集与资产分析通过自动化的采集数据源元数据, 帮助企业完成数据信息采集, 并与业务信息关联,

9 4 DLG 的应用场景丰富的数据源支持丰富的数据连接 :Hive DLI DWS RDS CloudTable 等灵活调度支持手动周期性调度数据溯源通过血缘关系, 分析数据流向, 迅速响应业务数据问题建议搭配使用企业数据质量全局管理数据仓库服务 DWS+MapReduce 服务 + 数据湖探索 DLI+ 表格存储服务 CloudTable+ 云数据迁移 CDM+ 云数据库 MySQL 数据治理平台进行资产管理监控和质量提升, 为业务提供了业务分析业务优化知识沉淀的技术手段, 帮助提升业务价值优势灵活调度支持实时周期性调度丰富的数据源支持丰富的数据连接 :Hive DLI DWS RDS CloudTable 等丰富的数据管理支持数据分析清洗标准化自动化根据数据标准自动生成清洗和标准化的质量规则建议搭配使用数据仓库服务 DWS+MapReduce 服务 + 数据湖探索 DLI+ 表格存储服务 CloudTable+ 云数据迁移 CDM+ 云数据库 MySQL 文档版本 01 ( ) 版权所有华为技术有限公司 6

10 5 基本概念 5 基本概念元数据元数据管理业务指标监控数据质量监控数据地图数据生命周期指标元数据是关于数据的组织数据域及其关系的信息, 简言之, 元数据就是关于数据的数据元数据包括元数据实体和元数据元素元数据元素是元数据的基本单元, 若干个相关的元数据元素构成了元数据实体元数据管理模块是数据湖治理的基石, 支持连接数据源自动提取元数据自定义业务元模型批量导入业务元数据关联业务和技术元数据全链路的血缘管理和应用业务指标监控模块是对业务指标数据进行质量管理的有效工具, 可以灵活的创建业务指标业务规则和业务场景, 实时周期性进行调度, 满足业务的数据质量监控需求数据质量监控模块是对数据库里的数据质量进行质量管理的工具, 您可以从完整性有效性及时性一致性准确性唯一性六个维度进行单列跨列跨行和跨表的分析, 也支持数据的清洗和标准化, 能够根据数据标准自动生成清洗和标准化的质量规则支持周期性的监控和清洗以数据搜索为核心, 通过可视化方式, 综合反映有关数据来源数量分布标准流向关联关系数据质量让用户找到数据读懂数据消费数据, 致力于为用户提供高效率的数据消费产品数据获取存储整合分析应用呈现归档和销毁等各种生产形态演变的过程指标是衡量目标总体特征的统计数值, 是能表征企业某一业务活动中业务状况的数值指示器指标一般由指标名称和指标数值两部分组成, 指标名称及其涵义体现了指标文档版本 01 ( ) 版权所有华为技术有限公司 7

12 6 与其他服务之间的关系 6 与其他服务之间的关系统一身份认证服务云审计服务 MapReduce 服务数据湖探索表格存储服务数据仓库服务消息通知服务数据接入服务介绍了数据湖治理服务与其他服务的关系 DLG 使用统一身份认证服务 (Identity and Access Management, 简称 IAM) 进行鉴权云审计服务 (Cloud Trace Service, 简称 CTS) 为 DLG 提供对应用户的操作审计 DLG 支持从 MapReduce 服务 (MapReduce Service, 简称 MRS) 采集数据 DLG 支持从数据湖探索 (Data Lake Insight, 简称 DLI) 采集数据 DLG 支持从表格存储服务 (CloudTable) 采集数据 DLG 支持从数据仓库服务 (Data Warehouse Service, 简称 DWS) 采集数据 DLG 使用消息通知服务 (Simple Message Notification, 简称 SMN) 依据用户的事件订阅需求主动推送通知消息, 使用户可以在事件发生时能立即接收到通知 DLG 服务元数据信息是通过消息队列处理, 需要依赖数据接入服务 (Data Ingestion Service, 简称 DIS) 文档版本 01 ( ) 版权所有华为技术有限公司 9

API参考

API参考文档版本 03 发布日期 2018-06-20 华为技术有限公司版权所有华为技术有限公司 2018 保留一切权利非经本公司书面许可, 任何单位和个人不得擅自摘抄复制本文档内容的部分或全部, 并不得以任何形式传播商标声明和其他华为商标均为华为技术有限公司的商标本文档提及的其他所有商标或注册商标, 由各自的所有人拥有注意您购买的产品服务或特性等应受华为公司商业合同和条款的约束, 本文档中描述的全部或部分产品