让数据 慧 说话 华为 FusionInsight 大数据平台能力与实践
议题目录 1. 华为积极推动大数据标准与生态发展 2. 华为大数据解决方案
大数据是华为管道战略的重要支柱 3 rd Partners Content & App 3 rd ISVs Professional Service Enterprise Apps Big Data Analytics Platform Data Center Infrastructure FBB Things (M2M Module) SDP Core Network IP+Optical Enterprise Network BSS/OSS MBB People (Smart Device) Source: Huawei corporate presentation 全球 8 个研究所, 保持 1000+ 的研发投入 ; 拥有社区 Committer IEEE Fellow 等世界级数据挖掘和人工智能专家 ; 截止 2016 年 12 月, 华为大数据取得专利 190+, 其中发明公布 136 件, 发明授权 54 件
聚焦平台, 携手合作伙伴构筑大数据生态 公共安全金融电信政务 行业合作伙伴 大数据平台 FusionInsight 开放 数据 计算 算法 安全 聚焦平台战略, 源于土壤的精华, 源于数据的智慧 打造云化 融合 开放的大数据平台 构建高性能机器学习引擎及智能分析服务 统一安全框架, 安全运营实时感知 多类型 多领域发展大数据合作伙伴生态体系
华为是大数据生态建设的倡导者 践行者 引领者 Top 3 Top 4 开源项目 Duboce NTT Yahoo Intel Huawei Cloudera Hortonworks Hotmail Appier Meituan Huawei Cloudera Intel Databricks CarbonData SreamCQL 2015~2016 年统计数据 2015 年 10 月, 华为贡献大数据挖掘隐私保护增强技术 (PET), 将 PET 技术应用于大数据领域, 助力产业发展 2016 年 6 月, 华为将 CarbonData 贡献给社区, 成为全球第一个由中国企业提出, 被 Apache 社区接纳的开源组件 2017 年 4 月,Apache CarbonData 成为社区顶级项目
ISO/I EC JTC1 SC32 数据库语言新技术设计说明华为积极参与中国大数据标准制定国家大数据标准工作组副组长工作单位国家大数据标准工作组国际专题组组长信息技术大数据存储与处理平台技术要求信息技术大数据基于参考架构下的接口框架信息技术大数据系统通用规范信息技术大数据存储与处理系统功能测试规范国家标准制定信息技术大数据系统运维和管理功能要求大数据参考架构接口特设组主席 ISO/ IEC JTC1 WG9 大数据概述和术语 ISO/I EC JTC1 WG9 大数据参考架构国家标准申请联合编辑
华为积极参与大数据标准实践 2016 年首家参加 < 大数据系统通用规范 > 标准验证测试, 通过扩展级 2017 年首批通过 < 大数据系统通用规范 > 标准正式测评, 通过扩展级
开放共赢, 可信赖合作伙伴 金融大数据联盟成立 上海联通合作创新展示中心揭幕 大数据联合解决方案发布
议题目录 1. 华为积极推动大数据标准与生态发展 2. 华为大数据解决方案
华为 FusionInsight 大数据平台 : 云化 开放 融合 大数据云服务 关系型数据库服务 RDS 数据接入服务 DIS 数据分析服务 MRS DWS Stream M- OLAP 人工智能服务 MLS NLP 管理平台 Manager 安全管理 数据洞察 Miner 数据智慧 Farmer 性能管理 ( 图分析引擎 机器学习 数据标签 ) ( 实时决策引擎 Farmer RTD) 大数据分析 Hadoop 生态发行版 HD (HDFS MapReduce HBase Hive 大规模并行处理数据库 故障管理运维管理 Solr Spark Storm Flink Elk CarbonData 等核心组件 ) Apollo DB 配置管理 数据集成 Porter Sqoop 批量采集 Flume 实时采集 Kafka 消息管理 FtpOnHDFS 文件传输 Oozie 作业调度管理
HD: 为行业负载优化的大数据处理层 FusionInsight HD 数据集成 Sqoop Flume Kafka 批处理 Elk Hive Spark-SQL 机器学习 MLlib SparkR 流处理 CQL Spark- Streaming 实时查询 Phoenix CTBase 100% 开源核心 支持从批处理 交互查询 数据挖掘, 分布式计算框架 MapReduce Spark 内存迭代 Storm YARN 资源管理 HBase NoSQL 数据库 HDFS -- 分布式文件系统 Solr Redis 分布式缓存 Zookeeper 分布式锁 到实时流处理等各种应用场景 根据行业需求进行优化
MPPDB: 帮助企业构建高性能 PB 级新数仓 MPP 大规模并行处理集群 FusionInsight MPPDB 完备的工具链 集群服务器 -1 集群服务器 -n SCTP 大规模集群通讯网络 完备的 SQL 能力, 应用平滑迁移 DN DN DN DN DN DN DN DN DN DN DN DN DN DN DN DN DN DN 数据迁移 开放平台性能业界最佳 Core1 Core 1 Core 1 Core1 Core 1 Core 1 Core1 Core 1 Core 1 SQL 开发 弹性伸缩支持 PB 级数据处理 硬件 +OS 64 位 Linux 系列, 通用 X86 架构 (SUSE Linux Redhat) 集群管理
Miner: 一站式图形化大数据洞察平台 全流程 ; 多维度 ; 高性能 ; 开放 FusionInsight Miner 数据分析产品 图分析引擎 (Weaver) 日志分析 (Data Compass) 标签管理 数据探索 Miner Base 建模分析 模型管理 并行化算法库 ( 机器学习 图分析 时空数据分析 )
Farmer: 实时应用使能器, 助力企业实时决策 平滑微服务化 ; 易运维 ; 高可用性 ; 业务人员直接写规则 FusionInsight Farmer ALB 接入负载均衡 MQ 消息队列 RTD 编排 自定义应用 1 自定义应用 N RTD 执行 数据服务管理 Container 容器池 FusionInsight HD, Redis, RTD DB
大数据云服务概览 数据产生数据接入数据存储数据分析和计算数据开发和呈现 File DIS( 数据接入 ) OBS RDS Tableau Web Mobile DTA( 数据传输加速 ) EBS M-OLAP DWS (MPPDB) Search (Solr&ELK) SAS Log Stream/IoT DES( 数据快递服务 ) HBase Redis Stream MRS ML DataPipeline Business Operator Huawei Partner
大数据云服务路标 Streaming Streaming Huawei Enterprise Cloud ML ML ML DataPipeline DataPipeline DataPipeline DIS DIS DIS M-OLAP M-OLAP M-OLAP MRS: HBase MRS: HBase MRS: HBase MRS: HBase MRS: HBase MRS:Hive MRS:Hive MRS:Hive MRS:Hive MRS:Hive MRS:Spark(Spark SQL) MRS:Spark(Spark SQL) MRS:Spark(Spark SQL) MRS:Spark(Spark SQL) MRS:Spark(Spark SQL) MRS:MR MRS:MR MRS:MR MRS:MR MRS:MR MRS:HDFS MRS:HDFS MRS:HDFS MRS:HDFS MRS:HDFS 2016.Q4 NOW 2017.Q2 2017.Q3 2017.Q4
华为 FusionInsight 获市场研究机构认可 Gartner DMSA 魔力四象限报告 Forrester TEI 研究报告 : 中国太保大数据平台投资回报
华为大数据平台 : 服务全球 700+ 客户 ( 部分名单 ) 金融 : 65%+ 市场份额 电信 : 41 国家,200+ 项目 其他行业 : 标杆客户的选择
打造新数仓, 支撑业务向云化演进 构筑云上新数仓, 支撑未来业务发展 围绕 面向未来的金融 IT 基础架构, 华为 MPPDB 分布式数据库满足我行业务弹性适配 信息互通共享 能力分布扩展的要求, 以传统架构继承发展和新架构创新变革相结合, 助力我行实现了数据仓库分布式改造, 应对未来云化演进 客户需求和挑战 : Teradata 一体机 + 磁阵架构封闭, 且只兼容一代硬件, 扩容停机时间长, 且成本高昂 在整个系统中同一份数据存放在 Teradata 和 Hadoop 中, 数据互通困难 现有架构无法支撑未来工行 IT 系统向云化演进的诉求 解决方案 : 华为基于 X86 开放平台提供新一代融合数仓解决方案, 通过 MPPDB on Hadoop 特性可以直接访问 Hadoop 上的数据, 且支持夸代硬件兼容, 扩容 不停机等特性, 一套系统解决了以前需要多套系统配合工作的状况, 简化了 管理 客户价值 : TCO 降低 : 软硬件解耦, 基于通用 X86 服务器避免 Lock-in, 支持跨代设 备共存, 最大化保护硬件投资 融合数仓 : 提供统一 SQL 接口, 可以同时访问 MPPDB 和 Hadoop 数据数 据 ; 一套系统中支持处理批量和联机查询 ( 低频更新 ) 混合负载 展望未来, 华为 MPPDB 即将提供云化 DWS(Data Warehouse Service ), 支持工行未来 IT 架构向云化演进
让银行几秒钟完成信用卡征信核准 重构客户经营的发动机 客户需求和挑战 : 结构化数据库无法满足大数据数量 种类的快速增长 原有客户经营模式无法应对互联网金融挑战 解决方案 : 构建基于大数据的第二平面, 提升客户满意度 敏捷业务开发平台, 实现快速开发部署 超百万维度数据分析挖掘平台, 帮助实现业务创新 客户价值 : 3-5 秒钟完成信用卡征信核准 小微贷获客预测比提升 40 倍转化率 历史明细在线查询由一年提升到八年以上
让城市更平安, 犯罪率下降 12%, 人口管理效率提升 50% 按照公安部规范, 探索构筑可持续演进的云 IT 基础架构 助力警务智能化 实战化 案事件系统数据总线服务警综云平台第一数据中心 整合 165 个应用系统 刑专系统 指纹系统 人脸系统 研判分析 多彩警务云大数据平台 资源服务平台数据备份中心统一管理的分布式数据中心 三个中心 移动接入系统. 警务大数据平台第二数据中心 客户需求和挑战 : 传统 IT 架构不开放, 不符合技术发展趋势, 演进困难 无法实现省市两级统一管控, 效率低下 无法实现业务云化, 可服务性体验差 解决方案 : 一个平台 三个中心 的大数据整体架构 ; 全省数据中心统一管理 ; 全省资源统一调度 / 统一运营维护, 高效大数据分析平台 : 高性能的分析计算分析能力, 百亿级数据查询分析秒级完成 智能大数据分析算法 : 实现关系发现 轨迹聚类 人车匹配 亲密度判别 动态社团跟踪 数据碰撞等算法, 完成大数据精确分析 客户价值 : 全省特殊人群管理数在控率由 30% 提升到近 80% 全省 两抢一盗 案件同比下降 12% 简化工作 : 看守所, 人员入所登记信息由 54 项减少为 9 项 2 年数据的车辆比对分析, 从 30 分钟缩短到 1 分钟
Thank You