联想大数据平台 -LEAP 联想大数据
目录 目 录 CONTENT 01 联想大数据概述 02 联想大数据平台 -LEAP 03 行业大数据解决方案 2016 Lenovo Internal. All rights reserved. 2 2
大数据时代企业面临的挑战 随着移动互联网飞速发展, 催生 大数据时代 的到来 各种新型智能移动设备的迅速普及 工业互联网概念的兴起及其实践, 带来了海量数据的爆炸式增长 数据存储 传统烟囱 管理未充分融 缺乏统一 小机 + 数据库 的碎片化 式 IT 架构 入企业运营中 运维管控 技术单一 大数据时代, 企业如何管理海量大数据, 如何分析应用大数据成为重要的机遇和挑战 3
数据资产价值不断增长 通过账面资产来确定企业的价值的方 式, 已经无法充分反映公司的真实价 值 ; 投资者开始注意到数据的潜在价值 ; Facebook 2012/05/18 日上市, 其公司公布的账面资产为 66 亿美元 Facebook IPO 定价为 38 美元 / 股, 价值 1040 亿美元 Gartner 研究表明 :Facebook 收集了 2.1 万亿条 获利信息, 每条信息约为 4 美分价值, 即每个 Facebook 用户的价值为 100 美元 数据的价值并不仅限于特定的用途, 它可以为了同一目的而被多次使用, 也可以用于其它目的 数据的价值并不仅限于特定的用途, 它可以为了同一目的而被多次使用, 也可以用于其它目的 数据的真实价值就像漂浮在海洋中的冰山, 第一眼只能看到冰山一角, 而绝大部分则隐藏在表面之下 数据就像一个神奇的钻石矿, 是 取之不尽, 用之不竭 的 拥有数据或者具有数据收集和分析能力的企业, 其公司价值会上升 ; 给数据的潜在价值贴上价格标签会给金融部门带来无限的商机 4
大数据分析应用的价值越来越受到企业重视 竞争优势 大数据分析就是企业智能商务的导航系统, 因为它通过前所未有的前瞻性分析, 带领企业寻找和获取最大化商业价值, 并且在瞬息万变的伤害, 永不迷航! 大数据分析 优化 预测 & 行动 已经发生的为何发生?( 经验决策 ) 已经发生了什么?( 史实 ) 领域经验 多维分析 怎样于预测到的未来, 为企业寻求利益最大化? ( 以数据为依据的前瞻性决策, 将引领企业 ) 常规报表 即将发生什么?( 前瞻 ) 清洗后数据 感知 & 响应 原始数据 分析成熟度 构建面向海量数据的管理与分析能力 实现数据的价值体现正逐渐成为提高企业竞争能力的核心要素之一 联想企业级数据分析平台正是处理企业级大数据场景的高性能一站式分析平台 5
早在 2011 年 8 月, 联想就启动了大数据建设 技术融合 深度优化 持续演进 工匠情怀 5 年! 300+ 研发人员持续投入 300 名开发工程师 60 名运维工程师 30 名数据科学家 LEAP 全球部署的超大规模集群 全球 8 个数据中心 2000 台服务器 3000 名操作用户 海量数据分析与持续性业务支撑 12Pb 数据容量规模 9Pb 数据量 150 亿条记录 / 天 30TB/ 天 在战斗中成长! 6
联想大数据提供端到端的企业级大数据产品与服务 联想大数据 服务 : 业务咨询服务高级分析服务 IT/DT 规划服务数据管理服务软件 : 工具与应用软件能力开放平台大数据计算平台硬件 : 服务器 存储技术支持 运维 形成端到端的整体解决方案, 将处于技术底层的企业数据资产, 通过软硬件平台和专业化服务, 一步步转化为上层业务价值 当客户需要将数据资产转化为业务洞察和商业价值时 我们提供大数据分析及业务应用的咨询服务 我们拥有强大的数据科学家团队, 已经支撑了联想全 集团 全产品线 全业务流的大数据分析支撑, 同时还在制造 零售 能源等行业的大数据分析领 域针对客户痛点问题进行数学建模和业务分析, 最终实现业务优化 当客户难以管理自己多源 异构 海量的大数据资产时 我们提供数据科学管理的咨询与实施 包含了数据质量管理 数据架构咨询 数据安全与隐私 元 数据管理, 通过一系列业务咨询 软件工具 和技术实施, 确保客户数据资产的完整性 正确性 可用性 以及业务连续性 当客户需要一个成熟的 高性能的大数据平台及解决方案时 我们提供联想企业级大数据分析平台 (LEAP) 产品以及运维服务 LEAP 是软件化平台, 整合了最 先进的大数据开源技术, 实现了基于 IaaS 层联想服务器面向大数据分析的深度优化, 同时也包含了 面向数据及分析能力开放的各类数据工具组件 7
联想大数据已具备多方面的能力 专业的分析能力超大的部署规模 联想大数据专家 数据科学家 行业顾问 50+ 余人 80% 海外留学背景, 博士占比近 70% 在顶级期刊和会议中发表学术论文近百篇, 获得国内和美国专利数十项 全球化多中心部署 2000 台的集群规模 3000 名操作用户 总容量 12PB 数据总量 9PB 日新增数据 30TB 日处理数据 4.3PB 强大的研发实力 完善的运维体系 300+ 研发人员的持续投入 多年来不断向开源社区做出技术贡献 被北京市发改委于 2011 年评为 移动互联网系统软件及服务工程北京市工程实验室 全面完整的技术支持保障 贯通一致的针对产品功能的高质量技术支持 高级服务包含与售后及升级, 迁移的咨询服务 提供完善的产品文档及自助服务选项 8
目录 目 录 CONTENT 01 联想大数据概述 02 联想大数据平台 -LEAP 03 行业大数据解决方案 2016 Lenovo Internal. All rights reserved. 9 9
联想大数据 LEAP 核心解决的问题 LEAP, 联想集团基于开源架构自研的业内领先平台级大数据产品, 旨在为企业客户提供端到端的完整大数据解决方案, 使企业能够快速构建强大的大数据平台, 便捷的部署基于自身业务的大数据分析应用, 通过挖掘大数据潜在价值打造企业面向未来的核心竞争力 01 数据 数据 : 整合各方数据, 沉淀业务知识,LEAP 将为客户提供 丰富的数据接口与强大的数据资源整合能力 平台 :LEAP 将为客户提供安全可靠的分布式的大数据平 05 价值 020 平台 台, 解决了海量数据的计算, 存储实时数据计算等问题 管理 : 参与到企业运营的各环节, 通过对业务数据的分析, 发现各种规律趋势, 为策略制定提供参考依据 运维 :LEAP 提供集中的运维管控组件, 实现从设备到服务 04 运维 03 管理 的全方位监控 管理和扩展 价值 : 联想提供端到端的大数据服务, 旨在发现数据潜在价 值, 帮助客户通过大数据解决商业问题, 与客户共同成长 10
联想大数据 LEAP6 大产品线全景图 数据分析应用套件 Nash 为企业级数据中心提供数据存储和数据处理能力, 提供统一的 数据能力开放平台 Gauss Big Data as a Service 资源开放分析武库数据工厂 Riemann Bayes Fourier 大数据计算平台 Descartes 大数据技术整合与深度优化 数据资产管理平台 系统运维监控中心 集成平台环境, 将硬件和平台软件做有效的集成 为企业级数据中心提供多域的数据模型 标准的元数据 数据处理调度任务 后台处理程序和前台应用程序, 以及数据产品 ; 实现对环境中系统资源 软件 Euler Architon 资源 业务应用 参与人员等各 数据采集转换套件 Euclid 种资源统一管理, 综合监控 11
联想企业级大数据分析平台 (LEAP) 功能架构 应用套件 可视化报表工具 多维分析工具 可视化自助查询 业务分析应用 第三方工具 数据资产管理 平台运维管理 分析武库 业务模型 挖掘算法 机器学习 数据 API 数据产品 数据服务管理 数据工厂 元数据管理 监控告警 资源开放 资源调度 任务调度 访问控制 多租户管理 数据模型管理 安全管理 批处理 / 交互式计算引擎 数据仓库工具 多维分析引擎 分布式计算框架 NoSQL 数据库 统一资源调度管理 Yarn 分布式存储系统 HDFS SQL 引擎 内存计算框架 流计算引擎 实时计算流处理消息队列 第三方 RDBMS 图计算引擎 数据标准 / 质量管理 数据生命周期管理 用户与权限管理 日志与审计管理 基于 X86 平台的集成与调优 数据转换与处理 终端数据采集流式数据采集批量数据采集网络爬虫 数据安全与隐私 集群管理 12
联想企业级大数据分析平台 (LEAP) 技术架构 分析应用套件 Echarts Caravel LEAP-SQL Qlik/Tableau 数据资产管理 平台运维管理 分析武库 业务模型 R 算法包 MLib/Python 数据 API 数据产品数据服务管理 数据工厂 LEAP- Metadata 资源开放 LEAP-Process 批处理 / 交互式计算引擎 Hive Kylin MapReduce Yarn Hbase Spark SQL Spark 流计算引擎 Storm Spark- Streaming MYSQL GraphX LEAP- DataQual ity LEAPmanager HDFS Kafaka 基于 X86 平台的集成与调优 SDK Flume-NG Sqoop Scrapy Kettle LEAP- DataSecu rity 13
各组件清单列表 (1) 组件描述版本 Apache Hadoop HDFS MapReduce2(YARN) Hbase Hive LEAP SQL Sqoop Flume 稳定可靠并具有高可扩展性的分布式存储于技术级别架构 Hadoop 分布式文件系统 - 可扩展 分布式的 高容错性和高吞吐量的数据存储 新一代 Apache Hadoop 分布式计算框架, 引入统一资源管理器 YARN 分布式的 面向列的 NoSQL 数据库, 在 Hadoop 之上提供类似于 Bigtable 的能力 基于 Hadoop 的一个数据仓库工具, 可以将结构化的数据文件映射为一张数据库表, 并提供简单的 SQL 查询功能, 可以将 SQL 语句转换为 MapReduce 任务进行运行 可以在浏览器端的 Web 控制台上与 Hadoop 集群进行交互来分析处理数据, 例如操作 HDFS 上的数据, 运行 MapReduce Job 等等 将 Haddoop 与关系型数据库集成的书籍传输引擎 高可用的 高可靠的 分布式的海量日志采集 聚合和传输的系统, 并具有写到各种数据接受方 ( 可定制 ) 的能力 hadoop-2.6.0 hdfs-2.6.0 yarn+mr2-2.1.0 hbase-1.2.0 hive-1.1.0 Priest -SQL- 2.0.1 sqoop-1.4.6 flume-ng-1.6.0 Kafka 高度可扩展的 容错的发布 - 订阅消息系统 kafka-2.0.0 Slider 基于 Hadoop YARN 的应用服务管理框架 slider-0.80.0 spark 组件描述版本 快速综合的数据处理引擎, 支持循环数据流的内存计算 spark-2.0.0 pig 处理 Hadoop 中存储数据的高级数据流语言 pig-0.12.0 Oozie 协调 Hadoop 活动的流程引擎 oozie-4.1.0 Zookeeper Ambari Leap Process 高度可靠的分布式协同服务 提供基于 ambari 平台的优化方案, 增加自动化监控运维的能力, 另外针对管理层次, 采用松耦合的方式与其他框架进行衔接 仓库计算调度系统 : 1 process 平台提供了多种组件工具, 技术人员可以根据业务需要, 按流程方式组织计算任务, 设置调度方式, 报警方式 2 可以新建计算任务流程 查询流程 停用 启用 导出流程 3 流程定义完成后, 可以查询流程的运行情况, 并可进行补跑等操作 4 可根据业务需求, 在此系统中管理监控规则, 如果执行情况满足条件, 则根据预警设置的方式, 以短信或邮件的形式进行通知 5 可以在此系统中查看流程每天运行时间点分布图, 观察同一时间段流程运行密集度 zookeeper- 3.4.5 Ambari-2.4 Leap-Process- 3.0.1 storm 实时流数据处理引擎 storm-0.10.0 Solr 自由文本 模糊配对以及多面化搜索引擎 solr-4.10.3 14
各组件清单列表 (2) 组件描述版本 监控告警 监视各个模块的 cpu, 内存, 网络等资源使用情况, 当资源占用超过设定的阈值时, 向系统管理员和业务负责人发出警报 Leap-3.0.1 用户管理管理平台中的用户角色, 配置各个用户的应用访问权限 Leap-Manager-3.0.1 集群管理 配置集群中各个模块的启动, 停止, 查看模块的状态, 同时可以配置模块的具体参数 Leap-Manager-3.0.1 自动化部署根据业务的要求, 部署计算存储模块, 动态生成最优配置 Leap-Manager-3.0.1 访问控制配置各个用户对数据访问的权限 Leap-Manager-3.0.1 性能管理从业务的角度分析业务用户的响应时间, 优化数据业务过程 Leap-Manager-3.0.1 容灾管理当机器出现故障的时候, 模块系统自动切换到备份的机器 Leap-Manager-3.0.1 智能运维智能优化模块部署, 配置参数, 优化系统运行情况 Leap-Manager-3.0.1 15
特性说明 01 全源数据整合能力, 快速汇聚各类数据 02 高性能数据存储和计算平台, 快速处理与分析 03 一站式大数据开发应用环境, 快速构建分析应用 04 数据深度分析引擎, 挖掘数据价值 05 全球超大规模实践, 验证系统高可靠性 06 自动化智能运维, 易用易管理 16
特性 1: 全源数据整合能力, 快速汇聚各类数据 通过统一的数据采集转换套件, 可降低多套采集系统运维的复杂度, 实现数据采集的统一调度 通过图形化的配置监控界面, 快速完成各类采集规则的配置和发布 同时结合多样化的数据采集能力, 对各类表 文件 消息等多种数据的实时采集和批量采集 数据仓库 数据仓库 数据仓库 数据仓库 数据仓库 17
多样化的数据接入采集能力 企业大数据平台 支持的数据源 : IBM DB2 Oracle Informix MySQL SAP ERP System MS Access 本地文件 阿里云 /Amazon Sybase MS SQL Server PostgreSQL Teradata SQLite Hadoop Hive 2 AS/400 MaxDB ExtenDB OpenERP Server H2 dbase 5 MySQL Oracle Apache Derby MonetDB Firebird SQL Oracle RDB Hadoop Hive Ingres Borlan Interbase Native Mondrian Generic database Palo MOLAP Server Hypersonic Intersystems Cache excel 文件 实时数据 SAP Calpont InfiniDB Exasol 4 Neoview Netezza Greenplum Gupta SQL Base UniVerse database Impala KingbaseES Vertica Infobright LucidDB Aliyun Amazon AWS Google Cloud Adobe Cloud FTP SDK 移动端 : Android SDK, ios SDK Web 端 : Web SDK PC 端 :Windows SDK 网络数据通过网络爬虫来获取企业外部的相关数据 视频数据视频采集分析模块, 为企业提供基于视频的数据采集 18
特性 2: 高性能数据存储和计算平台, 快速处理与分析 LEAP 平台集成了业界最先进的批量 流式 实时计算技术, 采用灵活 高扩展性的数据处理架构, 支持通 用 X86 平台, 同时面向联想 x86 服务器进行了深度集成与优化, 实现了超高性能的大数据分析技术平台 通过资源调度技术, 系统可线性扩充存储 实时流处理引擎提供 批量处理将海量结构 通过低成本的硬件提供 通过分布式文件系 将共享的各类计算资 容量或提高处理性 强大的流计算表达能 化 半结构化 非结高性能的数据加载 索 统, 可将海量各类原 源按需动态分配给不 能, 只需向向集群中 力, 可支持复杂的实 构化等多种类型数据 引和查询能力, 具备对 始数据 结果数据进 同负载的应用 实现 增加机器, 无需停 时处理逻辑, 满足企 进行批量计算和存 海量数据 (PB 级 ) 的 行快速存储 并通过 一个集群支撑多套同 机 有效解决企业由 业实时告警 风险控 储, 实现对 OLTP 事 存储, 提供毫秒级的 自带副本机制, 完成 的应用运行, 从而提 于数据增长导致的处 制 在线统计和挖掘 务 全文搜索等统计 查询响应能力, 从而提 对数据的多份备份 升集 群设备资源利 理性能缓慢的问题 等应用需求 业务的支撑 升客户体验 用率 19
TPC-DS 测试结果 通过上述的 TPC-DS 测试结果可以看到, 联想 的交互式分析引擎即便对于大数据集的查询也 可以在分钟级完成 SQL 特征 查询数量 子表达式 31 关联的子查询 15 不相互关联的子查询 76 Group by 78 Order by 64 Rollup 9 Partition 11 Exists 5 Union 17 Intersect 2 Minus 1 Case 24 Having 5 测试结果表明 :SQL 兼容性方面, 联 想大数据平台已兼容 TPC-DS 99 中的 89 条, 处较高的水平 (Spark 1.6.1 支 持 40 条, Hive 1.2.1 支持 45 条 ); 测试环境名称 操作系统 CentOS 6.5 Linux Kernel 版本号 2.6.32-431 SQL 兼容性测试 HADOOP 软件厂商 硬件设备配置 联想 LEAP 2CPU/128GRAM/17TBHD / 万兆网卡 设备数量 10 台 20
特性 3: 一站式的大数据开发应用环境, 快速构建分析应用 通过 DataHub, 简化原有数据库系统迁移到大 数据平台 一站式的大数据开发环境 通过 Matrix, 进行元数据和数据字典管理 通过 LEAP- SQL, 实现几秒钟从巨量的数据仓 库中找到需要的分析结果 通过 LEAP- Process, 执行复杂的数据计算流 程, 生成定制化的报表 通过可视化工具, 构建快速的商业智能分析平 台, 构建酷炫的可视化能力 通过 Sense, 无需了解复杂的分析算法, 即可 进行深度的数据分析和挖掘 LEAP- Process 数据字典处理 LEAP- SQL 21
示例 : 高效的图形化数据处理工作流配置 计算任务管理 数据计算流程 傻瓜式分布式计算开发 ; 可视化流程定制 ; 抽象多种大数据计算组件 ; 计算任务监控 预警 ; 定义计算流程属性 支持 4 类流程节点 流程调度参数设置 支持 11 种计算任务 计算任务 (Task) 流程故障报警 runtime 环境变量 2016 Lenovo Internal. All rights reserved. 22
特性 4: 深度数据分析引擎, 挖掘数据价值 ARIMA 模型 2016 Lenovo Internal. All rights reserved. 23
特性 5: 全球超大规模实践, 验证系统高可靠性 Essen, Ger Chicago 2015/Q4 Frankfurt 2015/Q3 2015/Q2 IDC, CNC-BJ BJ:2010/Q1 IDC, TIS-TJ 全球化多中心部署, 2000 台服务器, 3000 名操作用户 在实践中充分验证系统的高可靠性 Calliforlia 2013/Q1 总容量 12PB 数据总量 9PB Virginia 2012/Q 1 Singapore 2013/Q2 TJ:2013/Q3 Cyberport-HK 2016/Q3 企业数据本地化收集和存储 完全合规各国数据保护和隐私保护法律 日新增数据 30TB 日处理数据 4.3 PB 24
特性 6: 自动化智能运维, 易用易管理 提供全面丰富的平台运维功能, 各类性能指标和功能故障监控功能, 结合运维知识库, 利用自 动化策略, 实现平台的智能运维 25
各类监控管理 --- 指标监控 平台提供集中监控管理平台, 丰富的监控管理指标体系使使用者可以直观便捷的掌握平台信息 26
自动化部署 支持 Web 图像化界面和快速向导, 帮助用户短时间内部署一个或者多个集群, 大大减轻工作量 自动部署服务 27
大数据平台的部署形态 专业探索分析集市混搭双中心企业级大数据中心 传统分析应用 新型探索分析 传统分析应用新型探索分析 / 传统分析应用 传统分析应用 / 新型探索分析 大数据平台 应用逐步迁移 其他数据 数据迁移 数据仓库 DW 数据仓库 DW 大数据平台数据企业级大数据中心仓库 大数据平台定位 : 特点 : 是数据仓库平台的一个补充系统, 主要面向新型数据和部分仓库数据的存储和处理, 通过数据挖掘算法等, 发现隐性的数据规律和价值 小 : 系统规模小, 使用人员少 ( 以专业研究分析人员为主 ) 快 : 针对特定专题快速分析 ; 支持实时处理和分析 灵 : 专用平台, 灵活响应和尝试 深 : 专业深挖, 挖掘算法 模式分析 图分析 文本分析等 大数据平台定位 : 特点 : 是数据仓库平台的重要并列系统, 分担 DW 系统的存储和计算压力, 提高处理效率 降低成本 传统应用逐渐迁移到大数据平台 通过数据挖掘算法等, 发现隐性的数据规律和价值 地位重要, 承载的作用更大 支持新型分析方法和传统应用 系统可靠性 支撑能力要求更高 数据仓库 DW 的重要性下降 大数据平台定位 : 特点 : 企业级大数据中心, 采集全企业层面的各类内部数据及相关外部数据, 并对这些结构化 / 非结构化海量数据进行整合 加工 处理, 完成信息的深加工, 逐步形成数据资产, 为公司进行企业决策管理和生产一线的营销服务等工作提供完整 及时 准确 科学的信息支撑 一个中心承载各类数据, 进行各类分析应用, 服务企业内外部各类用户 系统可靠性 系统稳定性 系统开放性 支撑能力要求很高 28
联想与其它 HDADOOP 厂商的测试数据对比 基础功能 查询性能数据处理性能复杂计算抗压能力 Hadoop 平台功能性最 为完善, 超过其他友 商等 HBase 查询性能最好, 在 清单查询等典型场景中优 势明显 Hadoop 的数据处理性 能最优, 与客户的典型 应用场景最匹配 面向未来的复杂 计算条件下 在计算资源紧张的 大压力条件下 联想 VS 友商 附表. 某制造行业客户组织 Hadoop 平台各厂商测试详细结果 厂商功能得分 Hbase 查询两文件关联五文件关联汇总压力 主索引查询 26G gz 包含踢重 上传 26G gz 包含上传 47G gz 包含上传 大文件加载 联想 86 24.9 28'11 15'04 50'37 58'56 XXX 81 39 47'41 31'28 58'49 69 XXX 85 29 32' 17'12 61'04 61'06 29
LEAP 同业对标 LEAP 某产品化方案 开源方案 可靠性 统一监控, 故障及时拉起全部组件支持 HA 支持热切换, 对业务与数据影响为零 统一监控, 故障及时拉起部分组件支持 HA 支持热切换, 运行任务需中断重跑 原生态分布式, 被动拉起部分组件支持 HA 不支持热切换 安全性 统一集中的用户账户管理限制匿名访问 HDFS 数据加密存储 集中用户账户管理限制匿名访问 HDFS 数据加密存储 分散用户账户管理原生无限制匿名访问无知识库 易用性 基于知识库的开发助手丰富的开发组件库基于机器学习的平台知识库 开发文档部分代码样例无知识库 开发文档无开发代码或样例无知识库 易管理性 导向式部署, 一键式升级图形化管理与监控, 提供优化建议丰富的调优参数配置 集成部署环境, 手工升级图形化管理界面提供调优参数 手工部署与升级无图形化管理界面人工配置调优 可持续性 300+ 核心研发团队全球技术共享根植 Apache 社区, 回馈社区组件迭代周期平均 1 个月 100+ 研发团队封闭内核组件迭代周期平均 3 个月 无固定人员投入基于 Apache 社区无固定组件迭代周期 30
目录 01 联想大数据概述 02 联想大数据平台 -LEAP 03 行业大数据解决方案 2016 Lenovo Internal. All rights reserved. 31 3
联想大数据在行业中的应用 制造业 现代化的制造生产线安装有数以千计的小型传感器, 来探测温度 压力 热能 振动和噪声 利用大数据将所有信息收集分析, 对生产计划进行实时调整与预测 零售业 零售业通过整合各类消费数据, 利用大数据分析各类顾客的消费行为, 商品间的销售关联性, 以快速精确支持营销 政府及公共事业 政府通过运用大数据, 将多渠道的数据采集和快速综合的处理分析, 可提升治理社会的能力, 实现政府公共服务的管理创新和服务模式创新 医疗行业 通过大数据分析的公共卫生数据, 提高疾病预报和预警能力 整合基础健康相关数据, 提高危机探测能力 交通运输业 交通运输每时每刻都产生大量的数据 利用大数据的海量处理和分析能力, 为交通运输行业的决策和服务带来新的解决思路 金融行业 运用大数据技术对交易信息 调查报告 业绩报告及消费者研究信息等数据的分析, 可实现精准的营销 风险的管控 精细化的管理 同时带来金融服务和产品的创新 能源行业 通过运用大数据, 及时呈现能源使用情况, 发现低效与浪费, 并提出优化建议, 帮助合理规划能源的生产和使用, 从而为全社会的绿色节能开拓新领域 通用行业 通过大数据实现对各类网络海量信息的爬取 分析及管理 随着供应链越来越复杂, 通过大数据分析可为供应链提供精准的需求预测 敏捷的资源获取 优化的库存等多方面能力 32
联想内部大数据分析平台 设备数据 移动设备 设备结构化数据 PC 智能硬件 按需智能查询 产品分析和优化 内部应用 应用结构化数据 应用商店设备预装应用内部网站企业数据销量数据客服数据供应链数据外部数据社交媒体 统一数据池 Extract Transform Load 用户结构化数据 企业运营结构化数据 舆情结构化数据 数据挖掘和机器学习 实时计算 数据可视化处理 业务运营分析和优化 用户 Profile 和精准营销 产品社区 整合企业不同数据来源 数据统一清洗并结构化处理 分业务数据集市 统一数据处理和分析 统一数据消费构建商业智能 33
联想大数据的业务分析应用示例 设备分析 (Avatar Device) 应用分析 (Avatar apps) 手机质量管理 (MQM) 店面热力图 设备激活, 用户行为跟踪, 系统优化, 设备画像 应用数据分析 & 服务经营 设备质量预警, 备件预测 基于店面 camera 采集数据, 分析店面布局 客流量 客户对产品的关注度 舆情分析 服务效率 (Service) 手机市场分析 (Accelerator) 用户洞察 市场矩阵, 渠道优化, 公众情绪从各个评论网站获取手机的评价正向评价 / 反向评价 客服中心优化, 部件预测优化, 新产品引进优化 从手机出货到渠道 - 渠道到客户 - 客户开机激活的监控 用户画像, 设备画像, 联想分析, 用户反馈 2016 Lenovo. All rights reserved. 34
联想大数据支持全集团业务的生命周期管理优化 全生命周期的数据分析和产品管理 营销 营销管理 订单管理 社交媒体 工厂 生产过程 供应链管理 新品上线 产品质量 出货 物流运输管理 货品调配管理 销售渠道 渠道销量管理 渠道库存管理 合作伙伴管理 销售中间商 销售过程分析 经销商关系管理 经销商库存分析 出售 用户激活 网点备货 用户使用 用户服务 设备使用 用户反馈 用户画像 社交网络 产品保修 客户服务 呼叫中心 销量分析 35
联想大数据在银行与金融行业的解决方案 运维人员业务人员运维人员运维人员数据科学家 用户访问层 历史查询应用 大数据应用 精准营销 个性推荐 市场监控 反欺诈 运营优化 舆情监控 智能客户服务 风险防范支持 沙盘演练应用 数据应用层 数据管控层 流程调度层 历史归档数据区 实时数据区 交易行为变化数据 账户动态实时数据 管理分析数据区 主题数据区 全量数据区 客户管理运营管理营销管理客户管理 汇总区运营营销风控 明细区 结构化数据区 用户主题账户主题产品主题 沙盘演练数据区 大数据存储层 社交媒体 用户评价 访问日志 移动互联 音频视频 数据存储计算层 实时数据流结构化数据交换非结构化数据交换 数据交换层 企业内外部半结构化 非结构化数据 电子银行核心业务个贷系统 CRM 系统 数据产生层 36 3
银行大数据应用实践 零售银行业务公司银行业务资本银行业务交易银行业务资产管理业务财富管理业务 更好地了解客户, 制定有针对性的行动方案 个性化定价和交叉销售客户细分客户流失预测 商业模式与资本信号识别 针对性定价与交叉销售 客户细分 个性化产品定制 针对性定价与交叉销售 客户流失预测 智能渠道管控 非结构化数据挖掘 第三方增值服务 第三方增值服务 服务品质提升, 客户黏性增强 服务品质提升, 客户黏性增强 基于成本效益的财务建议 海量实时商业咨询与情报 风险管理 违规预警优化评分算法智能催收欺诈检测异常识别 37 3
联想大数据在制造业的解决方案 数据分析应用套件 Nash 企业分析系统 企业应用系统 第三方功能组件 开放数据能力开放计算能力开放存储能力开放分析能力 数据应用层 数据计算存储层 内存计算 业务模型挖掘算法机器学习 资源调度 多维分析引擎 任务调度 批处理 / 交互式计算引擎 集成开发环境 统一资源调度管理 Yarn 分布式存储系统 HDFS NoSQL 数据库 开放 API 数据产品数据服务 访问控制 SQL 引擎 流计算引擎 实时计算 流处理 消息队列 多租户管理 第三方 RDBMS 图计算引擎 数据资产管理平台 系统运维监控中心 数据感知层 设备数据采集整合 海量结构化数据海量非结构化数据实时流式数据 数据预处理 批量数据采集整合实时数据流采集整合网络爬虫数据文件采集整合 海量系统数据批量文件数据互联网数据 & 日志实时设备信息 数据产生层 ERP 系统电控系统库存系统设备系统 其他企业信息系统 设备数据, 设计图纸, 多媒体信息, 文档资料, 网络舆情, 地图信息, 企业内外半结构化与非结构化数据等 38
制造行业大数据应用实践 未来的制造将围绕大数据平台构建智能化生产体系, 将人, 机, 法, 料, 环链接起来, 实现多维度数据融合, 为企 业的运营提供预见性的支撑与指导 预控式管理信息化管理数据化产品生命周期工艺方案信息化 法 人 管理职能转变操作内容转变新增高级岗位节省低级岗位 要求提升 管理岗位 技术岗位 操作岗位 自动配送 AGV 数据可追溯 减少 awip 料 大数据 智能设备引人 现代化工厂 SS 管理 环 机 设备状态监控设备生产柔性化 维护保养信息化 制造业大数据的侧重点在于将所有人, 机, 法, 料, 环等信息有效整合起来, 加以分析并应用于整个工业生产过程, 对整个生产链条进行监控 调整 管理 从而形成高度灵活 个性化 网路化的产业链 大数据是实现工业 4.0 的关键 39
联想大数据在交通运输行业的解决方案 1 数据源 事故报警 地感线圈 体感传感器 2 移动通信 3 分析 / 模拟 / 预测 交通评估与仿真 事故扩散与评估 4 交通服务 拥堵疏导 路况预警 线路规划 停车引导 ETC 支付 车联网支持 电子支付 其他服务 移动终端 GPS/LBS 监控图像 移动终端 道路容量 停车场信息 其他信息, 如气象等 固网通信 短程通信 交通预测 路径优化 信号优化 1 感知层 2 网络层 3 大数据分析平台 4 其他 决策支持 交通管控 应急事故预案 道路容量管控 综合交通管理 综合车辆调度 路政管理与维护 动态路况监控 综合车辆监控 其他 业务应用层 车载终端 交通诱导 交通控制 40
交通运输行业大数据应用实践 关键商业过程 公路交通管理的业务优化方向 规建运维管理 公路规划工程建设质量和验收公路养护 设备资产 路网效率管理 交通流量监控 拥堵预测 拥堵原因分析 分流管理 资费杠杆管理 安全与应急管理 道路灾害管理 天气灾害预测 路段行驶安全预警 公共安全 行政协作 公民服务管理 客流分析货流分析出行线路优化配套设施改进数据公开 财务与结算管理 公路投资管理 公路运营成本分析 跨省结算 收入滴漏管理 经营企业收益管理 行政监管与合规管理 路网运营监控 公路收费政策管理 部门职能管理 人员与流程管理 合规管理 数据资产管理 数据资产整合数据逻辑模型数据质量改进数据标准管理 数据与分析成熟度评估 41
联想大数据在能源行业的价值框架 生态系统 1. 能源大数据分析平台建设 企业级大数据能力建设 4. 数据可视化呈现 输出价值 工程 物资装备分析 传输配送分析 能源效率与需求响应优化 生产 运营 供应链分析 大数据分析应用 投资分析 收入保障 设备 财务 安全生产分析 能源营销分析 积极的资产管理 2. 数据整合与资产管理 3. 数据高级分析能力 42
联想大数据与各行业客户携手共赢 技术能力业务价值商业生态 提供企业级大数据分析平台 各 类数据工具 以及管理服务 实现大数据分析与业务价值交 付, 释放大数据资产的生产力 与各界共建跨业大数据技术与商 业合作的全价值生态圈 43