数据中台交付标准化白皮书 Technology Service Standard for Data Middle Office Delivery

数据中台交付标准化白皮书 Technology Service Standard for Data Middle Office Delivery

主编单位 阿里云智能全球技术服务部 阿里云智能全球技术服务部 (Global Technology Services, 简称 GTS) 是一支面向云智能客 户, 提供完整生命周期服务的技术履约团队 旨在通过专业化的交付实施 系统化的中台支撑 及标准化的服务产品能力, 运用云和数据智能的力量, 联合生态伙伴一起帮助客户实现业务价值 阿里云研究院 阿里云研究院是阿里云智能事业群数智化转型智库机构, 汇集多名来自数字科技头部企业 国 际知名咨询机构和国家高端研究平台的资深专家, 以 定义行业 洞察态势 拓展赛道 引领 心智 为愿景, 以 引领数智化转型新思想 为目标, 致力于 用科技探索新商业边界 埃森哲 埃森哲是一家全球领先的专业服务公司, 在数字化 云计算与网络安全领域拥有全球领先的能力, 为客户提供战略 & 咨询 互动体验 技术服务和智能运营等全方位服务, 业务涵盖 40 多个行业, 是 财富 全球 500 强企业之一, 目前拥有约 67.4 万名员工 埃森哲在中国市场开展业务近 35 年, 拥有一支约 2 万人的员工队伍 2

总 编 辑 : 李津 肖利华 顾 问 : 张瑞 戴虹 黄欢欢 邱坤东 宁晓民 雷禹 甄日新 出 版 人 : 卢星英 责任编辑 : 周洁 孔令西 王佩杰 麻芃 王雷 编 辑 : 李林洋 王琳 肖剑 何龙 朱旭 孙磊 贾建坤 李磊 徐灏 陈焰 陈荣耀 任慧建 马鑫 宋春颖 蒲聪 李成强 陈立 周江 张恒浩 李冬青 视觉设计 : 马龙泽 王甸甸 法 务 : 江雅云 王燕萍 本白皮书由阿里云和 / 或关联公司依法拥有其知识产权 非经阿里云和 / 或其关联公司书面授权, 任何人不得擅自使用 修改 复制 公开传播 散布 翻译 发行或公开发表本文档的任何内容 凡转载或引用本文的观点 数据, 请注明 来源 : 数据中台交付标准化白皮书 违反上述声明者, 阿里云和 / 或关联公司将追求其相关法律责任 建议和意见反馈, 请通过邮箱 :AlibabaCloud-GTS@alibaba-inc.com 与我们联系

数据中台交付标准化白皮书 前言 纵观历史 世界, 数据的重要性不言而喻, 对于企业而言数据即洞察, 意味着只有洞察数据才能真正理解客户和市场 优化产品和供应链 在当下市场产能过剩 劳动力成本上升 个性化定制化生产和服务需求高速发展的大环境下, 中国企业以往的粗放式管理所能带来的增长已难以奏效 从以前基于经验的粗放式管理升级为现在基于数据的精细化运营是企业发展的必由之路, 而企业进行数字化建设是实现精细化运营和数字化创新发展的关键所在 1 在数字化建设当中数据是重要的生产要素, 但企业要将数据转变为前瞻性洞见及差异化资产, 需要展开 数据重构 行动, 梳理数据资产, 建立强有力的数据战略和行之有效的数据治理机制 ; 优质精确的数据能够为企业提供多维决策信息, 助力企业不断完善产品和改进服务, 从而吸引更多客户, 加深与现有客户的关系 反过来, 这又会促进未来产品和服务的创新升级, 有助于预测和塑造未来需求并发掘新商机, 而要达到数据重构的目标则必须通过数据中台来实现 所以, 数据中台建设是企业实现数智化转型的必经之路, 拥有转型需求的企业应该尽早迈出这一步, 打破惯性 坚定地推进数据指导下的自驱动变革 数据中台最早是阿里巴巴根据自身快速增长的数据处理与使用需求提出来的解决方案, 并且早期在阿里巴巴内部进行了试验, 孵化 应用, 模式成熟之后再推向外部市场, 不过不同于云计算服务, 数据中台缺少严格的规范定义和成熟的应用经验对标, 并且与数据平台 数据仓库的关系也经常被外界混为一谈, 让数据中台这个数字化转型助推器缺少标准化的行业认知 可复制的交付操作流程 此外, 数据中台火热的市场也催生了一些伪数据中台企业, 混淆概念 基于传统 IT 思维建设的结果伤害了一些对数据中台抱有开放心态的企业信心, 这种交付大概率难以成功, 最后损害的是数据中台的整体行业口碑 数据中台是业务与技术的结合点, 其基于产品化的运营思路, 跑通数据流转之后, 服务于业务 前台, 企业基于对数据的洞察优化业务方向, 并通过反馈回来的业务数据再次输入数据中台, 持续提升中台使用价值, 实现数据和业务不断的正向循环和相互促进 数据中台需要不断的打磨

TECHNOLOGY SERVICE STANDARD FOR DATA MIDDLE OFFICE DELIVERY 开发和持续运营, 在不断实践的过程中企业也会建立起走出经验主义 走入数据管理的核心逻辑 阿里巴巴作为数据中台理念的提出者 倡导者和实践者, 自 2016 年首次提出数据中台以来, 在电商 零售 金融 物流 交通 政务等各个政企行业积累了非常丰富和宝贵的实战经验, 也深入理解政企行业在数据标准 数据质量 数据安全 数据治理 数据交换共享 数据价值挖掘等方面存在的普遍问题, 数据中台可解决数据从生产到消费使用过程中遇到的这些问题 政企行业要建设好数据中台有四个关键要素 : 第一是战略投入, 以数据中台为核心的数字化转型必须是一号位工程, 因为其带动企业升级转型的过程中必定会涉及组织和业务流程的变革, 需要企业核心管理层的坚定支持 ; 第二是组织上要有保障机制, 需要搭建具备业务 技术和数据整合能力的运营团队, 因为数据中台的价值贵在持续的强运营 ; 第三是选择合适的服务商与合作伙伴, 确保对方有足够的交付经验与标准流程, 能够根据企业自身业务的实际情况统筹规划, 帮助企业少走弯路 ; 第四是企业要做好数据资源的沉淀, 在日常工作中重视数据资产的梳理, 以方便企业实现数据打通和共享 在数据中台建设与交付过程中, 存在专业度要求高 交付过程管控难 交付协同难等挑战, 为应对这些挑战并实现数据中台交付, 需要有一套数据中台交付的方法论 交付标准 交付工具和数字化交付工作台来指导 帮助企业和数据中台服务商来建设好数据中台 数据中台交付标准化 白皮书, 既是阿里巴巴结合服饰 乳业 食品 美妆 家居家装 餐饮 消电 零售商 文旅 健康 能源 航空等行业数百个项目实践经验的分析总结, 也是深入研究数据中台交付流程和价值创造方式的阶段性成果, 更是数据中台交付的方法 工具 平台等体系建设方面的实践指引 1 2021 埃森哲中国企业数字转型指数报告

数据中台交付标准化白皮书 2 4 6 8 9 10 10 13 15 24 24 26 28 29 30 31 概述交付流程动作交付文档集交付工具集交付服务团队数字化工作台概述数据中台交付内容交付流程标准化交付内容工具化交付过程在线化交付业务价值化交付要素全面化 1 3 5 1 1 3 5 17 17 18 23 交付技术服务挑战分析交付标准化技术要求未来展望与总结交付标准化参考框架成功交付典型案例结束语概述交付技术服务的涵义交付技术服务的挑战交付标准化解决思路概述交付前阶段交付中阶段交付后阶段 CONTENT

缩略语 GTS,Global Technology Services, 全球技术服务部 CBM,Cloud Business Manager, 云商务经理 SA, Solution Architect, 解决方案架构师 CSM,Customer Success Manager, 客户成功经理 BA,Business Architect, 业务架构师 TM,Technical Manager, 技术经理 PMO,Project Management Office, 特指项目可交付性管理 PD,Product Designer, 产品经理 QA,Quality Assurance, 质量保障 TAM,Technical Account Manager, 客户技术经理 ODS, Operational Data Store, 操作数据层 CDM,Common Data Model, 公共维度模型层 ADS,Application Data Service, 应用数据层

数据中台交付标准化白皮书 交付技术服务挑战分析 1.1 概述 随着全球逐步进入数字经济和数据智能的新时代, 数字化战略已经越来越多的被各大企业制定为优先级商业战略, 数据中台作为企业数字化转型规划的重要组成部分, 在实践中不断被赋予新的内涵与价值 而随着全行业数据中台市场的规模化, 其对应的交付技术服务支撑显得尤为重要, 在很大程度上为数字化创新发展提供了保障基石 但从数据中台实际建设来看, 数据中台交付技术服务仍存在着一定程度的挑战, 该类问题若未得到及时妥善处理, 将会降低服务质量 因此, 数据中台交付标准化建设需求非常迫切, 本章节结合阿里巴巴内部数据中台建设经验以及客户数据中台交付实践, 提出交付标准化建设的思路 1.2 交付技术服务的涵义 中台 是企业实现各业务板块之间联接和协同, 持续提升业务创新效率, 确保关键业务链路的稳定高效和经济性兼顾的思想体系 中台从工具 技术及方法论三个方面推进企业数字化创新, 业务中台完成企业系统在线 服务在线, 数据中台解决企业数据业务创新及数据智能化服务 数据中台是阿里巴巴创造的数据资产化和价值化体系, 是集方法论 组织和工具于一体 1

TECHNOLOGY SERVICE STANDARD FOR DATA MIDDLE OFFICE DELIVERY 的, 快 准 全 统 通 的智能大数据体系, 它在数据赋能业务中形成业务模式, 在推进数字化转型中实现业务价值 它由基础技术平台 数据构建与管理平台 数据资产管理与运营平台 数据服务平台等组成, 面向零售 金融 政务 互联网等行业输出数据中台技术服务等 数据中台交付是分析每个客户从数据生产到数据消费全链路的诉求, 按照数据中台方法论和流程, 在客户已有产品基础上进行定制化组装或定制化开发新的功能组件, 从而帮助客户实现业务数据化和数据业务化 数据中台交付的技术服务内容包含数据咨询规划服务 数据资产建设服务 数据应用建设服务等方面, 如图 1 所示 数据应用建设服务 Data Application 数据咨询规划服务 Data Consulting 数据中台 3D 技术服务 图 1 数据中台交付的技术服务内容 数据资产建设服务 Data Technology 1) 数据咨询规划服务 在客户数字化战略规划基础上, 结合客户数字化转型顶层规划和数字化转型蓝图设计, 在转型规划阶段, 针对数据中台建设提供业务规划 中台建设 资产运营 价值评估全流程技术咨询服务, 推进企业数字化转型, 服务内容包含数据中台蓝图设计 数据中台建设方法 数据资产管理与运营咨询 数据应用设计咨询等 数据咨询规划服务主要面向准备或已启动数据中台建设的企业 2

数据中台交付标准化白皮书 2) 数据资产建设服务 在客户数字化转型蓝图设计和数据中台数据咨询规划的基础上, 通过搭建大数据平台 数据资产平台 数据服务平台等方式进行数据资产化建设, 服务内容包含数据架构管理 数据标准管理 数据质量管理 元数据管理 主数据管理 数据安全管理 数据服务管理等 数据资产建设服务主要面向正在建设数据中台, 准备做落地实施的企业, 可与数据咨询规划服务配套 3) 数据应用建设服务 在数据中台数据资产建设的基础上, 打造成熟行业数据应用场景, 推动数据与业务的深度融合, 充分发挥大数据的乘数效应和倍增作用, 实现数据资产 最后一公里 的价值传递, 满足各级政府 社会组织和广大民众对预测性分析 指导性分析等深层次应用需求, 服务内容包含洞察分析 智能搜索 关系网络分析 智能推荐 智能风控等 数据应用建设服务主要面向正在建设数据中台, 准备做落地实施的企业, 可与数据咨询规划服务 数据资产建设服务配套 1.3 交付技术服务的挑战 围棋比赛后, 棋手会通过复演该盘棋的记录, 以检查对局中着法的优劣与得失关键, 哪步是好棋, 哪步是臭棋, 从而让棋手的技术得到进步 同样的, 在数据中台交付行业从零售电商逐步扩展到工业制造 能源电力 金融证券 数字政府等行业过程中, 交付技术服务也在不断复盘总结 通过客户 360 满意度调研 内部调研 项目总结复盘 产销服沟通会等形式, 总结数据中台交付技术服务方面的挑战 总体而言, 交付技术服务的挑战归纳起来有如下几个方面 挑战 1: 数据中台交付专业要求高 3

TECHNOLOGY SERVICE STANDARD FOR DATA MIDDLE OFFICE DELIVERY 在 数智驱动新增长 书中明确指出, 企业家面临最大的确定性是如何应对巨变时代的不确定性, 未来十年全球数字经济最重要的主题之一是数字基础设施的重构 切换与迁移以及基于新型数字基础设施的商业生态再造 今天越来越多的企业因管理失衡 市场失焦 营销失语 系统失灵 增长失速等方面的风险而进行数字化转型, 进行数据中台建设 然而, 实践表明, 数据中台建设经常遇到客户预期过高 低估困难 押注外力等情况 ; 客户想要服务商以标准专业的交付体系, 以专业能力指导项目高质量完成, 甚至是从各个维度以最佳实践和未来驱动的思想引领客户进入数据智能的全新时代 实际上, 数据中台技术服务提供商因行业经验 专业人员 方案成熟度等方面的不足, 导致以客户价值为中心的定制化需求服务面临巨大挑战 挑战 2: 数据中台交付过程管控复杂 数据中台的建设是业务和技术双轮驱动的, 基于业务价值需求导向, 企业在进行数据中台建设时通常会以数据统一化 标准化 资产化等为手段, 进而实现数据面向全业务开放赋能, 所以数据中台建设内容基本都会涉及不同程度的数据治理 数据服务 数据应用 管理流程制度 数据运营及上下游业务协同等, 这样以来其交付周期一般以数月为最小单位, 加上以下方面原因导致交付内容和过程管控困复杂 1) 数据中台项目交付一般都要涉及咨询 业务 数据 技术 运营等, 交付技术覆盖范围广 资源需求大 ; 同时, 客户服务需求的多样性及服务商专业人员储备不足, 导致数据中台设计和落地实施存在诸多质量问题和不确定性 ; 2) 在交付过程中, 从需求调研 方案设计 开发实施到试运行, 基本都是在线下由不同角色 甚至不同服务商完成的, 缺乏项目交付全流程 全生命周期的数字化工作台承载, 很难实现对项目全局掌控, 各个环节都容易出现不同类型的问题与挑战 ; 除项目前期需要充分准备与思考外, 也需要项目交付人员的个人经验与能力去把控项目进度与质量 ; 4

数据中台交付标准化白皮书 3) 交付验收周期长, 根据各行业数字化转型趋势分析和阿里巴巴数据中台交付实践经 验发现, 数据中台技术服务从需求调研 方案规划再到实施落地的整体交付周期以数月 为单位, 同时交付的业务价值及质量等级很难做到在线化 可视化评估 挑战 3: 数据中台交付生态协同难 一般产品交付完成产品售卖和产品部署即可, 而数据中台交付是集成交付, 包罗万象, 软件 硬件 基础设施 大数据平台 数据资产 数据服务 数据应用 定制化开发等基本都涉及, 导致交付复杂度高 艾瑞咨询发布的 2021 年中国数据中台行业白皮书 指出, 随着企业数字化转型驱动, 市场需求将持续增加, 数据中台行业增长势头明显, 市场规模快速扩张, 预计将在 2023 年达到 183.2 亿元, 数据中台规模化交付就势在必行 因此, 数据中台服务提供商需要建设数据中台交付的生态体系作为支撑, 形成合作模式, 进行彼此资源整合应用, 来应对日趋复杂的企业需求及规模化交付需求 但是, 数据中台服务提供商之间在能力的匹配上有很大不确定性, 而造成这种不确定性的原因往往集中在伙伴间能力成长差异性 伙伴内部对员工的不同组织架构带来的不稳定性以及员工本人对职业路径规划所产生的波动性 伙伴对行业领域知识的缺乏 这些因服务提供商的知识和能力上的参差不齐, 使得数据中台交付生态协同难, 进而导致企业对数据中台交付的不确定性存在敏锐的感知 1.4 交付标准化解决思路 埃隆 马斯克 (Elon Musk) 曾在愚人节跟粉丝开起了 特斯拉破产 的玩笑, 一定程度上是由于当时特拉斯 Model 3 的交付能力与客户需求量之间的不平衡, 标准化的生产流水线是工厂的核心能力, 对汽车企业来讲至关重要 因此, 针对数据中台交付技术服务面临的挑战, 数字化时代的数据中台规模化交付需要生产力提升, 而生产力提升提 5

TECHNOLOGY SERVICE STANDARD FOR DATA MIDDLE OFFICE DELIVERY 升的基础是交付标准化, 标准化是解决交付挑战的核心思路之一 结合软件工程理论和数据中台交付实践经验, 数据中台交付标准化建设方法分为挑战分析 标准构建和实践检验三个部分, 如图 2 所示 挑战分析, 通过对多个项目交付实践总结及复盘, 将交付技术服务挑战抽象为三类, 即交付专业要求高 交付过程管控难 交付协同难 标准构建, 基于交付挑战分析, 从四个方面进行标准建设, 包含交付流程标准化 交付内容模板化 设计方法规范化 交付工具自动化 实践检验, 基于数字化工作台, 采用标准化方式进行数据中台技术交付, 并采用交付标准化率 交付方案复用率 项目质量优良率 交付工具覆盖率等方面进行测试评估 标准化过程通过 PDCA 进行不断迭代管理 挑战分析 标准构建 实践检验 交付专业要求 交付工具自动化 交付工具覆盖率 交付过程管控 设计方法规范化 交付内容模版化 项目质量优良率 交付方案复用率 交付生态协同 交付流程标准化 交付标准化率 图 2 标准化助力解决数据中台交付挑战思路 通过数据中台交付的标准化, 把交付过程中的各个要素和环节有机组织起来, 使交付动作规范化 科学化 程序化, 建立数据中台交付的最佳秩序, 提升数据中台交付效率与质量, 支撑数据中台的规模化交付, 提升企业客户对交付服务的满意度 从实践来看, 标准化建设的收益至少包含四个方面 : 专业提升, 交付是一门艺术, 涉及大量人与人之间的沟通协作, 交付过程沉淀的核心资产可提炼抽象为通用解决方案和行业解决方案, 6

数据中台交付标准化白皮书 能很好提升交付专业性, 也能让匠心传承 ; 效率提升, 通过交付标准方案 交付标准流程 交付标准工具及数字化工作台, 能提升交付效率与质量, 降低项目建设门槛与过程管控复杂度, 为规模化交付奠定基础 ; 生态协同, 交付团队是连接产研 销管 客户 伙伴等的枢纽, 有了交付标准和数字化工作台, 多个角色之间的衔接就会更加顺畅, 彼此合作对接能更加高效 ; 业务创新, 基于标准化原子能力, 结合业务需求可快速进行定制化, 进行敏捷业务创新 7

TECHNOLOGY SERVICE STANDARD FOR DATA MIDDLE OFFICE DELIVERY 交付标准化参考框架 2.1 概述 不以规矩, 不能成方圆, 基于对数据中台交付技术服务的挑战分析和解决思路, 我们提出了 1+3+3+1 的交付标准参考框架, 如图 3 所示 1 个目标, 即以业务价值为导向, 实现数据中台技术服务的标准化 在线化 规模化交付 ;3 个内容, 即数据中台技术服务包含数据咨询规划服务 数据资产建设服务 数据应用建设服务 ;3 个能力支撑, 即交付标准流程 交付文档集 交付工具集 ;1 个平台, 即数字化工作台, 数据中台技术服务团队和政企客户通过数字化工作台完成数据中台项目交付 数据中台交付 标准化在线化规模化 数据咨询规划服务数据资产建设服务数据应用建设服务 交付流程 交付前阶段交付中阶段交付后阶段 1. 交付前置 2. 需求调研 3. 方案设计 4. 开发实施 5. 试运行 6. 上线维保 沉淀交付技术资产 降低生态交付门槛 交付文档集 交付工具集 数据中台服务团队 数字化工作台 云原生技术 云原生产品 云原生架构 数据中台政企客户 图 3 数据中台交付的参考框架 8

数据中台交付标准化白皮书 交付流程 交付文档集 交付工具集是三位一体的能力支撑体系 基于交付流程动作及产出, 沉淀交付技术资产, 包含交付物 过程产出物 项目评审意见 阶段性汇报总结等文档 ; 通过对多个项目文档的提炼抽象脱敏等手段, 形成通用解决方案和行业解决方案 ; 结合数据资产目录划分方法, 进行文档集的资产目录构建, 一方面做内部参考借鉴, 另一方面为交付工具打造提供输入 ; 交付工具集, 基于通用解决方案和基础产品开放能力, 围绕具体交付实施场景而构建, 能有效降低数据中台交付门槛, 为交付动作执行提供武器弹药支持, 同时倒逼交付文档集的不断迭代更新 交付技术服务团队包含业务架构师 技术架构师 数据产品经理及实施人员等, 与政企客户服务对象一起, 基于数字化工作台进行数据中台项目在线化交付 下面小节将对交付流程 交付文档集 交付工具集 交付技术服务团队和数字化工作台分别进行介绍说明 2.2 交付流程动作 流程是做事的规范和顺序, 是提升工作效率的重要保障 结合客户项目全生命周期及交付团队参与度, 将数据中台交付分为交付前 交付中和交付后三个阶段和六个流程, 如图 4 所示 其中, 交付前阶段包括交付前置, 交付中阶段包含需求调研 方案设计 开发实施 试运行, 交付后阶段包含上线维保 通过标准化的交付流程, 针对不同的客户及需求, 提供数据咨询规划服务 数据资产建设服务 数据应用建设服务等差异化服务 交付前阶段交付中阶段交付后阶段 1. 交付前置 2. 需求调研 3. 方案设计 4. 开发实施 5. 试运行 6. 上线维保 需求方案 风险识别 交付评审 业务调研 技术调研 数据调研 业务蓝图设计 数据产品设计 架构设计 数据集成 数据研发 应用研发 试运行 知识转移 正式上线 售后保障 项目验收 启动规划 数据模型设计 数据回刷 测试方案设计 集成测试 图 4 数据中台交付各环节的交付任务 9

TECHNOLOGY SERVICE STANDARD FOR DATA MIDDLE OFFICE DELIVERY 2.3 交付文档集 易用 易懂 易找的技术文档资料对降低成本 构筑交付生态体系 培训赋能 打造行业影响力, 以及提升交付专业度和企业竞争力都有重要的价值 在交付技术服务的各个阶段, 随着交付任务阶段性完成, 技术资产也随之在数字化工作台上逐步沉淀下来, 经过脱敏提炼抽象等, 按照通用数据资源目录划分方法, 结合文档打标签等, 进而构建起交付技术知识库, 形成标准化的数据中台交付文档集, 为高质量完成各项交付任务提供文档支撑, 数据中台交付各环节的交付文档如图 5 所示 交付前阶段交付中阶段交付后阶段 1. 交付前置 2. 需求调研 3. 方案设计 4. 开发实施 5. 试运行 6. 上线维保 1 项目交付工作说明书 2 交付资源配置 3 风险说明与规避建议 4 可交付性评审意见 1 业务需求调研提纲 2 业务需求调研会议纪要 3 业务需求分析说明 4 技术需求调研提纲 1 数据中台蓝图设计方案 2 产品需求设计方案 3 技术架构设计方案 4 数据模型设计方案 1 数据集成定制化代码 2 数据研发定制化代码 3 应用研发定制化代码 4 数据回刷定制化代码 1 试运行方案 2 试运行总结报告 3 知识转移方案 4 知识转移清单 1 项目上线报告 2 售后运维保障方案 3 项目验收签字确认单 5 项目启动会议纪要 5 技术需求调研会议纪要 5 数据中台测试方案 5 各类测试报告 6 数据需求调研提纲 7 数据需求调研会议纪要 8 数据资源目录表 9 数据字典表 图 5 数据中台交付各环节的交付文档 2.4 交付工具集 工欲善其事, 必先利其器, 工匠在做工前打磨好工具, 操作起来就能得心应手, 达到事半功倍的效果 交付工具一方面辅助提升交付效率, 另一方面降低数据中台交付门槛, 让生态伙伴使用工具也能做交付 基于数据中台交付的各个阶段的交付质量要求, 抽象交付文档中的共性内容, 采用产品化思维进行更高维度的标准化构建, 形成标准化的数据中台交付工具集, 如数据盘点工具 数据集成工具 数据校验工具 代码扫描工具等 交付工具集支撑交付流程高效率高质量完成, 同时有效降低数据中台生态交付门 10

数据中台交付标准化白皮书 槛, 为规模化技术服务提供强大的自动化技术手段 数据中台交付各环节的交付工具如 图 6 所示, 工具能力说明如下 图 6 数据中台交付各环节的交付工具 1) 数据盘点工具 数据盘点工具对需要纳入到数据中台的数据进行盘点 分类, 结合业务过程梳理, 为数据架构设计及数据建模提供输入 ; 可支持 MySQL Oracle DB2 SqlServer HANA MongoDB PostgreSQL 等数据库, 支持插件式扩展 ; 配置数据源后, 可进行一键盘点, 输出资源目录表级数据字典, 并提供智能数据采集建议 2) 数据集成工具 数据集成工具基于基础产品开放 API 能力, 进行二次封装, 融入个性化功能和体验需求, 提供面向批量数据采集场景 使用便捷的工具 ; 提供可视化数据采集规则配置, 如表命名规范 任务命名规范等, 与数据盘点提供的智能数据采集建议无缝结合, 自动化获取数据采集计划清单, 按照采集规则自动补齐数据集成信息, 减少人工成本 11

TECHNOLOGY SERVICE STANDARD FOR DATA MIDDLE OFFICE DELIVERY 3) 数据探查工具 数据探查工具基于业务需求分析和数据应用设计, 通过对数据及其质量进行初步探查, 确保需求可落地性及实施效果 ; 基于质量探查需求和自定义业务规则, 进行数据核查和验证, 判断数据质量与业务需求匹配度 ; 可基于默认规则或自定义规则进行数据探查, 输出数据探查报告和数据质量报告 4) 数据建模工具 数据建模工具基于行业级数据标准及标准数据模型进行标准化规范可视化的数据模型构建工作, 提升数据模型设计的质量和效率 ; 可将数据库元数据 DDL 数据模型文档等多种方式导入逆向建模从而快速引入建模素材, 并且支持数据模型的 DDL, 文档方式导出及数据平台对接直接转化成业务系统物理模型生产力, 保证了设计开发的一致性, 提升数据类项目交付质量和效率 5) 数据校验工具 数据校验工具对数仓 ODS 层数据与源数据一致性需求 ADS 层宽表指标准确性需求等, 通过数据量校验 指标校验等方式确保数据在采集 设计 建模 开发过程一致, 保障 数据与指标一致性和准确性 6) 数据回刷工具 数据回刷工具由于数据模型设计方法的差异性, 上游业务系统数据结构调整或数据口径 变更时, 需对数据表的历史分区数据进行回刷 ;ODS 层回刷支持笛卡尔积 动态分区 等方式,CDM 层与 ADS 层支持多周期合并 行列级回刷等方式 12

数据中台交付标准化白皮书 7) 代码扫描工具 代码扫描工具基于代码质量规则, 对定制化开发的代码质量进行检查, 发现代码编写不 规范 效率低等质量问题, 提升代码检查效率并提供优化建议 ; 支持全量代码扫描 单 条 SQL 调试 按任务编号扫描和按代码空间扫描等 基于上述的系列交付工具, 交付过程变得更清晰和简单, 交付前 交付中 交付后的流 程和配套工具的衔接更合理和顺畅 2.5 交付服务团队 一个好的工程项目必须有一套完整的组织保障机制 数据中台以业务价值为导向, 其交付专业要求高 过程管控复杂 交付生态协同难, 要高质量建设数据中台, 除了交付流程 交付文档集 交付工具集之外, 也需要强有力的组织保障, 确保角色完整 分工明确 衔接顺畅 各司其职 各尽其责 站在数据中台建设全生命周期视角, 除了客户和生 交付前阶段交付中阶段交付后阶段 1. 交付前置 2. 需求调研 3. 方案设计 4. 开发实施 5. 试运行 6. 上线维保 需求方案 风险识别 交付评审 启动规划 SA RA C C C 业务调研 技术调研 数据调研 蓝图设计 产品设计 架构设计 数据建模 CBM C RA C C I I I PMO RA CSM C C C RA C C C C I I I I I I I I I C C C C RA BA C C C R RA I I RA C C I C C C C C I TM C C C R I RA RA C C RA RA C RA RA RA RA C RA RA RA C I PD C C C I I I I C RA C I C C C C C I QA C C C I I I I C C C RA C C C C RA C C C C I TAM C C RA I 客户 C I I C C C C C C C C C C C C C C C C C C R 伙伴 I R R R R R R R R R R R R R R R R R I 测试方案 数据集成 数据研发 R: 执行人 A 责任人 C 征求意见 I 被告知 应用研发 数据回刷 集成测试 试运行 知识转移 正式上线 售后保障 项目验收 图 7 数据中台企业服务角色与职责矩阵 13

TECHNOLOGY SERVICE STANDARD FOR DATA MIDDLE OFFICE DELIVERY 态伙伴之外, 数据中台企业服务角色构成主要包括 SA CBM PMO CSM BA TM PD QA 和 TAM, 项目不同阶段由不同的团队来负责, 每个角色在各个不同阶段及流程中承担的职责如图 7 所示,RACI 责任分配矩阵如表 1 所示 其中,SA 解决方案架构师负责售前客户需求调研与方案设计,CBM 客户经理负责对售前商务风险等进行识别判断,PMO 负责对项目可交付性进行评审,CSM 对项目启动规划及最终项目验收负责,BA 对业务需求及业务架构设计负责,TM 对数据和技术架构及其落地方案负责,PD 对数据应用及数据产品设计负责,QA 对测试方案及落地负责,TAM 对售后运维负责, 各角色在 CSM BA TM 的统筹下进行协作, 共同对项目交付负责 角色简写 角色英文 角色说明 R A C I Responsible Accountable Consulted Informed 谁负责, 负责执行任务的角色, 具体负责操控项目 解决问题谁批准, 对任务负全责的角色, 只有经同意后项目才能进行咨询谁, 在任务实施前或中提供指定性意见的人员告知谁, 及时被通知结果的人员, 不必向其咨询 征求意见 表 1 RACI 责任分配矩阵说明 数据中台建设需要多个团队和角色协作完成, 涉及交付前阶段 交付中阶段 交付后阶段, 每个交付阶段涉及客户 阿里云 生态伙伴等, 要确保不同的角色之间分工明确 各司其职 衔接顺畅, 就需要明确不同的角色职责边界和衔接关系, 这也是交付过程管理中的重要质量把控原则 14

数据中台交付标准化白皮书 2.6 数字化工作台 数字化转型过程中的大型项目, 开发团队动辄数十人至几百人, 来自各个不同的组织 沟通不畅 信息分散 严重依赖个人能力的情况时有发生, 就好像盲人摸象, 项目的透明度低下, 严重阻碍项目走向成功 过去的项目管理以及协同的方式已经不再适合今天大型全要素的数字化转型的过程, 急需要全新的数字化转型交付和服务的方法论以及与之配套的工具和平台 2021 年 10 月 19 日, 飞天技术服务平台 - 数字化工作台在杭州云栖大会上正式亮相, 整体提出了组织在线 成员在线 业务在线及项目在线的全量在线的企业服务模式, 首次透明企业服务的全过程, 为不同角色提供社会化的协作 数据化的管理 智能化的管理能力, 实现项目在线 精益管理 优秀履约的目标 客户 数据中台技术服务服务团队在一体化的数字化工作台上完成服务履约 ; 客户随时可查看了解项目过程, 同时会基于在线 IM 工具完成服务及沟通互动 ; 伙伴从人 财 事 物四个方面全面与阿里巴巴协同, 共同为客户提供高质量的云创新数字服务 数字化工作台 业务层风险预警知识搜索客户洞察人员画像智能决策 交付技术应用 主题库建设 应用层 待办消息 工单管理 服务日历 标准中心 政企客户应用 工具中心 文档中心 数据层 人员主题库 项目主题库 资产主题库 客户主题库 生态主题库 人员管理 企业信息 项目管理 结算管理 我的工单 待办消息 数据资产构建与管理 管理层权限管理账号管理产品管理策略管理平台管理 图 8 数字化工作台功能结构示意图 15

TECHNOLOGY SERVICE STANDARD FOR DATA MIDDLE OFFICE DELIVERY 数字化工作台功能结构示意图, 如图 8 所示 管理层基于云原生架构设计 云原生的产品与技术实现, 提供基础的账号管理 权限管理 产品管理等能力 应用层为技术服务团队提供待办消息 服务日历 交付流程管理 交付工具管理和交付文档管理等线上操作, 为政企客户提供待办消息 企业信息 人员管理 项目管理和结算管理等线上操作 其中, 标准中心为标准交付流程与动作 交付方案 交付过程产出等提供能力支撑 ; 工具中心为交付工具提供上架 下架 与交付动作关联等提供能力支撑 ; 文档中心承接标准中心的过程产出文档, 并提供文档打标 查看 搜索 下载等能力 数据层, 基于应用层产生的数据进行数据资产构建与管理, 进行人员 项目 资产 客户 生态等主题库建设, 为交付标准化率 交付方案复用率 项目质量优良率 交付自动率等标准化指标提供数据支撑 业务层, 提供风险预警 知识搜索 人员画像 客户洞察等应用 数字化工作台为标准化的数据中台交付流程 交付文档和交付工具提供长效平稳运转和持续迭代演进提供全方位的支持和保障 16

数据中台交付标准化白皮书 交付标准化技术要求 3.1 概述 标准, 是在一定范围内获得最佳秩序, 经协商一致, 并经过人工机构批准, 共同使用和重复使用的规范性文件 ; 数据中台交付标准化, 为是为了在交付前 交付中 交付后获得最佳秩序, 制定交付技术服务流程 业务动作 文档模板 设计规范 工具平台 服务角色 职责矩阵等的活动, 以提升数据中台交付效率与质量提升, 支撑标准化 在线化 规模化的服务履约, 保障客户服务满意度 下面章节针对交付前 交付中 交付后三个阶段及其流程动作, 从业务动作定义 任务拆解 输入输出文档 交付工具支撑 质量管控等方面进行标准化要求说明 3.2 交付前阶段 交付前阶段包括交付前置环节, 支持售前团队进行数据中台需求沟通及方案设计, 提前识别交付风险, 并提供规避建议, 完成数据中台项目签约, 保障项目交付履约 交付前置环节的交付任务包括需求方案 风险识别 交付评审和启动规划 交付前置环节各项交付任务对应的交付文档和交付工具如表 2 所示 17

TECHNOLOGY SERVICE STANDARD FOR DATA MIDDLE OFFICE DELIVERY 序号 交付任务 交付文档 交付工具 1 需求方案 项目交付工作说明书 数据盘点工具 2 风险识别 风险说明与规避建议 3 交付评审 可交付性评审意见 4 启动规划 项目启动会会议纪要 表 2 交付前置环节各项交付任务的交付文档和交付工具 交付前置的质量管控要求包括 : 1) 明确交付前置的团队角色职责矩阵和分工协作 ; 2) 提交覆盖交付全流程的交付风险说明与规避建议文档 ; 3) 按照可交付性评审模板提交评审意见 ; 4) 按照标准项目管理办法启动规划, 并提交启动规划会议纪要 ; 5) 基于数字化工作台进行上述交付文档的提交和管理 3.3 交付中阶段 3.3.1 需求调研环节 需求调研环节基于工作说明书中的业务目标和范围, 从业务 数据 技术等方面对客户 的需求进行详细调研, 为交付实施提供需求输入 需求调研环节的交付任务包括业务调研 技术调研和数据调研 需求调研环节各项交付任务的交付文档和交付工具如表 3 所示 18

数据中台交付标准化白皮书 序号 交付任务 交付文档 交付工具 1 业务调研 业务需求调研提纲 业务需求调研会议纪要 业务需求分析说明 数据盘点工具 数据探查工具 2 技术调研 技术需求调研提纲 技术需求调研会议纪要 数据需求调研提纲 3 数据调研 数据需求调研会议纪要数据资源目录表 数据盘点工具 数据探查工具 数据字典表 表 3 需求调研环节各项交付任务的交付文档和交付工具 需求调研的质量管控要求包括 : 1) 明确需求调研的团队角色职责矩阵和分工协作 ; 2) 基于业务需求调研提纲模板 业务需求分析说明模板, 结合数据盘点工具和数据探查工具进行业务调研, 并提交业务需求调研 业务需求分析说明和业务需求调研会议纪要文档 ; 3) 基于技术需求调研提纲模板进行技术调研, 并提交技术需求调研提纲和技术需求调研会议纪要 ; 4) 基于数据资源目录模板 数据字典模板, 结合数据盘点工具和数据探查工具进行数据调研, 并提交数据需求调研提纲 数据需求调研会议纪要 数据资源目录表和数据字典表 ; 5) 基于数字化工作台进行上述交付文档的提交和管理 19

TECHNOLOGY SERVICE STANDARD FOR DATA MIDDLE OFFICE DELIVERY 3.3.2 方案设计环节 方案设计环节基于需求调研环节的交付文档和交付前置环节的项目交付工作说明书文档, 完成数据中台业务蓝图设计 数据产品设计 架构设计 数据模型设计及测试方案设计, 为开发实施提供输入 方案设计环节的交付任务包括蓝图设计, 产品设计 架构设计 数据建模和测试方案 方案设计环节各项交付任务的交付文档和交付工具如表 4 所示 序号 交付任务 交付文档 交付工具 1 蓝图设计 数据中台蓝图设计方案 数据探查工具 2 产品设计 产品需求设计方案 数据探查工具 3 架构设计 技术架构设计方案 数据集成工具 4 数据建模 数据模型设计方案 数据建模工具 5 测试方案 数据中台测试方案 数据校验工具 表 4 方案设计环节各项交付任务的交付文档和交付工具 方案设计的质量管控要求包括 : 1) 明确方案设计的团队角色职责矩阵和分工协作 ; 2) 基于行业蓝图设计框架模板, 结合数据探查工具进行数据质量初探, 并提交数据中台蓝图设计方案文档 ; 3) 基于产品需求设计框架模板, 结合数据探查工具进行数据质量确认, 并提交产品需求设计方案文档 ; 4) 基于架构设计框架模板, 结合数据集成工具进行集成规范设计, 并提交技术架构设计方案文档 ; 5) 基于数据建模框架模板, 结合数据建模工具进行模型设计, 并提交数据模型设计方案文档 ; 20

数据中台交付标准化白皮书 6) 基于数据中台测试框架模板, 结合数据校验工具进行测试方案设计, 并提交数据中台 测试方案文档 ; 7) 基于数字化工作台进行上述交付文档的提交和管理 3.3.3 开发实施环节 开发实施环节基于数据中台详细设计方案, 进行数据中台平台环境搭建 数据采集 代码研发 数据回刷与校验 数据服务研发与测试 数据应用研发与测试等交付实施工作 开发实施环节的交付任务包括数据集成 数据研发 应用研发 数据回刷和集成测试 开发实施环节各项交付任务的交付文档和交付工具如表 5 所示 序号 交付任务 交付文档 交付工具 1 数据集成 数据集成定制化代码 数据集成工具 2 数据研发 数据研发定制化代码 数据建模工具 3 应用研发 应用研发定制化代码 4 数据回刷 数据回刷定制化代码 数据回刷工具 5 集成测试 各类测试报告 数据校验工具 代码扫描工具 表 5 开发实施环节各项交付任务的交付文档和交付工具 开发实施的质量管控要求包括 : 1) 明确开发实施的团队角色职责矩阵和分工协作 ; 2) 基于需求调研环节的业务需求分析说明文档和方案设计环节的技术架构设计方案文档, 结合数据集成工具进行数据集成, 并提交数据集成定制化代码 ; 3) 基于方案设计环节的技术架构设计方案文档和数据模型设计方案文档, 结合数据建模工具进行数据研发, 并提交数据研发定制化代码 ; 21

TECHNOLOGY SERVICE STANDARD FOR DATA MIDDLE OFFICE DELIVERY 4) 基于方案设计环节的产品需求设计方案文档和技术架构设计方案文档进行应用研发, 并提交应用研发定制化代码 ; 5) 基于需求调研环节的业务需求分析说明文档和方案设计环节的技术架构设计方案文档, 结合数据回刷工具进行数据回刷, 并提交数据回刷定制化代码 ; 6) 基于方案设计环节的数据中台测试方案文档, 结合数据校验工具和代码扫描工具进行集成测试, 并提交各类测试报告 ; 7) 基于数字化工作台进行上述交付文档及代码的提交和管理 3.3.4 试运行环节 试运行环节确定试运行目标与范围, 制定试运行方案与运行保障机制, 配置监控告警, 处理试运行的缺陷及需求 ; 明确交付质量要求, 便于制定正式上线运行措施和管理规范, 完成知识转移, 为转维和终验做准备 试运行环节的交付任务包括试运行和知识转移 试运行环节各项交付任务的交付文档和交付工具如表 6 所示 序号 交付任务 交付文档 交付工具 1 试运行 试运行方案 试运行总结报告 数据校验工具 2 知识转移 知识转移方案 知识转移清单 表 6 试运行环节各项交付任务的交付文档和交付工具 试运行的质量管控要求包括 : 1) 明确试运行的团队角色职责矩阵和分工协作 ; 2) 提交试运行方案文档, 按照试运行方案进行监控告警配置 需求与缺陷管理等, 并提交试运行总结报告 ; 22

数据中台交付标准化白皮书 3) 提交知识转移方案文档, 按照知识转移方案进行方案 权限 代码 培训等转移, 并 提交知识转移清单 ; 4) 基于数字化工作台进行上述交付文档的提交和管理 3.4 交付后阶段 交付后阶段包括上线维保环节, 制定上线方案和运营管理规范, 完成数据中台正式上线, 制定维保方案, 完成项目转维和验收 上线维保环节的交付任务包括正式上线 售后保 障和项目验收 上线维保环节的各项交付任务的交付文档和交付工具如表 7 所示 序号 交付任务 交付文档 交付工具 1 正式上线 项目上线报告 2 售后保障 售后运维保障方案 数据校验工具 3 项目验收 项目验收签字确认单 表 7 上线维保环节各项交付任务的交付文档和交付工具 上线维保的质量管控要求包括 : 1) 明确上线维保的团队角色职责矩阵和分工协作 ; 2) 按照上线方案完成项目正式上线, 并提交项目上线报告 ; 3) 提交售后运维保障方案文档, 按照该方案并利用数据校验工具完成交付转运维 ; 4) 需按照项目验收管理规范完成验收, 并提交项目验收签字确认单 ; 5) 基于数字化工作台进行上述交付文档的提交和管理 23

TECHNOLOGY SERVICE STANDARD FOR DATA MIDDLE OFFICE DELIVERY 成功交付典型案例 4.1 概述 过去的 20 年, 是国内乳制品行业跌宕起伏的 20 年 在 2008 年前, 国内乳制品行业高速增长, 涌现了诸多百亿 甚至千亿级企业 然而,2008 年震惊全国的 三聚氰胺事件, 一下让国产乳制品行业陷入了长达 10 年的缓慢恢复期 外资 趁虚而入, 市场份额在 2010 年至 2017 年期间从 48.5% 提高到 59.3% 不过, 并非所有国产乳制品企业都在那场危机中倒下, 有的企业在这 20 年里集聚势能 厚积薄发, 成为了如今国产乳制品企业的龙头, 某乳业集团就是其中之一 乳制品行业, 食品安全永远是第一位 我们能够对卖出去的每一个产品进行溯源, 这就是我们的优势 该集团 CIO 表示 实现 一物一码, 让消费者透明消费 放心消费, 与该集团近年来积极推动数字化升级密不可分 据悉, 在数字化升级战略支撑下, 该集团已经通过数智化技术建立起完备的数字业务逻辑, 真正实现技术赋能产业, 助推企业发展 由于范围原因, 本章主要针对该乳业集团数据中台建设与实施落地涉及的交付标准进行阐述 4.2 数据中台交付内容 大数据 云计算 人工智能等技术的不断发展, 给乳制品行业带来了新的变革与机遇 如何用数据和技术, 打通产销运的全产业链, 更加高效地推动新零售业务改革, 成了摆 24

数据中台交付标准化白皮书 在传统企业面前最迫切的一道必答题 对该乳业集团来讲, 数智化转型升级的驱动因素主要有三个方面 : 一是, 与其他传统企业一样, 早期的信息系统基本根据业务部门需求进行建设, 各个系统之间相对孤立, 系统烟囱 数据孤岛问题随着系统建设的增多而越发明显 ; 二是, 对消费者的精准洞察能力不足, 消费者是谁 在哪里 偏好是什么等企业并不知道, 无法实现精准营销触达 ; 三是, 供应链端过去基本都是采用人工沟通和计划为主, 缺乏以大数据为支撑的全局统筹优化, 排产物流成本高 今天企业面临最大的确定性是如何应对巨变时代的不确定性, 在这场波澜壮阔又充满风险的数字新大陆航海中, 该集团结合自身现状和转型需求, 适时提出数字化转型战略及规划, 通过数字化体系的搭建赋能智慧销售和智慧供应链两大业务, 促进企业高质量 可持续发展 数据中台是数字化转型规划的核心内容之一,2018 年该集团和阿里巴巴达成合作, 分两期进行消费者端数据中台和供应链端数据中台建设, 两期数据中台全景如图 9 所示 一期数据中台二期数据中台数据中台工具平台 数据应用 原料包材板块 供应商板块 质量板块 生产板块 经销商板块 物流板块 成品库存管理板块 高管场景 溯源系统 智能应用 会员洞察分析 商品洞察分析 渠道洞察分析 营促销洞察分析 指标标签体系 数据分析大屏 数据资产管理 面向数据应用及开发的统一数据服务 智能数据研发 智能大数据平台 资产地图资产分析资产管理资产应用资产运营资产安全 萃取数据中心 公共数据中心 垂直数据中心 经销商数据体系 门店数据体系 商品数据体系 消费者数据体系 会员 产品 交易 营销 日志 公共 渠道 财务 采购 生产 质检 仓储物流 消费者数据 营销活动 产品主数据 销售数据 电商平台 第三方数据 采购业务 生产制造 进出库信息 物流运输 质量检测 销售订单 门店信息 产品研发 牧场信息 数仓规划数据引入规范定义数据研发任务调度数据运维 数据来源 第三方数据业务日志数据供应链业务数据消费者业务数据 品牌门店数据 网络舆情数据 开放平台数据 C 端埋点日志 业务系统日志 IoT 设备日志 赋码系统 WMS 系统 营销管理系统 牧场系统 ERP 系统 LIMS 系统 采购系统 TMS 系统 PLM 系统 MES 系统 经销商系统 主数据系统 CRM 系统 营销系统 官方网站 导购助手 电商平台 积分系统 10 图 9 数据中台建设全景 25

TECHNOLOGY SERVICE STANDARD FOR DATA MIDDLE OFFICE DELIVERY 其中, 一期数据中台覆盖 CRM 系统 电商平台 C 端埋点日志 网络舆情等消费者相关的业务数据, 设计会员 营销 渠道 交易 产品 日志 公共 财务等数据域, 建设会员洞察分析 商品洞察分析渠道洞察分析 营促销洞察分析等数据应用, 如图 9 蓝色标识 ; 依托一期建设基础, 新增 ERP 系统 WMS 系统 采购系统等供应链相关的业务数据, 建设二期供应链数据中台, 设计采购 生产 质检 仓储物流等数据域, 建设质量板块 生产板块 物流板块等数据洞察分析场景, 以及智能应用和溯源系统, 如图 9 橙色标识 ; 通过两期数据中台建设, 打通生产端 供应链到需求侧的数据, 推动全链路数字化 那么, 数据中台交付是如何一步步展开的? 如何通过交付标准化手段, 围绕交付标准流程 交付工具及数字化工作台, 确保数据中台高质量高效率履约, 帮助客户进行数智化转型升级? 以下章节以二期供应链数据中台为例进行介绍 4.3 交付流程标准化 二期供应链数据中台的总体设计及价值目标是, 基于供应链应用场景的数据赋能, 实现供应体系规范化 精益化 智能化 ; 主要包含业务场景赋能 全链路溯源系统建设 智能调补货应用建设三大功能 项目建设历时一年多, 数据调研覆盖 10 余个供应链业务系统, 业务调研涉及 100 余人, 范围包含各业务部门 工厂人员等, 采集业务系统表 800 余张, 落地供应链业务分析指标 500 余个 2020.04 需求调研 2020.09 场景与应用 PRD 设计 2020-12 二阶段上线试运行 2021-04 项目交付完成 业务调研 : 业务部门需求调研业务需求分析 数据调研 : 系统调研数据资源盘点 数据中台 : 完成 10/15 个分析场景 PRD 设计完成 5/15 个场景上线试运行 数据应用系统 : 全链路溯源系统 PRD 设计智能调补货应用 PRD 设计 数据中台 : 完成 10/15 个场景上线试运行 数据应用系统 : 全链路溯源系统上线试运行智能调补货应用系统试运行 数据中台 : 15/15 个场景正式上线 项目启动 业务蓝图与 MRD 设计 一阶段上线试运行 场景完成建设 2020.06 数据中台 : 15 个分析场景 MRD 设计数据中台架构设计 数据应用系统 : 全链路溯源系统 MRD 设计智能调补货应用 MRD 设计 2020-10 数据中台 : 10/15 个分析场景上线试运行 15/15 个分析场景 PRD 设计 数据应用系统 : 全链路溯源系统开发智能调补货应用系统开发 2021-02 数据中台 : 完成 15/15 个场景上线试运行 数据应用系统 : 全链路溯源系统正式上线智能调补货应用正式上线 图 10 供应链数据中台里程碑节点 26

数据中台交付标准化白皮书 项目组采用标准流程交付, 项目启动后快速构建起由客户 阿里云和伙伴组成的项目交付阵型, 明确职责矩阵 分工界面及衔接方式, 结合工作需求说明书及标准流程动作, 形成项目交付的里程碑节点, 如图 10 所示 在 CSM BA TM 等角色的统筹下, 基于项目交付里程碑节点要求 项目执行计划及项目管理章程, 高质量高效率推进项目交付, 具体标准流程动作如图 11 所示 下面以需求调研和方案设计两个关键动作说明各角色分工与衔接 需求调研, 整体由业务架构师负责, 技术架构师 客户和伙伴协助配合 ; 业务架构师负责业务流程调研 业务需求分析 指标梳理并组织对产出物进行评审 ; 技术架构师结合业务流程及指标清单, 进行数据盘点, 梳理业务过程和数据流向, 并参与客户的全局业务架构调研及核心业务流程调研, 参与业务架构师组织的评审 ; 客户负责整理业务调研和数据盘点所需资料, 组织业务调研和数据调研, 参与调研或接受调研, 并对业务和数据调研的问题进行解答, 参与产出物评审及确认 ; 伙伴配合业务架构师和技术架构师进行业务调研和数据盘点实施 需求调研和方案设计之间的衔接阶段, 由业务架构师负责, 技术架构师 客户和伙伴协助配合 ; 业务架构师负责指标范围和优先级梳理, 指标业务逻辑 ( 业务口径 所属业务流程 数据来源 业务规则等 ) 和分析链路确认, 并组织指标落地可行性评审 ; 技术架构师结合数据盘点和指标业务逻辑进行数据探查, 确认数据来源及数据质量, 参与指标落地可行性评审 ; 客户负责进行指标口径确认, 参与评审并确认指标可落地性 方案设计, 整体由技术架构师负责, 业务架构师 客户和伙伴协助配合 ; 技术架构师负责指标拆解 模型设计 指标规范定义, 并组织模型和指标设计评审 ; 业务架构师协助确认指标清单及其业务口径, 参与方案设计评审 ; 客户协助确认指标计算逻辑及取数来源, 参与评审并确认方案设计, 并对业务与技术问题解析解答 ; 伙伴配合技术架构师和业务架构师进行方案设计实施 27

TECHNOLOGY SERVICE STANDARD FOR DATA MIDDLE OFFICE DELIVERY 1. 交付前置 2. 需求调研 3. 方案设计 4. 开发实施 5. 试运行 6. 上线维保 1 需求方案 1 业务调研 1 业务蓝图与 MRD 设计 1 数据上云实施 2 3 系统建设情况调研 数据情况摸底调研 需求方案与 SOW 编写 可交付性评审 确认 SOW 内容 可交付性评审 风险与规避建议 项目启动规划 确定生态伙伴 锁定框架伙伴核心人员 启动项目交付准备工作 项目启动会 2 供应链等高管访谈 总部各部门调研 区域销售与经销商调研 代表工厂现场调研 技术调研 IT 组织架构调研 业务与应用系统现状调研 技术体系调研 基础设施调研 管理规范调研 3 数据调研 供应链业务流程调研 数据架构调研 系统数据调研 数据资产管理调研 数据集成调研 业务日志数据调研 2 3 4 5 15 个分析场景设计 指标数据探查确认 溯源系统 MRD 设计 智能应用 MRD 设计 场景与应用 PRD 设计 15 个分析场景 PRD 设计 溯源系统 PRD 设计 智能应用 PRD 设计 技术架构设计 大数据平台架构设计 数据架构设计 数据采集方案设计 数据开发与建模规范设计 溯源系统概要设计 智能应用概要设计 数据模型设计 ODS/CDM/ADS 模型设计 溯源系统与智能应用数据库设计 测试方案设计 数据准确性测试方案 集成测试与 UAT 测试方案 溯源系统与智能应用测试方案 上云任务开发 ODS 层数据清洗 数据一致性校验 2 数据模型开发 CDM/ADS 层模型研发 调度任务开发 数据开发 溯源系统与智能应用数据库研发 3 数据应用研发 分析场景页面开发 UI 设计美化 溯源系统与智能应用前后端研发 4 数据回刷 5 ODS 层数据回刷 CDM 层数据回刷 ADS 层数据回刷 集成测试 数据质量测试 报表集成测试 溯源系统集成测试 智能应用系统集成测试 1 试运行 试运行方案 上线策略与支持 试运行报告 2 知识转移 文档转移 账号权限转移 定制化开发转移 平台资源转移 1 2 3 正式上线 上线方案 上线报告 运营管理制度 售后保障 交付转维 问题反馈机制 项目验收 项目验收报告 遗留问题解决 图 11 供应链数据中台交付标准流程 通过标准交付流程与质量管控, 无论是客户满意度还是交付效率与质量均有显著提升 该客户某负责人曾讲, 阿里云通过标准专业的交付体系, 以专业能力指导消费者端和供应链端的数据中台项目高质量的完成, 有了这个基础, 双方将在新零售 泛电商 智慧物流等领域的进一步展开深入合作, 助力公司数字化战略, 共同打造引领未来商业模式的新零售行业标杆 阿里云 GTS 内部对该项目的也给予高度认可, 项目各角色分工明确 各司其职 相互配合 高效协同, 项目推进节奏顺畅, 效率与质量较之前提升明显, 成本管控也是同类项目中的标杆 4.4 交付内容工具化 该数据中台项目建设过程中, 除了流程标准化外, 交付工具集也成为效率大幅提升的重要生产力工具 项目执行计划交付中阶段包含业务调研 数据调研 技术调研等 15 个交付标准动作, 其中数据盘点 数据集成 数据探查 代码扫描 数据校验等 7 个动作由工具配合完成, 标准动作工具覆盖率达到 47%, 随着工具功能不断增强, 工具覆盖率还会进一步提升 数据盘点工具 数据集成工具 数据探查工具 代码扫描工具是典 28

数据中台交付标准化白皮书 型代表,4 个工具在项目交付不同阶段发挥重要作用, 使得纯人工交付工作不断减少, 其节省工作量占比如图 12 所示 以需求调研阶段的数据调研为例, 需对某 Oracle 数据源中的 3300 多张表进行盘点, 要求输出数据资源目录表及数据字典表, 之前人工盘点至少需要 9800 分钟, 使用工具一键盘点 90 分钟以内完成, 效率提升上百倍 标准动作工具覆盖率 工具节省工作量占比 工具盘点与人工盘点对比 12000 26% 10000 8000 9800 47% 53% 12% 52% 6000 4000 10% 2000 0 90 人工完成标准动作 工具完成标准动作 数据盘点数据集成数据探查代码扫描 人工盘点 工具盘点 图 12 数据中台交付工具应用实践 另外, 工具本身融合了设计规范和交付产出模板, 其产出内容严格按照设计要求, 避免人工操作的差异性和不规范性, 是交付质量的重要保障手段 同时, 工具使用简单 便捷, 不需要强依赖经验丰富的专业人员, 有效降低了数据中台的交付门槛 客户对工具价值给予充分肯定, 众所周知, 数据中台的建设不是一蹴而就的, 工具不仅仅帮助项目组高效率高质量完成交付服务履约, 同时还降低了数据中台的建设门槛, 让我们的团队也能基于工具体系持续运营迭代数据中台, 持续发挥其业务价值, 对客户和服务商来讲是多赢! 4.5 交付过程在线化 如果不能衡量, 就无法管理 ; 如果不在线, 就很难衡量 ; 结合交付数字化工作台, 将交付标准流程 交付标准方案和交付工具体系统一纳管起来, 实现交付在线化和数字化, 数据中台交付技术服务团队可在线进行任务分配 进度跟踪 需求提交 风险反馈等, 客户能快速看到项目进展 风险 预算执行等情况, 如图 13 所示 29

TECHNOLOGY SERVICE STANDARD FOR DATA MIDDLE OFFICE DELIVERY 图 13 供应链数据中台项目交付在线化 在项目启动阶段, 完成项目交付方案导入, 项目交付方案中包含交付标准流程和任务动作, 每个标准动作默认内置了标准文档模板, 交付标准动作与交付工具对应关系工作台可配置 交付过程中, 根据项目进度迭代更新任务状态和产出物, 产出物会统一沉淀到知识库, 提供打标 搜索 预览和下载等 同时, 数字化工作台的数据中心, 会自动计算产出标准化相关的检查指标, 如交付标准化解决思路小节中提到的交付方案复用率 交付过程在线率 交付质量优良率及交付工具覆盖率等 以数字化工作台的能力作为支撑, 实现了该项目交付的流程标准化 交付工具化 过程管控在线化 4.6 交付业务价值化 该乳业集团经过两期的数据中台建设, 做到了从经验主义到数据主义的转变, 其业务价值概述如图 14 所示 同源, 使用同源数据, 为各业务板块提供全面信息, 从管理层到执行层, 各业务部门使用同一分析工具, 统一逻辑, 避免沟通误会 ; 双向, 拉通全产业链数据, 打破供应链上下游壁垒, 有效协同, 提升业务运转效率 ; 敏捷, 免除手工从各业 30

数据中台交付标准化白皮书 务系统收集数据合并分析工作, 利用阿里云算力, 对大数据进行多维度分析, 有效利用资源于决策及改善, 提升对供应链的晌应能力及决策能力 ; 倒推, 通过建设数据中台, 识别数据的问题及缺失, 反推业务流程及系统的改造 ; 预知, 通过预警逻辑, 智能预警业务问题及识别供应链风险 同源 双向 预知 数据中台 敏捷 倒推 图 14 数据中台建设业务价值说明 数据中台建设使得数字化赋能业务, 一期数字化营销覆盖消费者 经销商 门店, 二期智慧供应链覆盖原材料 供应商 计划 生产 质量 物流, 自此实现企业全链条赋能, 形成闭环, 进而加速数字化转型, 与阿里巴巴数字化转型五部曲 基础设施云化 触点数字化 业务在线化 运营数据化和决策智能化 相吻合 4.7 交付要素全面化 成功者千篇一律, 失败者却各有千秋, 该集团的数据中台实施策略非常具有典型性 纵观其建设历程, 除了交付技术标准外, 一号位 分阶段 练内功 是其取得如今成 就的重要保障, 也是成功的数据中台实施的关键要素 31

TECHNOLOGY SERVICE STANDARD FOR DATA MIDDLE OFFICE DELIVERY 数据中台建设是典型的 一号位 工程, 不仅仅是技术革新, 更是组织文化的思维革新, 是一个漫长而痛苦的过程, 考验的是耐心和决心 两期数据中台建设均由集团董事长 业务一号位 信息技术一号位等亲自领导, 组建数字化转型工作委员会, 通过委员会推动业务和技术高效协同, 扫除转型路上的重重阻力 数据中台建设不是一蹴而就的, 实施周期比较长, 以数月甚至年为单位, 需合理控制预期, 速赢优先, 分阶段建设 结合企业分析价值链, 该集团一期围绕销售与服务, 建设面向消费者端的数据中台, 二期围绕制造 采购及仓配, 建设面向供应链端的数据中台, 如图 15 所示 ; 不沉迷成功者的秘诀, 不贪大求全, 结合该企业所处的阶段及实际情况, 冷静对待转型方案, 找到适合自己的数据中台建设路径, 并且按照路径坚定不移的进行分阶段落地 企业分析价值链 市场和计划 制造 采购及仓配 销售与服务 预算管理 研发分析 地区分析 品类分析 库存诊断 供应链诊断 导购分析 营销分析 门店洞察 积分洞察 市场洞察 计划分析 定价分析 资源优化 供应商洞察 品种优化订单满足分析二期数据中台 消费者洞察 促销跟踪 多渠道洞察一期数据中台 业务管理及支持 员工洞察 财务分析 风险分析 项目及组合分析 税务分析 成本分析总帐分析应收应付资金分析税务分析资产分析设备分析 故障分析 岗位分析绩效分析招聘分析离职分析 培训分析 费用分析 质量分析 图 15 数据中台分阶段建设 打铁还需自身硬 面对瞬息万变的市场环境, 唯有练好内功, 才能以不变应万变 数据中台服务商是外力, 是诱因, 企业自身是内力, 是主力 两期数据中台建设过程中, 服务商主要提供咨询 规划 设计及样板间打造, 联合生态伙伴完成落地实施 ; 该集团负责业务价值挖掘, 推动不同部门之间的协同, 并进行组织升级, 组建数据资产管理与中台运营团队, 小步快跑, 快速见效, 学以致用, 持之以恒 32

数据中台交付标准化白皮书 未来展望与总结 随着数据时代的到来, 大数据 数字化转型 业务大协同 数字中国等行业趋势与国家政策对于数据越来越重视, 各方也从业务数据 管理数据 外联数据等各类数据中获取优势与业务创收, 数据中台未来的需求也会越发明显增长, 同时对于企业的价值创新与发展也越发重要, 最终是打造企业智能化的数据驱动 是赋能业务数字化的智慧能力, 达到业务更智慧 企业业务价值无限突破 目前, 数据中台交付面临企业需求多样化 交付周期长 复杂度高 专业门槛高 生态协作效率低 质量评估无据可依等问题, 需要采用标准化的数据中台交付流程 交付文档 交付工具和数字化工作台, 为企业的数字化转型提供数据咨询规划服务 数据资产建设 垂直行业数据中台交付实施指南 新零售互联网金融服务能源电力交通物流政务服务其他行业 数据中台交付技术能力评估模型 数据中台交付参考框架 交付流程交付文档集交付工具集数字化工作台技术服务团队 交付前 交付前置 需求调研 数据中台交付技术要求 方案设计 交付中 开发实施 试运行 上线维保 交付后 运营 数据中台交付技术服务评估规范 图 16 数据中台交付的标准体系 33

TECHNOLOGY SERVICE STANDARD FOR DATA MIDDLE OFFICE DELIVERY 服务和数据应用建设服务等, 提升数据中台交付的效率和质量, 降低规模化交付成本 基于本报告对数据中台交付的标准内容分析, 建议数据中台交付的标准体系如图 16 所示, 包括如下 5 个部分 其中, 数据中台交付参考框架标准规定了数据中台交付的定义 交付流程 交付文档集 交付工具集 数字化交付工作台和数据中台交付技术服务团队的总体要求 数据中台交付技术要求定义了交付前 交付中 交付后三个阶段六个流程的技术要求 交付文档 交付工具和质量管控要求 数据中台交付能力标准规定了数据中台交付各阶段的能力成熟度评价要素和成熟度等级要求, 用于指导企业对标数据中台交付能力, 明确交付能力提升需求和方案制定 数据中台交付技术服务评估规范标准规定了数据中台交付各环节的技术评估要求和测试方法, 为企业自身评估数据中台交付质量 ( 包括交付过程管控 交付内容质量 交付成本效能等方面 ) 以及生态合作伙伴的评估认证 ( 包括咨询能力 质量管理能力 项目管理能力等方面 ) 作参考依据 垂直行业数据中台交付实施指南系列标准为新零售 互联网 金融服务 能源电力 交通物流 政务服务等垂直行业的数据中台交付的实施提供指导 基于数据中台的交付标准体系, 服务团队可参考交付参考框架和技术要求进行交付方案的设计 过程管控和质量评估等 ; 政企客户可参考数据中台交付技术能力评估模型选择与自身需求相符的成熟度等级的交付方案和服务团队 ; 双方在交付过程和交付验收阶段, 可参考交付技术服务评估规范进行交付质量等的评估 为确保多方合作交付的高效率和高质量, 也可参考交付技术服务评估规范对合作的交付团队进行评估认证 进一步的, 基于数据中台在新零售 互联网 金融服务 能源电力 交通物流 政务服务等等行业的初步建设和应用实践, 垂直行业数据中台交付实施指南将助力数据中台交付在不同垂直行业的规模化高效建设和应用 34

结束语 随着数据中台在行业头部及领先企业逐渐落地 服务商和生 态伙伴经历了各类业务场景能力沉淀过程 产品技术和实施 方法日趋成熟 需求端对数据中台的理解和信任逐步加深 行业增长势头明显 市场规模迅速扩展 在大型 头部企业 渗透率逐渐增加的同时 中小企业将成为服务商的重要增量 市场 因此 提炼和总结数据中台的服务内容 沉淀行业通 用能力 形成标准化的整体解决方案 以助力中小企业数字 化转型 提升数据中台服务商和生态伙伴的规模化交付能力 其重要意义不言而喻 现阶段 数据中台技术已相对成熟 在数据中台的交付实践过程中 企业自身的资源配置能力 管理经验 组织变革等成为高质量建设数据中台的关键要素 这些要素的标准能力构建也迫在眉睫 当然 数据中台的涵 义一直随着发展而改变 但无论怎么变化 数据中台交付标 准化建设始终以时代发展的趋势和业务需求为出发点 继续 围绕要做什么 怎么做 产出什么 怎么衡量等为主线持续 迭代演进 不断将其推向新时代 新台阶 新高度

阿里云数据中台产品矩阵 深入行业研究, 持续产品创新, 帮助解决客户痛点 Quick Audience 全域消费者运营平台 定位智能用户增长, 实现全方位洞察, 多渠道触达的增长闭环, 实现以人为 中心的消费者全生命周期洞察运营 Quick Stock 智能货品运营平台 以货品为中心视角洞察市场, 拥有强 大的智能算法能力, 让企业清楚了解 货品全貌, 进行更好的商渠匹配 Quick Decision 智能决策平台 面向金融风控 财富管理 个性化保 险 智能客服等场景, 为企业提供决 策全链路的构建 管理及服务 Quick BI 数据可视化分析平台 目前中国唯一一个进入 Gartner 魔力象限的 BI 产品, 内置超过 40 种丰富图表, 无缝对接云上数据库和自建数据库,0 代码实现数据分析 Quick Tracing 全域行为洞察分析 跨多端全域行为分析的一站式数据产品, 实现自动可视化的数据埋点, 万亿级别的日志获取 海量数据实时和离线处理能力 DataV DataV 数据可视化 数据可视化应用搭建工具, 通过图形 化界面轻松搭建专业水准的可视化应 用, 满足会议展览 业务监控 风险 预警等多种业务展示需求 Dataphin 智能数据构建与管理 面向各行各业大数据建设 管理及应用诉求, 一站式提供从数据接入到数据消费全链路的智能数据构建与管理的大数据能力, 包括产品 技术和方法论等, 助力打造标准统一 融会贯通 资产化 服务化 闭环自优化的智能数据体系, 以驱动创新 Data Asset 全域数据资产平台 以全域核心数据资产为中心, 搭建可管 可查 可控 可通 可估的数据资产管理和运营中心, 支撑企业内数据资产流通, 提升全员数据使用意识, 辅助企业数字化驱动的生产模式转型 DataWorks 大数据开发治理平台 DataWorks 基于 MaxCompute 等大 数据计算引擎, 为客户提供专业高效 安全可靠的一站式大数据开发与治理 平台, 自带阿里巴巴数据中台与数据 治理最佳实践, 赋能各行业数字化转 型 Data Trust 隐私增强计算 行业领先的基于安全技术 (TEE MPC FL 联邦学习等 ) 打造的隐私增强计算平台, 在保障数据隐私及安全前提下完成多方数据联合分析 联合训练 联合预测, 实现数据价值的流通, 助力企业业务增长 Data Security Center 数据安全中心 帮助客户实现等保 2.0 二级有关 安全审计 与三级有关 个人信息保护 的合规要求的同时, 为客户提供敏感数据自动识别 分级分类 大数据安全审计与数据脱敏等数据安全能力, 形成一体化的云上全域数据防泄漏与安全解决方案, 并满足 数据安全法 中提出的有关要求 MaxCompute 云原生大数据计算服务 是一种快速 完全托管的 TB/PB 级数据仓库解决方案 向用户提供了完善的数据导入方案以及多种经典的分布式计算模型, 能够更快速的解决用户海量数据计算问题, 有效降低企业成本, 并保障数据安全 Apache Flink 实时计算 Flink 版 是阿里云基于 Apache Flink 构建的企业级 高性能实时大数据处理系统, 由 Apache Flink 创始团队官方出品, 拥有全球统一商业化品牌, 完全兼容开源 Flink API, 提供丰富的企业级增值功能

扫码下载电子版