持续交付-高效率和高质量可以兼得-张乐-发布

Size: px

Start display at page:

Download "持续交付-高效率和高质量可以兼得-张乐-发布"

榔展马
5 years ago
Views:

2 持续交付 - 高效率和高质量可以兼得张乐百度 GOPS2016 全球运维大会上海站

3 自我介绍张乐百度工程效率部资深敏捷教练架构师百度内先进软件工程方法和生产力的践行者布道者十三年软件行业工作经验敏捷精益项目管理持续交付 DevOps 百度方法 + 持续交付专题负责人

4 互联网时代对软件交付的诉求我们处在一个 VUCA 的时代软件交付面临易变性不确定性复杂性模糊性专注极致口碑快用户体验至上快速迭代细节决定成败唯快不破缺陷 -> 差评 -> 卸载只有第一, 没有第二效率质量服务故障 -> 百倍赔付

5 业界互联网公司软件交付能力概况仅涉及一行代码的改动需要花多长时间才能部署上线? 你是以一种可重复且可靠的方式来做这件事的吗? 引用 : Implementing Lean Software Development,Page. 59 公司周期时间部署频率可靠性客户响应 Amazon 分钟次 / 天高高 Google 分钟 5500 次 / 天高高 Netflix 分钟 500 次 / 天高高除此之外, 还有 Facebook Twitter 等国际互联网巨头, 都有非常高的部署频率数据来源 : The Phoenix Project:A Novel About IT, DevOps, and Helping Your Business Win

6 百度某产品部署频率统计某产品生产环境部署次数每工作日部署次数每月部署次数一月二月三月四月五月六月 0

7 传统软件交付的困境进度不可控 package 里版本号脚本修改错误流程不可靠环境不稳定协作不顺畅缺陷爆发测试阻塞版本混乱无法回溯部署复杂经常失败线上报警紧急回滚分支过多合并困难环境公用未知错误等待上线周期太长发现故障无法定位

8 传统软件交付过程的问题分析人员流程技术被墙阻断,Throw it over the wall 业务开发测试运维墙墙墙需求以文档传递, 缺乏沟通需求描述不清, 且经常变更测试反馈周期长, 测试占研发比重大自动化测试程度低, 质量把控不完备运维排期紧张, 上线需要等待手工运维繁琐复杂易出错效率低, 存在浪费反馈慢, 质量保证不全故障多, 操作耗时长传统软件研发和交付过程无法满足业务快速稳定交付的要求

9 持续交付的解决思路 S S S O D

10 如何实现持续交付?

11 持续交付方法体系

12 业务从源头改变交付模式用户故事地图 : 需求全景和发布计划研发的最大的浪费是构建没有人使用的东西精益创业 : 更小更快的迭代流程验证想法最简可行产品 (MVP) 看板 : 可视化方法管理流动验证式学习循环

13 业务看板功能的生命周期可视化, 管理流动并且要建立需求到代码的追踪机制建立需求卡片到代码的关联

14 流程 - 可靠可重复的流水线通过流水线阶段划分, 平衡测试反馈速度与覆盖度通过流水线分析瓶颈识别自动化改造点和协作点

15 交付流水线演进 : 模块级原始的低效的流水线申请版本编译单元测试撰写单测报告提测系统测试撰写测试报告发上线单上线审批上线填写表单单机编译环境执行测试脚本编写测试报告文档发邮件或消息手工准备环境编写测试报告文档填写表单工单流转手工准备环境手工执行编译告知版本号地址手工执行部署编写上线步骤文档 QA RD OP 审批手工执行部署手工执行测试手工冒烟测试现代化高效的流水线主干合并自动触发自动触发自动触发定时触发一键式操作邮件通知一键式操作一键式操作一键式操作 Offline 代码合入编译单元测试模块测试系统测试提测系统测试发布预上线 Online 小流量提交到代码库 Code Review 代码规范检查编译集群分布式编译加速自动上传产品库自动执行测试脚本自动统计测试覆盖率自动部署测试环境自动执行测试脚本自动部署测试环境自动执行测试脚本自动部署测试环境部署后自动冒烟测试手工执行测试非功能和异常测试设置测试结果状态设定四位版本自动上传正式产品库自动部署环境部署后自动冒烟测试执行端到端场景测试 N 套 Online 全流量自动部署环境部署后自动冒烟测试

16 交付流水线演进 : 产品级编码和自测代码合入, 触发编译和测试 Daily 测试集成测试阶段发布阶段模块一模块二模块三 Pre-submit 单元测试模块测试系统测试开发, 提交检出代码代码合入编译 -> 临时产品库 Pre-submit 单元测试模块测试系统测试开发, 提交检出代码代码合入编译 -> 临时产品库 Pre-submit 单元测试模块测试系统测试开发, 提交检出代码代码合入编译 -> 临时产品库制作镜像 -> 镜像库制作镜像 -> 镜像库端到端的集成测试性能压力稳定性测试拉出分支拉出分支拉出分支准入测试编译 -> 制作镜像 -> 镜像库准入测试编译 -> 制作镜像 -> 镜像库准入测试编译 -> 临时产品库提测提测提测完整的端到端测试性能压力稳定性测试发布四位版本 -> 生产镜像发布四位版本 -> 生产镜像发布四位版本 -> 正式产品库小流量 -> 全流量小流量 -> 全流量小流量 -> 全流量生产监控

17 交付流水线的工具落地开源方案 :GoCD Spinnaker 自研方案 : 百度 Agile 平台 17

18 配置管理 Feature Branch RD 在自己的分支工作, 隔离其他工作变更场景 A: 分支开发, 分支发布, 发布后合并主干场景 B: 分支开发, 分支测试, 主干回归, 主干发布带来的好处 : 多个 Feature 完全并行开发, 互不影响可以选择 Feature 进行发布, 不会被其他功能阻塞存在的问题 : 最终还是要集成, 如果不同分支代码有交互, 合并时大量冲突需要解决 ( 文本冲突语意冲突 ) 合并冲突时易出错, 发布后容易忘记合并回主干每个分支建立单独的测试流水线, 浪费资源, 并且其实未实施集成测试

19 配置管理 Trunk Based Development RD 经过充分的本地验证后, 频繁提交代码到主干场景 A: 主干开发主干发布场景 B: 主干开发分支发布带来的好处 : 主干持续集成, 在冲突形成的早期发现主干一直健康, 每次合入后都可安全发布 RB 测试上线发布分支主干开发 &Local build 主干测试拉分支开发 &Local build 开发 &Local build 存在的问题 : 主干上功能开发有先后, 有未完成的功能但又需要发布时, 需要能隐藏未完成部分为了避免以上情况, 有三种递进的方式 : (1) 功能拆分, 小批量频繁发布 ;(2) 后端先行,UI 或功能入口后发布 ;(3) 功能开关, 配置决定功能

20 配置管理部署包规范标准化部署包规范, 提升大规模部署时的自动化程度全量部署包 GIT/SVN 构建回溯提供稳定的控制接口差异化部署使用配置派生自定义上线步骤

21 配置管理配置注入的方式

22 构建管理提供云编译服务, 标准化编译环境, 提升编译效率 l l 标准化编译配置文件, 代码提交自动编译集群加速, 提高并发场景吞吐量 Mac Pro 编译集群 Ubuntu 编译集群 CentOS 编译集群 Windows 编译集群其他定制编译集群 l 机器针对编译任务硬件优化 l 模块间依赖采用二进制构建产物调度策略 l 使用增量编译 l l C++ 模块间使用 distcc 和 ccache 分布式编译编译结果推送至制品仓库管理

23 测试管理建立分级测试体系, 从多个层次和多个验证角度实现质量防护网分级测试模型

24 持续集成重点在原则的坚持 : 小改动, 逐步构建每人每天提交代码在主干上持续集成至少每天进行集成使用持续集成工具自动化构建和测试分级测试快速反馈红灯需要立即修复

25 环境管理 Applications Data Applications Data 转为平台运维 Runtime Middleware O/S OP( 软运维 ) Runtime Middleware O/S Virtualization Virtualization PaaS Servers Storage Networking SYS( 硬运维 ) Servers Storage Networking 流程繁杂, 需运维介入手工操作多跨团队协作, 沟通和协调成本高运维效率低, 派单周期长问题多上线时间降低 ( 小时级别 -> 分钟级别 ) 扩容效率提升 ( 天级别 -> 分钟级别 ) 运维效率提升, 人均运维机器数 ( 百台 -> 千台 )

26 环境管理 - PaaS 平台

27 环境管理容器集群管理开源方案 :K8S + Docker 自研方案 : 百度 Matrix 系统 Matrix 作为百度数据中心的容器集群管理系统, 为所有的产品线提供规范的底层架构资源管理 : 提供虚拟化的容器资源隔离与混部 : 资源高效充分利用

28 部署管理部署管理遵循的原则部署包全部来自制品仓库各环境使用相同部署方式各环境使用相同部署脚本部署流程编排, 阶梯式晋级运维人员参与部署过程创建只有流水线才可变更生产环境, 防止配置漂移不可变 (Immutable) 服务器热部署 : 蓝绿部署金丝雀发布提交代码拉分支自动部署源码库代码配置脚本产品 A 测试环境产品 B 测试环境产品 C 测试环境自动化测试自动化测试自动化测试自动部署自动化编译主干持续集成编译集群单元测试模块测试沙盒测试环境自动 / 手工测试自动部署分支发布预上线环境自动化测试自动化测试系统测试自动部署自动部署内网生产环境外网生产环境自动化测试候选发布版本自动化监控自动化监控

29 部署管理 - 不可变服务器每台服务器都是不同的自动化配置化的环境管理不可变服务器 (Immutable Server)

30 基础架构持续交付技术栈 Source Code Test Code App Conf Pack Conf h i - obe - QM C P < G O R eh -- bh -- TRxri n i - a M Ki &- &- - A> psa csl t psue tue S DN P t P t nl t NU gcue I D &- - - QMS - - &- - v m D &- - &-

31 应用架构微服务架构微服务架构是一种分布式系统解决方案, 推动细粒度服务的使用, 这些服务协同工作, 且每个服务都有自己的生命周期微服务架构优点技术异构性弹性扩展性简化部署与组织结构匹配可组合性优化可替代性微服务架构实践每个服务独立部署每个服务独立构建流水线在隔离的容器中运行服务消费者驱动的测试 (CDC )

32 应用架构配置化架构配置化架构是指可配置的方式构建软件的方法它是在领域建模的基础上, 以配置表述业务, 以配置组织架构元素 ( 服务组件数据 ), 并对配置进行规范化自动化的管理配置化架构解决的问题静态代码构成的大型系统在编译重型的测试上都耗费很多时间系统升级需要重启, 影响对外提供服务, 甚至会影响收入配置化架构的优点通过配置, 在较低的变更成本下, 实现快速的调整软件系统

33 组织团队和协作在保持本职工作专注的前提下, 鼓励 T 型人才和跨界的文化 DEV 遵从配置管理策略坚持持续集成习惯非功能运维需求构建监控反馈通道培养端到端责任文化构造更贴近生产的环境透明化工作流程系统架构监控模型沟通协作集成基于完整流水线的可视化工作集成 OPS 标准化部署过程自动化部署脚本服务能力转换为平台能力减少对人员和经验的依赖上线执行者转变为审核者面向事务转变为面向价值

34 组织数据度量和改进 1 流水线构建总览分团队总览 2 数据筛选和下钻, 各团队数据 3 核心数据汇总, 环比变化趋势 4 自动分析和异常报表推送邮件

35 组织数据度量和改进从度量中找到问题, 从度量中看到进步 100% 90% 80% 70% 60% 50% 40% 构建成功率 100.0%100.0%100.0% 96.5%93.6% 90.9% 89.3%86.4% 85.7% 81.3%80.4% 77.4% 72.6% 69.8%69.6% 58.5% 50.5%50.0% 48.1% 47.4%47.0% 40.7% 30% 20% 10% 4.2% 0%

36 组织持续交付成熟度模型环境管理环境管理配置管理配置管理部署管理部署管理持续交付成熟度模型构建管理测试管理测试管理持续集成持续集成

37 持续交付效果案例编译单元测试模块测试产品测试发布发单上线上线检查改进之前持续交付编译开发测试部署上线全面加速, 整体交付周期明显缩短各角色可以基于统一的交付流水线紧密协作, 产品交付过程可视化可控制每日多次发布能力故障快速回滚的能力

38 持续交付的价值快速交付从需求到交付端到端交付周期缩短保证质量效率提升的同时, 保证质量稳定降低风险稳定节奏的交付, 增强可预测性

39 Q & A

40 Thanks 高效运维社区开发运维联盟荣誉出品 GOPS2016 全球运维大会上海站

CloudNative应用实践V3

CloudNative应用实践V3 Cloud Native( 云原生 ) 应用实践王磊磊华为 / 中软 / 软件工程技术专家 ThoughtWorks 首席咨询师 Sybase Tech Leader 微服务架构与实践作者 DevOps Handbook 中文译者之一国内较早倡导和实践微服务的先行行者对自动化测试 / 持续集成 / 持续交付有丰富的实战经验西安 DevOps Meetup 联合发起人 3