飞牛网技术发展之路 TECHNOLOGICAL DEVELOPMENT OF FEINIU 王俊杰 1
王俊杰 (Jawin Wang) 现任高鑫零售 (06808.HK) 技术副总裁,2016 年实现营业额 1004.41 亿元毕业于英国国立朴茨茅斯大学 (University of Portsmoth) 策略经营 IT 硕士学位全球著名创业实践项目 Startp Weekend 导师上海大学生创业基金会评委
我们是谁? / 外资零售业第一名, 远超家乐福与沃尔玛 线下基因 线上基因 深耕国内市场近 20 年, 服务上亿家庭的大润发超市线下门店 全国共有门店数 :371 家 注册会员数 :20,000,000+ 实现全国配送 2016 年销售额是 2015 年两倍 2017 年预估还有不低于两倍的成长
业务发展 -B2C (2013-) 自营 + 商城
组织架构 (2013-) 无线平台组 大数据 测试 ios 安卓触屏 推荐搜索 CRM Web Mobile 性能 上海 自动化 压力 运维 网络系统 DBA 安全 系统架构 商业智能 PM 项目管理组 QA 研发 ( 自营 ) 产品经理 UI/UED 武汉 研发 ( 商城 ) 台北 ERP WMS
业务发展 - 自营 (2013-2014) 飞牛前端 首页 周周抢手机家电时尚馆 家居馆 美食城 进口美食馆 美护馆 用户中心帮助中心招商合作优惠券搜索 管理后台 商品管理 配置管理 内容运营 (CMS) 账号管理数据中心系统管理 飞牛购物 购物车订单支付积分 退换货管理 飞牛自营 飞牛客服 电话客服 在线客服 飞牛物流 TMS 物流查询 飞牛 ERP 仓储管理 ( 钢铁人 ) 供销管理 ( 蜘蛛人 ) 移动端 移动应用 7 大业务块
业务发展 - 商城 (2014-2015) 配送管理营销管理 ( 促销 / 广告 / 推荐 ) 商户中心 商品管理 我的店铺营销推广账房 数据中心 会员管理 ( 买家 ) 订单管理 商家监督 运营后台 商家管理配置管理内容运营 (CMS) 账号管理客服管理数据中心系统管理 促销管理 商品审核 卖家 CRM 产品管理投放管理促销管理价格管理第三方质检销售管理服务管理 飞牛商城 商城前端 IM 商城首页商城频道商品分类搜索结果商品详情购物车订单确认订单支付 下单成功用户中心投诉中心营销主题帮助中心招商频道 WEB 端 IM 移动端 IM 客户端 IM 卖家工作台 商品管理交易管理图片空间客服绩效 应用市场 应用管理 移动端 移动相关应用 创新 APP 8 大业务块
业务发展 - 多地多仓 (2015-2016) 全国 RT 门店都可当做飞牛的仓库来发货,RT 门店依距离可以支持快速达 青浦仓 华东仓群 闸北店 主 青浦仓 (1) 商品 ID 主 苏州仓 (1) 苏州仓 大宁店 闸北店 快 快 大宁店
业务发展 -B2B(2016-) 商户 C 商户 B 商户 A 商户 D 商户 G 商户 E 商户 F 商户
业务发展 - 新零售业务 (2017-) 立足 RT 门店及未来独立优鲜店, 为门店周边特定区域提供生鲜 / 生活必需品 O2O 快配服务 速配业务 ( 大润发优鲜 / 飞牛优鲜 ) RT 门店均在目前急速达业务基础上, 以大润发优鲜的名义统一推广速配服务, 因竞品 ( 京东到家 百度外卖等 ) 已建立快配服务体验门槛, 一线 / 新一线城市半日达无竞争力, 建议此类区域统一只提供 1 小时速配服务 大润发半日达业务 可在二三线城市作为速配业务的补充提供, 由 RT 门店发货, 同大润发急速达共用 APP APP/ 小程序 APP APP 大润发优鲜 大润发急速达业务 大润发门店发货 3KM 1 小时 4000-5000 种精选品项 大润发优鲜业务 优鲜门店发货 3KM 1 小时 4000-5000 种精选品项 速配 3KM RT 门店发货 1-2 小时 1.5-2W 种常备生活必需品 10km/ 同城配半日达 改造所有大润发门店 新开优鲜专门店, 定位高端, 扫码支付
系统 - Overview ios Andrid h5 PC WEB 服务层 (Service Layer) Order Tms Cart commodity member Roting Vehicle Mgt. Receiving Shipping Prodct Pre-sale Member Order Tracking Search 分布式文件存储 配置中心 服务化框架 数据访问层 3PL Carrier Mgt. Inventory Cstomer Service Invoice Recommendation 图片服务 消息中间件 TMS Stocktaking Billing Acconting Big Data 缓存 大数据平台 Replenish Vender Service Platform Data Warehose 大监控 PIS FCM 统一后台 WMS ERP Cbes 基础组件 Bsiness Intelligent
技术发展 -PHP 网站单体架构 -(2013-2014)
技术发展 -PHP 转 JAVA+ 服务化 (2015-)
成立 Bg 跟进小组 (2014-) 系统缺陷跟进提报 1 对于各部门接口人提报的系统缺陷更加高效地跟进处理 ; 2 给开发提供数据, 操作步骤, 方便开发定位问题, 更有效地对应系统缺陷 ; 接口人培训交流 1 通过培训提高接口人辨识缺陷的能力; 2 反馈到接口窗的答疑持续降低, 真正的缺陷反馈更加精准 ; Bg 组同仁 每日 Bg 修复情况邮件 1 更细致的文档输出, 每日 Bg 的缺陷修复情况发送提醒 ; 2 记录产生原因, 并对 bg 进行分类, 提供给技术部检讨并提高产品质量 ; 常见问题 Q&A 系统维护 1 更新常见问题及处理办法, 与接口人资源查阅共 享 ;
事故分级 (2014-) 判定要素 S1 严重 S2 一般 S3 轻微 要素一 页面无法访问 ( 首页 馆架页商品目录页 任意商品详情页 购物流程页 ) 搜索无法使用或搜索结果指向错误 页面无法访问 ( 行销活动页 EDM 页 会员中心页 ) 页面无法访问 ( 帮助中心等相关页 ) 用户无法下单 用户无法支付 网站宕机半小时及以上 ( 无法登陆 注册 浏览 ) 价格和文描重大错误且给公司带来损失 ( 金额 >5 万 ) 线上真实的敏感数据被篡改 ( 商品价格 库存 送货地址 商品销售情况 库存 财务账目 客户信息等 ) 页面显示的部分内容不正确 页面部分功能无法使用, 但用户可下单 价格和文描重大错误且给公司带来损失 ( 金额 5 万且 >1 万 ) 页面可以访问, 页面显示的部分链接错误 价格和文描重大错误且给公司带来损失 ( 金额 1 万 ) 用户无法退单 要素二 网络中断影响仓库出货时间 >60 分钟 办公网络中断时间 >60 分钟以上 配置管理基础系统不可用时间 >1 小时 ( 比如 SVN 无法提交代码等 ) 影响业务营运 ( 比如无法进行特卖变价功能 ) 在预发布及线上环境, 因测试行为导致业务部门正常工作受到严重干扰或给公司带来巨大损失的 ( 金额 >5 万 ) 后台导出报表出现严重错误, 严重影响公司决策 ( 比如数据错误比例 >10%) 网络中断影响仓库出货时间 30 分钟 办公网络中断时间 30 分钟 配置管理基础系统不稳定时间 >4 小时 ( 比如 SVN 访问不稳定等 ) 在预发布及线上环境, 因测试行为导致业务部门正常工作受到干扰或给公司带来损失的 ( 金额 5 万且 >1 万 ) 后台导出报表出现部分错误, 不影响公司决策 ( 比如数据错误比例 10%) 在预发布及线上环境, 因测试行为导致业务部门正常工作受到干扰或给公司带来损失的 ( 金额 1 万 ) 测试疏忽导致测试订单仓库出货送货 影响客户购物卡的充值 要素三 同时间段造成订单那数量下降 20% 客户在 60 分钟内投诉 >10 起 客诉导致公司损失 >5 万 任何 BUG 反复出现 3 次 同时间段造成订单那数量下降 10% 客户在 60 分钟内投诉 10 起 客诉导致公司损失 5 万且 >1 万 任何 BUG 反复出现 2 次 同时间段造成订单那数量下降 5% 客诉导致公司损失 1 万
性能 压测 3 rd Party Jemeter/ Loadrnner Protocol Server Protocol 客制化程序撰写协议处理数据结构处理 常规压测 客制化场景任务 CS 架构 客制化 不同架构处理 非常规协议 (XMPP, fsf ) Server 采集数据 APP 经由 HTTP 与 server 交互数据 SOA Backend API SOA APP 经由 HTTPS 与 server 交互数据数据筛选 摒弃无用数据 常规 前端性能 w-api H5 Other Proxy Http/ Https Traffic Handler 数据分页定制化脚本数据入库 从原始档读取数据流 解析页面数据 页面数据入库 数据自动化解析 数据基本分析自动化 性能报表自动化 IOS Client Android 数据输出生成报表 定制化 / 查询语句
自动化测试 读取 e x c e l 文件中的 r l 和 StringJson, 读取预期结果文件 读取预期的 Session 文件 HttpPost/HttpGet 发送请求 单接口 接口流程 SCRIPT 判定 接口 httpstats=200 是对比预期结果和实际结果否相同 否 对比预期结果和实际结果, 把错误的 key 或 vale 写日志 HttpStats=200 IsPOS T Pass or Fail 是 Error Des = 0/ CheckPoint 常规接口出响应校验 出参客制化逻辑校验 异动接口数据容错 自动化报表 是 结果写入 excel 中 Log Failre && Session 对测试结果进行分析 Frther Analysis UI Appim (NodeJS)Web Server APPIUM # Appim HTTP/ HTTPS Driver Instrments/ ADT Emlator Devices Selenim 常规 UI 区域图像识别判定接口回查接口交互 UI TestNG Maven # app # lib # testplan # zentao 客制化元素寻找容错机制提升
APP 性能监控 (2016-) 页面对象 指标 适用 安卓线上平均值 IOS 线上平均值 进入首页首屏前 <= 1000 首页前数据处理 994 581 首页首屏 <= 4000 首次展示首页首屏 2063 2695 列表页 <= 2000 首次展示列表首屏 1283 1297 商详页 <= 2000 首次展示商详首屏 1110 1354 CMS 页 <= 3500 首次展示 CMS 首屏 3026 1637 店铺页 <= 4000 首次展示店铺首屏 3386 2543 团购页 <= 6000 首次展示团购首屏 5906 2416 商品详情页 <= 3000 首次展示商品详情首屏 2583 1305 APP 首页列表页商详页 CMS 页 大润发 e 路发 4426 719 520 1631 大润发优鲜 1949 469 249 1529 飞牛网 3166 1290 1232 2332 苏宁 5489 965 1143 4242 京东到家 3412 1385 631 3528
技术发展 - 服務化架构 hit Sqid/Varnish F5 HTTP Cache Web Server Service FrameWork miss Memcached/Redis MySQL\Oracle MessageQee FastDfs Cstomize Platform Mobile Gateway Bsiness Systems Resorce ser order prod Services Layer RDB Database replication Data FRAG1 master Data FRAG2 master Distribted Cache Distribted files slave slave
技术发展 - 基础架构产品 分布式存储平台 服务化框架 缓存管控平台 数据传输平台 图片自动缩略 服务治理平台 全景监控平台 弹性计算平台 2015.3 2016.3 2017.8 KAFKA 消息平台 缓存平台 消息管控平台 私有云平台 大监控平台 图片平台 大数据平台
技术发展 - 平台及系统运维 运维 IAAS 管理系统 平台建设 服务管理标准化标准化标准化的服务目录, 提高 IT 管理的灵活性 自动化 自动化的应用部署, 降低企业人力成本 提高灵活性 降低成本 运维工作目标 系统稳定 架构优化扩容升级 全面容灾方案 同城备份性能监测 混合云架构 应用 1 应用 2 应用 3 应用 4 应用应用应用应用应用 1 应用 2 应用 3 应用 4 提高系统稳定性
主力用户以 25 至 35 岁消费群体居多, 除去快消品类别, 其中大部分用户对母婴产品较关注 从有交易行为的用户数据分析, 以分类为准, 分析购买商品分类下, 用户标签分布 设备 did 对应 mem_gid, 关联 mem_gid 的购物记录, 从 mem_gid 购买商品所属分类 ( 共三等级 ) 入手进行分析
版本负责人 Version Controller 版本负责人 Version Controller 监控 Monitor 需求方 产品经理 Cstomer, Prodct Manager 整个团队 The Project Team 测试负责人发起 Test Owner 版本负责人 Version Controller 测试人员 开发人员 Tester, Developer 研发流程介绍 验收 Prodct Validation 发布评审 Release Readiness Review 执行发布 Release 投入使用 Prodct In Use 项目总结 Project Conclsion 测试用例评审 Test Case Review 提测 Test Reqirement 测试执行 Test Exection 老板 (Management) 用户 (Cstomer) 业务需求 (Bsiness Req.) 产品需求 (Prodct Req.) 技术需求 (Techniqe Req.) 产品经理 Prodct manager 提出需求 Reqirement Solicitation 发布 Release 测试 Testing 开发人员 Developer 项目总结 Project Postmortem 版本负责人 Version Controller 需求备案 Reqirement Laid Down 项目立项 Project Initiation 项目计划 Project Planning 开发及体验 Developm ent and Verificatio n 项目跟踪 Project Tracking 技术开发 Code Development 创建版本 Version Creation 产品经理发起 Prodct manager 需求分析 Reqireme nt Analysis 设计及前端 Architectr e and Front-end Design 项目启动 Project Kickoff 需求确认 Reqirement Confirm PRD/UI 确认 PRD/UI Confirm PRD/UI 评审 PRD/UI Review 测试用例准备 Test Case Prepare 设计与前端 Architectre & FE Design ERD 评审 ERD Review 产品经理 UI 设计 Prodct Manager UI Designer 产品经理 UI 设计 Prodct Manager UI Designer 产品经理发起 Prodct manager 测试人员 Tester 前端 开发人员 Font-end developer Architect 研发经理发起 Prodct manager 产品经理发起 Prodct Manager 产品体验 Prodct Verification
技术部 KPI( 以 2016 年为例 ) 目的指标标准数据来源 峰值日订单数 XXX 万 / 日 ; 核心业务系统 ( 登陆 注册 购物车 下单 结算等 ) 能支撑 50 亿销售额 ; 1. PC: 日均订单 XXw, 日高峰订单 XXXw 峰值日订单数 2. 无线端 : 日均订单 XXw, 日高峰订单 XXXw BI 系统 IOS: 日均订单 XXw, 日高峰订单 XXXw 支撑公司经营业绩目标 50 亿 ANDROID: 日均订单 XXw, 日高峰订单 XXXw H5: 日均订单 XXw, 日高峰订单 XXw PC 端 UV 访问量支持网站支持访问量 : 日均 UV XXXw, 日高峰 UV XXXw BI 系统 无线端支持访问量 : 日均 UV XXXw, 日高峰 UV XXXw 无线端 UV 访问量支持 IOS: 日均 UV XXw, 日高峰 UV XXw ANDROID: 日均 UV XXXw, 日高峰 UV XXXw BI 系统 H5: 日均 UV XXXw, 日高峰 UV XXXw 提升需求方满意度 项目上线准时率 要求根据需求优先级排序并以 PRD/ERD 评审的结果制定上线计划的项目, 上线时间准时率不低于 95% 2016 年 6 月和 12 月各统计一次 计算公式 = 准时项目 / 全部项目, 如期间有需求变更或外部因素影响, 以重新确认时间为准 禅道 PRD 合规率上线验收时, 与 PRD 中所要求功能的合规率 95% 禅道 确保网站高可用性 订单可用率 注册可用率 订单可用率不低于 98.42%; 计算公式 =1- 订单异常时长 / 年度总时长注册可用率不低于 99.63% 计算公式 =1- 注册异常时长 / 年度总时长 监控 监控
技术部 KPI( 以 2016 年为例 ) 目的指标标准数据来源 提升员工技能与素质 每月培训课程数 保证每月课程数不低于 20 堂 ; 建立 T1,T2 的专业培训体系 ( 使资浅工程师能够快速历练成长 ); HR 马飞 OA 系统 ( 效率 ) 上线 OA 系统 ( 推动电子化办公, 简化并提升公司内各类申请 查询等流程效率 ) Q2 起每季至少上线 2 个电子表单 ( 依据规划 PRD 进度调整 ) 禅道 提高效率 禅道定制开发 ( 效率 ) 依据使用情况收集需求, 对禅道进行订制开发 计划 2016 年 6 月完成 主要方向为 : 数据汇总及展现 ; 从项目成本 / 项目人力资源角度分析项目的商业价值及所投入的人力 禅道 白盒代码扫描平台扫描 12 次 ( 针对核心业务系统, 非核心业务系统由各开发团队自行 提交自动化扫描任务 ); 建立规范 安全体系加强 新员工信息安全培训 15 次 ( 具体培训场次 Follow 人资安排 ); 全员信息安全意识培训 38 次 ( 按 30 人 / 次计, 其中武汉 3 场, 上海易园 15 次, 上海 3 号 安全平台 &HR 楼 20 次 ); 权限管理统一建立一人一个账号统一登陆所有应用系统的机制, 计划 2016 年上半年完成 禅道 提高质量研发流程 NC 率项目研发流程 NC 率控制在 5% 以内, 项目流程 NC 率 =NC 数过程有效点检数 QA 审计周报
飞牛职级晋升计划 有关工龄职级备注 职称只供参考管理类技术一类技术二类技术三类技术四类专业一类专业二类专业三类专业四类细分至小级 高层管理工龄 >12 M4 资深中层管理工龄 >10 M3 TA6 TB6 TP6 TO6 PD6 PU6 PM6 PS6 中层管理工龄 >8 M2 TA5 TB5 TP5 TO5 PD5 PU5 PM5 PS5 基层管理 5< 工龄 8 M1 TA4 TB4 TP4 TO4 PD4 PU4 PM4 PS4 技术 / 专业类专家工龄 >10 TA6 TB6 TP6 TO6 PD6 PU6 PM6 PS6 技术 / 专业类资深 6< 工龄 9 TA5 TB5 TP5 TO5 PD5 PU5 PM5 PS5 技术 / 专业类高级 4< 工龄 6 TA4 TB4 TP4 TO4 PD4 PU4 PM4 PS4 中级 2< 工龄 4 TA3 TB3 TP3 TO3 PD3 PU3 PM3 PS3 初级 1< 工龄 2 TA2 TB2 TP2 TO2 PD2 PU2 PM2 PS2 管培生 ( 在校阶段 ) 工龄 1 TA1 TB1 TP1 TO1 PD1 PU1 PM1 PS1 每层职级可细分至两三小级 如 TP3-1, TP3-2, TP5-1, TP5-2, TP5-3, M1-1, M1-2, M1-3 等 M - Management TA - Tech. Architect TB - Tech. Biz. Data TP - Tech. Programming TO - Tech. Operations PD - Prof. Secrity/Database PU - Prof. User Interface 各类职级代码说明 : 参考市场在线 IT 教育和服务平台咨询公司 StQ 的 IT 职业技能分类, 并把适合当前技术部的职能而制定以下类别 : 管理类 : 部门总经理 / 副总经理 总监 / 副总监 高级经理 / 经理 技术一类 : 如系统架构等有关工种 技术二类 : 如大数据 BI 等有关工种 技术三类 : 如程序开发 ( 前 / 后台 移动 自动化测试 性能测试等 ) 有关工种 技术四类 : 构建部署 IDC 基础架构等有关工种 专业一类 : 如安全 DBA 等有关工种 ; 公开市场有考试认证 专业二类 : 如 UI 等有关工种 ; 公开市场有考试认证 PM - Prof. Management 专业三类 : 如 QA PM 绩效 职能职级等有关工种 ( 部分岗位公开市场有考试认证 ) PS - Prof. Spport 专业四类 : 如测试 配管 Win 系统管理 桌面维护 监控等有关工种 注意事项 : 为什么每 1 级还要细分小级? 个人能力的发展是一个逐步积累和提升的过程, 并需要有持续的绩效表现 1) 工龄作为级别划分的基础参考依据 2) 若实际能力超出对应的工龄档位级别 - 招聘环节进行初始定级, 经多方研讨认可后, 按技能 能力 专业知识 定级, 不受工龄限制 转正时, 部门负责人再次确认其职级 - 已入职工作阶段, 可通过晋升提报且考核通过后, 直接调至相应职级, 不受工龄限制 3) 不同岗位之间的调岗 : 为满足公司人员需求及员工个人发展需要, 公司内部会对不同岗位的人员 进行岗位调整 经原所在部门领导的同意, 接收部门领导的同意, 公司高 层领导的同意, 在完成能力测评之后可调至接收部门相应级别的岗位
飞牛网技术部管培生清单 飞牛网技术部管培生 高等学院要求清单 高等学院上海武汉备注 1 985/211 上海交通大学武汉大学 同济大学华中科技大学 复旦大学 2 211 上海大学武汉理工大学 华东师范大学中国地质大学 东华大学华中农业大学 华东理工大学华中师范大学 中南财经政法大学 3 其它上海理工大学武汉科技大学计算机硕士生才考虑 上海第二工业大学武汉工程大学计算机硕士生才考虑 上海海洋大学计算机硕士生才考虑
对未来发展趋势保持敬畏 大润发对现有新零售的尝试 Amazon Go 门店 Bingo Box 缤果盒子 盒马鲜生门店 大润发优鲜