从 Kubernetes 到 谷歌容器器集群管理理的落地与演化 张鑫才云科技 CEO
张鑫 CEO 创始 人 CMU 博 士 云计算和安全学术专家 谷歌数据中 心 (Borg) 容器器 集群技术带头 人 6 次获 谷歌副总裁总监奖 清华 大学优秀毕业 生 北北京地区优秀毕业 生 教育部优秀留留学 生 Kubernetes 最早贡献者 邓德源 CTO CMU 硕 士 谷歌资深 工程师 开源容器器集群项 目顶级贡献者 谷歌私有云平台构筑者 代表中国队获得机器器 人 大赛 金金牌 唐鹏程 首席架构师 CMU 硕 士 美国亚 马逊 工程师 开源容器器集群项 目贡献者 Amazon 实现容器器化的技术 骨 干 精通容器器技术与分布式系统 郑泽宇 首席科学家 CMU 硕 士 谷歌资深 工程师 大数据和机器器学习专家 发明学习算法, 为 谷歌创造千万美 金金营收 代表北北 大参加 ACM 竞赛 韩佳瑶 COO 匹兹堡 大学博 士 计算机 法律律 历史 艺术多学位 美国成功连续创业者 创业 管理理 市场经验丰富 签约 首个企业客户发布容器器云产品 ClaaS1.0 入选杭州市政府重点扶持计划, 获得数百万扶持基 金金获得赛伯乐数百万美 金金天使轮融资才云科技 CaiCloud 成 立 201507 201508 201510 201511 201512 201605 201606 201608 201610 201611 201701 发布国内 首个 支持分布式 TensorFlow 的系统平台 Clever 正式成为美国 CNCF/Linux Foundation 官 方合作伙伴 发布云产品 Cargo, Cubernetes, Cyclone 深度学习公有云平台发布 KubeCon 主题演讲 - 德国柏林林站发布容器器云 ClaaS2.0, 深度学习平台 TaaS1.1 获得经纬中国 4000 万 A 轮融资, 赛伯乐跟投发布容器器云深度学习平台 TaaS1.0 入选 联想之星 入选 微软加速器器 KubeCon 主题演讲 - 美国 西雅图站 ; Cyclone 开源获得第五届中国创新创业 大赛总决赛第 二名 201701201702 201702201703 201703 201703
Docker usage report April 12, 2017 https://sysdig.com/blog/sysdig-docker-usage-report-2017/
Kubernetes vs Google Cluster Management Kubernetes vs 传统 行行业 Kubernetes vs Big Data
Kubernetes vs Google Cluster Management
调试系统 发布管理理 资源分配扩集群监测安全扫描分布式构分布式测调试系统 SDN 网络 Borg 分布式存储 负载均衡 用户和组管 集群 工作流 日历系统 Capacity 安 集群数据 耗竭系 Hareware 自动系统在线硬盘 生产系统 节点 网络 自动节
集群数据库 集群 工作流管 自动系统安装 Borg driver Chubby 节点医 生 节点管理理 agent 节点医 生 agent
集群数据库 集群 工作流管理理系统 Capacity 安全 节点医 生 耗竭系 迁移 工 Borg driver 自动系统安在线硬盘修 HWops Borg(let/ 节点医 生 agent 节点管理理 agent
代码检查平台 云端代码库 本地代 发布 工具 镜像管 分布式构 分布式测 BorgCLI 资源分配监测系统配置管理理 Borg
镜像管理理系统 - 基于 Harbor 的企业级镜像仓库 github.com/vmware/harbor github.com/caicloud/harbor - 高可 用 - 多 registry 镜像同步 - 镜像安全扫描 - 审计与鉴权 - 标签化灵活管理理 - 可视化管理理操作 - 多种存储 方案
联合发布系统 github.com/caicloud/cyclone
灰度发布系统
应 用编排系统 Helm - https://github.com/kubernetes/helm - 基于 Kubernetes 的应 用编排 工具 - 自带多种常 用应 用模版 - 快速构建 部署复合型微服务应 用 - 复合应 用的共享 分发 管理理 Helm-registry (just open-sourced!) - https://github.com/caicloud/helm-registry - 提供持久化的 可共享的应 用商店库 - 上传 存储 共享 管理理应 用模版 - 提供 API 支持 工具整合 - 支持 ACL 等权限管理理
监控报警系统 监控物理理机 应 用 容器器 CPU 内存 磁盘 IO 网络连接数, 网络请求流量量 Mysql 索引数量量,QPS, 负载 告警抵制 告警策略略 Webhook 通知
安全策略略 1. Calico network policy 实 现的 ACL 安全组及 白名单,pod 粒度 2. Kubernetes network policy 实现调度 pod 时下发所需 网络策略略
Kubernetes vs 传统 行行业落地 离线部署 私有 IaaS 对接 ( 网络 存储 负载均衡 ) 有状态 单体应 用的 无缝迁移 线上系统升级 多租户管理理与安全把控
主机节点端 口 Session Affinity Port Conflict Scaling SPOF 10.254.1.10:31080 10.254.1.11:31080 Rule1 Rule1: -A NODEPORTS -p tcp -m tcp --dport 31080 -j SVC- A Rule2 Rule2.1: -A SVC-A -m statistic --mode random --probability 0.5 -j EP-A Rule2.2: -A SVC-A -j EP-B Rule2 Rule3.1: -A EP-A -p tcp -m tcp -j DNAT --to-destination 192.168.68.18:80 Rule3.2: -A EP-B -p tcp -m tcp -j DNAT --to-destination 192.168.67.14:80 Service node 192.168.68.18 192.168.67.14 node
外部负载均衡器器 提供外部访问和外部负载均衡 云环境 :GCE AWS 阿 里里云等 私有环境 :F5 Haproxy 集群等 180.180.180.180 load balancer Session Affinity Port Conflict Extra Ops Rules Rules node 192.168.68.18 192.168.67.14 node
Ingress foo.bar.com/foo 提供外部访问和内部负载均衡 4 层 7 层负载 10.254.1.10 10.254.1.11 10.254.1.11:80 host network 4 层 7 层负载 提交 ( 通过 master) haproxy ingress controller 维护组成对外服务的后端 service node 192.168.68.18 192.168.67.14 node
Reload Storm Ingress Scaling foo.bar.com/foo 10.254.1.10 SPOF 10.254.1.11 10.254.1.11:80 重载后端 信息, 更更新 haproxy 配置 haproxy ingress controller host network node 192.168.67.14 192.168.67.18 node
高可 用 Ingress 提供 高可 用外部访问和内部负载均衡 10.254.2.100 固定的 浮动 IP 10.254.1.9 10.254.1.10 10.254.1.11 haproxy haproxy Active/Passive ingress controller host network ingress controller host network 维护浮动 IP keepalived keepalived node node node
高可 用 Ingress Reload Storm service discovery Scaling foo.bar.com/foo 10.254.2.100 10.254.1.9 10.254.1.10 10.254.1.11 haproxy haproxy haproxy ingress controller host network ingress controller host network ingress controller host network keepalived keepalived keepalived node node node
Ingress 调度 master 均衡 Ingress 负载 etcd scheduler 提交 api-server controller manager 通过 Policy 维护 Ingress 池, 目前 支持 namespace 级别调度 ingress scheduler 管理理可供外部访问的 IP 地址段 将 ingress 中的域名通过 DNS 提供给外部访问创建 10.254.2.100 10.254.2.101 ingress controller ingress controller ingress controller ingress controller node node node node node
采集 目录 文件 : 采 用 sidecar fluentd sidecar stdout /var/lib/docker/s/123456789/123456789-log.json /var/log/s/server-aunxw_kube-system_server-123456789.json 软链接 pod Elasticsearch Fluentd node
采集 目录 文件 :logdir 直接扩展 API 和系统组件, 支持容器器写 文件 fluentd sidecar stdout /var/lib/docker/s/123456789/123456789-log.json /var/log/s/server-aunxw_kube-system_server-123456789.json 软链接 Elasticsearch Fluentd node
中国规模最 大的综合性酒店 旅游产业集团之 一 截 止 2016 年年 2016.02~.04 2016.08~09 2016.12 ~ 2017.03 底, 此酒店拥有 管理理和特许经营的酒店 7000 余家, 客房总数超 某国企的旅游的线上业务迁移 至才云平台 某国企的旅 行行线上平台全部转 入才云平台 平台扩展权限管理理 资源申请 存储持久化等功能 过 70 万间, 全球酒店集团排名前 5 位, 亚洲第 1 位 完成收购兼并后, 集团会员规模超过 1 亿, 线上渠道的重要性以及相关 比例例越来越 大 线上平台还负担着内部多个 BU 交叉销 5~7 千个容器器在线运 行行 数百台节点 技术 方案升级 运维 自动化 95% 的应 用迁移 至容器器云 基础应 用服务化 资源数字化 开发运维效率提 高 13 倍 售, 海海内 海海外渠道交叉销售的 重要 角 色
银 行行卡联合组织 公司通过跨 行行交易易清算系统, 实现商业银 行行系统间的互联互通和资源共享, 保证银 行行卡跨 行行 跨地区和跨境的使 用 目前已与境内外数百家机构展开 广泛合作, 金金融 网络遍布中国城乡, 并已延伸 至亚洲 欧洲 美洲 大洋洲 非洲等 160 个国家和地区
Kubernetes vs Big Data
企业缺少数据 超媒体 报表 日志 大量量 非结构化数据束 手 无策 数据记录不不科学, 需要整形 HTML 数据的特征很难提取 行行列列数据 大数据业务结果很难再优化 数据量量巨 大时效果不不好 缺乏有效模型将数据变价值 文档 图像 视频
多层复杂特征提取优势 大数据量量优势
36974 13847 4532 8418 5846 8534 3777 4977 5793 1525 1881 2231 868 16703 1756 1685 星数 (Star) 复制仓库 (Fork) Caffe Deeplearning4j Microsoft Cognitive Toolkit MXNet PaddlePaddle TensorFlow Theano Torch 476 115 83 136 237 154 94 26 30 59 8 98 118 187 72 11 活跃讨论贴 (issue) 活跃代码提交请求 (pull request) Caffe Deeplearning4j Microsoft Cognitive Toolkit MXNet PaddlePaddle TensorFlow Theano Torch
Inception-v3 模型 Inception-v3 模型 :2500 万参数 & 50 亿次运算 / 推导 1 张图 片 ===> 78% 的正确率需 :6 个 月 CPU 计算效率较低
Google runs everything in its clusters, including Machine Learning tasks scaling out self-management ease of deployment/update resource sharing (and isolation)
分布式 Kubernetes 容器器集群 统 一存储 分布式 Kubernetes 租户容器器集群 计算管理理节点 计算管理理节点 深度学习计算节点 深度学习计算节点 支持 GPU 资源调度和管理理的服务器器
操作原 生 TensorFlow 才云科技 TaaS 部署安装 Pip 安装 无需安装,web 界 面提供服务 分布式环境资源调度模型训练训练过程监控 手 工在多台服务器器架设运 行行环境 需要考虑设备集群之间资源分配问题 需要在多个节点上通过命令 行行 手动设置以启动参数和计算 自 行行启动 TensorBoard, 手动查看运 行行状态 无需 自 行行搭建分布式环境, 系统 自动提供隔离的完整分布式环境 支持 基于 Kubernetes 高效管理理计算节点集群和资源调度 模板化编辑模型 文件, 提供上传接 口, 图形界 面设置参数, 傻 瓜式操作便便可启动模型训练 自动启动监控平台, 图形 UI 界 面统 一监控 训练过程管理理 手动保存模型 日志 文件 自动化管理理模型 日志 文件 在线提供服务提供在线服务, 可通过 自定义 方式实现 自动启动并维护在线服务 ; 支持训练模型导出
模型训练前端展 深度学习系统数据调 微服务应 DevOps 应 训练模型 1 训练模型 n TensorFlow 分布式模型训练云平台 新增训练模型 智能投顾系统 侵预警系统 运 预测系统 智能客服系统 TensorFlow 分布式计算服务云平台 新增应 系统 数据存储服务 Web 服务 消息队列服务 代码构建 CIC D 系统 镜像仓库 Kubernetes 容器云平台 新增深度学习系统上线流程 : 企业 结构化数据接 创建数据整形微服务 数据存储 训练 创建 TaaS 模型训练微服务 形成新的深度学习应 系统微服务 服务提供
短信营销 : 信 用卡分期客户, 减少短信发送量量, 提 高业务实现率 智能投顾 : 理理财产品智能推荐, 响应率和交易易总 金金额指数级提升 流失预警 : 分析客户 行行为趋势, 预测客户流失倾向, 提升客户忠诚度智能客服 : 电话银 行行菜单设置更更合理理, 客户体验更更好 风险控制 : 反欺诈, 反洗钱, 贷后 风险管理理更更 高准确率身份认证 :VTM 远程开户身份验证 期货指标 : 指标预测成功率提升 30% 基 金金经理理 : 深度学习作为基 金金经理理, 无 人 工接触 金金融交易易 : 深度学习系统 自动交易易, 秒级操作
安全 入侵 作业管理理 智能交通 高危监测 区域 入侵检测 安全帽检查 空位检测 烟雾检测 翻越围墙检测 物体搬移监测 人 车分离 明 火检测 设备防盗检测 人员轨迹跟踪 牌号识别 设备故障检测 火焰智能检测 遗留留物品检测 行行为分析 高危操作监测
图像识别
时序预测 深度学习训练后 发电量量预测电 力力使 用量量预测炼油量量预测 水库 水位预测系统运 行行状况预测
谢谢! 张鑫 才云科技 CEO