1.【可以发布，不需去二维码】AS北京2017-张振华-美丽联合容器云平台建设的实战分享.key

Size: px

Start display at page:

Download "1.【可以发布，不需去二维码】AS北京2017-张振华-美丽联合容器云平台建设的实战分享.key"

炜太贲
4 years ago
Views:

1 美丽联合容器器云平台建设的实战分享张振华 ( 郭嘉 ) 美丽联合集团 - 基础平台虚拟化

5 张振华 ( 郭嘉 ) 美丽联合集团高级技术专家 2014 年年加入美丽联合, 虚拟化团队负责人, 带领团队从无到有建设集团的私有 IaaS 平台和 PaaS 平台, 见证了了美丽联合集团从物理理机虚拟机到容器器的技术演进目前聚焦在美丽联合集团容器器云平台的研发和基于容器器的 DevOps 项目落地十余年年软件研发管理理经验, 在加入美丽联合集团之前, 曾在英特尔思科等公司工作

6 1 2 3 美丽联合容器器平台的演进稳定 & 效率技术方案有状态业务 & 如何应对 DevOps 平台建设经验 & 体会

7 容器器云平台演进多机房多集群统一管理理, 完善监控和自动化运维水平基于容器器的 DevOps 项目建设云管理理平台上线有状态业务接入物理理机 OpenStack + Docker Kubernetes + Docker 传统的数据中心机器器分散管理理运维监控不不完善发布扩容比较人肉从零构建私有云平台多机房多集群统一管理理平台 VM 化, 静态资源分配和运维监控对接, 逐步完善面向机器器的发布演进至 Kubernetes 方案多机房多集群统一管理理平台动态资源分配与运维监控对接, 镜像发布接入有状态业务

8 OpenStack 时代基于 OpenStack + Docker 方案自研多集群统一管理理平台 Planck OpenStack 蘑菇蘑菇街街 nova-docker OVS(bond4) Devicemapper 监运控维 Container Linux Docker Container-tools

9 Web Portal Planck

10 Kubernetes 时代? 适合的才是最好的! 优点 : 先进的理理念可扩展性好社区活跃要引擎还是要汽车? 缺点 : 自建成本高仍在高速演进中不不仅仅是 PaaS! PaaS Build/Deploy Pipeline Private Container Service IaaS

11 总体架构用户业务 Web Portal 应用基线 API SLB 软负载 Code Build 镜像管理理集群管理理权限管理理服务发现测试 AZ 预发 AZ 生产 AZ 蘑菇街蘑菇街 Docker Registry Pod Pod Pod Pod Pod Pod 监控运维 Ceph

12 Web Portal Captain

13 提升稳定性来自稳定性的挑战硬件软件安全人为故障问题漏漏洞洞事故完善日志, 进程等监控统一集群配置, 并不不断优化和安全团队紧密合作评估制定操作红线和规范建立日常值班制度故障演练, 模拟硬件故自动化定期健康巡检完善性能压测安全漏漏洞洞的影响规范流程账号体系障, 网络中断冗灾预案演练核心数据定期备份完善自动化测试

14 提升效率多维度提升效率机器器监控人的解决问题的效率效率效率效率 CPU/ 内存动态扩缩容动态资源申请统一资源池 Docker Pool 监控容器器 oom 监控 TCP 连接状态监控 TCP 重传率监控 IM 自动应答 ( 宿主机信息查询 ) 系统问题定位排查指南系统问题分析定位平台工具化, 体系化知识库沉淀 pod 迁移时的自动通知

15 监控与告警 $ cat /sys/fs/cgroup/memory/docker/<pid>/ memory.oom_control oom_kill_disable 0 under_oom 0 devicemapper docker pool 使用率监控

16 1 2 3 美丽联合容器器平台的演进稳定 & 效率技术方案有状态业务 & 如何应对 DevOps 平台建设经验 & 体会

17 版本演进的动机更更好的隔离性 & 更更高的稳定性 & 更更强的性能 Kernel v v3.10 v OverlayFS,network namespace 和 pid_max 隔离 Docker v1.3.2 v v Docker daemon 分离, 支持 OverlayFS v2 随机 IO 容易易被放大, Storage Devicemapper OverlayFS Storage pool 容易易出现磁盘超配, 社区趋势

18 关键技术与创新隔离性稳定性 & 可用性高可用 CPU Set 支持集群自身监控定期检查管理理节点 HA 网络 QoS 异步 IO 隔离 Cadvisor top hook 有状态业务 Stateful Set 增强 Kubernetes Cluster 网络基于 OVS 自研的 mogunet 存储 DeviceMapper -> OverlayFS 调度基于磁盘类型调度多网段支持 mount 宿主机目录的配额基于业务 / 资源亲和性调度

19 Pod 驱逐策略略 Node Controller Eviction Kubelet Eviction Node Controller BestEffort Burstable Guaranteed Node A NotReady Network loss conn Node A Pod A Pod A was evicted by NC Node B Pod A

20 Pod 驱逐策略略参考记一次 k8s 集群单点故障引发的血案 Node Controller Node A NotReady?? Node B NotReady?? 网络故障 Node A Node B

21 有状态业务的挑战应用调用的依赖 DNS 等配置的依赖数据持久层的依赖

22 应用依赖于服务端 IP 地址不不变服务发现依赖于服务实例例的 IP 地址不不变 2. 客户端查询服务端有哪些实例例 3. 服务中心返回 IP 列列表服务中心 IP1 IP2 IP3 1. 服务启动时, 注册到服务中心客户端服务端 Inst 1 Inst N 4. 客户端选择一个 IP 并发起 TCP 连接 Inst 1 Inst N

23 Flannel 网络方案 Flannel 方案静态规划网络资源, 每个物理理节点独占一个 C 类网段虽然简单易易用, 但缺点也很明显 : 容器器跨物理理机迁移时,IP 一定会变化 Overlay 带来的性能开销 ETCD Node 0 Flannel Node 1 VXLAN / /24 Flannel

24 自研网络插件 mogunet 基于 Neutron/OVS 自研 K8S 网络插件, 统一管理理 container,vm, baremental 的网络资源分配 Container VM Baremental mogunet 统一网络管理理方案 :Neutron (OVS + VLAN) 创建 Pod 的网络流程容器器通过 veth 连到 OVS br-int 上, 采用 VLAN 模型兼具隔离性和性能 Orchestrator K8S Mogunet Neutron Ovs-agent CreatePod Return SetupPod Return CreatePort(name) Return(p, mac, gw) Setup peer vet SetupFlows Orchestrator K8S Mogunet Neutron Ovs-agent

25 OVS+Vlan Container Container Container Container / / /24 tap tap tap vlan 3 vlan 3 vlan 5 br-int tap vlan 3 br-int br-100 br-100 Host A eth0 OpenVSwtich eth1 Host B OpenVSwtich / /24 eth0 eth1 TOR TOR

26 跨物理理机迁移时容器器 IP 保持不不变 Neutron 1. 容器器创建时保持 port 和 pod name 映射关系 port:ns-pod0 ip: device_owner=node0 3. 查询是否存在已有 port 4. 如果存在, 则重用 IP 并更更新 device_owner Source Destination pod0 ns 2. Stateful Set 在迁移过程中保持 pod name 不不变宿主机故障时, neutron port 和 ip 正常保留留 pod0 ns

27 指定 IP 删除 pod statefulset 只支持按序删除实例例, 不不能满足所有业务场景业务有状态依赖关系, 或当某些实例例出现业务逻辑问题时, 需要销毁

28 指定 IP 删除 pod replicas=3 name=app name=app name=app name=app app-0 app-1 app-2 Statefulset 不不支持删除某个 pod

29 指定 IP 删除 pod replicas=3 name=app replicas=2 name=app app-1=deleted name=app name=app name=app app-1=deleted app-1=deleted app-0 app-1 app-2 Step 1. 添加一个 app-1=deleted 的 label Step 2. 更更新 statefulset controller, 也添加 app1=deleted 这个 label, 同时将 replicas 数量量减 1

30 指定 IP 删除 pod replicas=3 name=app replicas=2 name=app app-1=deleted name=app name=app name=app app-1=deleted app-1=deleted app-0 app-1 app-2 Step 3. 通过删除 pod 接口, 将 app-1 这个 pod 删除

31 指定 IP 删除 pod replicas=2 name=app name=app app-0 name=app app-2 Step 4. 将 app-1=deleted 这个 label 清除掉

32 容器器间异步 IO 隔离增强存在什什么问题? Cgroup V1 or V2? 皆不不尽完美! User Write VFS Docker Docker Docker Kernel Cgroup XFS Buffer IO Page Cache Direct IO Writeback Block Layer / IO Scheduler / Driver Disk Linux Kernel (Writeback 线程 ) writeback 线程无法区分脏数据是由哪个容器器产生, 无法做到隔离

33 基于 OverlayFS 的异步 IO 限速 Container Container Container VFS OverlayFS OverlayFS. 每个容器器有独立的 OverlayFS XFS Page Cache Buffer IO Direct IO Block Layer / IO Scheduler / Driver Disk

34 容器器间异步 IO 隔离优化前优化后 App1 App2 App3 App1 App2 App3 Docker Docker Docker 200 iops 40 iops 10 iops 75 iops total 100 iops 20 iops 5 iops Disk Docker Docker Docker 200 iops 40 iops 10 iops total 100 iops 40 iops 40 iops 10 iops Disk 异步 IO 超出实际能力力 unhappy unhappy 限制了了 40iops happy happy

35 1 2 3 美丽联合容器器平台的演进稳定 & 效率技术方案有状态业务 & 如何应对 DevOps 平台建设经验 & 体会

36 DevOps 平台建设应用代码 Commit 代码仓库 Review Review 平台 DevOps 平台基线生命周期管理理创建删除扩容运行行维护 Build 基础信息缩容升级回滚单元测试 Release 发布系统多集群管理理服务发现短时任务集成测试负载均衡镜像管理理监控测试线上资源池 & 资源调度日志

37 镜像管理理标准化的镜像分层方案统一的镜像管理理方案应用镜像管理理权限自动化生成 IMAGE 应用依赖基础语言环境 (Java, Go) 测试机房控制 Dockerfile 线上机房基础软件包 (OS, 系统配置 ) Registry 跨机房镜像实时 / 定向同步 Registry

38 服务发现与健康检查 apiversion: v1 kind: Service metadata: name: demeter labels: name: demeter spec: clusterip: None selector: app: demeter Kube-apiserver Service(endpoints) List/Watch Pod, IP Radar Nginx SLB LVS DNS Pod0 app=demeter Pod1 app=demeter readinessprobe: exec: command: - cat - /tmp/healthy

39 总结 & 体会 & 未来总结过去展望未来逐步推广农村包围城市如何切入解决痛点问题 DevOps 在线离线 For AI 设定目标微服务落地实例例混部 GPU 资源调度业务驱动技术氛围营造浓厚的团队技术氛围

实践课堂成都站-0609.key

实践课堂成都站-0609.key 青云 QingCloud 容器器及 Kubernetes 实践王渊命青云 QingCloud 容器器平台负责人当我们谈论容器器时我们在谈论什什么? 容器器的两个视角资源隔离应用封装容器器生态圈现状容器器技术一家独大百花齐放 Docker, Rocket, Mesos Universal container, LXC, Hyper Container 调度系统三足鼎立