云计算与数据-魅族容器云平台基于 k8s 的自动化运维实践-曾彬

Size: px

Start display at page:

Download "云计算与数据-魅族容器云平台基于 k8s 的自动化运维实践-曾彬"

盲陈
4 years ago
Views:

2 魅族容器云平台基于 k8s 的自动化运维实践曾彬

3 目录基本介绍 K8s 集群容器网络外部访问 4/7 层监控 / 告警 / 日志业务发布 / 镜像 / 多机房

4 基本介绍定位私有云平台网站业务 + 高级业务替换传统虚拟化现状网站业务,17 年完成 90% 迁移 3 个数据中心运作方式低成本试错, 几个人小团队紧跟 k8s 步伐局部和关键创新保证核心稳定, 重视非功能性

5 目录基本介绍 K8s 集群容器网络外部访问 4/7 层监控 / 告警 / 日志业务发布 / 镜像 / 多机房

6 K8s 集群单一镜像 1. 快速部署 / 升级,docker run 一键安装 2. Hyperkube Image hyperkube 二进制安装 / 升级脚本 kubelet service static pod yaml 自签证书 3. Master 安装 / 升级 apiserver/scheduler/manager 4. Minion 安装 / 升级 kubelet/kube-proxy

7 K8s 集群 -Master 核心组件 1. Static Pod 保证自动加载 API Server Controller Scheduler 2. 自动修复 Liveness probe 自动重启 3. 自动升级指定新的 hyperkube version

8 K8s 集群 -Master 高可用设计 1. API Server LB or DNS LB 多活,DNS 单活 2. Scheduler Leader Election 3. Controller Leader Election Master

9 K8s 集群 -Master 异常处理 1. k8s 核心 Pod 运行状况重启告警 Leader Election 导致 Pod 重启 2. 频繁的 Leader Election 时钟同步? 与 API Server 通信不稳定? 重点关注 Controller Manager 的重启, 及时介入检查有无异常状态

10 K8s 集群 -Minion 常用配置 1. 硬件 E core(HT) 内存 128GB Intel 千兆 2. 参数调整中断相关 TCP backlog Swapness

11 K8s 集群 -Minion- 存储 1. Docker 存储 DeviceMapper Direct LVM 实际用量并不大 2. 本地普通存储日志 / 临时文件等存储于 EmptyDir,EmptyDir 映射到本地目录大量读写修改 EmptyDir 落地路径 --root-dir=/data/kubelet ( 默认 /var/lib/kubelet) 考虑使用普通分区使用 lvm 参数设置不当导致 meta full

12 K8s 集群 -Minion- 存储踩坑 Kernel issue Bug device mapper hung tasks on an openshift/docker system ow_bug.cgi?id= So, 经常更新内核

13 K8s 集群 -Minion- 内核版本 OS Centos 7.2,3.10 bugfix back porting 4.1 以后,hacking tcp_v4_syn_recv_sock 会有问题我们的选择是 3.16

14 K8s 集群 -Minion-Label 管理 1. 标签结合 CMDB, 为 Minion 打上标签 rack/ 网络 / 机型 / 功能等 2. 调度 Node Affinity Pod Anti-Affinity

15 K8s 集群总结 1. 部署便利度集群部署集群升级 2. 高可用核心组件进程核心组件健康检测核心组件冗余设计 3. 存储容器存储非容器存储 4. 内核版本参数 5. 标签管理

16 目录基本介绍 K8s 集群容器网络外部访问 4/7 层监控 / 告警 / 日志业务发布 / 镜像 / 多机房

17 网络 - 整体 1. 方案 Calico 2. 控制层面 BGP No Mesh Bird 对接核心路由设备 3. 数据层面 3 层路由 Netfilter Conntrack Forward Chain 4. 部署 Daemonset

18 网络 - 优化点 1. 配置合理的 Conntrack 参数设置使用 headless service 2. 监控告警监控 conntrack 用量 Calico Prometheus Metrics 3. Readness ping 容器 Ping 核心交换机, 确保网络联通性 Readness 检查 fail,endpoint 下线, 并触发告警

19 网络 - 优化 conntrack 1. Bypass Tracking Tracking 多用于访问控制 LVS 过来的流量大, 信任度高,Tracking 意义不大 Bypass LVS 过来的流量 2. 方法 felix insert 改为 append, 保证自定义规则的最高优先级在 raw 表 PREROUTING 和 filter 表 FORWARD 链添加规则

20 网络 - 总结 1. 稳定性 mesh vs no mesh 2. 性能优化 Netfilter Conntrack 3. 异常处理 Pod 主动检测网络 Calico 整体健康告警

21 目录基本介绍 K8s 集群容器网络外部访问 4/7 层监控 / 告警 / 日志业务发布 / 镜像 / 多机房

22 外部访问 -4 层 1. LVS 集群 Alibaba LVS FullNat 内 / 外集群 2. 流量进出 Client<->LVS<->Minion<- >Pod Minion 上不做 Nat

23 外部访问 - 自动配置自动化配置 VIP OSPF 宣告 ( 预先宣告, 减少变更 ) LVS 配置 Virtual Service->K8s Service->Endpoints

24 外部访问 -4 层 - 流量采集流量采集暴露 Prometheus Metrics 业务信息 ( 命名空间, 服务名 ) Virtual Service RealServer(Endpoint)

25 外部访问 -4 层 - 监控告警 1. 监控 Grafana 可视化聚合集群数据 2. 告警流量异常 RealServer MISC_CHECK 检测异常

26 外部访问 -4 层 - 总结 1. 性能 / 扩展性方案选型 2. 与容器连通路由 3. 自动化运维尽量减少手工配置 4. 监控告警数据聚合检测异常

27 外部访问 -7 层 -Nginx Nginx Nginx + Ingress Controller 业务专属容器化自动伸缩

28 外部访问 -Nginx- 获取用户地址获取 client 地址默认获取到的是 LVS 的 Local ip+port, 要从 TCP Option 里挖出来 TOA 补丁只支持移植到 3.16 内核

29 外部访问 -Nginx- 性能 1. 高延迟问题观察到 upstream 的响应时间长达数秒, 实际后端服务一直正常 2. 解决方案 worker_processes auto,worker 数大过 limit 较多,worker 可能被饿死合理设置, 例如 worker=4,limit=5 worker_cpu_affinity auto, 导致前几个核占用率高禁用 worker_cpu_affinity

30 外部访问 -nginx- 动态伸缩 1. 缩容从容退出稍等一会, 确保前端 LB 已摘除 endpoint 确保 LB 不会送来新的请求, 把未完成请求处理完, 再优雅退出 2. 扩容使用 readinessprobe initialdelayseconds 留足初始化时间 3. 注意设置足够大的 timeout, 若 Liveness/Readiness Probe 轻易失败, 可能引起雪崩效应根据应用特点和实际运行情况, 优化 cpu request 和 hpa

31 外部访问 -7 层 - 总结 1. 降低成本提升资源利用率标准化 / 规范化 2. 动态化 Nginx 动态伸缩, 注意柔性后端 upstream 伸缩同样注意柔性 3. 满足业务需求灰度发布获取客户端 IP 配置定制

32 目录基本介绍 K8s 集群容器网络外部访问 4/7 层监控 / 告警 / 日志业务发布 / 镜像 / 多机房

33 监控 -Prometheus 部署 Daemonset, 调度到特定机型部署冗余副本配置 ConfigMap 按用途拆分

34 监控 - 业务硬指标 1. 从业务 Nginx 获取当前 QPS HTTP Code 分布 upstream 平均 rt upstream rt 分布 2. 计算资源消耗状况 Nginx 后端 Jetty

35 监控 - 业务 - 软指标 1. 内部指标 JVM Logging Counter 业务指标 2. 暴露方式低侵入, 可拔插 Java Agent 运行 http Prometheus Handler -javaagent:lib/meizu-metric-agent jar

36 监控 -Prometheus- 总结 1. 暴露方式 pull push 2. 部署易升级调度到特定机型冗余副本 3. 效率优化查询速度告警准确度业务监控面板

37 日志 - 集群部署 1. 部署特定机型快速扩容容器化线程数匹配 CPU Limit 2. 收集效率

38 日志 - 收集方法 1. Logging Sidecar Fluentd agent 业务容器和 agent 使用 EmptyDir 非持久化存储日志文件滚动, 防止占用过多空间直接发送到 ElasticSearch 2. 问题日志滞后, 抓包发现是 agent 发送落后优化 bucket 记录传输进度的 pos 文件, 放在 EmptyDir 用 filebeat 取代

39 目录基本介绍 K8s 集群容器网络外部访问 4/7 层监控 / 告警 / 日志业务发布 / 镜像 / 多机房

40 业务部署 - 实现 1. 生成 K8s Resource Yaml 1. JSON SCHEMA 生成界面 2. 界面输入生成 JSON 3. JSON+Template= Resource Yaml 2. 执行动作 1. Ansible 调用 kubectl 2. 获取结果输出

41 业务部署 - 实现 Schema 分组描述所有参数类型文字说明默认值

42 业务部署 -Ansible 生成资源描述文件 Yaml 模板库角色库 Resource template+json=yaml 创建 K8s 资源直接调用 kubectl, 比 API 功能强大 Ansible roles Namespace,Deployment,Service,Ingress,Configmap, HPA 创建其它资源 Kibana Search,Dashboard Grafana 面板调用脚本

43 业务部署 - 易用方便使用查看部署进度 schema 的模板, 保存常用配置, 输入更少查看 / 修改历史发布安全感提供熟悉的 console 界面

44 业务部署 - 多集群管理 1. 实现每套集群自签证书不同对每套 Token 和 CA 进行分组 2. 访问方式管理界面, 通过 https 访问 Javascript web console, 通过 Nginx 反向代理 websocket 访问模板系统,ansible 通过指定不同的 k8s context 访问

45 镜像 -alpine 1. 选择 Alpine 小且够用加入 glibc 支持, 保证兼容性搭建本地私有仓库 2. 业务需求可能需要多个进程配合允许进程一次性执行, 结束后检查返回值, 并执行动作, 如退出重试 3. 选择 s6 作为进程 / 服务管理器 run, 启动脚本 finish,run 退出后执行, 根据返回值选择根据 add_to_group 脚本返回值,1-> 不退出, 0-> 退出服务

46 镜像 - 多机房缓存 1. 镜像缓存镜像拉取加速机房本地缓存简单, 小成本 2. 方案基于 squid Pod 化, 自动运维

47 业务部署 - 总结 1. 用户接受度易用 2. 维护简单, 易扩展问题易排查 3. 多集群管理简单, 够用基于 k8s context 4. 镜像小, 快, 够用

48 会议培训咨询 3 月 18 日 DevOpsDays 北京 8 月 18 日 DevOpsDays 上海全年 DevOps China 巡回沙龙 4 月 21 日 GOPS 深圳 11 月 17 日 DevOps 金融上海 EXIN DevOps Master 认证培训 DevOps 企业内训 DevOps 公开课互联网运维培训企业 DevOps 实践咨询企业运维咨询商务经理 : 刘静女士电话 / 微信 : 邮箱 :liujing@greatops.com

49 Thanks 高效运维社区开放运维联盟荣誉出品

50 想第一时间看到高效运维社区公众号的好文章吗? 请打开高效运维社区公众号, 点击右上角小人, 如右侧所示设置就好

京东容器平台与数据中心协同发展实践鲍永成京东商城 - 基础平台部技术总监

京东容器平台与数据中心协同发展实践鲍永成京东商城 - 基础平台部技术总监京东容器平台与数据中心协同发展实践鲍永成京东商城 - 基础平台部技术总监鲍永成 l 2013 年加入京东, 负责京东容器集群平台 (JDOS) 研发, 带领团队完成京东容器大规模落地战略项目, 有效承载京东全部业务系统和中间件, 以及数据库系统, 特别在大促期间抢占式调度应对高峰流量, 技术引领, 从容大促 l 目前聚焦在京东容器集群 JDOS 2.0 以及京东敏捷智能数据中心研发容器技术在京东商城历史与未来