7谢瑶瑶

Size: px

Start display at page:

Download "7谢瑶瑶"

沁景
5 years ago
Views:

1 Kubernetes On Alibaba Cloud 阿里云

2 阿里云容器服务介绍 Kubernetes 集群阿里云 CloudProvider

3 阿里云容器服务发展专有云企业版专有云敏 4 版全新升级 This is a sample text. Insert your desired text here. This is a sample text. Insert your desired text here 月月 0 月 5 月 2 月 5 月正 20 业化 1 际化 Kubernetes5 持 3

阿里云容器服务生命周期管理编排与调度应用 Web / Mobile / Machine

故障恢复, 健康监控服务发现提供四层七层服务路由, 支持阿里云 SLB 提供负载均衡

kubernetes 双核心编排引擎网络管理多种网络选择,VPC,vxlan 监控管理

服务发现与负载均衡安全管, 理日与志运, 维监控日志管理支持对接阿里云日志系统 Docker

4 阿里云容器服务生命周期管理编排与调度应用 Web / Mobile / Machine Learning / Serverless / 集群与应用 : 创建删除, 自动扩缩容, 故障恢复, 健康监控服务发现提供四层七层服务路由, 支持阿里云 SLB 提供负载均衡持久化存储支持多种存储选择, 阿里云盘, NAS 网络文件存储支持 docker 与 kubernetes 双核心编排引擎网络管理多种网络选择,VPC,vxlan 监控管理集群监控, 应用监控镜像管理, DevOps CI/CD 工具集群生命周期管理与容器编排服务发现与负载均衡安全管, 理日与志运, 维监控日志管理支持对接阿里云日志系统 Docker Engine Volume Plugin EBS/NAS/OSS Network Plugin Overlay/VPC/ 公共云 / 专有云 4

5 容器服务 Kubernetes 与开源社区 O P E N! Kubernetes Out-of-tree CloudProvider VPC 网络 Flannel vpc driver 阿里云盘 Flexvolume driver OSS 存储 Registry 后端存储日志 Fluentd-pilot 日志 5

6 阿里云容器服务介绍 Kubernetes 集群阿里云 CloudProvider

7 高可用的 kubernetes 用户集群高可用阿里云 SLB 为多副本组件提供统一负载均衡 master 的本地组件访问 apiserver 直接走本机 IP, 不经过内网 SLB 安全 ETCD 节点之间通过证书认证, 客户端通过证书访问 etcd 集群 Kubernetes 各个组件通过证书认证 VPC 网络提供安全隔离, 自定义最小安全组策略控制节点访问云资源提供阿里云 CloudProvider 集成, 轻松访问阿里云资源扩缩容应用和集群动态扩缩容镜像加速默认提供 dockerhub 官方镜像加速, 解决官方镜像下载缓慢的问题 7

8 一些建议 Kubeadm 支持部署单机开发测试集群 Cloud-Config 路径问题新版的 Kubeadm 为了安全原因, 不在整体挂载 /etc/kubernetes 目录到组件容器中, 同时也漏掉了 cloud-config 文件, 造成升级故障镜来源问题修改 kubeadm 可以使用非 gcr.io 来源的镜像处理证书方面 Cluaster CA EXTRA CN 允许通过 LoadBalancer 访问处理 kubeproxy 问题 kubeadm 生成的 ds 默认适合单集群,kubeproxy 在访问 apiserver 时需要修改成 LoadBalancer 的地址 kubeproxy 在处理 externaltraffic 的时候, 依赖 hostname 来判断 Pod 是否属于本地节点 apiserver_count kubernetes service 的 endpoint 会在多个 master IP 里面随机跳来跳去 Dashboard 权限 8

9 阿里云容器服务介绍 Kubernetes 集群阿里云 CloudProvider

10 Kubernetes out-of-tree alibaba cloudprovider CloudProvider 定义了一组接口, 不同的云厂商通过实现这组接口来将本厂提供的各种服务集成到 kubernetes 集群中能力集成网络路由配置负载均衡动态配置可用区管理虚拟机管理进化 In-tree-cloudprovider cloud-out-of-tree cloud controller 10

11 进化 In-Tree vs Out tree 传统 In-tree 问题所有的云厂商的 provider 代码放在 core kubernetes 仓库可维护性低 Cloud provider 实现发布周期与 kuberentes core 耦合, 无法快速迭代解决方案 out-of-tree cloud providers 使用 kubernetes 的 controller 的概念来设计重构 cloud provider, 即 cloud-controller-manager 将与云厂商实现相关代码移动到一个单独仓库, 作为单独的二进制文件发布路线图 Alpha: 1.7 => Beta: 1.8 => Stable: 1.10 开源 11

12 Kubernetes 集群网络支持高效互联和混合云 #571 Add alibaba cloud VPC network support CNI 规范定义了如何处理容器内网络设置创建网卡分配 IP, 设置路由,DNS Meta/Main 集群容器间网络 VPC: 路由转发, 去往 /24 网段的数据包的下一跳是 ECS1, 性能最优的方案 VXLAN: 数据封包,overlay Flannel alivpc driver 开源, 连接容器网络混合云支持 12

13 案例分析 : 一个神奇的内核网络配置问题排查流程 kubectl get po 检查 pod 是否正常启动 kubectl get svc 检查服务是否创建 kubectl logs mysql 查看服务日志是否正常 ketstat anp grep 3307 查看端口 iptable -t nat vnl 查看数据流规则.. => tcpdump 然而一切看似正常 13

14 案例分析 : 一个神奇的内核网络配置问题你会发现 : 目的 Pod 返回给请求方的数据包里直接使用了自己的 IP 作为源 IP DNAT 规则没被 iptables 正确处理? ====> Linux 网桥的一项内核参数控制流经网桥的数据包是否会被 iptables 规则进一步处理 net.bridge.bridge-nf-call-iptables 14

15 案例分析 :Docker 的默认网络转发策略 iptables P FORWARD ACCEPT 15

16 阿里云负载均衡 SLB 集成 LoadBalancer 能力地址类型 : internet/intranet 协议类型 : tcp/udp/http/https Region 选择 : 默认与自定义收费类型 : 按量付费 / 按带宽收费, 自定义带宽健康检查 : 自定义健康检查 16

17 案例分析 : 阿里云 SLB 源 IP 保留原则 : 负载均衡是否能够保留客户请求的源 IP 取决于连接是否被 SNAT 过 Type: ClusterIP 永远不会被 SNAT, 因此始终可以获得源 IP Type: NodePort 访问不在本节点上的 Pod 后端时会被 SNAT 因此不一定能保留源 IP Type: LoadBalancer 依赖于 NodePort spec.externaltraffic: Local 17

18 小结阿里云容器服务阿里云 Kubernetes 集群阿里云 CloudProvider 18

19 Q&A Thank you for your time

实践课堂成都站-0609.key

实践课堂成都站-0609.key 青云 QingCloud 容器器及 Kubernetes 实践王渊命青云 QingCloud 容器器平台负责人当我们谈论容器器时我们在谈论什什么? 容器器的两个视角资源隔离应用封装容器器生态圈现状容器器技术一家独大百花齐放 Docker, Rocket, Mesos Universal container, LXC, Hyper Container 调度系统三足鼎立