PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

宥待阎
4 years ago
Views:

1 深入理解 Amazon Elastic Kubernetes Service (EKS) Amazon EKS 进阶功能尹振宇,AWS 解决方案架构师

2 议程 1.EKS 集群的运维管理 2.EKS 集群上的 CICD 流程 3.EKS 集群之上的服务发现和服务网格

3 EKS 集群上的运维管理

4 Amazon EKS 集群和工作节点的管理 AWS 原生工具 : 1. 通过 AWS CloudFormation 2. 使用 eksctl 工具 3. 使用 AWS CDK 命令行管理工具 AWS CDK 以程序语言的方式第三方工具 : 1. Terreform 2. Rancher 3. AWS CloudFormation 基础设施即模板

5 Amazon EKS 集群和工作节点的管理 AWS 原生工具 : 1. 通过 AWS CloudFormation 2. 使用 eksctl 工具 3. 使用 AWS CDK 命令行管理工具 AWS CDK 以程序语言的方式第三方工具 : 1. Terreform 2. Rancher 3. AWS CloudFormation 基础设施即模板

6 Kubernetes 皆 Code AWS CDK 如果想要一个具有高可用 master 集群一个基于 CPU 利用率动态伸缩的 worker 组一个运行在集群之上的 Pod 过去, 需要做搭建 Master 集群搭建 Worker 集群设置集群动态伸缩策略编写 pod 的 yaml 文件部署 pod. 我只是个单纯的程序员为什么要让我处理这么复杂的 infrastructure!

7 如果你是一个 Typescript 的程序员 AWS CDK 现在你只需要三步 :1) 打开 Webstorm 2) 编写一段不到 20 行的代码 3) 执行 cdk deploy const cluster=new eks.cluster(this, 'cluster-two-m5-large'); cluster.defaultcapacity!.scaleoncpuutilization('up', { t argetutilizationpercent: 80 }); cluster.addresource('mypod', { apiversion: 'v1', kind: 'Pod', metadata: { name: 'mypod' }, spec: { containers: [ { name: 'hello', image: 'paulbouwer/hello-kubernetes:1.5', ports: [ { containerport: 8080 } ] } ] } }); 搭建 Master 集群搭建 Worker 集群设置集群动态伸缩策略编写 pod 的 yaml 文件部署 pod.

8 CDK 原理 Stack: 整个 Infrastructure 和应用栈 Construct: CDK 中的基本元素, 所有 AWS 的资源在 CDK 中都可由一个构造类 (Construct) 来表示更多第三方资源支持中

9 EKS 集群上的 CICD 流程

10 EKS 上的 CI&CD 的支持 Jenkins AWS CodePipeline, AWS CodeCommit, AWS CodeBuild AWS partners GitLab Shippable CircleCI Codeship

11 EKS CI&CD: 利用 jenkins 完成构建

12 EKS CI&CD: 基于 AWS 托管工具 Amazon ECR Kubernetes 全托管自动伸缩 Developer AWS CodeCommit AWS CodeBuild AWS Lambda 高可用零运维 AWS CodePipeline

13 EKS CI&CD Developer AWS CodeCommit 代码被 Commit 到 AWS CodeCommit or Github. 触发 PR 的请求审查结束后合并到 master branch. AWS CodePipeline 设定的到对应 branch 的钩子探测到变化, 开启 CICD 流程. AWS CodePipeline

14 EKS CI&CD AWS CodeBuild 打包对应的代码和依赖并且构建相应的镜像 Amazon ECR 在构建之前也可以根据需要增加任意的基于 AWS CodeBuild 的测试层, 做单元及集成测试. 镜像被推送到 Amazon ECR 这一托管镜像仓库. AWS CodeBuild

kubectl apply 的操作更新对应的 deployment 滚动更新 Amazon ECR 1

15 EKS CI&CD 4 AWS CodePipeline 触发 lambda 函数去修改 deployment yaml file 中应用镜像的 tag AWS Lambda 同时触发 kubectl apply 的操作更新对应的 deployment 滚动更新 Amazon ECR 1 Kubernetes 3 0 AWS Lambda AWS 的权限管理与 EKS 之中的权限绑定, 无须存储相关秘钥 0 IAM role

16 Lambda 代码 #!/bin/bash # 准备配置文件 JOB_ID=$(jq -er '.["CodePipeline.job"].id' <<< $EVENT_DATA) INPUT_ARTIFACT_BUCKET=$(jq -er '.["CodePipeline.job"].data.inputArtifacts[0].location.s3Location.bucketName' <<< $EVENT_DATA) INPUT_ARTIFACT_OBJKEY=$(jq -er '.["CodePipeline.job"].data.inputArtifacts[0].location.s3Location.objectKey' <<< $EVENT_DATA INPUT_ARTIFACT=$(aws s3 cp s3://${input_artifact_bucket}/${input_artifact_objkey} - zcat) export KUBECONFIG=/tmp/kubeconfig # aws eks 命令配置 /tmp/kubeconfi 文件 aws eks update-kubeconfig --name eks-test1 --kubeconfig /tmp/kubeconfig # kubectl 命令更新 deployment/reviews 的 image tag,tag 在 ${INPUT_ARTIFACT} 中 kubectl set image deployment/reviews-v1 reviews=${input_artifact} # 完成自动化部署过程 aws codepipeline put-job-success-result --job-id $JOB_ID

17 EKS 集群之上的服务发现和服务网格

18 Service Teams Node.i s Rust Database Java Node.is Go DB Node.i s Rust Database Infrastructure team

19 需要哪些功能? Service Teams Nod e.is Rust Datab ase Java Node.is Go DB Infrastructure team Nod e.is Rust Databas e

20 实现方式方式 1( 侵入式 ) 方式 2( 非侵入式 ) 微服务容器 In-process (SDK) Out-of-process (sidecar proxy) 微服务容器代理 resttemplate.getforobject("myuserservice"); log4j.info( Call Order Service ); If(resp.StatusCode!= 200) 执行熔断

21 实现方式 1: In-process SDK SDK 维护应用代码变更需要各微服务的实现一致性开发语言 Java Scala Node.js Python C++ Django.NET GO

22 Spring cloud

23 实现方式 2: Side-car proxy Task or Pod 解耦安装或升级代理外部访问流量监控路由发现部署 Application Code 可配置将运营和业务逻辑分开 Proxy runs as a container 最小化功能实现的不一致性

24 开源方案 :Istio

25 AWS App Mesh 介绍一个全托管的服务网格利用 Sidecar 代理机制 App Mesh is a service mesh 不需要开发构建和维护不依赖于应用程序部署平台 ( 例如 : 容器编排 ) 适用于不同计算平台可靠地存储和分发配置

26 App Mesh uses Envoy proxy

27 App Mesh 流量与路由管理流量管理 Load balancing Weight targets Service discovery (DNS + AWS Cloud Map) Health checks Retries* Timeouts* Circuit breakers* 路由控制 Protocols support (HTTP, TCP,GRPC*) Path-based Header-based* Cookie-based* Host-based* *Coming soon

28 App Mesh 应用日志监控和跟踪日志 HTTP access logging Amazon CloudWatch Logs Available as container logs on Amazon ECS, Amazon EKS, AWS Fargate 指标 CloudWatch metrics StatsD Prometheus 链路跟踪 AWS X-Ray Other Envoy tracing drivers

29 App Mesh: 与 AWS 服务相集成 Amazon ECS AWS Fargate AWS Cloud Map Amazon EKS AWS App Mesh Amazon EC2 CloudWatch 与 Cloudmap 结合

30 经典的 BookInfo 案例

31 App Mesh 概念 Route A-1 Virtual Node B Mesh Virtual Service A Virtual Node A Virtual Service B Route A-2 Virtual Node C Virtual Service C Route B Virtual Node D

32 App Mesh 架构 Review-v1 Route A-1 Virtual Node B ProductPage Review-v2 Mesh Virtual Service A Virtual Node A Virtual Service B Route A-2 Virtual Node C Virtual Service C Route B Virtual Node D Detail

33 Virtual Node ( 虚拟节点 ) Virtual Node 虚拟节点逻辑上的服务 (Deployment +SVC or SVC) 侦听器传入流量策略例如 : 端口, 健康检查, 断路器 *, 重试 * Listeners Service Discovery Backends 后端服务此虚拟节点配置为允许流量出站到其他服务服务发现设置如何发现节点 (DNS hostname or AWS Cloud Map 命名空间, 服务或属性 )

34 虚拟节点 apiversion: appmesh.k8s.aws/v1beta1 kind: VirtualNode metadata: name: productpage namespace: prod spec: meshname: dj-app listeners: - portmapping: port: 9080 protocol: http servicediscovery: dns: hostname: productpage.prod.svc.cluster.local backends: - virtualservice: virtualservicename: review.prod.svc.cluster.local - virtualservice: virtualservicename: detail.prod.svc.cluster.local Virtual Node Listeners Service Discovery Backends

35 Virtual Service( 虚拟路由器 ) 和 Route( 虚拟路由 ) A 中间路由 B Elastic Load Balancing Mesh [myapp] Virtual Node A Virtual Router Routes Virtual Node B Virtual Node B

36 虚拟路由目标节点的虚拟路由 B Virtual router: B Route Name: B1 Route Name: B2 A HTTP routes Other Protocol routes Route B 虚拟节点目标 + 权重 Match Prefix: / Action: Targets B Match Action:

37 虚拟路由器 apiversion: appmesh.k8s.aws/v1beta1 kind: VirtualService metadata: name: review.prod.svc.cluster.local namespace: prod spec: meshname: dj-app virtualrouter: name: review-router routes: - name: review-route http: match: prefix: / action: weightedtargets: - virtualnodename: review-v1 weight: 50 - virtualnodename: review-v2 weight: 50 Virtual Service E Router Route Route rule

38 基于 Istio 的 BookInfo 样例

39 基于 App-mesh 的基础准备

40 ProductPage VirutalNode 回顾 apiversion: appmesh.k8s.aws/v1beta1 kind: VirtualNode metadata: name: productpage namespace: prod spec: meshname: dj-app listeners: - portmapping: port: 9080 protocol: http servicediscovery: dns: hostname: productpage.prod.svc.cluster.local backends: - virtualservice: virtualservicename: review.prod.svc.cluster.local Virtual Node Service Discovery Backends

41 Virtual Service( 路由器 ) 配置访问 Productpage 的服务解析后都会被拦截进 VirtualService( 虚拟路由器 ) 中 virtualservicename: review.prod.svc.cluster.local

42 虚拟路由器 apiversion: appmesh.k8s.aws/v1beta1 kind: VirtualService metadata: name: review.prod.svc.cluster.local namespace: prod spec: meshname: dj-app virtualrouter: name: review-router routes: - name: review-route http: match: prefix: / action: weightedtargets: - virtualnodename: review-v1 weight: 50 - virtualnodename: review-v2 weight: 50 Virtual Service E Router Route Route rule

43 Virtual Route ( 路由 ) 配置 weightedtargets: - virtualnodename: review-v1 weight: 50 - virtualnodename: review-v2 weight: 50 50% 50% 0%

44 所有都是 Virtual Node

45 命令行中查看结果 kubectl get all -nprod NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE service/productpage ClusterIP <none> 9080/TCP 20h service/review ClusterIP <none> 9080/TCP 19h service/review-v1 ClusterIP <none> 9080/TCP 20h service/review-v2 ClusterIP <none> 9080/TCP 19h service/review-v3 ClusterIP <none> 9080/TCP 19h NAME READY UP-TO-DATE AVAILABLE AGE deployment.apps/productpage 1/ h deployment.apps/review-v1 1/ h deployment.apps/review-v2 1/ h deployment.apps/review-v3 1/ h NAME virtualnode.appmesh.k8s.aws/productpage virtualnode.appmesh.k8s.aws/review virtualnode.appmesh.k8s.aws/review-v1 virtualnode.appmesh.k8s.aws/review-v2 virtualnode.appmesh.k8s.aws/review-v3 AGE 19h 19h 19h 19h 19h Virtual Node NAME AGE virtualservice.appmesh.k8s.aws/review.prod.svc.cluster.local 19h virtualservice.appmesh.k8s.aws/metal.prod.svc.cluster.local 19h Virtual Service ( 虚拟路由器 )

46 App mesh controller 和自动注入 4_create_initial_mesh_components]$ kubectl get all -nappmesh-system NAME READY UP-TO-DATE AVAILABLE AGE deployment.apps/app-mesh-controller 1/ h NAME AGE mesh.appmesh.k8s.aws/dj-app 20h [ec2-user@ip _create_initial_mesh_components]$ kubectl get all -nappmesh-inject Controller 控制 Appmesh 相关的资源处于期望的状态 NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE service/aws-app-mesh-inject ClusterIP <none> 443/TCP 20h NAME READY UP-TO-DATE AVAILABLE AGE deployment.apps/aws-app-mesh-inject 1/ h NAME mesh.appmesh.k8s.aws/dj-app AGE 20h Injector 确保新加入的 pod 自动加入 mesh 集群

47 App Mesh and Kubernetes Control plane 1. 部署 App Mesh Controller - 创建 CRD, 部署 Controller Pod - 用于管理 Sidecar 代理和配置分发 - 在 K8S 中创建 VirtualService, VirtualRouter, VirtualNode 自动同步至 App Mesh A Service team A HTTP / TCP B Service team B 2. 部署 App Mesh Injector(Pod) - Add Label to namespaces: appmesh.k8s.aws/sidecarinjectorwebhook=enabled - APPMESH_NAME: <your mesh name> - inject-xray-sidecar=true false - enable-stats-tags= true false - enable-statsd=true false - inject-statsd-exporter-sidecar=true false 3. 配置 App Mesh

48 在微服务世界里, 一切资源都是动态的通过定义易用的服务名称来访问资源通过自定义属性来发现资源具备健康检查机制通过高可用的 DNS 或 API 进行访问

49 在微服务世界里, 一切资源都是动态的服务发现已经是微服务架构的必备第三方服务调用服务间调用 List<User> users = myapp: { :8080, :8080} resttemplate.getforobject("myuserservice"); mylogs: {S3bucket1, S3bucket2} discoveryclient.getinstances("myuserservice"); loadbalancer.choose( myuserservice );

50 AWS Cloud Map 基础概念命名空间 Namespace BookInfo E.g.: BookInfo 服务 Service E.g.: Productpage 服务实例 pg-svc-1: pg-svc-2: pg-svc-3: Productpage Name = backend DNS record = A TTL = 60 sec Health Check = Yes Instance Instance Instance

51 服务注册目标 : 实现服务自动注册, 多种实现方式 event.processor.shared logs.shared frontend.app.com backend.app.com app.payment.app.com payment-db.app.com

52 以 bookinfo 为例 AWS Cloud Map BookInfo Namespace Service: Aurora-mysql: aurora-w: database-1.****.rds.amazonaws.com aurora-r: database-1.****.rds.amazonaws.com detail-service: detail.prod.svc.cluster.local: detail-v1.prod.svc.cluster.local:

53 AWS Cloud Map 的三种模式 Public DNS Private DNS API Discovery

54 命名空间类型 :DNS 发现模式 (Public or Private) 利用 Route 53 服务实现 DNS 解析 1. aws servicediscovery create-public-dns-namespace --name cloudmapdemo.com 2. aws servicediscovery create-service --name frontend --dns-config NamespaceId=%namespace_id%, DnsRecords=[{Type=A, TTL=60}] 3. aws servicediscovery register-instance --service-id %service_id% --instance-id %id% --attributes AWS_INSTANCE_IPV4= , stage=beta, version=1.0, ready=yes

55 命名空间类型 :API 发现模式 1. aws servicediscovery create-http-namespace --name shared 2. aws servicediscovery create-service --name logs --namespace-id %namespace_id% 3. aws servicediscovery register-instance --service-id %service_id% --instance-id %id% --attributes ARN=arn:aws:s3:::cloudmapdemoservicelogsbeta1, stage=beta, shard=s_1, read_only=no, path=/mylogs

56 基于属性的服务发现

57 基于属性的服务发现 Stage: prod Version: 1.0

58 How to use service discovery?

59 通过代码实现服务发现, 示例 :Spring Cloud & Eureka: 服务注册 : application.properties: 启动类 : 调用服务 : List<User> users = resttemplate.getforobject("myuserservice"); loadbalancer.choose( myuserservice );

60 通过 aws CLI / Cloud Map API 调用实现服务解析 aws servicediscovery discover-instances --namespace-name contoso.dev.local -- service-name logs --> { "Instances": [ { "InstanceId": "i1", "NamespaceName": "shared", "ServiceName": "logs", "HealthStatus": "UNKNOWN", "Attributes": { "read_only": "no", "path": "/mylogs", "shard": "s_1", "ARN": "arn:aws:s3:::cloudmapdemoservicelogsbeta1", "stage": "beta } } ] }

61 利用自定义属性实现服务的注册与发现典型用途 : 增量 / 滚动部署路由 aws servicediscovery discover-instances --namespace-name contoso.dev.local --service-name frontend --query-parameters ready=yes --> { "Instances": [ { "InstanceId": "i1", "NamespaceName": "cloudmapdemo.com", "ServiceName": "frontend", "HealthStatus": "UNKNOWN", "Attributes": { "ready": "yes", "AWS_INSTANCE_IPV4": " ", "version": "1.0", "stage": "beta } } ] }

62 利用 DNS 进行服务名称解析 dig +short A frontendv1.contoso.dev.local -->

63 感谢参加 AWS 在线研讨会我们希望您喜欢今天的内容! 也请帮助我们完成反馈问卷欲获取关于 AWS 的更多信息和技术内容, 可以通过以下方式找到我们 : 微信公众号 :AWSChina 新浪微博 : 领英 : 知乎 : 视频中心 : 更多线上技术活动 :

实践课堂成都站-0609.key

实践课堂成都站-0609.key 青云 QingCloud 容器器及 Kubernetes 实践王渊命青云 QingCloud 容器器平台负责人当我们谈论容器器时我们在谈论什什么? 容器器的两个视角资源隔离应用封装容器器生态圈现状容器器技术一家独大百花齐放 Docker, Rocket, Mesos Universal container, LXC, Hyper Container 调度系统三足鼎立