Kubernetes 中的存储邢舟 IBM 开放技术研究院

Size: px

Start display at page:

Download "Kubernetes 中的存储邢舟 IBM 开放技术研究院"

盎透冀
5 years ago
Views:

1 Kubernetes 中的存储邢舟 IBM 开放技术研究院

2 Kubenetes 系列公开课每周四晚 8 点档 1. Kubernetes 初探 2. 上手 Kubernetes 3. Kubernetes 的资源调度 4. Kubernetes 的运行时 5. Kubernetes 的网络管理 6. Kubernetes 的存储管理 7. Kubernetes 的日志与监控 8. Kubernetes 的应用部署 9. 扩展 Kubernetes 生态 10. Kubernetes 的企业实践课程 Wiki: 2

3 议程! K8s 存储概览! 应用场景! 设计与基本架构! 目前社区所实现和维护的存储插件一览! 目前存储所存在的问题! K8s Volume Provisioner 部分的代码实现! 扩展 K8s 存储的几种方式! Persistent Volume 与 Persistent Volume Claim! PV Controller 的实现! Out-of-Tree Provisioner 的实现! 一个简单的 K8s 存储示例

4 K8s 存储的主要应用场景应用程序 / 服务存储状态数据存取等应用程序 / 服务配置文件读取秘钥配置等不同应用程序间或者应用程序内进程间共享数据

5 K8s 存储的主要应用场景一个例子 (1/4) 需求部署一个 Nginx 服务, 并在 /var/nginx-data 目录下存储用户上传的数据解决 : 使用 AWS 的弹性存储卷并将其挂载至 K8s 容器指定目录

6 K8s 存储的主要应用场景一个例子 (2/4) aws ec2 create-volume availabilityzone xxx size xx Step 1 创建一个 AWS 存储卷获取创建好的存储卷 ID { } "AvailabilityZone": xxx, "Encrypted": false, "VolumeType": "gp2, "VolumeId": "vol-xxxxxxxxxxxxxxxxx, "State": "creating, "Iops": xxx, "SnapshotId": ", "CreateTime": xxxxxxxxxxxx, "Size": xx

7 K8s 的主要应用场景一个例子 (3/4) Step 2 创建一个包含 nginx pod 定义的 yaml 文件文件中包含存储卷在 pod 容器中的挂载位置以及 K8s 存储卷定义, 其中使用到了 Step1 中所创建的存储卷的 ID apiversion: v1 kind: Pod metadata: name: nginx spec: containers: - image: nginx name: nginx-server volumemounts: - mountpath: /var/nginx-data name: data-volume volumes: - name: data-volume awselasticblockstore: volumeid: vol-xxxxxxxxxxxxxxxxx fstype: ext4

8 K8s 存储的主要应用场景一个例子 (4/4) kubectl create f nginx_pod.yaml Step 3 基于 Step2 中创建的 yaml 文件在 K8s 集群中创建 nginx pod 登录运行中的 pod, 验证 /var/nginxdata 已经正确挂载 aws ec2 describe-volumes --volume-ids volxxxxxxxxxxxxx { "Volumes": [ {"Attachments": [ { "VolumeId": "vol-xxxxxxxxxxxxxxxxx", "State": "attached, Credit: /03/12/kubernetesflexvolumes.html ] ]} } "Device": "/dev/xvdba" }

9 K8s 存储的主要设计原则遵循 K8s 整体架构声明式架构易用性, 尽可能多地兼容各种存储平台相比较于 Docker Volume 而言插件化兼容用户自定制插件安全性数据安全性生命周期

10 K8s 存储的主要模块 Attach Detach Controller Volume Plugins AWS EBS Google PD NFS Third Party Plugins LVM Kubelet Volume Manager FlexVolume PV Controller Out of Tree Provisioners HP NFS

11 K8s 存储的主要模块 Attach_Detach_Controller 负责将远程网络块存储设备挂载到某一个 K8s 节点的 Controller 两个存储结构 Actual State of World Desired State of World 三个线程 PopulateActualStateofWorld PopulateDesiredStateofWorld Reconcile 与 Volume Plugin 的交互 Attach/Detach Attachable Plugins

12 K8s 存储的主要模块 PV Controller PV Controller 监控和管理集群中的 PV 和 PVC 实现 PV/PVC 生命周期管理 PVC: Pending, Bound, Lost PV: Pending, Available, Bound, Released, Failed 实现 PV/PVC 绑定实现 Dynamic Provision Direct Access Dynamic Provision

13 K8s 存储的主要模块 Volume Manager(1/2) 运行在每个 Kubelet 上的核心模块用于协调 attach/detach controller, PV controller 和各个 Volume Plugin 最终实现将块设备从创建到挂载到 K8s 上指定目录的过程

14 K8s 存储的主要模块 Volume Manager(2/2) K8s 挂载卷的基本过程用户创建 Pod 包含一个 PVC Pod 被分配到节点 NodeA Kubelet 等待 Volume Manager 准备设备 PV controller 调用相应 Volume Plugin(in-tree 或者 out-of-tree) 创建持久化卷并在系统中创建 PV 对象以及其与 PVC 的绑定 (Provision) Attach/Detach controller 或者 Volume Manager 通过 Volume Plugin 实现块设备挂载 (Attach) Volume Manager 等待设备挂载完成, 将卷挂载到节点指定目录 (mount) /var/lib/kubelet/plugins/kubernetes.io/aws-ebs/mounts/vol-xxxxxxxxxxxxxxxxx Kubelet 在被告知设备准备好后启动 Pod 中的容器, 利用 Docker v 等参数将已经挂载到本地的卷映射到容器中 (volume mapping)

15 K8s 存储的主要模块 Volume Plugin(1/2) Volume Plugin 的主要接口 : Init NewProvisioner(Provision) NewDeleter(Delete) NewAttacher(Attach) NewDetacher(Detach) Provisioner/Deleter Plugin Attachable Plugin NewMounter(Mount) NewUnmounter(Unmount)

16 K8s 存储的主要模块 Volume Plugin(2/2) 持久化存储 ( 网络 ) Google Persistent Disk AWS Elastic Block Store Azure File Storage Azure Data Disk iscsi Flocker NFS vshpere GlusterFS Ceph File and RBD Cinder Quobyte Volume FibreChannel VMWare Photon PD Portworx Dell EMC ScaleIO 临时存储 ( 本地 ) Empty Dir(tmpfs) K8s API Secret ConfigMap Downward API ProjectedVolume 其他 Flex Volume Host Path Local Persistent Storage

17 K8s 存储目前存在的一些问题 Resource Limitation & Separation Data Replication & Snapshot Volume Resize and Autoscaling Monitoring and QoS AccessMode PV Lost

18 议程! K8s 存储概览! 应用场景! 设计与基本架构! 目前社区所实现和维护的存储插件一览! 目前存储所存在的问题! K8s Volume Provisioner 部分的代码实现! 扩展 K8s 存储的几种方式! Persistent Volume 与 Persistent Volume Claim! PV Controller 的实现! Out-of-Tree Provisioner 的实现! 一个简单的 K8s 存储示例

19 扩展 K8s 存储的几种方式扩展 K8s 存储的基本需求扩展方式新的 Volume Plugin FlexVolume Out-of-Tree Provisioner

20 Persistent Volume 与 Persistent Volume Claim Persistent Volume/Persistent Volume Claim 从 Storage Admin 与用户的角度看 PV 与 PVC Admin 创建和维护 PV 用户只需要使用 PVC(size & access mode) PVC 与 PV 的绑定用户级别的逻辑对象, 将 Volume 实现与 Pod 解耦 PVC 与 Volume PV 与 Volume

21 Storage Class StorageClass StorageClass 将说明 Volume 由哪种 Volume Provisioner 创建创建时参数以及从其他功能性 / 非功能性角度描述的后台 volume 的各种参数 Static Provisioning Dynamic Provisioning In-tree provisioner Out-of-tree provisioner

22 PV PVC & StorageClass kind: PersistentVolumeClaim apiversion: v1 metadata: name: myclaim spec: accessmodes: - ReadWriteOnce resources: requests: storage: 10Gi storageclassname: slow kind: PersistentVolume kind: StorageClass apiversion: v1 apiversion: storage.k8s.io/v1 metadata: metadata: name: pv0003 name: slow spec: capacity: provisioner: kubernetes.io/aws-eb storage: 5Gi parameters: accessmodes: parameters: - ReadWriteOnce type: io1 persistentvolumereclaimpolicy: Recycle zone: us-east-1d storageclassname: slow iopspergb: "10" awselasticblockstore: volumeid: vol-xxxxxx fstype: ext4

23 利用 PVC 重写前面例子中的 Volume 定义 apiversion: v1 kind: Pod metadata: name: nginx spec: containers: - image: nginx name: nginx-server volumemounts: - mountpath: /var/nginx-data name: data-volume volumes: - name: data-volume awselasticblockstore: volumeid: vol-xxxxxxxxxxxxxxxxx fstype: ext4 apiversion: v1 kind: Pod metadata: name: nginx spec: containers: - image: nginx name: nginx-server volumemounts: - mountpath: /var/nginx-data name: data-volume volumes: - name: data-volume persistentvolumeclaim: claimname: myclaim

24 PV Controller PersistentVolumeController 管理 PV 生命周期 & 与 PVC 绑定管理 PVC 生命周期 & 与 PV 绑定主要数据结构 volumequeue workqueue.type volumes persistentvolumeorderindex(cache.sto re) corelisters.persistentvolumelister 运行时刻框架 volumeworker PV add/update/sync/delete volumequeue 主要数据结构 claimqueue workqueue.type Claims cache.store corelisters.persistentvolumeclaimlister 运行时刻框架 claimworker PVC add/update/sync/delete claimqueue

25 PV Controller 的基本实现 kubernetes/pkg/controller/volume/ persistentvolume

26 PV Controller 的初始化过程

27 Volume Worker 与 Claim Worker 的工作流程 Volume Worker Claim Worker

28 SyncClaim 的基本逻辑 (pv_controller.go) PVC 的基本状态 Pending Bound Lost Access Mode RWX RWO ROX

30 SyncVolume 的基本逻辑 (pv_controller.go) PV 的基本状态 Pending Available Bound Released Failed Volume Recycle Policy Retain Recycle Delete

31 PV Controller 中的 Provision Provisioner #NewProvisioner Provisioner: #Provision Static Provision Dynamic Provision

32 Out-of-Tree Provisioner 的基本工作场景

Out of Tree Provisioner 的基本实现 Incubator Project https://github.

33 Out of Tree Provisioner 的基本实现 Incubator Project external-storage 基本模块 Provisioner 部分 (Samples) Controller 部分 Watch PVC/PV Create PV Delete PV Multi-Controller Lock 代码位于 external-storage/lib/controller

34 Out of Tree Provisioner 之多 controller 实例利用锁机制在多个不同 controller 实例时间共享锁信息代码位于 external-storage/libs/ leaderelection 定义了一个 Provision 锁以及锁的操作机制锁信息将作为 annotation 存储于 PVC 中 type LeaderElectionRecord struct { HolderIdentity string `json:"holderidentity"` LeaseDurationSeconds int `json:"leasedurationseconds"` AcquireTime metav1.time `json:"acquiretime"` RenewTime metav1.time `json:"renewtime"` LeaderTransitions int `json:"leadertransitions"` } acquire->run->renew

35 议程! K8s 存储概览! 应用场景! 设计与基本架构! 目前社区所实现和维护的存储插件一览! 目前存储所存在的问题! K8s Volume Provisioner 部分的代码实现! 扩展 K8s 存储的几种方式! Persistent Volume 与 Persistent Volume Claim! PV Controller 的实现! Out-of-Tree Provisioner 的实现! 一个简单的 K8s 存储示例

36 一个简单的例子在虚拟机中启动一个 all-in-one K8s 集群以及配置一个 NFS 服务器通过 NFS 暴露一个共享目录创建 PV,PVC 和 Pod, Pod 将挂载 NFS 所暴露的目录

37 准备和启动环境基本环境 ubuntu Docker NFS Server Kubernetes Master Branch code 编译 K8s 源代码, 启动 K8s 集群 sudo hack/local-up-cluster.sh

38 设置 NFS Server 对外暴露 /home/ubuntu/xingzhou/nfs-trial 目录, 并在目录下创建文件 abc

39 创建 PVC

40 创建 PV

41 创建 Pod

42 验证挂载目录

43 一个简单的 Dynamic-Provisioner 例子在虚拟机中启动一个 all-in-one K8s 集群按照 hostpath-provisioner 的指导部署一个基于 HosPath 的 Out-of-Tree Provisioner 创建 PV,PVC 和 Pod, Pod 将挂载 external-storage 所暴露的 HostPath 目录

44 谢谢大家

PowerPoint Presentation

PowerPoint Presentation Kubernetes 存储概览邢舟 IBM 开放技术研究院 xingzhou@cn.ibm.com 2017.6 1 议程 K8s 存储的主要应用场景 K8s 存储的设计原则 K8s 存储的主要模块 K8s 存储的社区开发一个简单的例子 2 K8s 存储的主要应用场景应用程序 / 服务存储状态数据存取等应用程序 / 服务配置文件读取秘钥配置等不同应用程序间或者应用程序内进程间共享数据

Kubernetes 中的存储 邢 舟 IBM 开放技术研究院

Kubernetes 中的存储邢舟 IBM 开放技术研究院