PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

穹琶司
4 years ago
Views:

1 Kubernetes 存储概览邢舟 IBM 开放技术研究院

2 议程 K8s 存储的主要应用场景 K8s 存储的设计原则 K8s 存储的主要模块 K8s 存储的社区开发一个简单的例子 2

3 K8s 存储的主要应用场景应用程序 / 服务存储状态数据存取等应用程序 / 服务配置文件读取秘钥配置等不同应用程序间或者应用程序内进程间共享数据 3

4 K8s 存储的主要应用场景一个例子 (1/4) 需求部署一个 Nginx 服务, 并在 /var/nginx-data 目录下存储用户上传的数据解决 : 使用 AWS 的弹性存储卷并将其挂载至 K8s 容器指定目录 4

5 K8s 存储的主要应用场景一个例子 (2/4) Step 1 创建一个 AWS 存储卷获取创建好的存储卷 ID aws ec2 create-volume availabilityzone xxx size xx { "AvailabilityZone": xxx, "Encrypted": false, "VolumeType": "gp2, "VolumeId": "volxxxxxxxxxxxxxxxxx, "State": "creating, "Iops": xxx, "SnapshotId": ", "CreateTime": xxxxxxxxxxxx, "Size": xx } 5

6 K8s 的主要应用场景一个例子 (3/4) Step 2 创建一个包含 nginx pod 定义的 yaml 文件文件中包含存储卷在 pod 容器中的挂载位置以及 K8s 存储卷定义, 其中使用到了 Step1 中所创建的存储卷的 ID apiversion: v1 kind: Pod metadata: name: nginx spec: containers: - image: nginx name: nginx-server volumemounts: - mountpath: /var/nginx-data name: data-volume volumes: - name: data-volume awselasticblockstore: volumeid: vol-xxxxxxxxxxxxxxxxx fstype: ext4 6

7 K8s 存储的主要应用场景一个例子 (4/4) Step 3 基于 Step2 中创建的 yaml 文件在 K8s 集群中创建 nginx pod 登录运行中的 pod, 验证 /var/nginx-data 已经正确挂载 Credit: ubernetes-flexvolumes.html kubectl create f nginx_pod.yaml aws ec2 describe-volumes --volume-ids vol-xxxxxxxxxxxxx { "Volumes": [ {"Attachments": [ { "VolumeId": "vol-xxxxxxxxxxxxxxxxx", "State": "attached, "Device": "/dev/xvdba" } ]} ] } 7

8 K8s 存储的主要设计原则遵循 K8s 整体架构声明式架构易用性, 尽可能多地兼容各种存储平台相比较于 Docker Volume 而言插件化兼容用户自定制插件安全性数据安全性生命周期 8

9 K8s 存储的主要模块 Attach Detach Controller Volume Plugins AWS EBS Google PD NFS Third Party Plugins LVM Kubelet Volume Manager FlexVolume PV Controller Out of Tree Provisioners HP NFS

10 K8s 存储的主要模块 Attach_Detach_Controller 负责将远程网络块存储设备挂载到某一个 K8s 节点的 Controller 两个存储结构 Actual State of World Desired State of World 三个线程 PopulateActualStateofWorld PopulateDesiredStateofWorld Reconcile 与 Volume Plugin 的交互 Attach/Detach Attachable Plugins 10

11 K8s 存储的主要模块 PV Controller(1/6) Persistent Volume/Persistent Volume Claim 从 Storage Admin 与用户的角度看 PV 与 PVC Admin 创建和维护 PV 用户只需要使用 PVC(size & access mode) PVC 与 PV 的绑定用户级别的逻辑对象, 将 Volume 实现与 Pod 解耦 PVC 与 Volume PV 与 Volume 11

12 K8s 存储的主要模块 PV Controller(2/6) StorageClass StorageClass 将说明 Volume 由哪种 Volume Provisioner 创建创建时参数以及从其他功能性 / 非功能性角度描述的后台 volume 的各种参数 Static Provisioning Dynamic Provisioning In-tree provisioner Out-of-tree provisioner 12

13 K8s 存储的主要模块 PV Controller(3/6) kind: PersistentVolumeClaim apiversion: v1 metadata: name: myclaim spec: accessmodes: - ReadWriteOnce resources: requests: storage: 10Gi storageclassname: slow kind: PersistentVolume apiversion: v1 metadata: name: pv0003 spec: capacity: storage: 5Gi accessmodes: - ReadWriteOnce persistentvolumereclaimpolicy: Recycle storageclassname: slow awselasticblockstore: volumeid: vol-xxxxxx fstype: ext4 kind: StorageClass apiversion: storage.k8s.io/v1 metadata: name: slow provisioner: kubernetes.io/aws-ebs parameters: parameters: type: io1 zone: us-east-1d iopspergb: "10" 13

14 K8s 存储的主要模块 PV Controller(4/6) apiversion: v1 kind: Pod metadata: name: nginx spec: containers: - image: nginx name: nginx-server volumemounts: - mountpath: /var/nginx-data name: data-volume volumes: - name: data-volume awselasticblockstore: volumeid: vol-xxxxxxxxxxxxxxxxx fstype: ext4 apiversion: v1 kind: Pod metadata: name: nginx spec: containers: - image: nginx name: nginx-server volumemounts: - mountpath: /var/nginx-data name: data-volume volumes: - name: data-volume persistentvolumeclaim: claimname: myclaim 14

15 K8s 存储的主要模块 PV Controller(5/6) PV Controller 监控和管理集群中的 PV 和 PVC 实现 PV/PVC 生命周期管理 PVC: Pending, Bound, Lost PV: Pending, Available, Bound, Released, Failed 实现 PV/PVC 绑定实现 Dynamic Provision 15

16 K8s 存储的主要模块 PV Controller(6/6) Out-of-Tree Provisioner 运行在 K8s 集群外, 由用户自己实现使用时, 在 StorageClass 中的 provisioner 字段注明 provisioner 名字即可需要监控 K8s 集群中 etcd server 中的 PVC 等数据需要实现 init, provision, delete 等接口 K8s 孵化项目, 社区实现了 NFS 等样例实现 16

17 K8s 存储的主要模块 Volume Manager(1/2) 运行在每个 Kubelet 上的核心模块用于协调 attach/detach controller,pv controller 和各个 Volume Plugin 最终实现将块设备从创建设备挂载到挂载到 K8s 上指定目录的过程 17

18 K8s 存储的主要模块 Volume Manager(1/2) K8s 挂载卷的基本过程用户创建 Pod 包含一个 PVC Pod 被分配到节点 NodeA Kubelet 等待 Volume Manager 准备设备 PV controller 调用相应 Volume Plugin(in-tree 或者 out-of-tree) 创建持久化卷并在系统中创建 PV 对象以及其与 PVC 的绑定 (Provision) Attach/Detach controller 或者 Volume Manager 通过 Volume Plugin 实现块设备挂载 (Attach) Volume Manager 等待设备挂载完成, 将卷挂载到节点指定目录 (mount) /var/lib/kubelet/plugins/kubernetes.io/aws-ebs/mounts/vol-xxxxxxxxxxxxxxxxx Kubelet 在被告知设备准备好后启动 Pod 中的容器, 利用 Docker v 等参数将已经挂载到本地的卷映射到容器中 (volume mapping) 18

19 K8s 存储的主要模块 Volume Plugin(1/2) Volume Plugin 的基本接口 : Init Provision Delete Attach Detach Provisioner Plugin Attachable Plugin Mount Unmount 19

20 K8s 存储的主要模块 Volume Plugin(2/2) 持久化存储 ( 网络 ) Google Persistent Disk AWS Elastic Block Store Azure File Storage Azure Data Disk iscsi Flocker NFS vshpere GlusterFS Ceph File and RBD Cinder Quobyte Volume FibreChannel VMWare Photon PD Portworx Dell EMC ScaleIO 临时存储 ( 本地 ) Empty Dir(tmpfs) K8s API Secret ConfigMap Downward API ProjectedVolume 其他 Flex Volume Host Path Local Persistent Storage 20

21 K8s 存储的社区开发 SIG-Storage Slack Channel: Mailing list: Sig-Storage Meeting: 每两周一次, 周四 16:00UTC 未来的主要方向 Resizing Replication Snapshot CSI 21

22 一个简单的例子在虚拟机中启动一个 all-in-one K8s 集群以及配置一个 NFS 服务器通过 NFS 暴露一个共享目录创建 PV,PVC 和 Pod, Pod 将挂载 NFS 所暴露的目录 22

23 谢谢大家 23

Kubernetes 中的存储邢舟 IBM 开放技术研究院

Kubernetes 中的存储邢舟 IBM 开放技术研究院 Kubernetes 中的存储邢舟 IBM 开放技术研究院 2017.11.26 Kubenetes 系列公开课每周四晚 8 点档 1. Kubernetes 初探 2. 上手 Kubernetes 3. Kubernetes 的资源调度 4. Kubernetes 的运行时 5. Kubernetes 的网络管理 6. Kubernetes 的存储管理 7. Kubernetes 的日志与监控