常见问题

Size: px

Start display at page:

Download "常见问题"

伎陨戎
4 years ago
Views:

1 云容器实例常见问题文档版本 01 发布日期华为技术有限公司

2 版权所有华为技术有限公司 2019 保留一切权利非经本公司书面许可, 任何单位和个人不得擅自摘抄复制本文档内容的部分或全部, 并不得以任何形式传播商标声明和其他华为商标均为华为技术有限公司的商标本文档提及的其他所有商标或注册商标, 由各自的所有人拥有注意您购买的产品服务或特性等应受华为公司商业合同和条款的约束, 本文档中描述的全部或部分产品服务或特性可能不在您的购买或使用范围之内除非合同另有约定, 华为公司对本文档内容不做任何明示或默示的声明或保证由于产品版本升级或其他原因, 本文档内容会不定期进行更新除非另有约定, 本文档仅作为使用指导, 本文档中的所有陈述信息和建议不构成任何明示或暗示的担保文档版本 01 ( ) 版权所有华为技术有限公司 i

3 目录目录 1 基本概念类什么是云容器实例? 云容器实例和云容器引擎有什么区别? 什么是环境变量? 什么是服务? 什么是 mcore? 镜像容器工作负载的关系是什么? 什么是安全容器? 能否使用 kubectl 管理容器实例? 工作负载异常定位思路事件一 : 重新拉取镜像失败事件二 : 重新启动容器失败容器工作负载类如何设置实例 (Pod) 数? 如何设置应用的探针? 弹性伸缩策略如何配置? 使用 sample 镜像创建工作负载无法运行调用接口删除 Deployment 后怎么还能查看到 Pod? 为什么 exec 进入容器后执行 GPU 相关的操作报错? 镜像仓库类公有镜像是否可以导出? 如何制作 Docker 镜像? 如何上传镜像? CCI 是否提供基础容器镜像的下载服务? CCI Administrator 有上传镜像包的权限吗? CCI 上传镜像时提示需要认证怎么办? 网络管理类如何查看虚拟私有云 VPC 的网段? CCI 是否支持负载均衡? CCI 如何配置 DNS 服务? CCI 是否支持高速 IB(Infiniband) 网络?...17 文档版本 01 ( ) 版权所有华为技术有限公司 ii

4 目录 5.5 如何从公网访问容器? 如何从容器访问公网? 如何处理公网无法访问负载? 负载访问 504 问题定位思路存储管理类 CCI 支持的云存储有哪些, 哪种存储需要设置备份? 如何使用云存储? 如果不挂载云存储的话, 容器运行产生的数据存储在哪里? job 的 pod 已经执行完成的情况下, 为什么依然有实例在挂卷等事件, 并且事件信息是失败的? 文档版本 01 ( ) 版权所有华为技术有限公司 iii

5 1 基本概念类 1 基本概念类 1.1 什么是云容器实例? 云容器实例 (Cloud Container Instance, CCI) 服务提供 Serverless Container( 无服务器容器 ) 引擎, 让您无需创建和管理服务器集群即可直接运行容器 Serverless 是一种架构理念, 是指不用创建和管理服务器不用担心服务器的运行状态 ( 服务器是否在工作等 ), 只需动态申请应用需要的资源, 把服务器留给专门的维护人员管理和维护, 进而专注于应用开发, 提升应用开发效率节约企业 IT 成本传统上使用 Kubernetes 运行容器, 首先需要创建运行容器的 Kubernetes 服务器集群, 然后再创建容器负载云容器实例的 Serverless Container 就是从使用角度, 无需创建管理 Kubernetes 集群, 也就是从使用的角度看不见服务器 (Serverless), 直接通过控制台 kubectl Kubernetes API 创建和使用容器负载, 且只需为容器所使用的资源付费云容器实例有如下功能 : 自动化持续交付一键运行 DevOps 的 CI 流程生成的容器镜像, 保障 CI/CD 流程全自动化应用运行时全托管提供无状态工作负载的运行时托管, 保障应用稳定运行极速弹性扩缩容支持用户自定义弹性伸缩策略, 且能在 1 秒内实现弹性扩缩容应用高可用保障支持多实例同时对外提供服务, 保障用户业务高可靠, 并提供全局负载均衡能力应用容器状态监控提供容器健康状态检查和容器的运行时指标实时监控数据持久化存储支持挂载网络存储卷, 保障业务数据持久化存储 1.2 云容器实例和云容器引擎有什么区别? 华为云提供高性能高可用高安全的企业级容器服务, 通过 CNCF 官方认证的两种 Kubernetes 服务供用户选择, 包括云容器引擎 (CCE) 与云容器实例 (CCI) 文档版本 01 ( ) 版权所有华为技术有限公司 1

6 1 基本概念类云容器引擎 (Cloud Container Engine, 简称 CCE) 提供高度可扩展的高性能的企业级 Kubernetes 集群, 支持运行 Docker 容器, 提供了 Kubernetes 集群管理容器应用全生命周期管理应用服务网格 Helm 应用模板插件管理应用调度监控与运维等容器全栈能力, 为您提供一站式容器平台服务借助云容器引擎, 您可以在华为云上轻松部署管理和扩展容器化应用程序云容器实例 (Cloud Container Instance, 简称 CCI) 服务提供 Serverless Container( 无服务器容器 ) 引擎, 让您无需创建和管理服务器集群即可直接运行容器通过 CCI 您只需要管理运行在 Kubernetes 上的容器化业务, 无需管理集群和服务器即可在 CCI 上快速创建和运行容器负载, 使容器应用零运维, 使企业聚焦业务核心, 为企业提供了 Serverless 化全新一代的体验和选择 1.3 什么是环境变量? 环境变量是指容器运行环境中设定的一个变量, 您可以在创建容器时设定不超过 30 个的环境变量环境变量可以在工作负载部署后修改, 为工作负载提供了极大的灵活性在 CCI 中设置环境变量与 Dockerfile 中的 ENV 效果相同 1.4 什么是服务? 服务定义了实例及访问实例的途径, 如单个稳定的 IP 地址和相应的 DNS 名称为了解决组件间的通信问题,CCI 使用服务名称代替 IP 地址, 从而实现组件间的相互访问在创建工作负载时会指定服务名称 1.5 什么是 mcore? mcore 是 CPU 使用单位, 为千分之一个核通常容器工作负载的 CPU 用量以 mcore 为单位衡量 1.6 镜像容器工作负载的关系是什么? 镜像 :Docker 镜像是一个特殊的文件系统, 除了提供容器运行时所需的程序库资源配置等文件外, 还包含了一些为运行时准备的配置参数 ( 如匿名卷环境变量用户等 ) 镜像不包含任何动态数据, 其内容在构建之后也不会被改变容器 : 镜像 (Image) 和容器 (Container) 的关系, 就像是面向对象程序设计中的类和实例一样, 镜像是静态的定义, 容器是镜像运行时的实体容器可以被创建启动停止删除暂停等镜像容器工作负载之间的关系请参见下图文档版本 01 ( ) 版权所有华为技术有限公司 2

8 1 基本概念类 1.7 什么是安全容器? 安全容器这个概念主要与 Docker 普通容器进行比较的和 Docker 普通容器相比, 它最主要的区别是每个容器 ( 准确地说是 pod) 都运行在一个单独的微型虚拟机中, 拥有独立的操作系统内核, 以及虚拟化层的安全隔离因为云容器实例采用的是共享多租集群, 因此容器的安全隔离比用户独立拥有私有 Kubernetes 集群有更严格的要求通过安全容器, 不同租户之间的容器之间, 内核计算资源存储和网络都是隔离开的保护了用户的资源和数据不被其他用户抢占和窃取 1.8 能否使用 kubectl 管理容器实例? 支持, 具体请参见文档版本 01 ( ) 版权所有华为技术有限公司 4

9 2 工作负载异常 2 工作负载异常 2.1 定位思路当工作负载状态异常时, 建议先查看事件在 CCI 控制台中, 单击左侧导航栏的工作负载, 单击异常工作负载名称, 进入详情页面, 在 Pod 列表中, 单击异常实例左边的下拉框, 显示该实例的详情, 单击事件页签图 2-1 查看事件 2.2 事件一 : 重新拉取镜像失败工作负载详情中, 若事件中提示重新拉取镜像失败, 请参照如下方式来排查原因排查项一 :kubectl 创建工作负载时未指定 imagepullsecret 以创建一个名为 nginx 的 deployment 为例, 请排查 yaml 文件中是否存在 imagepullsecrets 字段 ( 如下 yaml 示例中的标红字段 ), 表示 pull 镜像时的 secret 名称文档版本 01 ( ) 版权所有华为技术有限公司 5

10 2 工作负载异常需要使用容器镜像服务的镜像时, 参数值固定为 imagepull-secret apiversion: apps/v1 kind: Deployment metadata: name: nginx spec: replicas: 1 selector: matchlabels: app: nginx strategy: type: RollingUpdate template: metadata: labels: app: nginx spec: containers: - image: nginx:alpine imagepullpolicy: Always name: nginx imagepullsecrets: - name: imagepull-secret 排查项二 : 填写的镜像地址错误 CCI 支持拉取容器镜像服务中的镜像来创建工作负载容器镜像服务中的镜像需要使用镜像的模板地址, 上传镜像后, 您可以在容器镜像服务的镜像中获取, 如下图所示图 2-2 镜像地址排查项三 :IAM 用户没有镜像下载权限如果您开通了企业管理, 您需要在账号下的容器镜像服务中给 IAM 用户添加权限, IAM 用户才能使用账号下的私有镜像给 IAM 用户添加权限有如下两种方法 : 在镜像详情中为 IAM 用户添加授权, 授权完成后,IAM 用户享有读取 / 编辑 / 管理该镜像的权限, 具体请参见在镜像详情中添加授权在组织中为 IAM 用户添加授权, 使 IAM 用户对组织内所有镜像享有读取 / 编辑 / 管理的权限, 具体请参见在组织中添加授权文档版本 01 ( ) 版权所有华为技术有限公司 6

11 2 工作负载异常 2.3 事件二 : 重新启动容器失败工作负载详情中, 若事件中提示重新启动容器失败, 请按照如下方式来排查原因排查项一 : 查看端口是否冲突步骤 1 按照使用 kubectl 配置好 kubectl 步骤 2 步骤 3 在页面上单击失败的工作负载, 进入负载详情界面, 查看 Pod 列表, 获取 Pod 名字查看失败的容器的名称 kubectl describe pod $name -n $namespace grep "Error syncing pod failed to" 图 2-3 查看失败的容器的名称步骤 4 查看退出容器的错误日志 kubectl logs $podname -n $namespace -c $containername 此种问题有如下解决方法 : 重新创建工作负载, 并配置正确的端口, 确保端口不冲突 ---- 结束排查项二 : 用户自身业务 BUG 请检查工作负载启动命令是否正确执行, 或工作负载本身 bug 导致容器不断重启步骤 1 按照使用 kubectl 配置好 kubectl 步骤 2 步骤 3 在页面单击失败的工作负载, 进入负载详情界面, 查看 Pod 列表, 获取 Pod 名字查看失败的容器的名称 kubectl describe pod $name -n $namespace grep "Error syncing pod failed to" 文档版本 01 ( ) 版权所有华为技术有限公司 7

12 2 工作负载异常图 2-4 查看失败的容器的名称步骤 4 查看退出容器的错误日志 kubectl logs $podname -n $namespace -c $containername 根据日志提示修复工作负载本身的问题图 2-5 容器启动命令配置不正确此种问题的解决方案是 : 重新创建工作负载, 并配置正确的启动命令 ---- 结束排查项三 : 工作负载配置的健康检查执行失败其他定位方法工作负载若配置 liveness 型 ( 工作负载存活探针 ) 健康检查, 当健康检查失败次数超过阈值时, 会重启实例中的容器在工作负载详情页面查看事件, 若 K8S 事件中出现 Liveness probe failed: Get http 时, 表示健康检查失败请重新配置正确的健康检查策略负载异常有可能是容器中运行的应用启动异常, 这时可以通过手动执行启动命令, 根据错误提示进行问题定位和修复通常的做法如下 : 1. 配置工作负载的启动命令为 /bin/bash -c sleep 类型的命令, 这样 pod 启动后没有启动应用程序, 没有执行任何操作 2. Pod 启动成功后, 执行 kubectl exec 进入到 pod 中, 手动执行启动命令, 根据错误提示进行问题定位和修复文档版本 01 ( ) 版权所有华为技术有限公司 8

14 3 容器工作负载类图 3-2 手动伸缩图 3-3 调整实例数 3.2 如何设置应用的探针? 云容器实例基于 Kubernetes, 提供了应用存活探针和应用就绪探针, 您可以在创建工作负载的时候设置, 具体请参见健康检查 3.3 弹性伸缩策略如何配置? 云容器实例支持告警定时周期三种弹性伸缩策略具体配置方法请参见伸缩负载 3.4 使用 sample 镜像创建工作负载无法运行当您使用过容器镜像服务 (SWR) 但没有上传过镜像时, 容器镜像服务会为您预置一个名为 sample 的镜像, 该镜像无法运行, 建议您在直接使用 Docker 官方镜像创建负载文档版本 01 ( ) 版权所有华为技术有限公司 10

15 3 容器工作负载类 3.5 调用接口删除 Deployment 后怎么还能查看到 Pod? Deployment 接口提供级联删除 Pod 的选项 propagationpolicy, 可以设置 propagationpolicy 的值为 yes 或 no,yes 表示删除 Pod,no 表示不删除 Pod, 具体请参见删除 Deployment 3.6 为什么 exec 进入容器后执行 GPU 相关的操作报错? 问题现象 : exec 进入容器后执行 GPU 相关的操作 ( 例如 nvidia-smi 使用 tensorflow 运行 GPU 训练任务等 ) 报错 cannot open shared object file: No such file or directory 文档版本 01 ( ) 版权所有华为技术有限公司 11

16 3 容器工作负载类问题原因 : 安全容器内的 cuda 库位置为 /usr/local/nvidia/lib64, 您需要添加 /usr/local/nvidia/lib64 到 LD_LIBRARY_PATH, 才能正确地找到 cuda 库解决方法 : 使用 kubectl exec 或者前端 console 登录进入带 GPU 的容器时, 先执行命令 export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/local/nvidia/lib64, 然后再执行其他 GPU 相关的操作命令文档版本 01 ( ) 版权所有华为技术有限公司 12

17 4 镜像仓库类 4 镜像仓库类 4.1 公有镜像是否可以导出? 您无法导出或下载其他用户上传的镜像若需要下载 dockerhub 官方镜像, 请根据 docker 命令拉取镜像如需要拉取 nginx 镜像, 使用如下命令 : docker pull nginx 若需要下载您上传到容器镜像服务的镜像请执行如下操作 : a. 登录容器镜像服务控制台 b. 单击左侧导航栏的我的镜像, 单击需要下载的镜像, 进入详情页面 c. 选择 Pull/Push 指南页签, 根据界面提示的操作步骤, 使用 docker pull 命令下载镜像 4.2 如何制作 Docker 镜像? 背景信息操作步骤本节指导用户通过 Dockerfile 定制一个简单的 Web 工作负载程序的 Docker 镜像若使用官方的 Nginx 镜像来创建容器工作负载, 在浏览器访问时则会看到默认的 Nginx 欢迎页面, 本节以 Nginx 镜像为例, 修改 Nginx 镜像的欢迎页面, 定制一个新的镜像, 将欢迎页面改为 Hello, CCI! 步骤 1 步骤 2 以 root 用户登录 Docker 所在的虚拟机创建一个名为 Dockerfile 的文件 mkdir mynginx cd mynginx touch Dockerfile 文档版本 01 ( ) 版权所有华为技术有限公司 13

18 4 镜像仓库类步骤 3 编辑 Dockerfile vi Dockerfile 文件内容如下 : FROM nginx RUN echo '<h1>hello,cci!</h1>' > /usr/share/nginx/html/index.html 其中 : FROM 语句 : 表示使用 nginx 镜像作为基础 RUN 语句 : 表示执行 echo 命令, 在显示器中显示一段 Hello,CCI! 的文字步骤 4 构建 Docker 镜像 docker build -t nginx:v3. 步骤 5 执行以下命令, 可查看到已成功部署的 nginx 镜像, 版本为 v3 docker images ---- 结束 4.3 如何上传镜像? 镜像的管理是由容器镜像服务 (SoftWare Repository) 提供的, 当前容器镜像服务提供如下两种上传镜像的方法 : 客户端上传镜像页面上传镜像 4.4 CCI 是否提供基础容器镜像的下载服务? CCI 中的镜像仓库是由容器镜像服务 (SoftWare Repository) 提供, 容器镜像服务提供基础容器镜像的下载 4.5 CCI Administrator 有上传镜像包的权限吗? 当前在 CCI 中上传镜像使用的是华为云的 SWR 容器镜像服务您还需要为帐号添加 SWR Admin 权限 4.6 CCI 上传镜像时提示需要认证怎么办? 当前在 CCI 中上传镜像使用的是华为云的 SWR 容器镜像服务使用 SWR 上传镜像, 您需要先获取访问权限, 请参见下图若需了解上传镜像详细步骤, 请参见客户端上传镜像文档版本 01 ( ) 版权所有华为技术有限公司 14

20 5 网络管理类 5 网络管理类 5.1 如何查看虚拟私有云 VPC 的网段? 在虚拟私有云页面, 可查看虚拟私有云的名称 /ID 和 VPC 网段用户可以调整已创建的 VPC 或通过重新创建 VPC 调整网段图 5-1 查看 VPC 网段 5.2 CCI 是否支持负载均衡? CCI 支持负载均衡, 当前在 CCI 创建工作负载的访问设置页面中, 内网访问 ( 使用私网 ELB 访问 ) 和公网访问中的配置都是负载均衡方式通常所说的负载均衡一般指的是公网负载均衡,CCI 是对接华为云的负载均衡服务通过 CCI 创建工作负载时, 在设置访问设置的页面, 可以根据需要选择内网访问和外网访问, 然后配置负载均衡 1. 公网访问负载均衡, 请参见公网访问 2. 内网访问负载均衡, 请参见内网访问 5.3 CCI 如何配置 DNS 服务? 如果用户负载需要使用 k8s 内部域名解析, 则需要安装 coredns 插件此时 pod 的 dnspolicy 需要设置为 ClusterFirst 在插件市场界面可以单击, 将 coredns 插件安装在指定的 namesapce 下文档版本 01 ( ) 版权所有华为技术有限公司 16

21 5 网络管理类图 5-2 创建插件如果用户负载不需要 k8s 内部域名解析服务, 但是需要使用华为云域名解析服务, 此时 pod 的 dnspolicy 需要设置为 Default 除了以上两种配置方式用户还可以通过设置 dnspolicy 为 None 使用自定义 dns 服务 5.4 CCI 是否支持高速 IB(Infiniband) 网络? 仅 GPU 型命名空间支持 IB(InfiniBand, 无线带宽 ) 网络 InfiniBand 是一种用于高性能计算的计算机网络通信标准, 具有极高的吞吐量和极低的延迟, 使用 IB 网络能有效提升容器间的访问速度在创建 GPU 型命名空间时, 您可以设置 IB 网络 Pod 中只有一个容器能使用 IB 网络, 如果您的 Pod 中有个多个容器, 您可以在创建负载时通过开启 IB 网络这个开关选择哪个容器使用 IB 网络 5.5 如何从公网访问容器? 负载支持绑定 ELB, 用户可以在创建负载时添加外部访问方式, 并绑定 ELB 实例, 则可通过 ELB 的地址从外部访问容器负载具体操作请参见公网访问如果您使用 kubectl, 您也可以参见 Service 和 Ingress, 创建 Service 和 Ingress 对象, 绑定 ELB 文档版本 01 ( ) 版权所有华为技术有限公司 17

22 5 网络管理类 5.6 如何从容器访问公网? 您可以使用公有云平台提供的 NAT 网关服务该服务能够为虚拟私有云内的容器提供网络地址转换 (Network Address Translation) 服务, 使虚拟私有云内的容器可以共享使用弹性公网 IP 访问 Internet 通过 NAT 网关的 SNAT 功能, 可以直接访问 Internet, 提供超大并发数的连接服务, 适用于请求量大连接数多的服务详细信息请参见从容器中访问公网 5.7 如何处理公网无法访问负载? 1. 公网能正常访问的前提是负载已处于运行中状态, 如果您的负载处于未就绪或异常状态, 公网访问将无法正常使用 2. 从负载开始创建到公网可以正常访问可需要 1 分钟到 3 分钟的时间, 在此时间内网络路由尚未完成配置, 请稍作等待 3. 负载创建 3 分钟以后仍然无法访问在工作负载 -> 查看您创建的负载详情 -> 选择访问配置 -> 选择访问事件, 查看访问事件, 查看是否有告警事件如下两种情况为无法访问公网的事件 Listener port is repeated:elb 监听器端口重复, 是由于之前发布公网访问的负载, 删除之后立刻创建使用相同 ELB 端口的公网访问负载,ELB 实际删除端口需要一定的时间, 等待 5-10 分钟, 公网访问可正常使用 Create listener failed: 创建 ELB 监听器失败, 创建监听器失败的原因一般是超过配额限度, 请选择其他配额充足的 ELB 实例 4. 负载创建 3 分钟以后仍然无法访问, 且无告警事件, 可能原因是用户配置的容器端口实际上没有相应进程在监听, 目前云容器实例服务无法检测出该类使用异常, 需要您排查镜像是否有监听该容器端口如果容器端口监听正确, 此时无法访问的原因可能为 ELB 实例本身有问题, 请排查 ELB 实例状态 5.8 负载访问 504 问题定位思路负载访问 504 问题一般是因为 ELB 实例绑定的 Port 到后端 CCI 负载 Pod 的安全组没有放通查看 CCI 负载 Pod 使用的安全组, 确保安全组规则规则放通 ELB 实例绑定的 Port Pod 绑定的安全组可以通过查看负载对应 Network 获得, 调用帮助中心 > 云容器实例 >API 参考 >API>Network> 查询 Network 接口, 响应里面 metadata.annotations 中的 network.alpha.kubernetes.io/default-security-group 即为安全组 ID, 如下所示 { "kind": "Network", "apiversion": "networking.cci.io/v1beta1", "metadata": { "name": "namespace-test-dc1-default-network", "namespace": "namespace-test", "selflink": "/apis/networking.cci.io/v1beta1/namespaces/namespace-test/networks/namespacetest-dc1-default-network", "uid": "6fb85414-af6b-11e8-b6ef-f898ef6c78b4", "resourceversion": " ", "creationtimestamp": " T11:21:00Z", "annotations": { "network.alpha.kubernetes.io/project-id": "51bf52609f2a49c68bfda b376", "network.alpha.kubernetes.io/default-security-group": "19c5d024-aed b958- c0f65ce70855", "network.alpha.kubernetes.io/domain-id": "aadb43c0b14c4cafbccfff483d075987" }, 文档版本 01 ( ) 版权所有华为技术有限公司 18

23 5 网络管理类 } "enable": true }, "spec": { "cidr": " /23", "attachedvpc": "0d4080e5-546a-46c4-86fe-f3e26d685177", "networktype": "underlay_neutron", "physicalnetwork": "phy_net0", "networkid": "0022e356-f e-9cdaa6e7da17", "subnetid": "1ffd839d-e534-4fa8-a59d bf74", "availablezone": "cnnorth1a" }, "status": { "state": "Active" } 在安全的入方向规则中增加如下规则 UDP 类型的公网访问, 健康检查依赖 ICMP 规则, 请注意添加文档版本 01 ( ) 版权所有华为技术有限公司 19

24 6 存储管理类 6 存储管理类 6.1 CCI 支持的云存储有哪些, 哪种存储需要设置备份? 当前 CCI 支持使用如下几种云存储 : 云硬盘 (EVS) 文件存储 (SFS) 极速文件存储 (SFS Turbo) 对象存储 (OBS) 其中云硬盘存储需要人工配置备份策略, 详情请参见云硬盘备份管理 6.2 如何使用云存储? 如果您使用控制台界面创建, 请参见存储概述您还可以使用 kubectl 创建云存储, 具体请参见使用 PersistentVolumeClaim 申请持久化存储 6.3 如果不挂载云存储的话, 容器运行产生的数据存储在哪里? 如果没有挂载 EVS 等磁盘, 应用数据存储在容器的物理机磁盘, 每个 Pod 存储空间限制为 10G 6.4 job 的 pod 已经执行完成的情况下, 为什么依然有实例在挂卷等事件, 并且事件信息是失败的? 问题现象 : job 的 pod 已经执行完成的情况下, 依然有实例在挂卷等事件, 并且事件信息是失败的文档版本 01 ( ) 版权所有华为技术有限公司 20

25 6 存储管理类图 6-1 问题截图问题原因 : 各种类型的 POD(Deployment/StatefulSet/Job/CronJob) 在 Node 上启动时 : 由 kubelet 针对该 POD 创建 podworker( 独立协程 ) 负责检测 POD 与关联 volume 的挂载情况 : 每隔 0.3s 检测当前 POD 所需挂载的 volume 都已经挂载成功, 检测超时为 2min3s; 若检测周期中以及最终超时到达时 POD 关联 volume 都没有检测到挂载成功, 则上报事件 Unable to mount volumes for pod 由 kubelet 中 VolumeManager( 独立协程 ) 负责具体实施 POD 关联 volume 的挂载操作对于 long running 的 POD(Deployment/StatefulSet), 除了类似镜像拉取失败存储挂载失败容器网络分配失败当前节点 CPU/Mem 不满足 POD 的实际使用要求等异常场景外,POD 容器若最终都会启动成功时, 上述 podworker 在几次周期后都会判定挂载成功而对于短时运行的 POD(Job/CronJob), 由于容器中业务存在正常退出 ( 如问题场景的 GCS Demo job 只执行一些 echo 和 ls 命令, 总体耗时 1s 不到 ), 就存在短时 POD 运行退出时若刚好在两次 podwork 检测 volume 挂载周期中, 那么就会出现本问题单所述的误报, 但是不影响业务使用, 且实际的 Job 业务还是会运行超过上述时间的当前 kubelet 上述能力属于社区挂载框架既有能力解决方法 : 针对短时运行的 POD(Job/CronJob), 可能存在由于运行时间过短而误报卷挂载超时的情况, 若这类短时运行任务属于正常退出, 则该误报对业务没有影响可以忽略文档版本 01 ( ) 版权所有华为技术有限公司 21

实践课堂成都站-0609.key

实践课堂成都站-0609.key 青云 QingCloud 容器器及 Kubernetes 实践王渊命青云 QingCloud 容器器平台负责人当我们谈论容器器时我们在谈论什什么? 容器器的两个视角资源隔离应用封装容器器生态圈现状容器器技术一家独大百花齐放 Docker, Rocket, Mesos Universal container, LXC, Hyper Container 调度系统三足鼎立