白皮书-容器微服务6-12-1

Size: px

Start display at page:

Download "白皮书-容器微服务6-12-1"

饱甄
5 years ago
Views:

1 白皮书 Cloud Native NFV 容器微服务探索运营商网络 Cloud Native 转型之路基于容器技术支持 NFV 应用微服务化的可行性验证案例简介以容器技术和微服务为基础的 Cloud Native 架构与旨在实现网络功能及服务便捷部署编排的 NFV 网络功能虚拟化技术分别是近年来云计算和通信领域备受关注的技术新星随着电信运营商网络转型的加速两者也开始呈现交汇和融合之势其背后的驱动力则是运营商在网络云化进程中对更先进易用和灵活的云计算技术的需求他们希望利用这样的技术来支撑通信网络云化与 NFV 等技术结合来实现更快的业务上线速度细致的故障探测和隔离自动恢复以及更为灵活的应用开发升级部署和维护等优势为帮助运营商探索其通信网络 Cloud Native 转型之路初步探明相关技术方案的可行性和适用性英特尔公司近期推进了基于容器技术支持 NFV 应用微服务化的研究项目目录并在中国移动通信研究院进行了测试作为中国通信行业发展演进过程中的忠实合作案例简介伙伴本地运营商网络转型的积极推动者和核心技术提供者英特尔不仅为该项目提探索目标定位挑战解决方案阶段性成果未来展望供了支撑和运行微服务化 NFV 应用的容器方案还支持通信行业的战略合作伙伴中兴通讯股份有限公司下文简称中兴通讯开发了 Cloud Native 的 vepc 应用用于该方案的测试验证截止目前这个横跨多方的协作创新项目已初有斩获有多项关键技术挑战或难点被精准定位与之相对应的解决方案也已完成了初步构建正被分享至开源社区将借助社区的力量走向完善并为更多拥有类似需求也面临相似问题的业界人士提供参考

2 探索目标定位挑战 Cloud Native 架构被运营商关注离不开它在云计算领域内在目前阶段这一旨在探索 Cloud Native 助力通信网络转型可越来越强的影响力作为其核心架构思路的微服务具备粒度行性的项目更多聚焦在概念验证 Proof of Concept 集更小更为独立和自治的特点能够在应用与底层平台间实现中在发现和定位挑战以及提供解决方案以验证其可行性的目更为彻底的解耦且在出现故障时对应用和整个平台的影响更标上其实对信息技术和通信技术产业界来说不论是运营商小作为其载体的容器技术得益于轻量化的特点是目前最还是技术提供商在这一全新课题上的研究基本还都处于探索适用于微服务的承载者也能提供比传统虚拟化技术更灵活阶段因此能够精确定位其技术挑战和难点所在并围绕它们更易于部署和管理的优势提供解决方案和优化建议对整个运营商领域的网络转型大计将微服务与容器技术合为一体同时还融入 DevOps 和持续和初衷都将有非常重要的参考和指导意义交付等先进应用思想的 Cloud Native 就意味着应用的高围绕这一阶段的目标英特尔与中国移动通信研究院以及中聚合低耦合也意味着一种全新的为云而生的产品开兴通讯基于运营商通信网络高吞吐量低时延承载业务广泛发和运营的架构或模式它可被部署于容器和虚拟机的混合环等特点精确定位了通过容器技术支撑微服务化 NFV 应用时境中无须中断业务即可加速应用研发和运营的迭代对于正必将面对也必须要解决的四项挑战它们包括致力通过网络转型打造一张资源更易管理和调度兼容性更强架构上也更具弹性的网络并希望在其上实现更高效的应用开发部署和运营的运营商而言其吸引力自不待言本次研究的目标如图 1 所示就是为了验证 Cloud Native 是否具备支持运营商网络转型的潜能包括考察能否用它容器网络性能不足 : 默认设置状态下的容器网络采用 veth 其性能比较低无法满足未来通信网络对性能的需求承载 NFV 应用摸索实现 NFV 应用的微服务化过程中都会需要为共存的多个网络平面提供多接口支持遇到哪些技术层面的挑战和难题以及如何克服这些挑战基于此前利用虚拟化技术支持 NFV 应用的经验运行在容才能充分利用到其上述优势来实现器上的 VNF 的管理面控制面及数据面也需要在不同的独 1. 相比传统虚拟化技术更高的资源虚拟化和复用率借助容器技立子网上运行因此也需要为其提供多接口的支持容器编排器不支持 EPA : 术在相同的硬件资源下达到更高的可部署数量 2. 通过微服务架构达成应用程序和底层硬件间更充分的解耦来促现有的容器编排器不支持增强型平台感知 Enhanced Platform Awareness EPA 的功能在集群中无法获知进上层网元服务的重构 3. 利用容器初始化比虚拟机初始化更为迅速的特点来显著缩短服及利用到其他节点所具备的硬件加速功能开发基于微服务架构的 VNF 并为其提供加速务上线的时间并提高应用的维护和部署效率运行在容器上的网络功能或服务需采用微服务架构进行重 A B C D E Manager Data/Storage 构才能利用容器技术在管理部署和交付上灵活和便捷的优势同时重构的网络功能或服务也需要加速以进一步优化性能表现 Host OS Server Packet kubernetes Hubs Networking Physical Ship lication Machine Machine A B C D E F Manager Manager Guest OS Guest OS Hypervisor Run 解决方案针对上述技术挑战三方携手共同推进了相关解决方案和优化方法的初步开发工作这些工作涉及到以下四个方向 Host OS Server Security 图1 Cloud 1 借助数据平面开发套件 DPDK 加速容器网络连接

3 容器默认只支持 Linux 内核的 veth 作为网络设备数据转发效率低所以如何使用数据平面开发套件 DPDK 来加速容器网络就成为了本次研究项目的重点攻关方向之一 2 基于 Multus 技术加速容器平台层电信网元的运行依赖于多个独立的网络平面如管理控制数据平面等每个网络平面处于一个独立的子网上即一个 VNF 上需提供多个网络接口但是 Kubernetes 的 pod 只能 User Space 提供一个网络接口无法满足电信网元对于多网络平面的要求英特尔为 Kubernetes 的 CNI 网络接口开发的 Multus 插件 DPDK 可以在一个 pod 中提供多个网络接口 Multus 具有管理不同 Virtio Interface Other Interfaces IP 地址和网络的功能, 负责容器运行时和其他插件的联系通 Virtio-user Adapter Vhost Virtio + Vswitch /Vrouter 过调用 flannel 或 calico 等其他插件来完成实际的网络配置任务 Multus 重用了在 flannel 中调用代理的概念将多个接口组合到代理中并根据容器网络接口配置中的 JSON 模式, DPDK Tap Vhost.ko 来按照先后顺序彼此调用英特尔基于Multus为容器平台提供的多接口支持如图4所示 Kernel Space Network Interface Card eth0 interface MASTER PLUGIN 图2 速容器网络连接的解决方案可实现容器对 Virtio DPDK net0 interface eth0 interface 英特尔利用聚合模型提出了采用 Virtio-user 的方式来加 net1 interface 的驱动支持 Virtio-user 本身是一个虚拟设备无需修改 Vhost-user 后台就能够提供高性能的用户空间容器网络连接或进程间通信使用 Virtio-user 加速容器网络连接的示意 Source:Inspired from Vishnu kannan K8s Technical Deep Dive presentation 图如图 2 所示图 3 展示了 Native 网络性能与 DPDK 提供的 Virtio 和 SR-IOV 性能加速的对比 1 图4 3 基于英特尔架构的节点特征感知实现容器与硬件平台的属性或特性之间的合理匹配是提升整个部署的网络性能的关键目前的容器编排器不支持增强型平台感知 Enhanced Platform Awareness EPA 功能在集群中无法获知其它节点所具备的硬件功能无法从编排上为容器化 VNF 提供硬件加速功能如图 5 所示针对这一难题英特尔在 Kubernetes 中通过节 64B 512B 256B SR-IOV Native Linux 图3 1024B virtio 点功能发现 Node Feature Discovery NFD 软件提供了相对应的解决方案

4 4 基于微服务架构的中兴通讯 vepc Kubernetes Master Node-Feature-Discovery Replication Controller 传统的非软件定义的网络功能或服务多都采用自有封闭的 Devstack API Server 架构通过硬件和软件紧密耦合的网络设备来实现其功能扩展性较差以致运营商的新业务开发和部署周期较长运营成本也较高针对本次项目对容器技术 + 微服务架构网络功能进 Service 行探索及验证的需求英特尔支持中兴通讯开发了基于微服务架构的 Cloud Native vepc 应用方案如图 7 所示该方案 Tag-1 Tag-2 Tag-2 kube-proxy Kubelet 耦合的思路进行设计各个微服务之间通过 API 或者统一的消息总线进行通信微服务组件采用无状态设计用户的接入 kube-proxy Kubelet Node 采用微服务作为基本粒度来构建整个应用基于高内聚低 Tag-3 和会话信息统一存放在数据共享层分布在不同位置的各个微 Node 服务实例都可以通过该数据共享层获取用户的最新状态得益图5 于 Cloud Native 的设计某个微服务实例的异常不会影响如图 6 所示该软件能检测一个 Kubernetes 集群中每一个节应用的对外呈现从而规避了对用户体验的影响保障了系统点的硬件功能并使用节点标签将这些功能公布出去的高可靠性 NODE 1 ADVANCED NETWORKING SCHEDULING MULTUS-CNI KUBELET SRIOV-CNI KUBE-PROXY DOCKER K8s MASTER K8s MASTER apiversion:v1 kind: metadata: name:nginx API-SERVERNODE 1 NODE 2 NODE 3 SCHEDULER nodeselector SRIOV-NIC:true SRIOV-CNI:true MULTUS-CNI:true CONTROLLER MANAGER DISCOVERY SRIOV-NIC NODE 2 etcd sepc: containers: -name:nginx image:nginx KUBELET etcd KUBE-PROXY DISCOVERY DOCKER NODE 1 NODE 2 NODE 3 NODE 3 MULTUS-CNI KUBELET KUBE-PROXY DOCKER SRIOV-CNI DISCOVERY SRIOV-NIC NODE FEATURE DISCOVERY 图6 Operator Developer 3rd MME Public Publice Service Video RMS SMS UHD MME-ACP MME-CMP GW-C GW-U... Bear Database Management Interface DPI IPSec MySQL RM SCTP DPI vrouter CDB O&M Diameter... Orchestration VNF Service Voice CDB MS SCTP MS Diameter MS MME-ACP MS MME-CMP MS SAEGW GW-C MS GW-U MS 图7

5 为了进一步增强该 vepc 方案的性能表现英特尔还提供了基验证了容器化的 NFV 应用可在开放的平台上运行同时于 SR-IOV 的加速支持在不支持 SR-IOV 的 PCI 设备中数见证了利用容器技术支持 NFV 应用微服务化的可行性及据包需要通过虚拟管理程序和虚拟交换层 M 来到达客应用潜能包括解决了此前容器技术网络性能差网络户机接口使得数据吞吐量存在瓶颈效应无法达到网卡的有平面单一的问题使之更符合网元对网络资源的需求充效带宽 SR-IOV 则引入了物理功能 PF 是全功能 PCIe 功能分发挥了 Cloud Native 的优势使通信网络内的功能具和虚拟功能 VF 是缺少配置资源的轻量级功能来实现备了 IT 应用的特质并兼顾了 CT 应用高性能高可靠 Pass through 功能在 PCI 配置空间中这些 VF/PF 都具有的特性自己的基本地址寄存器 BAR 的配置空间如图 8 所示它们配合英特尔 VT-x 和英特尔 VT-d 技术提供的内存转换精准定位技术挑战将解决方案开源与行业共同进步方案带来的硬件辅助功能允许 DMA 操作能消除虚拟机该项目通过多方协作对利用容器技术支持 NFV 微服务管理程序和虚拟交换层的开销进而加速数据处理速率并提高化过程中的数项关键技术挑战或难点实现了精准定位针吞吐性能对这些难题的分析以及初步的解决方案和优化方法的开发也有助于为通信行业内的其他用户提供参考或借鉴 VF Diver NIC NIC VF Diver 让他们在遇到类似问题时能迅速找到适用的方案为进一步强化这种行业支持和共赢效应三方正致力于将相关的解决方案成果反馈给 OPNFV 开源社区未来展望 Machine Manager Switch (M) PF Diver Inter VT-d 英特尔与业界同仁对 Cloud Native 与 NFV 技术融合的携手探索有望为运营商的网络转型为通信行业内 CT 与 IT 的融合特别是通信网络云化探明一条全新的实现路径从而为其增添更为多样和灵活的选择集容器技术和微服务优势 PCI Express Function Function Physical Function BARs BARs BARs 于一身的 Cloud Native 概念也将经此充分展现其在网络转型中的一系列应用价值特别是它对网络架构中网元微服务化改造的支持可让运营商用户大大加速对原有软件架构的优化这对 NFV 业务的可扩展性可用性及其开发部署和运营的效率来说都大有裨益 Ethnet and Classifier 立足于当下移动通信数据应用大爆发运营商网络连接和服务图8 范围即将从手机和平板等个人信息终端进一步拓展到汽车 VR/AR 和物联网设备等全新领域的形势电信运营商将持续加大在新技术研发和应用上的投入 Cloud Native 概念为网阶段性成果历经了对概念验证阶段四项主要技术挑战的发现以及对相应四个解决方案的开发和验证英特尔在中国移动通信研究院支持下推进的容器技术 + 微服务化 NFV 应用的研究项目已取得了一些重要的阶段性成果主要包括验证了基于容器技术的 NFV 平台的可行性及应用潜能络的架构优化应用和服务的开发及迭代基础设施的虚拟化等多方面提供的潜在发展和创新空间势必将吸引更多的目光和投入英特尔与运营商用户和通信产业合作伙伴也将围绕 Cloud Native 针对容器技术微服务架构与 NFV 应用的进一步融合开展更为深入的研究和探索并将同时向开源社区持续贡献研究成果以推动相关解决方案的发展和完善打造更为完整的应用生态

6 1 数据来源找到适合于您公司的解决方案请与您的英特尔代表联系或访问英特尔intel.cn 本文中提供的所有信息可在不通知的情况下随时发生变更请联系您的英特尔代表获得最新的预测计划规格和路线图英特尔技术特性和优势取决于系统配置并可能需要支持的硬件软件或服务得以激活产品性能会基于系统配置有所变化没有计算机系统是绝对安全的请与您的设备制造商或零售商核对信息更多信息请联系 2017英特尔公司版权所有所有权保留英特尔英特尔标识是英特尔公司在美国和或其他国家的商标

实践课堂成都站-0609.key

实践课堂成都站-0609.key 青云 QingCloud 容器器及 Kubernetes 实践王渊命青云 QingCloud 容器器平台负责人当我们谈论容器器时我们在谈论什什么? 容器器的两个视角资源隔离应用封装容器器生态圈现状容器器技术一家独大百花齐放 Docker, Rocket, Mesos Universal container, LXC, Hyper Container 调度系统三足鼎立