KVM 虚拟化 :QorIQ 平台上利用 I/O 虚拟化实现 VNFS FTF-NET-N1844 BHARAT BHUSHAN 首席主管工程师 DIANA CRĂCIUN 软件工程师 XIN-XIN YANG 软件研发总监 2016 年 9 月
软件产品和服务 开发工具 运行时态产品 CodeWarrior VortiQa 软件解决方案 加快客户产品上市时间 解决方案参考 物联网网关 OpenWRT+ 集成服务 安全咨询 强化 Linux 交付商用软件 支持 服务和解决方案 简化与恩智浦的软件合作 Linux 服务 商业支持 性能调整 1 请在线访问 :www.nxp.com/networking-services 创造成功!
议程 虚拟化概述 I/O 虚拟化 直接分配 VirtIO 结论 2 2
虚拟化概述 3
NFV 和 VNF VNF1 访客操作系统 用户空间内核 VNF2 访客操作系统 用户空间内核 VNF3 访客操作系统 用户空间内核 虚拟网络基础架构 ( 虚拟交换机 服务链 ) KVM Docker Ceph 管理和调度 主机操作系统 ( 标准 Linux 发行版 ) 虚拟化 内存 CPU IOMMU 硬件 I/O 设备 加速器 4
恩智浦虚拟化解决方案 KVM 操作系统虚拟化 Linux Hypervisor 资源虚拟化 / 超额申请 开源 采用 Qemu 用户空间仿真 轻量级开销 Linux 中的隔离和资源控制 减小隔离性 ( 内核共享 ) VM 应用应用 VM 应用 应用 容器 A 容器 B 容器 C 应用 应用 操作系统 操作系统 应用 应用 应用 应用 应用 应用 LXC Linux KVM Linux LXC Docker Docker 多核硬件 多核硬件 5
KVM/QEMU KVM/QEMU 基于 Linux 内核的开源虚拟化技术 KVM 是一个 Linux 内核模块 虚拟机 1 虚拟机 2 QEMU 应用 QEMU 应用 QEMU 是一个使用 KVM 进行加速的用户空间仿真器 应用 操作系统 操作系统 同时运行虚拟机和 Linux 应用程序 Linux KVM 操作系统无需更改或仅需小幅更改 多核硬件 虚拟 I/O 功能 直接 / 直通 I/O 为 VM 分配 I/O 设备 6
Linux 容器 操作系统级虚拟化 / 进程级虚拟化 主机和访客单一内核, 虚拟化用户空间 操作系统隔离 容器 1 容器 2 以低开销 轻量级和安全的方式将 Linux 应用程序划分在不同的域中 根据每个域进行资源利用控制 CPU 内存 I/O 带宽 应用 应用 应用 多资源情况 命名空间 Linux 进程 进程树 网络 网络堆栈 (netdev socket families FDB) 多核硬件 基于包括内核组件 (cgroup 命名空间 ) 在内的技术和用户空间工具 (LXC libvirt Docker) 的集合 7
I/O 虚拟化 8
虚拟环境中的设备使用 直接访问 最快的本机性能 硬件直接访问 硬件支持 硬件分区 一个硬件模块 全仿真 Hypervisor 中的驱动程序 Hypervisor 中的仿真 访客 OS 中的未修改驱动程序 准虚拟化 Hypervisor 中的驱动程序 访客 OS 中的已修改驱动程序 操作系统 驱动程序 操作系统 操作系统 驱动程序 操作系统 驱动程序 操作系统 驱动程序 操作系统 驱动程序 操作系统 定制驱动程序 操作系统 定制驱动程序 仿真 Hypervisor Hypervisor 驱动程序 驱动程序 I/O I/O I/O I/O I/O 硬件 / 软件存取 超级调用 陷阱 9
KVM/Linux 中的设备使用 VM 访客操作系统 设备驱动程序 VM 访客操作系统 Virtio 前端 用户空间 MMIO QEMU DMA 用户空间 QEMU Virtio 后端 内核 KVM VFIO 内核 KVM 硬件 MMU I/O 设备 IOMMU IRQ 硬件 I/O 设备 VFIO( 简化视图 ) Virtio( 简化视图 ) 10
容器中的设备使用 主机 C1 C2 Netns 1 Netns 2 eth ni veth vlan macvlan 桥 Netdev 通用 iface DPNI DPMAC DPMUX 驱动程序 每个容器 ( 用户空间实例 ) 具有一个网络命名空间 多个容器可共享相同网络命名空间 每个 netdev 属于一个网络命名空间 netdev 可以是 : 物理 : 具有关联的硬件设备或抽象 虚拟 : 完全是软件 (veth vlan 桥等) 虚拟 netdev 开销较低 差异源于技术细节 桥 : 内核切换 MACVLAN:MAC 级 VLAN VETH:IP 级软件对 混合和匹配 11
直接分配 12
VFIO 简介 VFIO( 虚拟功能 IO) Linux 用户空间驱动程序基础架构 强化 IOMMU 保护 VFIO 提供 设备使用权限 (mmap() 设备 MMIO 区域 ) IOMMU 编程接口 高性能中断支持 总线支持 PCI 平台设备 LS2 MC 总线 用户空间 内核 硬件 QEMU VM I/O 设备驱动程序 QEMU VFIO KVM VFIO VM 内存 IOMMU I/O 设备 (PCI 平台 LS2-MC 总线 ) MMIO IRQ DMA 控制 13
PCI 设备直接分配到 VM VM QEMU 用户空间 PCI 设备驱动程序 PCI 总线驱动程序 QEMU VFIO (PCI 仿真 ) MMIO IRQ DMA 控制 KVM VFIO PCI 内核 硬件 VF VF VF ( 虚拟功能 ) VM 内存 PCI-SRIOV SMMU PF ( 物理功能 ) 14
DPAA2 可实现安全的直接分配 Management Complex(MC) 针对通过 MC 将资源分配至各种软件环境进行了优化 Linux MC 总线 资源管理工具 DPAA 2 ICID ICID ICID GPP MMU PID PIDPID 用户空间的 IOMMU 转换和保护 (DPDK 和 QEMU) ICID (StreamID) Q/BMan 授权 ICID ICID ICID 内存 MC 总线与 VFIO 集成 设备复位 ICID ICID ICID IOMMU DPAA 通过授权表确保安全 ACC ICID ICID ICID 15
DPAA2 设备直接分配到 VM VM QEMU Eth 驱动程序 DPAA2 DPAA2 加密驱动程序 FSL MC 总线驱动程序 QEMU VFIO (FSL MC 仿真 ) MMIO IRQ DMA 控制 用户空间 KVM VFIO FSL-MC 内核 硬件 VM 内存 SMMU LS2-MC (DPAA2.0) 16
DPAA2 设备直通至 VM 中的 DPDK VM DPDK QEMU DPDK 应用 用户空间 DPAA 驱动程序 VFIO FSL-MC FSL MC 总线驱动程序 用户空间 内核 QEMU VFIO (FSL MC 仿真 ) MMIO IRQ DMA 控制 KVM VFIO FSL-MC 内核 硬件 VM 内存 SMMU LS2-MC (DPAA2.0) 17
平台设备直接分配 QEMU VM I/O 设备驱动程序 QEMU VFIO 用户空间 MMIO IRQ DMA 控制 KVM VFIO 内核 硬件 VM 内存 IOMMU I/O 设备 18
VIRTIO 详情 19
虚拟 I/O 设备 Virtio 系列设备 在虚拟环境中找到 其设计看起来像物理设备 使用访客操作系统标准驱动程序和发现机制 由 OASIS 技术委员会定义的规格 virtiopci virtioscsi virtio 传输 virtioconsole virtioblk virtionet virtio 后端驱动程序 访客 主机 Virtio 规格用途 简单 - 采用中断和 DMA 的常规总线机制 高效 使用输入和输出的描述符环, 以避免缓存效应 标准 - 对支持 MMIO 通道 I/O 或 PCI 总线传输外的访客操作系统环境不作假设 可扩展 - 设备包含由访客操作系统确定的功能位 Virtio 设备设施 设备状态字段 功能位 设备配置空间 一个或多个 virtqueue 20
Virtio-net: 用户空间中的 Vhost 后端 VM 网络应用 网络堆栈 virtio-net 驱动程序 用户空间 内核 vhost-user 应用 DPDK/ODP vhost-user DPAA 驱动程序 主机用户空间 主机内核空间 VFIO KVM 硬件 DPAA 21
Virtio-net:DPDK-OVS 后端 VM 网络应用 IF OVS IF 用户空间 DPDK/ODP 网络堆栈 内核 vhost-user DPAA 驱动程序 virtio-net 驱动程序 主机用户空间 主机内核空间 VFIO KVM 硬件 DPAA 驱动程序 22
Virtio-net: 使用 virtio-net 的访客中的 DPDK VM DPDK 网络应用 IF OVS IF virtio-net 驱动程序 用户空间 内核 vhost-user DPDK/ODP DPAA 驱动程序 主机用户空间 主机内核空间 VFIO KVM 硬件 DPAA 驱动程序 23
Virtio-block 数据面 VM QEMU VFS 前端驱动程序 IO 线程 1 IO 线程 2 主机用户空间 libaio 主机内核空间 块层 硬件 块设备 1 块设备 2 24
结论 25
结论 I/O 虚拟化解决方案中的效率 性能和灵活性是网络功能虚拟化的重要元素 KVM 提供 VirtIO 和直接分配, 能够让 NFV 系统设计人员选择最适合其应用的解决方案 26
版权声明 恩智浦 恩智浦徽标 恩智浦 智慧生活, 安全连结 CoolFlux EMBRACE GREENCHIP HITAG I2C BUS ICODE JCOP LIFE VIBES MIFARE MIFARE Classic MIFARE DESFire MIFARE Plus MIFARE FleX MANTIS MIFARE ULTRALIGHT MIFARE4MOBILE MIGLO NTAG ROADLINK SMARTLX SMARTMX STARPLUG TOPFET TrenchMOS UCODE 飞思卡尔 飞思卡尔徽标 AltiVec C 5 CodeTEST CodeWarrior ColdFire ColdFire+ C Ware 高能效解决方案徽标 Kinetis Layerscape MagniV mobilegt PEG PowerQUICC Processor Expert QorIQ QorIQ Qonverge Ready Play SafeAssure SafeAssure 徽标 StarCore Symphony VortiQa Vybrid Airfast BeeKit BeeStack CoreNet Flexis MXC Platform in a Package QUICC Engine SMARTMOS Tower TurboLink 和 UMEMS 是 NXP B.V. 的商标 所有其他产品或服务名称均为其各自所有者的财产 ARM AMBA ARM Powered Artisan Cortex Jazelle Keil SecurCore Thumb TrustZone 和 μvision 是 ARM Limited( 或其子公司 ) 在欧盟和 / 或其他地区的注册商标 ARM7 ARM9 ARM11 big.little CoreLink CoreSight DesignStart Mali mbed NEON POP Sensinode Socrates ULINK 和 Versatile 是 ARM Limited( 或其子公司 ) 在欧盟和 / 或其他地区的商标 保留所有权利 Oracle 和 Java 是 Oracle 和 / 或其关联公司的注册商标 Power Architecture 和 Power.org 文字标记 Power 和 Power.org 徽标及相关标记是 Power.org 的授权商标和服务标记 2015 2016 NXP B.V. 28