基于 ODP 和 DPDK 的用户空间网络 FTF-NET-N1840 Pan Jiafei 2016 年 9 月 29 日
软件产品和服务 开发工具运行时产品 CodeWarrior VortiQa 软件解决方案 加快客户产品上市时间 解决方案参考 物联网网关 OpenWRT+ 集成服务 安全咨询 Linux 增强 提供商用软件 支持 服务和解决方案 简化与恩智浦的软件合作 Linux 服务 商业支持 性能调优 1 请在线访问 :www.nxp.com/networking-services 创造成功!
议程 用户空间网络 趋势 DPDK 和 ODP FD.IO 和开放式快速路径 (OFP) 恩智浦用户空间网络解决方案 2 2
用户空间网络 技术和 运用趋势 3
用户空间网络的关键开放式举措 DPDK ODP OFP fd.io 应用和服务 应用 / 数据路径 用户空间网络框架 / 中间件 数据路径卸载 ( 快速路径 ) 数据包处理框架 高速网络 I/O 加速 数据包 I/O 用户空间 内核 VFIO netmap 网络设备 用户空间网络允许网络 I/O 和数据包处理框架与应用程序共存, 因而可提高性能 灵活性和敏捷性 4
内核与用户空间应用程序 应用 系统调用堆栈 驱动程序 内存 数据复制数据描述符 用户空间 内核空间 应用 U/S 驱动程序 堆栈 系统调用 中断 VFIO 内存 数据描述符配置 用户空间 内核空间 中断 配置 中断 设备 用户空间应用程序的优势 灵活线程 / 处理模型 内存隔离 易于重启 资源管理更简单 标准化系统调用接口和库 授权自由 不一定是 GPL 内核驱动程序 ( 例如 etsec) 硬件 设备 硬件 用户空间驱动程序 ( 例如 USDPAA) 用户空间驱动程序可消除数据复制和配置的开销 在应用空间中映射整个设备内存可提供隔离性 5
传统用户空间产品 供应商专有 供应商 产品 平台 推出年份 Broadcom Hyper-Exec NetOS XLR XLP XLS 2004 Cavium Simple-exec US 应用层 Octeon 2005 2009 Freescale Lightweight-exec USDPAA QorIQ DPAA 2008 2009 LSI 运行时环境 Axxia 2010 英特尔 DPDK x86 2011 过去, 用户空间产品从同类裸机产品演变而来 极底层的 API 旨在实现最高性能, 而非易用性或可移植性 用例具有针对性 例如 路由 / 网关快速路径 基带传输和 L2/L3 处理 6
全新市场驱动力 NFV 和 SDN NFV 网络设备虚拟化, 可在商用硬件上运行 ( 整个网络 ) SDN 网络基础设施通过软件定义, 在商用服务器硬件或白盒 / 商用硅芯片开关上运行 用户 内核 数据平面 DPDK VM 0 虚拟网络功能 数据平面 DPDK 数据平面 DPDK 处理器 vswitch 管理程序 用户 内核 数据平面 ODP VM 1 虚拟网络功能 数据平面 ODP 数据平面 ODP C0 C1 C2 C3 C4 C5 C6 C7 商用服务器硬件 用户 内核 数据平面 PKT 处理器 应用 数据平面 PKT 数据平面 PKT C0 C1 C2 C3 白盒 开关 / 商用硅芯片 用户 内核 SoC Core Complex 慢速路径 ODP 应用 慢速路径 ODP 慢速路径 ODP C0 C1 C2 C3 P0 P1 流量引导器 网络接口 流量引导器 网络接口 网络接口 TM (v) 开关 密码 数据路径硬件网络接口 P0 P1 7
引领网络中的 64 位 ARM 浪潮 第 1 个 ARM64 采用小于 10x10mm 的封装 LS1012A Cortex-A53 PPFE 2Gbps 数据包 1 Gbps 加密 1 至 2W 第 1 个 10G WAN ARM64 用于家庭网关 家庭 SMB 网关路由器和接入点 LS1024A Cortex-A9 PPFE 2Gbps 3 至 5W LS1043A Cortex-A53 LS1043/23 10Gbps 数据包 5Gbps 加密 5 至 10W 智能边缘网络设备 LS1046 Cortex-A72 DPAA1 10 至 20Gbps 数据包 10Gbps 加密 10 至 12W LS1088A Cortex-A53 DPAA2 20Gbps 数据包 10Gbps 加密 15 至 20W SDN NFV 路由 云端 LS2085A Cortex-A57 LS2085/45 DPAA2 40Gbps 数据包 20Gbps 加密 20 至 35W 行业最具扩展性的 ARM64 通信处理器系列 LS2088 和 LS3 Cortex-A72 和 Ares 4 至 24 个内核 DPAA2 100Gbps 数据包 100Gbps 加密 带 Cortex-A72 的 Cortex-A72 即将推出 8
呼唤通用数据路径 API 客户应用 1 客户应用 2 客户应用 N 通用数据路径 API 硬件平台 1 硬件平台 2 硬件平台 N 一种通用 API 在多个硬件平台上提高应用程序的可移植性 增加可在一个硬件平台上运行的应用程序数量 可能, 甚至是很可能? 基本 I/O 加速和运行时服务 - 是的 硬件供应商将继续增加高级功能的差异性和增值服务 配置和管理也需要标准化,NFV 部署尤为如此 9
用户空间网络的关键开放式举措 DPDK ODP OFP fd.io 应用和服务 应用 / 数据路径 用户空间网络框架 / 中间件 数据路径卸载 ( 快速路径 ) 数据包处理框架 高速网络 I/O 加解密 PMD 分类 调度 加解密等 队列 加速 数据包 I/O 用户空间内核 VFIO netmap 网络设备 网络 I/O API 的重点是以最大性能向用户空间应用程序提供流量, 并允许使用数据包加速功能 10
数据路径开发工具包 DPDK 现在属于 Linux 基金会 面向 SDN 和 NFV 大型开发人员 / 用户社区 对其他平台开放 IBM-PPC (Power8) Tensilica 作为主机 ARMv8 SoC 平台 主要特性 核心运行时库 优化的 x86 运行时服务 EAL 抽象处理模型 网络包访问 (I/O) 以太网设备框架 (PMD) 英特尔 NIC 虚拟 IO 和第三方 NIC 分类和 QoS 利用硬件支持和软件库 平台服务 内核 NW 接口 电源管理 共享内存 (VM 间 应用 ) 加解密 API 11
Linaro 开放式数据面 ODP 社区成就 由 Linaro Networking 小组推动 Broadcom Cavium TI NXP 供应商 Cisco NSN( 诺基亚 - 西门子 ) 主要客户 重点关注领域 定义通用 ODP API 参考实现 : 一般 Linux 平台 映射 ODP API 到 DPDK 由硬件供应商 ( 非 linaro.org) 提供的实现方案 允许应用程序使用特定于供应商的扩展功能 主要特性 运行时 定时器 同步 内存 缓冲区 多个数据包 I/O 模式 灵活队列和调度 加解密卸载 IPSec 分类和 QoS 12
DPDK 与 ODP 硬件加速 硬件 软件 DPDK 法 : 专为简易网卡设计 非常适合大量平衡流 纯软件实现成本 硬件 硬件或 软件 硬件或软件 软件 ODP 法 : 设计灵活 ( 模块可以是硬件或软件 ) 适合平衡和不平衡交通流量 非常适合与加速器 多个 I/O 源一同使用 13
用户空间网络的关键开放式举措 DPDK ODP OFP fd.io 应用和服务应用 / 数据路径 VPP 交换机 / 路由器 用户空间网络框架 / 中间件 数据路径卸载 ( 快速路径 ) Libuinet (BSD) VPP 数据包处理框架 高速网络 I/O 密码 分类 调度 密码等 加速 PMD 队列 数据包 I/O 用户空间 内核 VFIO netmap 网络设备 更高阶的 API 提供了以最优方式组合高速网络 I/O 处理, 用户空间网络堆栈和应用程序的可能 14
高速数据项目 (FD.IO) Linux 基金会项目 始终专注于数据 IO 速度和效率, 以便实现灵活性和可扩展性更高的网络和存储, 基于思科的初始贡献 网络 I/O 基于 DPDK 驱动程序, 其性能针对 VPP 进行了优化 矢量数据包处理 (VPP) 核心项目 模块化的插件架构, 可将数据路径当作为可重用节点图的一部分 特定于功能的节点模块套件, 用于普通数据路径操作 ( 例如分类 数据包重写等 ) 针对通用型 CPU 进行高度优化 ( 存储器架构 超标量 流水线技术等 ) 图节点的加速可被软件实现轻松取代 应用集成 SDN/NFV 由 VPP 框架构成的产品级交换机 / 路由器参考应用 用于实现 OpenDaylight 集成的 Netconf/Yang 南向控制器数据面管理代理 15
Int API 开放式快速路径 (OFP) BSD TCP/IP 网络堆栈的用户空间移植 加速 IPv4/IPv6 路由 / 转发 终端 / 隧道应用的性能提升 源于 libuinet 项目 通过 netlink 实现同步 CP( 例如 FIB) 处理 针对 ODP 进行了优化 : 利用了其中的调度 分类 加速功能 支持与 DPDK 互操作 ( 使用 ODP-DPDK) 用户空间内核 netlink 用户配置 tap 套接字出口 API 数据包 I/O 接口管理 ODP 本地 应用 / 数据路径 OpenFastPath (OFP) Libuinet (BSD) 主机操作系统 (linux) 套接字钩子 API 入口 API 用户 / 默认调度程序 ODP 软件 DPDK 数据包 I/O ODP/DKDP FW/HW HW NIC 16
QorIQ 用户空间基础 设施 17
DPAA 自 2008 年开始与 DPDK 和 ODP 兼容 硬件 硬件或 软件 硬件或软件 软件 DPDK/ODP 法 : 利用硬件进行入口和出口处理 ODP 附加硬件调度卸载功能 加速器 加解密卸载 完全的用户空间处理模式 QorIQ FM WRIOP 10G 1G VPort 解析 分类 分发 FQ FQ FQ FQ FQ FQ QM BM 入口调度程序 Linux ARMv8 ARMv8 ARMv8 ARMv8 加密 (SEC) FQ FQ FQ FQ FQ FQ QM BM 出口 TM 调度程序 10G 1G VPort 恩智浦方法 : FMan 卸载解析 分类 分发 QMan BMan 卸载调度 缓冲区管理 虚拟化加速器 SEC PME DCE 用户空间驱动程序 线程模型 自 2008 年起做这一切 现进入第 3 代 PME 18
简单易用 虚拟化 标准 可编程 发展中的网络数据路径基础设施 强大 灵活的数据路径硬件 QBMAN AIOP SEC WRIOP 集中式管理核心 片上虚拟网络 NIC NIC 开关 加速器 NIC NIC NIC 加速器 主机 主机 主机 NW 对象模型 灵活的资源管理 逻辑化的网络资源 完全隔离 运行时配置 标准 Linux 驱动程序和 DPDK/ODP API 与物理拓扑相同的虚拟 NW 拓扑 采用 ANSI C 编程的 AIOP 数据包引擎 工具 强大的安全引擎 DPI 压缩引擎 19
特定于平台 LS 总线 资源管理 框架 API 层 应用 QorIQ ODP 支持 PKTIO 加密 分类器 运行时服务 ODP 应用 ODP 应用 PKTIO 队列 IO 加密 分类器 运行时服务 资源管理 发现 以太网配置 加密 PAC AIOP 管理和通信 NW 服务 KNI L2. L3 ODP API 扩展 API IO 和加速 运行时服务 NW 服务 * 卸载 * 队列 调度程序 分类器加解密 PKTIO 资源管理 * 定时器缓存区 内存同步 路由 ARP KNI DPAA 2 SEC PME VFIO Arch/ARM DPAA 1 AIOP 20
QorIQ ODP 支持 QorIQ 硬件在内部与 ODP 相匹配 分类和调度 硬件队列和缓存区管理 加密和其他硬件卸载功能 ARM 64 位内核 完善的 ODP-API 覆盖 队列和调度程序 API PKTIO 和分类器 API 加密 API 算法和协议 运行时服务 ( 包括数据包缓存区 ) 同时支持 DPAA1 和 DPAA2 平台 LS1043 LS1046 LS2088 LS1088 QorIQ 硬件具有其他功能 开关 解复用 (switches) 应用级卸载 虚拟网络和资源管理 对 ODP-API 提供了扩展功能 正在努力使其成为 ODP 一部分 增值 ODP 扩展功能 完善的以太网功能 MAC/Phy IPR/IPF GRO/GSO 智能 NIC 物理和虚拟以太网端口 NW 服务 提供 Linux 网络堆栈服务 可见性 网络设备 (KNI) 路由 ARP 资源管理 基于 VFIO 和 VirtIO 的资源分配 动态重新配置和发现 多应用支持 灵活处理模型 21
特定于平台 PEX LS 总线 资源管理 框架 API 层 应用 QorIQ DPDK 支持 DPDK 应用 客户 恩智浦支持 DPDK.org DPDK API 以太网轮询模式驱动程序 IO 和加速 密码驱动程序 资源管理 运行时服务 EAL 定时器 内存 缓存区 同步 网络服务 内核 NW 接口 英特尔 NIC DPAA 2 DPAA 1 inic 英特尔 QAT SEC VFIO Arch/x86 Arch/Power8 Arch/Tilera Arch/ARMv8 22
QorIQ DPDK 支持 基本平台支持 DPAA1 轮询模式驱动程序 DPAA2 轮询模式驱动程序 inic 轮询模式驱动程序 加密卸载到本地 SEC LS1043 LS1046 LS2080 LS2088 LS1088 架构改进 SoC/ 平台驱动程序支持 硬件缓冲区管理 ARMv8 运行时优化 虚拟化支持 主机用户空间中通过 DPDK 的 OVS Vhost-user 访客 /VM 中的 DPDK DPDK 轮询模式驱动程序 DPAA2 VFIO 轮询模式驱动程序 未来的工作 入口调度 负载平衡 协议感知加密 出口调度 QoS 卸载 23
对迁移的追求 客户应用 客户应用 ODP 路径最先在 ARMv8 上开发 电源架构 ODP API 恩智浦 ODP 产品 ARMv8 DPAA1 ODP API Linaro DPDK 映射英特尔 DPDK x86 英特尔 NIC 电源架构 DPAA2 恩智浦 inic DPDK 路径最先在 x86 上开发 客户应用 DPDK API 英特尔硬件支持 x86 英特尔 NIC 恩智浦 inic 现在 英特尔硬件 ARMv8 电源架构 客户应用 DPDK API 未来 恩智浦硬件支持 DPAA1 DPAA2 客户恩智浦英特尔 Linaro 平台 24
小结 业界呼唤通用用户空间 API 主要由 NFV 和 SDN 推动 出色的可移植性 重用性和加速功能 开放式数据平面和数据路径开发工具包 起源和社区不同, 但融合性高 两者都将继续采用 FD.IO 和 OFP 在 DPDK/ODP 之上提供用户空间框架和应用程序 恩智浦同时为 ODP 和 DPDK 提供优化解决方案 我们的数据路径架构自 2008 年起便开始兼容 与社区协同工作, 增添更多加速功能和特性 积极参与和追踪 FD.IO 及 OFP 社区 25
版权声明 恩智浦 恩智浦徽标 恩智浦 智慧生活, 安全连结 CoolFlux EMBRACE GREENCHIP HITAG I2C BUS ICODE JCOP LIFE VIBES MIFARE MIFARE Classic MIFARE DESFire MIFARE Plus MIFARE FleX MANTIS MIFARE ULTRALIGHT MIFARE4MOBILE MIGLO NTAG ROADLINK SMARTLX SMARTMX STARPLUG TOPFET TrenchMOS UCODE 飞思卡尔 飞思卡尔徽标 AltiVec C 5 CodeTEST CodeWarrior ColdFire ColdFire+ C Ware 高能效解决方案徽标 Kinetis Layerscape MagniV mobilegt PEG PowerQUICC Processor Expert QorIQ QorIQ Qonverge Ready Play SafeAssure SafeAssure 徽标 StarCore Symphony VortiQa Vybrid Airfast BeeKit BeeStack CoreNet Flexis MXC Platform in a Package QUICC Engine SMARTMOS Tower TurboLink 和 UMEMS 是 NXP B.V. 的商标 所有其他产品或服务名称均为其各自所有者的财产 ARM AMBA ARM Powered Artisan Cortex Jazelle Keil SecurCore Thumb TrustZone 和 μvision 是 ARM Limited( 或其子公司 ) 在欧盟和 / 或其他地区的注册商标 ARM7 ARM9 ARM11 big.little CoreLink CoreSight DesignStart Mali mbed NEON POP Sensinode Socrates ULINK 和 Versatile 是 ARM Limited( 或其子公司 ) 在欧盟和 / 或其他地区的商标 保留所有权利 Oracle 和 Java 是 Oracle 和 / 或其关联公司的注册商标 Power Architecture 和 Power.org 文字标记 Power 和 Power.org 徽标及相关标记是 Power.org 的授权商标和服务标记 2015 2016 NXP B.V. 27