VXLAN 网络技术浅析与应用 ICT 业务事业本部 / 董飞宇 摘要 : VXLAN(Virtual extensible Local Area Network) 是 Overlay 网络技术之一,Overlay 网络实质上是建立在一个网络上的网络, 通过虚拟或者逻辑链路而连接 Overlay 网络具有独立的控制和转发平面, 对于接入 Overlay 网络的设备来说, 物理网络是透明的, 是物理网络向云化延伸的技术手段 Overlay 网络是解决云大二层网络互通的技术, 同时在 SDN( 软件定义网络 ) 环境下也得到了广泛的应用 VXLAN 技术是由各厂家共同提出的 IETF 草案, 用以解决数据中心多租户间通信和隔离时的问题 ;Vxlan 草案里给出的封装格式是 MAC-IN-UDP, 即将原始报文封装在 UDP 报文里, 主要用于不同数据中心之间的 VM(Virtual Machine) 通信 关键词 :VXLAN, SDN, Overlay 1 技术产生背景 VXLAN 技术是在云技术环境下应 云 而生的技术 在云环境中, 虚拟机的自由迁移成为必要的业务需求, 而迁移中业务网关的要求, 使得原有的二层网络需要得到扩展, 甚至需要扩展为跨异地数据中心的大二层网络 原有传统园区网络中, 二层网络往往通过 vlan 三层网关进行隔离, 但传统园区二层网络 1
的相关协议和特性已经无法满足云环境下大二层业务的需求 因此需要对原有的二层协议进行优化和改进,VXLAN 就是这种改进和优化后的技术之一 首先, 传统的二层网络通过 VLAN 进行广播和业务隔离, 由于 vlan id 字节的限制, 使得 vlan 大小限制在 4096, 虽然可以通过 Q-IN-Q 技术进行扩展, 但需要路由设备来进行标签的终结, 这在云环境下的大二层网络中无法实现 而 4096 个的 vlan 限制也无法满足云平台下多租户的业务需求模式 其次, 在二层网络环境下, 设备通过 MAC 地址进行寻址, 对于同一 vlan 下的交换机, 需要记录下挂设备 mac 和接口的对应信息, 但在大二层网络环境下, 这需要交换机 ( 如列顶交换机 ) 学习大量的 MAC 地址, 这可能耗尽交换机的 mac 地址或使其承受巨大的负担 最后, 原有二层网络的避免环路相关协议 ( 如 STP 等 ), 已经无法应用于大的二层网络 总而言之, 云网络下的大二层需求, 使得原有二层网络下的相关特性与协议已经无法使用, 尝试二层协议三层化是一个基本方向, 也就是将二层网络承载在三层网络上,VXLAN 就是这样一个将二层数据包封装入三层包内的 Overlay 技术 VXLAN 在 SDN( 软件定义网络 ) 中也有很大的用处, 不仅仅用于软件定义网络环境内的虚拟机之间的互通, 也能够实现虚拟软件环境与物理网络环境的互通 2 VXLAN 技术原理 2.1 VXLAN 数据报文头 在分析 VXLAN 之前, 我们先看下 VXLAN 的数据报文头格式 : 2
由于使用了 MAC IN UDP 的技术, 所以原有的二层帧原封不动地被封装了 原有帧的原 MAC 显然是发包方, 而目的帧是二层网络下接收方的 MAC, 在传统的二层网络中, 交换机就直接查询这个目的 MAC 和端口的对应表发给接收者, 但在 VXLAN 环境下显然不采用这种机制, 原有帧的 802.1q 字段可以保留, 但其并不是 VXLAN 中区分租户的标志, 这个字段的作用被 24 bit 的 VXLAN ID 所替代, 大大扩大了原有 VLAN ID 的范围, 而这些包被封装在了 UDP 报文内部 在 VXLAN 外部是目的 IP 地址和源 IP 地址, 而这正是 VXLAN 的关键所在 到目的地的寻址主要基于 IP 地址, 不同虚拟机所在的 VXLAN 交换机都有一个全局唯一的 IP 地址, 通过该交换机, 一个配置了 IP 地址的 VTEP 接口对原有的二层帧进行封装后进行发送, 同样, 接收方 VTEP 接口接收并对外层包进行处理后, 再转发内部二层数据包 2.2 VXLAN 数据转发原理 任何数据的转发都用转发和控制平面, 其中控制平面在于建立目标与相关逻辑标识的对应关系, 在 VXLAN 中, 如何知道目的 MAC 地址和对方 VTEP IP 的对应关系, 是控制平面所需要完成的工作 在 VXLAN 中, 如果没有引入第三方独立的控制设备 ( 在 SDN 网络环境中, 由于控制和转发分离, 控制平面可以独立出来 ), 则需要采用组播的方式实现控制信息的传递 以下先介绍组播方式下数据包控制平面信息的建立过程 3
2.2.1 同 VXLAN ID 内数据转发 同 VXLAN ID 相当于传统网络中的同一个 VLAN, 基本上是分配给同一租户使用 其互通的过程如下 : VM 初始化注册过程 : 当 VM 虚拟机加入后, 其所在的 VXLAN 主机将加入 239.119.1.1 组播地址 ; VM1 ARP 请求的过程 : 虚拟机 VM1 发起 ARP 请求, 希望能够访问虚拟机 VM2, 发起 ARP 请求包,VM1 原 MAC 为自己本机的 MAC, 目的 MAC 为 ARP 请求包的广播 MAC, 外层源地址为自己的 VTEP1 地址, 目的地址则是组播地址 由于 VM2 所在的主机也监听该组播地址, 所以其读取相关信息, 并将 VM1 的 MAC 地址同 VM1 4
所在主机的 VTEP IP 做了绑定, 从而建立控制平面 MAC 同 VTEP IP 的对应表项 VM2 ARP 应答的过程 : VM2 进行 ARP 的应答回应, 采用单播方式, 其目的 IP 为 VM1 所在主机的 VTEP 端口 IP, 源地址为自有 VTEP 的 IP 地址,VM1 所在主机学习到相应的 MAC 地址和 VTEP 对于关系表, 并进行记录 相应的记录表信息包括 :NET ID MAC 地址和 VTEP IP 从以上可以看出, 对于同一 NET ID 内的 VM 通讯, 其过程类似于传统的二层网络主机之间的互通, 存在 ARP 请求和响应的过程, 只是相关过程依赖三层数据包实现, 并最终建立了相关的对应关系表项 相关三层的封装依赖于主机 VTEP 接口, 并由外面互联三层设备实现路由 2.2.2 非同一 VXLAN ID 内的数据转发 对于非同一 VXLAN ID 内的 VM 互通, 或者 VXLAN 环境和传统的 VLAN 环境互通则需要 VXLAN 网关 VXLAN 网关实现 VXLAN ID 和外部 VLAN ID 对应, 不同 VXLAN 网络之间的通信同样需要三层设备支持, 也就是 VXLAN 路由支持 VXLAN 网关需要能够同时处理 VXLAN 和 VLAN, 所以需要具备 VXLAN 5
端口和普通二层端口 当流量从 VXLAN 流向普通网络时,VTEP 接口处理外层包后, 将原有的二层 vlan 包发给普通端口, 在数据从普通网络进入 VXLAN 网络时,VXLAN 网关负责打上外层包头, 同时根据 VLAN ID 对应一个 VNI, 同时由 VXLAN 网关除去内层包的 VLAN ID 信息 2.3 VXLAN 网络模型 相关隧道通过 VTEP 进行隧道的封装, 封装是在虚拟化主机 还是网络设备 或者两者兼有, 就出现了三种不同的 VXLAN 网络模型 Network Overlay 隧道封装通过物理交换机完成 这种 Overlay 的优势在于物理网络设备的转发性能比较高, 可以支持非虚拟化的物理服务器之间的组网互通 Host Overlay 隧道封装在 vswitch 完成, 不用增加新的网络设备即可完成 Overlay 部署, 可以支持虚拟化的服务器之间的组网互通 Hybrid Overlay 是 Network Overlay 和 Host Overlay 的混合组网, 可以支持物理服务器和虚拟服务器之间的组网互通 6
3 VXLAN 在 SDN 环境下的应用 从 VXLAN 的原理来看,VXLAN 控制平面主要依赖于组播实现 IP 和 VID 之间的对应关系, 灵活性和扩展性并不理想 然而在 SDN 环境下, 则可以通过 SDN 控制器来实现相关信息的对应,SDN 控制器则作为 ARP 代答设备 这样就大大提高了灵活性与扩展性 所以 VXLAN 在 SDN 环境中使用比较广泛 对于同一 VXLAN 内不同的 VM 互通,VM 上线后将在 SDN 上进行相关 VM 地址和 VTEP 信息的对应, 后续 VM 之间的互通, 通过 SDN 控制器进行 ARP 的代答, 并直接下发流表, 从而在 VM 之间建立通信隧道 对于不同 VXLAN 之间的 VM 互通, 将 SDN 控制器作为 VXLAN 网关, 实现 VM 之间东西流量的卸载和互通 同样通过 VXLAN 网关实现同传统网络的互通 ; 对于跨不同数据的中心二层网络, 不同数据中心之间的 SDN 控制器可以通过 BGP+ 路由协议交换相关 VM 信息, 数据中心 SDN 控制器包含所有数据中心内的相关 VM 信息 目前,VXLAN 已经在福建电信的 SDN 云环境中进行了部署与验证, 通过 XLAN 方式, 不仅能够灵活地实现相同 VXLAN 用户之间的互访, 同时也实现了不同 XLAN 用户及 VXLAN 用户同外网用户的互访 整个网络部署概要图如下 : 7
网络分布在不同节点, 其中主节点有管理节点 控制节点 网络节点以及计算节点, 分节点主要是计算节点 各节点均为服务器设备并安装相应的软件 CAN 是计算节点, 其上部署虚拟机, 同时 CNA 节点启用 vswitch 设备, 并启用 VXLAN 协议 ;network 是网络节点, 作为不同 VXLAN 用户之间以及 VXLAN 用户同外网互通的用户网关 控制节点则为 SDN 控制器, 负责收集相关虚拟机 vm ip 地址 mac 地址以及所在计算节点信息关联信息 相关数据转发的原理如下图所示 : 8
红色为管理通道, 传递控制平面信息 ; 蓝色通道为 VXLAN 数据平面通道 ; 绿色通道为与外网的互联通道 每个计算节点上的 VM 服务都接入 Vswitch 设备,Vswitch 设备具备 VTEP 端口,VTEP 接口负责将相关 VXLAN 流量进行封装,VTEP 端口具备 IP 地址, 不同 Vswitch 之间通过 VTEP 端口 IP 地址进行联通 计算节点内的新虚拟机开启后, 通过管理通道将相关虚拟机的 IP 地址 mac 地址以及所在的 Vswitch VTEP IP 地址告知控制平面 ( 即 SDN 控制器 ) 同一计算节点内 同一 VXLAN 内虚拟机的互通, 通过同一 Vswitch 直接实现 对于同一计算节点内不同的 VXLAN 虚拟机互通 或者是不同计算节点内的 VXLAN 虚拟机互通则有两种方式, 一种为网关路由 一种为分布式路由 对于网关路由, 需要将数据包发送给网关设备 ( 即网络节点 ), 通过网络节点进行 VTEP 接口封装后发送至相应的计算节点上的 Vswitch; 对于分布式路由, 则由控制器下发相关流表信息到相应的 Vswitch 上, 由 Vswitch 根据流表信息进行流量的封装与发送 VXLAN 网络与外部网络的互通, 一方面需要通过网络节点实现, 通过网络节点内的虚拟路由设备进行 VXLAN 解封装, 并封装正常的 vlan 另外, 计算节点上的虚拟机也可以在独立网卡上接入外部非 VXLAN 网络 对于主节点和分节点之间的互通, 只需要实现三层网络互通即可, 在分处不同节点 Vswitch 上的 VTEP 接口 IP 可达的情况下, 即可实现 VXLAN 网络的互通 9
4 VXLAN 技术优劣研究 VXLAN 是 Overlay 技术中的一种, 另外还有 NVGRE STT 等 VXLAN 将以太网报文封装在 UDP 报文内进行隧道传输,NVGRE 则采用 GRE 隧道协议, 将以太网报文封装在 GRE 内进行隧道传输 它与 VXLAN 的主要区别在对流量的负载分担上, 因为使用了 GRE 隧道封装,NVGRE 使用了 GRE 扩展字段 flow ID 进行流量负载分担, 这就要求物理网络能够识别 GRE 隧道的扩展信息 VXLAN 和 NVGRE 的主要区别在于隧道封装格式使用了无状态 TCP, 需要对传统 TCP 协议进行修改以适应 NVGRE 的传输 STT( 无状态传输协议 ) 则通过将以太网报文封装成 TCP 报文进行隧道传输, 隔离标识采用 64 比特来表示 在这三大技术中,VXLAN 的表现最为出众 首先, 业务可在任意位置灵活部署, 更具灵活性 ; 因其部署方便, 有更好的扩展性, 在配合了高可靠 SDN Controller 完成控制面的配置和管理后, 则更具备部署的简易性 同时,L2-4 层链路 HASH 能力强, 不需要改造现有网络 NVGRE 技术需要网络设备支持, 对传输层无修改, 使用标准的 UDP 传输流量 STT 则需要修改 TCP 相对而言, VXLAN 在业内获得的支持度最高 当然,VXLAN 技术只是在原有的二层数据报文外封装三层包, 由于较多的包头在一定程度上不够优化, 因此仅是原有二层技术和三层技术的结合, 并没有真正的变革性的技术突破 10
结束语 VXLAN 技术解决了传统二层网络下的扩展性问题, 也给云计算环境下的虚机迁移带来了很大的便利 同时, 作为 Overlay 技术中的一种, 同 SDN 网络结合后, 能够很好地提高优化控制层面的扩展性和灵活性, 从而可进一步加强 SDN 网络的部署和推广 参考文献 : [1] RFC 7348 Virtual extensible Local Area Network [2] 华为公司 SDN 技术介绍 2014 年 11