ThemeGallery PowerTemplate

Size: px

Start display at page:

Download "ThemeGallery PowerTemplate"

罡戈
4 years ago
Views:

1 NFV 实验平台的技术方案及搭建过程介绍报告人 : 王睿日期 :2019 年 4 月 22 日在线版 :

2 内容简介 NFV 背景实验环境简介 NFV 实验平台简介技术方案介绍平台搭建过程及结果 2

3 NFV 背景网络功能 (Network Function, NF) 在源目的主机之间的报文传输路径上, 除路由器交换机外, 任何实现报文处理功能的设备 (RFC3234) 据文献统计 1, 以专用设备形式存在的 NF 在数据中心中广泛使用, 其数量与路由器交换机相当 VPN 防火墙负载均衡入侵防御系统 1 Making Middleboxes Someone Else s Proablem: Network Processing as a Cloud Service[C]. SIGCOMM

4 NFV 背景网络功能 (Network Function, NF) 在源目的主机之间的报文传输路径上, 除路由器交换机外, 任何实现报文处理功能的设备 (RFC3234) 据文献统计 1, 以专用设备形式存在的 NF 在数据中心中广泛使用, 其数量与路由器交换机相当 NF 专用设备存在的问题 2,3 随着用户需求日新月异, 以及移动设备的爆炸性增长, 用户流量呈指数级增长, 同时也提出了更多新的网络服务需求在此背景下,NF 专用设备的问题日益凸显, 亟待新技术的提出来解决它们购买与运维成本高设备成本 : 至少数万 / 台人员成本 : 培训运维研发与更新周期长 4 年左右灵活性差位置固定, 难以移动可扩展性差有研究表明, 20% 负载均衡器使用率不超过 5% 1 Making Middleboxes Someone Else s Proablem: Network Processing as a Cloud Service[C]. SIGCOMM

5 NFV 背景防火墙负载均衡虚拟化 VPN 入侵防御系统低成本 Commodity Hardware Devices 高可扩展性软硬件解耦 VNF VNF VNF VNF 高灵活性 NFV(Network Function Virtualization):2012 年底被提出, 它旨在利用虚拟化技术, 将网络功能创建成运行在 VM 或容器之上的可被连接通信的虚拟化实例, 而这样的虚拟化实例就被称为虚拟网络功能 (Virtual Network Function, VNF) 这些 VNF 需要按照用户指定的顺序执行, 以提供完整的端到端网络服务 5

VNF 有序链 2 根据用户请求, 动态引导流通过这个链 1 A survey on service function

6 NFV 背景防火墙负载均衡虚拟化 VPN 入侵防御系统 Commodity Hardware Devices 用户需求的动态性 VNF 管理的复杂性 VNF VNF VNF VNF 因此, 需要一种机制 1 : 1 自动生成与部署 VNF 有序链 2 根据用户请求, 动态引导流通过这个链 1 A survey on service function chaining [J]. Journal of Network and Computer Applications

NFV 背景防火墙负载均衡虚拟化 VPN 入侵防御系统用户需求的动态性 Commodity Hardware Devices 利用 NFV 和 SFC, 在解决专有设备诸多问题的同时, 也提供了更为灵活的端到端网络服务解决方案 Service Function Chain VNF VNF VNF VNF VNF 管理的复杂性服务功能链 (Service Function

7 NFV 背景防火墙负载均衡虚拟化 VPN 入侵防御系统用户需求的动态性 Commodity Hardware Devices 利用 NFV 和 SFC, 在解决专有设备诸多问题的同时, 也提供了更为灵活的端到端网络服务解决方案 Service Function Chain VNF VNF VNF VNF VNF 管理的复杂性服务功能链 (Service Function Chain, SFC): 定义了一组有序或部分有序的网络功能以及根据分类的结果必须应用于相应报文的有序约束图中蓝线标识出的是一条由 4 个 VNF 组成的的 SFC --RFC A survey on service function chaining [J]. Journal of Network and Computer Applications

实验环境简介校园网络为了服务 VAS 网络流分析以及我的毕业论文实验, 我在 370 机房 HPE 集群上搭建了实验平台,HPE 集群的基本情况如左图所示 : Node-07 Node-06 Node-05 Node-04 Node-03 Node-02 Node-01 10 Gbps Ethernet 1 Gbps Ethernet 每台服务器节点均配置 2 颗

8 实验环境简介校园网络为了服务 VAS 网络流分析以及我的毕业论文实验, 我在 370 机房 HPE 集群上搭建了实验平台,HPE 集群的基本情况如左图所示 : Node-07 Node-06 Node-05 Node-04 Node-03 Node-02 Node Gbps Ethernet 1 Gbps Ethernet 每台服务器节点均配置 2 颗 Intel Xeon E v4 2.2GHz CPU( 每颗 CPU 有 20 个逻辑核 ) 64 或 128GB 内存 4 块 Broadcom BCM5719 1Gbps 网卡和 2 块 Broadcom BCM Gbps 网卡每个节点均通过 1 Gbps 与校园网络相连每个节点均通过 10 Gbps 网卡与高性能交换机相连, 构建了高速内部局域网 8

NFV 实验平台简介 VxLan 隧道 firewall 方案 1: 经过单个 VNF

VNF 组成的 SFC 方案 3: 经过由方案 2 中 SFC 并行优化后生成的新 SFC

9 NFV 实验平台简介 VxLan 隧道 firewall 方案 1: 经过单个 VNF generator generator2 Node-01 VxLan 隧道 VxLan 隧道 VNF 实例 firewall2 Node-02 NAT NAT2 Node-03 loadbalance loadbalance2 Node-04 方案 2: 经过多 VNF 组成的 SFC 方案 3: 经过由方案 2 中 SFC 并行优化后生成的新 SFC collector collector2 Node-06 tunnel SFC Node-05 9

Docker 是一个基于, 并将其运行在 Go 语言实现开源项目 docker 容器中以部署在服务器节点上,

10 技术方案介绍 1 VNF 实现方案 1.1 考虑到使用的广泛性可扩展性以及对报文的处理性能等 Docker 容器技术简介, 本实验平台采用基于 Click 1 的 VNF 软件实现方案 Docker 是一个基于, 并将其运行在 Go 语言实现开源项目 docker 容器中以部署在服务器节点上, 其目标是实现轻量级的操作系统虚拟化解决方案它利用 Linux 提供的 namespaces 机制实现隔离 cgroups 机制限制资源 AUFS 提供存储服务等下图展示了 docker 与传统虚拟机的不同之处 1 The click modular router [C]. SOSP

11 技术方案介绍 1 VNF 实现方案 1.2 Click Modular Router 简介 Click Modular Router 是麻省理工学院的研究人员于 1999 年研发的模块化路由工具包, 时至今日, 仍旧在被学术界与产业界的大量研究人员维护更新与升级在 Click 中, 每个 click 网络功能元素 ( 即网元 ) 实现基本报文处理功能, 如报文分类排队调度和网络设备交互等一个虚拟网络功能 (VNF) 就是一个由 click 网元组成的有向图无环图 (DAG), 其中顶点是 click 网元, 而边就是网元之间的连接, 报文沿着图的边进行传输 11

12 技术方案介绍 1 VNF 实现方案 1.2 Click Modular Router 简介防火墙 : Discard FromDevice Classifier ToDevice IPFilter NAT: IPClassifier IPRewriter FromDevice Classifier ToDevice Discard 12

13 技术方案介绍 1 VNF 实现方案 1.2 Click Modular Router 简介负载均衡 : FromDevice Classifier ToDevice IPRewriter Switch IPRewriter 隧道 : IPRewriter Discard FromDevice Classifier IPFilter IPEncap ToDevice 13

14 实验平台简介 2 Overlay 网络实现方案案考虑到网络性能因素, 本实验平台采用基于 OpenVSwitch with DPDK 的 Overlay 网络实现方 ens4f0 物理链路 VxLan 隧道 ens4f0 br1 br0 ovs+dpdk br2 VxLan 隧道 br1 br0 ovs+dpdk br2 generator generator2 collector collector2 ens4f0 VxLan 隧道 br1 br0 ovs+dpdk br2 firewall firewall2 14

15 实验平台简介 2 Overlay 网络实现方案 2.1 OpenVSwitch 简介 OpenVSwitch 是一个实现了 OpenFlow 协议的虚拟交换机, 它主要由位于用户空间的 ovsdbserver(ovs 数据库服务器, 存储 OVS 的配置信息 ) 和 ovs-vswitchd( 实现交换功能的守护进程 ), 以及位于内核空间的 datapath 组成 15

16 实验平台简介 2 Overlay 网络实现方案 2.1 OpenVSwitch 简介但是, 一方面,datapath 是利用操作系统内核提供的进程实现转发, 操作系统会像对待其他进程一样, 将 CPU 的部分时间片, 分配给它, 可用内存也会受操作系统的管理, 因此,OVS 并不能保证在需要进行报文转发时一定占有足够的资源另一方面, 因为操作系统本身的设计, 需要经过硬中断软中断内核空间和用户空间的切换等复杂的过程才能完成对报文的获取处理与转发, 极大影响转发的性能, 如吞吐量延迟等 16

17 实验平台简介 2 Overlay 网络实现方案 2.2 NFV 的基石 --DPDK 简介 Intel DPDK 全称 Intel Data Plane Development Kit, 是 intel 提供的数据平面开发工具集, 为 Intel architecture(ia) 处理器架构下用户空间高效的数据包处理提供库函数和驱动的支持, 它不同于 Linux 系统以通用性设计为目的, 而是专注于网络应用中数据包的高性能处理 Linux 对报文处理过程 : 网卡 -> 内核驱动 -> 内核协议栈 -> 拷贝到用户 Socket 接口 -> 业务软件基于 UIO 旁路数据,DPDK 对报文处理过程 : 网卡 -> DPDK 轮询驱动 -> DPDK 基础库 -> 报文映射到业务软件 17

18 实验平台简介 2 Overlay 网络实现方案 2.2 DPDK 简介 DPDK 旁路实现基础 --UIO (Userspace I/O) 机制 DPDK 能够绕过内核协议栈, 本质上是得益于 Linux 提供的 UIO 机制, 它能够拦截中断, 重设中断回调行为, 从而绕过内核协议栈后续的处理流程并对用户空间暴露文件接口, 将对文件的读写映射到对设备的操作如左图所示, 当注册一个 UIO 设备 uiox, 就会出现文件 /dev/uiox, 对该文件的读写就是对设备内存的读写 18

19 实验平台简介 2 Overlay 网络实现方案 2.2 DPDK 简介 DPDK 核心优化为了优化 Linux 系统的报文处理性能,DPDK 进行了包括但不仅限于如下几方面的核心优化 : 1. 采用 PMD(Poll Mode Driver) 与网卡交互, 减少中断开销 ; 2. 采用 HugePage, 减少 TLB Miss, 降低访存开销 ; 3. 采用精巧的内存池技术, 创建 Mbuf 直接映射到实际报文, 内核空间和用户空间的内存交互不进行拷贝, 只做控制权转移, 避免拷贝开销 ; 4. 利用 CPU 亲和性, 将线程绑定到指定 CPU 上, 一方面减少了 CPU 线程间切换的开销, 另一方面避免了 CPU 缓存的局部失效性, 增加了 CPU 缓存的命中率 ; 5. 采用基于 Linux 内核的无锁环形缓冲 kfifo 优化的无锁环形队列, 针对单个或多个数据包生产者单个数据包消费者的出入队列提供无锁机制, 有效减少系统开销 19

20 实验平台简介 2 Overlay 网络实现方案 2.3 OVS with DPDK 基于 DPDK 加速, 针对原始 OVS 存在的问题, 一方面, 因为 PMD 采用轮询方式与网卡交互,DPDK 要独占部分 CPU 和内存, 这样在任意时间都有足够的资源用于报文的处理转发, 避免了因操作系统调度带来的资源抢占的问题另一方面, OVS with DPDK 绕过操作系统内核, 在用户空间, 通过 PMD 直接操作网卡的接收和发送队列 PMD 会不断的轮询网卡, 当从网卡上收到报文之后, 会直接通过 DMA 将其传输到预分配的内存中, 同时更新接收队列的指针, 这样 OVS 很快能感知收到报文, 大大减少了中断拷贝等开销 20

21 平台搭建过程及结果 1 各节点 OVS with DPDK 的安装过程 (1) 安装 DPDK 1. cd /data/wangrui/dpdk-stable export DPDK_BUILD=/data/wangrui/dpdk-stable installed 3. export DPDK_DIR=/data/wangrui/dpdk-stable sysctl -w vm.nr_hugepages= echo 1024 > /sys/devices/system/node/node0/hugepages/hugepages- 2048kB/nr_hugepages 6. echo 1024 > /sys/devices/system/node/node1/hugepages/hugepages- 2048kB/nr_hugepages 7. mkdir /mnt/huge 8. mount -t hugetlbfs nodev /mnt/huge 9. make install T=x86_64-native-linuxapp-gcc DESTDIR=$DPDK_BUILD 10. modprobe vfio-pci 21

22 平台搭建过程及结果 1 各节点 OVS with DPDK 的安装过程 (2) 安装 OVS with DPDK 1. export OVS_DIR=/usr/src/openvswitch cd $OVS_DIR 3../boot.sh &&./configure --with-dpdk=$dpdk_build && make install 4. mkdir -p /usr/local/etc/openvswitch 5. mkdir -p /usr/local/var/run/openvswitch 6. rm -f /usr/local/etc/openvswitch/conf.db 7. ovsdb-tool create /usr/local/etc/openvswitch/conf.db \ 8. vswitchd/vswitch.ovsschema 9. ovsdb-server --remote=punix:/usr/local/var/run/openvswitch/db.sock \ remote=db:open_vswitch,open_vswitch,manager_options \ private-key=db:open_vswitch,ssl,private_key \ certificate=db:open_vswitch,ssl,certificate \ bootstrap-ca-cert=db:open_vswitch,ssl,ca_cert \ pidfile --detach --log-file 15. ovs-vsctl --no-wait init 16. ovs-vsctl --no-wait set Open_vSwitch. other_config:dpdk-init=true 17. ovs-vswitchd --pidfile --detach 22

23 平台搭建过程及结果 2 Node-02 节点 OVS with DPDK 配置 (1)br0 配置 1. ifconfig ens4f1 down 2. cd /data/wangrui/dpdk-stable /tools/ 3../dpdk-devbind.py --bind=vfio-pci 0000:88: ovs-vsctl add-br br0 -- set bridge br0 datapath_type=netdev 5. ovs-vsctl add-port br0 dpdk0 -- set Interface dpdk0 type=dpdk options:dpdkdevargs=0000:88: ifconfig br /24 up 23

24 平台搭建过程及结果 2 Node-02 节点 OVS with DPDK 配置 (2)br1 && br2 配置 1. ovs-vsctl add-br br1 -- set bridge br1 datapath_type=netdev 2. ovs-vsctl add-port br1 vxlan21 -- set interface vxlan21 type=vxlan options:remote_ip= ovs-vsctl add-port br1 vxlan26 -- set interface vxlan26 type=vxlan options:remote_ip= ifconfig br /24 up 5. ovs-vsctl add-br br2 -- set bridge br2 datapath_type=netdev 6. ovs-vsctl add-port br2 vx21 -- set interface vx21 type=vxlan options:remote_ip= options:local_ip= options:key= ovs-vsctl add-port br2 vx23 -- set interface vx23 type=vxlan options:remote_ip= options:local_ip= options:key= ifconfig br /24 up 24

25 平台搭建过程及结果 2 Node-02 节点 OVS with DPDK 配置结果 (1)Hugepages 文件系统和 DPDK VFIO 驱动 25

26 平台搭建过程及结果 2 Node-02 节点 OVS with DPDK 配置结果 (2) 网卡绑定 DPDK VFIO 驱动 26

27 平台搭建过程及结果展示 3 Node-02 节点 VNF 实例配置 (1)firewall VNF 配置 1. docker run --net=none --privileged=true --name=firewall -itd firewall 2. ovs-docker add-port br1 eth0 firewall --ipaddress= /24 -- gateway= ovs-docker add-port br1 eth1 firewall --ipaddress= /24 -- gateway= docker exec --privileged=true firewall iptables -F 5. docker exec --privileged=true firewall iptables -t nat -A PREROUTING -d i eth0 -j DNAT --to-destination docker exec --privileged=true firewall iptables -t nat -A POSTROUTING -o eth1 -j MASQUERADE 7. docker exec --privileged=true firewall click /home/click-changed-for- ParaGraph/conf/firewall.click 27

28 平台搭建过程及结果展示 3 Node-02 节点 VNF 实例配置 (2)firewall2 VNF 配置 1. docker run --net=none --privileged=true --name=firewall2 -itd firewall2 2. ovs-docker add-port br2 eth0 firewall2 --ipaddress= /24 -- gateway= ovs-docker add-port br2 eth1 firewall2 --ipaddress= /24 -- gateway= docker exec --privileged=true firewall2 iptables -F 5. docker exec --privileged=true firewall2 iptables -t nat -A PREROUTING -d i eth0 -j DNAT --to-destination docker exec --privileged=true firewall2 iptables -t nat -A POSTROUTING -o eth1 -j MASQUERADE 7. docker exec --privileged=true firewall2 route add -host gw docker exec --privileged=true firewall2 click /home/click-changed-for- ParaGraph/conf/firewall2.click 28

29 平台搭建过程及结果展示 3 Node-02 节点 VNF 实例配置 29

30 平台搭建过程及结果 4 方案 1 各节点 VNF 路由及 iptables 配置信息 (1)Node-01 节点 generator 路由信息 30

31 平台搭建过程及结果 4 方案 1 各节点 VNF 路由及 iptables 配置信息 (2)Node-02 节点 firewall iptables 配置信息 31

32 平台搭建过程及结果 4 方案 2 各节点 VNF 路由及 iptables 配置信息 (1)Node-01 节点 generator2 路由信息 32

33 平台搭建过程及结果 4 方案 2 各节点 VNF 路由及 iptables 配置信息 (2)Node-02 节点 firewall2 路由及 iptables 配置信息 33

34 平台搭建过程及结果 4 方案 2 各节点 VNF 路由及 iptables 配置信息 (3)Node-03 节点 nat2 路由及 iptables 配置信息 34

35 平台搭建过程及结果 4 方案 2 各节点 VNF 路由及 iptables 配置信息 (4)Node-04 节点 loadbalance2 路由及 iptables 配置信息 35

36 平台搭建过程及结果 5 方案 3 Node-05 节点 SFC 实现及其 iptables 配置信息 Discard IPClassifier IPRewriter IPRewriter FromDevice Classifier copier IPFilter merger IPRewriter Switch IPRewriter ToDevice 36

NAT环境下采用飞塔NGFW

NAT环境下采用飞塔NGFW 版本 V1.0 时间作者 2017 年 5 月王祥状态反馈 support_cn@fortinet.com 目录 1 应用场景... 3 2 网络拓扑... 3 3 版本说明... 3 4 配置步骤... 4 4.1 FortiGate VXLAN 配置... 4 4.2 Ubuntu VXLAN 配置... 6 5 测试结果... 6 6 注意事项... 7 1 应用场景 VXLAN over