第卷第期高平张帆张东等基于的云架构网络高确定性流量控制方法概述云计算为越来越多的互联网应用业务如在线购物网络直播数据存储等提供强有力的技术支撑云平台则对计算存储网络等资源进行统一的管理和调度云架构网络作为云计算技术的基础设施平台它的性能直接影响到企业提供的云服

Size: px

Start display at page:

Download "第卷第期高平张帆张东等基于的云架构网络高确定性流量控制方法概述云计算为越来越多的互联网应用业务如在线购物网络直播数据存储等提供强有力的技术支撑云平台则对计算存储网络等资源进行统一的管理和调度云架构网络作为云计算技术的基础设施平台它的性能直接影响到企业提供的云服"

怒隐赖
5 years ago
Views:

1 第卷第期计算机工程年月! 先进计算与数据处理文章编号文献标志码中图分类号基于 #8 的云架构网络高确定性流量控制方法高平张帆张东翟飞龙中国航空无线电电子研究所上海西安交通大学计算机科学与技术系西安地理信息工程国家重点实验室西安中国电子科技集团公司第三十二研究所上海摘要针对目前云架构网络不能较好地应对云网络中数据传输的多样性以及细粒度和确定性流量控制需求等问题提出一种基于软件定义网络的高确定性流量控制方法将集中优化控制全网感知能力的优势与交换机上的多队列调度机制相结合在获取全网拓扑和流量信息的基础上规划业务流最优路径为交换机分配合理的队列调度参数并利用 % 减小网络拥塞保证各类业务的带宽和时延同时运用全可编程交换机实现业务流的细粒度管理配合个性化的流表下发机制动态调整业务传输带宽和业务流等级实验结果表明该方法关键业务流的平均排队时延小于 * 排队时延抖动小于 * 丢包率小于可实现对云网络中的业务流集中化可实时化和精细化管理关键词云架构网络流量控制软件定义网络多队列调度服务质量中文引用格式高平张帆张东等基于的云架构网络高确定性流量控制方法计算机工程 # 英文引用格式 ( ( '$ ( $ 0, * $. 0,., $ 0 2!$*, # '43#"("!$(- )-9%!( % "(3% )% 9% -3("-( "8"(1% $" %! #8 ( ( '$ ( ' 0 $$ $ $ $5$, *5 * $ 0 * 0$ 0$ 0 $ $. $, % 0 1)" $ $ * 1)" $ 0 $ $ 6 1 $! $ 1.( $0. $ )" $ 0 $ %0, 5 * $ 0 *.0 $ *% 0 1 ( $ 0$ 0$0 $ $( -( $ 0! 0$ 0, $ 0 2 $, $2 0 0, * 1.,$ $ $ ***, 2 $, 0 / *.. # $, $,, * $. $0 0#, * $. 0,!$*,. 2$., 2 * *,! * 0 $, $ $ *. $+, +$. $, 0 $2$ ** #/ *0, 0$ * 0 *2 0$, $ * 0 $$ 0. 0 *.2!$*, 0 1 $, $.. $ $, $ $ *$ $* $! / *0, $ $ *. 0 *2 0$, * *%, 2 * $, * *!$,2, 0 $,, $1. $ ** * 0 *$ 0. $$! *2 0 **, 0. # $, $ $. 0 *.2$, 0 * $+,.2 $!, 1 0$ * **,,1 $$1 $, * 0 * $ ***!$,2, 0 $, *.2 3 * *02* 0$ 0 $!* **.2. 0* 0, $0 * 0 $ $ /, $1 ** 0$ * 0 /, $1 * ** 0$ * $, 0 $ ** $ * ** 0$ $ $+ * 0 $+, $# $,. $ $. 0 $..2 0, 2 /"0 1% $, $ 0 2 $.. 2$., 2 #/ *0, 8$ 1. 8 # 4 ** # 基金项目中国航空无线电电子研究所项目 "### 作者简介高平男高级工程师硕士主研方向为分布式系统云计算张帆博士研究生张东研究员博士博士生导师翟飞龙工程师收稿日期 ## 修回日期 ##,$,% $

2 第卷第期高平张帆张东等基于的云架构网络高确定性流量控制方法概述云计算为越来越多的互联网应用业务如在线购物网络直播数据存储等提供强有力的技术支撑云平台则对计算存储网络等资源进行统一的管理和调度云架构网络作为云计算技术的基础设施平台它的性能直接影响到企业提供的云服务质量在网络性能优化上由于云计算业务种类和数量的急剧增长以及服务节点和网络规模的不断增大节点流量模型的更加复杂对网络流量控制提出更高的要求针对复杂业务模型和动态网络环境为了给各类业务提供高确定的与合理的服务质量 8$ 1. 8 保障研究一种适用于云架构网络的流量控制技术势在必行为此本文提出一种基于软件定义网络. 2$., 2 的高确定性流量控制方法该方法将集中优化控制全网感知优点与多队列调度机制拥塞控制策略相结合保证各类业务的带宽和时延同时使用全可编程交换机并配合个性化的流表下发机制动态调整业务传输带宽和业务流等级时保证业务带宽和时延保证传统网络的队列调度算法难以实现细粒度流量控制静态的参数配置不适合动态的网络流量需求可以看出在传统网络中使用上述流量控制技术难以为云架构网络中的业务提供高确定性的时延和带宽保证云架构网络流量控制方法基于对云架构网络业务及传统流量控制问题的分析根据提出的高确定性流量控制方法本文设计一套高确定性流量控制系统将技术与传统流量控制技术相结合对云架构网络中的各类应用业务全面感知实现对网络中的业务流集中化实时化精细化管理总体架构本文系统采用分层设计总体分为应用层控制层和网络层系统总体架构如图所示相关研究队列调度是网络流量控制的重要技术也是实现网络 8 控制的重要手段在工业界和学术界已经出现了许多队列调度算法及其改进算法文献提出的 55 算法实现简单但不能满足不同类业务对时延的需求文献提出的 8 算法考虑到不同业务处理的优先级但易使低优先级的业务流饿死难以保证调度的公平性文献提出的 :'8 算法在原理上比轮询类调度算法优越但实现较为复杂传统网络交换设备的处理算法对用户不透明用户无法做过多的干预所以无法对相应的业务流做精确的带宽保证文献提出的 -:'8 算法允许用户对流分类并且考虑到公平性但缺少对语音类业务的支持文献 # 提出的 :55 算法和 :55 算法为每个队列设置不同的权重值保证了不同优先级队列中的业务但由于受到硬件资源的限制只能将各类业务大致的划分到有限的队列中进行粗粒度管理无法充分发挥算法的作用此外网络中业务数量和流量分布经常变化需要时常调整算法参数传统配置方式在频繁操作下存在人力时间成本高易引入误操作的问题除了 55:55 这类轮循类算法外另外提出了基于时延的调度算法如 ' 5 等以及基于服务曲线理论的调度算法如 ' 等但这些算法很少能在商用交换设备得到部署综上在传统网络中使用上述某种算法对云架构网络进行流量控制存在以下问题传统队列调度算法难以同图本文系统总体架构系统总体架构由以下个方面组成应用层在该层上主要运行智能流量控制软件包括网络态势感知模块和网络流量配置模块网络态势感知模块感知网络情况并将网络信息呈现给网络管理者网络流量配置模块根据网络管理者下发的策略区分不同的业务流对不同级别的业务流下发不同的 8 保证策略控制层在该层运行控制器系统采用轻量级的 51 作为控制器该层包括个模块即端口信息收集模块流量信息收集模块主机管理模块交换机管理模块和拓扑管理模块获取网络的资源以及网络流量状况其中网络的信息包括交换机端口主机的信息和网络拓扑结构以及基于流的流量统计信息和基于端口的流量统计信息控制器根据这些信息下发流量策略完成网络的通信网络层该层由物理交换机虚拟交换机以及终端主机组成其中虚拟交换机虚拟主机以及两者之间的链路由虚拟交换机生成软件 " 生成交换机跟控制器使用 '2 作为南向协议进行交互完成网络状态信息的提取和流表的下发

3 计算机工程年月日高确定流量控制方法网络中的资源是有限的当各种网络应用为了满足自身网络资源的需求而抢夺网络资源时就会出现对服务质量的要求服务质量主要包括传输带宽传送时延数据的丢包率和时延抖动等网络中不同业务对于服务质量有不同的要求例如有些业务流具有时效性只有在规定的时限内完成才有价值这类流对时延和时延抖动敏感而有些业务流较大期望在相对较短时间内完成这类流对吞吐量和带宽敏感为了保证不同业务流需求本文通过下面种方法对业务流的 8* 进行保障多队列调度机制考虑到 :55 比 :'8 的计算复杂度更低具有良好的公平性各队列间互不影响等优点本文方法将 :55 引入到控制器的多队列调度中根据应用层中为不同业务流定制的流表将不同类别的流分配到相应的队列中队列之间实现轮询发送为保证不同队列的带宽利用了赤字计数器并为不同队列设置不同的权重值即每次发送指定的字节数下的多队列调度流程如图所示口权重值小的队列进行转发同时网络流量管理模块会实时地监控网络的负载情况当局部链路负载过重时调整对时延无要求或对时延要求较小的业务流相关的流表实现网络的负载均衡通过将的全局感知的优势与 :55 算法相结合对业务流充分合理调度实现同时对业务带宽和时延的保证拥塞控制策略在云架构网络中流量分布具有高动态性和突发性而且交换设备的缓存有限很容易出现缓存溢出的拥塞丢包和流延迟变大的现象为此系统中摒弃 % 5 采用 % 协议如图所示利用显示拥塞通知 3 *.$ 控制了缓存队列的长度当拥塞发生时对超过队列拥塞标记阈值的数据包标记接收端收到被标记的包后通知源端对这类包限速这样可以在很少占用缓冲区的情况下实现高吞吐量传输通过拥塞控制策略进一步为网络中高 8 业务流提供高确定性时延和带宽保证图拥塞控制策略图 #8 下的多队列调度流程利用网络全局控制的特性为数据流分配合适的路径对于有时延要求的业务流将根据时延的敏感程度为其队列配置较大权重控制器会根据其配置信息在交换机上预装流表避免 $ # 消息上报和流表下发导致的网络时延对于其他的业务流网络流量管理模块会以网络态势感知模块获取的网络中每条链路的剩余带宽为权重使用最短路径算法为其计算一条转发路径并为路径上所有交换机下发相应的流表项通过转发端全可编程的交换机 2 0 是一款全可编程的交换机系统将其做为网络层中物理交换机利用该交换机软件可编程逻辑可重构硬件可扩展的特点可以对交换机端口队列数量合理配置对业务数量大的端口多配队列对业务量数量小的端口少配队列使参与多队列调度的业务流得到了更精细的划分在很大程度上增加了不同业务流之间的隔离程度减小它们之间影响 2 0 交换机的使用让原有的队列调度算法实现了细粒度流量控制个性化的流表下发机制在传统网络流量 8 保障中需要对网络设备进行参数设置配置的策略是静态的而且需要网络管理员精通不同厂家设备的配置方式对管理员业水平要求较高配置过程耗时易出错本文方法能够让网络管理者根据业务流本身的性质通过网络流量配置模块使控制器向交换机下发为不同的需求业务流定制的流表流分类方法主要包含基于源地址目的地址源端口号目的端口号 " 地址服务编码 % 基于 " 包头等网络流量配置模块可以将上述分类方法任意组合并根据带宽时延要求划

4 第卷第期高平张帆张东等基于的云架构网络高确定性流量控制方法分业务流不同类别的业务流可以随时调整转发队列个性化的流表下发机制实现了在动态的网络环境下依然可以保证不同级别的 8 的系统实现云架构网络流量控制系统原型分前端可视化界面控制器和交换机个部分前端可视化界面由 $ $ %" 和开发运行在 $0 服务器上用于实现软件和网络管理员的可视化交互前端界面一方面通过 5 *. 接口与控制器交互将网络拓扑信息交换机信息主机信息和相关的流量控制信息展示出来其中交换机信息包括交换机,, 端口号端口 " 主机信息包括主机 " 连接端口号等流量控制信息包括交换机上的流表信息流表匹配数据包条目以及端口带宽等另一方面前端接收管理员的指令根据源地址目的地址源端口号目的端口号协议号流量的优先级和指定带宽为业务流添加或删除流量策略完成流量的细化控制云架构网络流量控制系统原型如图所示图云架构网络流量控制系统原型控制器安装在一台服务器上预装基于 3 的 51 控制器系统在 51 控制器下开发了流量控制的应用程序通过.2 协议与交换交互获取全网资源信息生成网络拓扑并根据流量信息和前端提供的流量策略为各类业务流计算最优传输路径向在相应路径上的交换机下发流表信息实现不同级别的 8 保证同时控制器与前端交互向前端提供网络拓扑信息交换机信息主机信息和相关的流量控制信息由于本文系统需要在云网络下运行既需要仿真的网络中具有一定规模的主机网络交换机和网络链路又要具有更好的真实性效果因此本文采用 " 和物理交换机组成半实物环境来进行仿真运用 2 0 交换机作为物理交换机利用 " 生成若干虚拟交换机和虚拟主机 " 宿主机上有多个网口分别于控制器以及物理交换机相连在宿主机上按照定义的网络结构为网卡和 " 中相应的虚拟交换机之间搭建网桥将物理网络中的流量导入 " 构建的虚拟网络中同时将虚拟网络的流量导入物理网络中实现网络的互联即可构建半实物半虚拟的网络环境扩展网络规模并增强了实验结果的真实性为了实现系统中的多队列调度机制在物理交换机上对原有的轮循调度功能进行修改实现 :55 调度在虚拟交换机上通过 3 流量控制器 % $. % 根据控制器下发流量策略将不同的业务流导入相应的队列中并为队列设置指定带宽实现了多队列的轮循调度完成高 8 业务流带宽和时延保证功能为了实现拥塞控制策略在物理交换机上实现功能即为每个队列设置一个标记阈值当实际队列长度超过该值时会对多出的数据包进行标记在上创建拓扑时启用功能使虚拟交换机支持功能并且在虚拟终端上使用 % 协议通过以上的方式可以进一步防止拥塞发生减小业务流的时延系统评估及结果分析本文系统能够根据用户需求区分关键业务流和背景流为指定的关键业务流提供性能保证为此本文设计下面的实验观察在多个流共存的拥塞状况下关键业务流的丢包率时延抖动平均时延以及队列占用的情况实验环境该系统在由一台安装 " 的服务器 2 0 物理交换机以及安装 51 控制器机组成的网络上运行如图所示其中虚拟化交换机数量台物理交换机端口数个物理交换机每个端口数据传输带宽为 "! 4* 图实验拓扑示意图在实验中观察关键业务流在背景流的干扰下的性能指标设置条关键业务流与条背景流如图所示背景流为 % 流量分别从主机 * 和 *

5 计算机工程年月日发出都到达主机 * 一共占用 "! 4* 的带宽带宽被完全占用关键业务流从主机 * 到主机 * 同样是 % 流量持续 * 共计发送 (- 数据在这种情况下关键业务流与背景流在和 2 0 个交换机上发生竞争为了完全保证关键业务流的带宽和时延通过前端为条流配置流量策略将关键业务流的优先级设为最高带宽为 "! 4* 条背景流优先级分别设为中等和最低使用 *. 测试关键业务流时延如图所示的数据包的平均时延小于 * 所有的数据包平均时延为 * 小于 * 并使用. 测试关键业务流的丢包率如表所示出现了个重传包按照 -1 的最大数据包大小进行计算关键业务流丢包率 4 " 4 " 为了测试关键业务流的时延抖动将其改为流经过. 测试发现时延抖动为 * 通过以上测试可以看出本文系统能为指定的业务流提供可靠的性能保障结束语图队列占用情况本文提出一种基于的云架构网络高确定性流量控制方法该方法将集中优化控制全网感知灵活敏捷管理的优点与传统多队列调度机制相结合并使用拥塞控制策略保证了业务流的带宽和时延运用全可编程交换机进行业务流的细粒度管理再配合个性化的流表下发机制实现了业务传输带宽路由和业务流等级动态调整实验结果表明该方法实现对业务流的集中化实时化精细化管理为云架构网络中交换业务提供高确定性带宽路由和时延保障下一步将继续完善本文方法并将其使用到更大的网络范围中进行验证参考文献图数据包时延分布表丢包率测试间隔时间 4* 传输量 4"- 重传数据包数为了进一验证拥塞控制策略的性能采用与图相同的拓扑链路带宽为 "! 4* 对比本文方法和传统的 % 5 协议下拥塞控制方法的效果并观察队列的占用情况主机 * 和主机 * 向主机 * 同时发送数据在这种情况下交换机 2 0 发生拥塞如图所示与传统 % 5 相比本文系统的拥塞控制方法可以使队列中数据包个数降低到个位数队列占用率至少降低了较大程度上避免了拥塞的发生张浩刘渊王晓锋等基于云平台的高逼真链路仿真研究计算机工程 # 6 % " % : 0,,#! 3 $ $# * %" *2 0 0 $, $* $ * # 朱培栋高性能路由器设计与实现 " 北京国防工业出版社张继军高鹏编基于分组网络的服务质量保证 " 北京北京邮电大学出版社 "6 %- 6 $1**.8 $* $ * 2 0,.$ / *0,,* $ 1 / 44, *. $ $.. $ % 0 1.$ *$ $ $ $ * # - %% 5 ( :'8 2 * #$*.$ 2 0,.$ / 44, *. '"" $ ' $ * ** # * 1* * * /$ 1. * * *. $, -4 ## 0 * * 44 4*4, 4, *4*4/*4. $ 4, 4 % * 4/*% % * %! 4 * % *$$! 10 " 7 " ' 5 $.2 0,,! *0, %" 2 * 44, *.( - "" 0 3 ** # 下转第页

6 计算机工程年月日法使用的多线程任务分配策略存在缺陷在四核下并行挖掘的平均加速比依然小于最优值为今后将在以下个方面进行改进完善 - $ 算法的多线程任务分配策略提高算法在并行挖掘下的加速比研究 - $ 算法的分布式并行模式将 - $ 移植到分布式处理平台上以适应大数据下的频繁项目集挖掘参考文献 (5 : %5'$* $ 0. $** $ * $,$ $!$* 44, *. $ $. 1 $ $ $ -$* * $ $ 0 * # 56 " 7. 0$*0#!$*, $ 0. $** $ * 44, *. " (" $ $. "$ $.$ $ 2 7 " ** # 6 " $$! $ 0*. $* $ % $ *$ * 6 2, $ $ # 7 7". / $ *2 0 $,,$ $ " (" 5, # 熊忠阳陈培恩张玉芳基于散列布尔矩阵的关联规则 $ 改进算法计算机应用研究 # 冯培恩刘屿邱清盈等提高 $ 算法效率的策略浙江大学学报工学版 # 张步忠程玉胜王则林基于片上多核的频繁项集并行挖掘算法计算机科学 # 7 ): (. $ $ 0!$*, *. / * $. * 6 5" ( 5( 6 5, $, $ $ 0.. / * * $ # $ $ $., 5 * $ 0 # : ( 68 7') $ ** $ $ $ $ ** 44, *. $ $ $, *!, ** 1* :$*0 ** # "5 5 " 5 : $$ *. $! * $**,$ $ $ $ $* 44, *. 4 " $ $ 1* *, $, (, :$*0 ** # ( 5 $ *. $* $ ( * 44, *. $ $ $ $ $, *!, * 1*:$*0 * # 6 5 (5 %. $ $ $0 $ $ +,$ $ $ 0* $ $ 44, *. $ $. $ $ % 0 *- ( $ 1 # % $,$ $* 0$ $ * * 0$.$ 0 $ ' # 2 0. / * $ 0* -4 ## ,*1* 4 0 $* 严健康陈更生基于 4( 异构资源协同调度的改进 # 计算机工程 # 李丽娜魏晓辉李翔等流数据处理中负载突发感知的弹性资源分配计算机学报 # ( ( ) % $ 3$ $ $0. / * 44, *. 0, $ $. $ $ 1! *$ :$*0 ** # 编辑索书志上接第页 " ( - * $, $.$ 2 / *0, *0. 2 * 44, *. 0, $ $., $, 0 1$ 0 $ * # ( 5( ( $ 3 $ *, $1 $,!. / * % $ *$ *. $ %0 1 # ( ' $ #, *,* * ". 6 ** % ( ( % 0 $ 0$.$ * $ 0. #*0$ $# $, 1 * * 44, *. ("". $ *% 0 * 0 * $, *. $ $ * ' $ * # % 6 5 ( #* $ *.$ / $0 $ 3$ 1.$!$,2, 0 $ $ * 0 0 *, 2 * 44, *. ("". $ *% 0 * 0 *$, *. $ $ $ $,$ * # 51 ' $ $ 2-4 ## 0 44* 0! % "6 : 2 $ $ $, 1. *. 2$ #,., 2 * 44, *. 0 0 " ("" : *0 %* 2 * 27 " * # 编辑索书志

自然科学版预处理视盘粗定位视盘垂直坐标的粗定位视盘水平坐标的粗定位

自然科学版预处理视盘粗定位视盘垂直坐标的粗定位视盘水平坐标的粗定位自然科学版文章编号视网膜图像中视盘的快速自动定位方法赵晓芳林土胜李碧摘要基于眼底视网膜血管的分布结构及视盘本身的特点提出一种快速自动定位视盘的方法首先根据视网膜血管的网络分布结构大致定位视盘的垂直坐标然后根据视盘的亮度信息及视盘与血管的关系来定位视盘的水平坐标最后把视盘限定在以粗定位的视盘为中心的一个小窗口内用变换精确定位视盘中心该方法不需要事先分割视网膜血管也不需要对算法进行训练