清华大学数字校园建设与思考

Size: px

Start display at page:

Download "清华大学数字校园建设与思考"

筑妥奕
5 years ago
Views:

1 奋斗的历程丰硕的成果 ( 二 ) 校园数据中心高可靠性网络的研究与实现 1 沈立强吴海燕戚丽摘要 : 校园数据中心是数字校园的核心, 无单点故障的高可用性网络的建设至关重要本文以清华大学校园数据中心的网络建设为实例, 探讨如何设计数据中心的网络设计方案以保证网络的高可靠性, 做到任何单个交换机或单条链路的故障都不会影响网络的连通性, 更不会导致整个网络的瘫痪, 从根本上解决数据中心面临的风险关键词 : 校园数据中心, 高可靠性网络, 单点故障,AFT,VRRP 一前言清华大学在教育信息化建设方面经过十余年艰苦努力, 尤其在启动 211 工程之后, 逐步建成了综合信息服务系统办公自动化系统综合教务系统网络教学系统财务工资管理系统和开放实验室综合管理系统等多个应用系统, 数据中心为上述应用系统提供了完善的网络和运行环境, 并承担了所有应用系统的运行和维护任务目前数据中心内有各类服务器 80 余台, 几乎所有应用系统的关键数据都存放在数据中心, 数据中心与各个业务部门之间的保持着频繁的重要通讯为了保证数据中心的高可用性, 达到 7*24 小时不间断服务的目标, 一个全冗余无单点故障的网络就成了数据中心的基础为实现路由冗余, 可以采用 VRRP 协议 ; 为实现交换机的冗余, 可以采用 SPT 协议 ; 为实现链路冗余, 可采用 link-aggregation 技术等本文以清华大学数据中心的网络建设为实例, 探讨如何设计数据中心的网络设计方案以保证网络的高可靠性, 做到任何单个交换机或单条链路的故障都不会影响网络的连通性, 更不会导致整个网络的瘫痪, 从根本上解决数据中心面临的风险二清华大学校园数据中心网络结构目前, 清华大学校园数据中心的交换机有华为 Quidway S8016 神州数码 DCRS7504 Extreme Alpine 3808 Extreme Summit 48,Quidway S3050,S3026 等通过采用硬件上的冗余, 包括交换机的冗余交换机之间链路的冗余和服务器网卡的冗余等, 基本实现了网

2 2 奋斗的历程丰硕的成果 ( 二 ) 络的高可靠性, 消除或部分消除了网络的单点故障数据中心的网络拓朴结构如图 1 所示图 1 数据中心网络拓扑结构三清华大学校园数据中心网络可靠性分析一个高可靠的网络应该是全冗余无任何单点故障的下面我们根据图 1 的网络拓扑, 从网络设备通信链路两方面来分析清华大学校园数据中心网络的单点故障情况 3.1 网络设备的可靠性分析 (1) 中心路由交换机中心路由交换机采用的是华为公司高端千兆路由交换机 Quidway S8016 S8016 的主控板交换网板路由处理系统电源系统等所有关键部件都采用了冗余热备份设计, 其路由转发处理引擎采用分布式结构, 因此,S8016 本身不存在单点故障数据中心采用了两台三层交换机作为中心路由交换机, 同时, 通过在两台中心路由交换机上运行 VRRP( 虚拟冗余路由协议 ) 协议来为服务器提供一个唯一的默认网关当任何一台中心路由交换机发生故障时, 通过 VRRP 协议, 另一台中心路由交换机立即接管所有的工作, 同时更新路由表, 并通过动态路由协议通知校园网端的路由器更新相应的路由表我们先介绍 VRRP 相关的部分术语 :

3 奋斗的历程丰硕的成果 ( 二 ) 3 VRRP 路由器任何运行 VRRP 协议的路由器或设备 ; 虚拟路由器一个运行 VRRP 协议的逻辑路由器, 用来给一个网络的主机提供路由服务一个虚拟路由器包括一个虚拟路由标识符 VRID 和一组 IP 地址, 在物理上至少由两台或两台以上的 VRRP 路由器构成 ; 主虚拟路由器给虚拟路由器提供 IP 包转发和进行相应 ARP 应答的 VRRP 路由器 ; 备份虚拟路由器当主虚拟路由器失败时, 能自动代替主虚拟路由器工作的 VRRP 路由器 ; 虚拟路由器的 MAC 地址虚拟路由器的 MAC 地址格式为 : E {VRID}, 其中 : E 是生产厂家的唯一标识号 ; 是一个常量, 该地址块保留给 VRRP 协议 ; {VRID} 是 VRRP 虚拟路由器标识在一个网络中最多可以有 255 个虚拟路由器在清华大学校园数据中心有多个子网接入校园网, 图 1 中仅画出了两个子网 Net1 和 Net2 图 1 中 SW1 到 RTA 的实线表示 RTA 作为 Net1 的主虚拟路由器,SW4 到 RTB 的实线表示 RTB 作为 Net2 的主虚拟路由器 ;SW3 到 RTA 的虚线表示 RTA 作为 Net2 的备份虚拟路由器,SW2 到 RTB 的虚线表示 RTB 作为 Net1 的备份虚拟路由器这样, 一方面既实现了冗余的路由备份, 另一方面又实现了负载的分担, 避免了所有的负载集中于一个 VRRP 路由器下面我们以 Net1 为例来分析一下 VRRP 的工作过程简化后的网络拓扑见图 2, 图 2 中的 IP 地址配置仅为示例, 不代表目前清华大学校园数据中心实际使用的 IP 地址

4 4 奋斗的历程丰硕的成果 ( 二 ) 图 2 Net1 的 VRRP 协议配置通过在 RTA 和 RTB 上启用 VRRP 协议, 使 RTA 和 RTB 都成为 VRRP 路由器, 正常情况下 RTA 和 RTB 通过 Net1 定期交换 Hello 报文以确定主虚拟路由器和备份虚拟路由器一旦备份虚拟路由器在规定的时间内没有从 Net1 收到主虚拟路由器发送的 Hello 报文, 将自动变为主虚拟路由器, 接管原主虚拟路由器的所有工作这个时间很短, 一般小于 3 秒, 因此, 用户基本上感觉不到该切换当然, 在切换过程中可能会发生短时间内网络路由不正确和少量 IP 报文丢失, 通过 TCP 的重传机制将保证端到端数据的正确性当 Net1 中的主机要向 Net1 以外的网络发送 IP 报文时, 先进行 ARP 广播, 请求网关 ( ) 的 MAC 地址 RTA 和 RTB 都收到了该请求, 但只有主虚拟路由器响应该 ARP 请求, 并以虚拟路由器 MAC 地址 E 进行应答主机将 IP 报文以 E 为目的 MAC 地址封装在以太网的帧中进行发送, 主虚拟路由器接收该帧并基于 IP 进行报文转发这样, 就通过 VRRP 协议实现了对中心路由交换机的动态冗余备份 (2) 接入交换机为了消除由接入交换机引起的单点故障, 必须设置冗余的交换机我们可以将两个交换机级联 ( 或堆叠 ) 在一起, 从逻辑上组成一个交换机为提高级联的可靠性, 可采用端口聚合的方式进行双链路级联对于 Extreme 的交换机, 还可以用 Dual-home 技术进行双链路级联然后从每个物理交换机分别连接到不同的中心路由交换机上, 同时, 服务器利用 AFT 技术通过两块网卡分别连接到不同的接入交换机这样, 当某一接入交换机发生故障时, 如果有必要的话, 服务器会自动切换到备用网卡, 从而连到另一个接入交换

5 奋斗的历程丰硕的成果 ( 二 ) 5 机,VRRP 虚拟路由器根据当前的状态, 还有可能发生主备虚拟路由器的切换, 当然, 这个切换对服务器是透明的 3.2 链路的可靠性分析 (1) 从中心路由交换机到校园网的出口链路任何一条出口链路出现故障时, 相应的中心路由交换机通过动态路由协议更新路由表, 将默认的出口路由指向另外一台中心路由交换机, 然后经另一个出口到校园网由于数据包回来的路由也发生了变化, 因此要求校园网端也运行动态路由协议, 实现动态路由调整 (2) 两个中心路由交换机之间的路由链路链路发生故障时, 将导致 Net1 和 Net2 的互访要经过校园网端的路由器由于两台中心路由交换机都支持端口聚合功能, 因此, 可在两台中心路由交换机之间建立多条链路, 通过 link-aggregation 将多个端口聚合为一个逻辑端口聚合端口通过流量配置算法支持端口流量自动均衡保护, 使所属物理通道流量基本均衡 ; 通过聚合端口发送的报文会从该聚合端口中任意一个且只有一个物理链路上发送, 物理端口上的调度策略保证业务质量和报文顺序当聚合端口中一条或多条物理链路故障时, 能自动将流量转移到其他链路上去当端口重新恢复后, 流量自动重新分配 (3) 从接入交换机到中心路由交换机的链路从接入交换机到中心路由交换机的链路发生故障时, 根据 VRRP 虚拟路由器的状态, 有可能发生 VRRP 主备虚拟路由器的切换不过, 该切换对服务器是透明的为了增强该链路的可靠性, 可采用端口聚合的方式通过双链路将接入交换机上联到中心路由交换机对于 Extreme 的 Summit48 交换机, 还可以采用 Dual-home 技术进行双链路上联 (4) 从服务器到接入交换机的链路链路故障或网卡故障都将导致服务器不能连到相应的接入交换机服务器可采用双网卡接到不同的接入交换机在服务器上安装 2 块网卡, 分别连接到 2 台不同的接入交换机, 利用 AFT(Adapter Fault Tolerance) 技术实现网卡间的容错, 当主网卡或该网卡到所连的交换机链路发生故障时, 服务器会立刻将该网卡上的流量转移到备份网卡上, 这一过程不超过 2 秒四结束语通过对路由器交换机以及通信链路的冗余设置, 配合 VRRP AFT Link-Aggregation

6 6 奋斗的历程丰硕的成果 ( 二 ) SPT 等技术, 消除网络中的单点故障, 最终建立一个安全可靠高效的校园数据中心网络系统由于全部采用冗余设置, 因此投资成本较高, 对于条件不允许的校园数据中心, 可以对部分重要的服务器所在的网络采用全冗余的设计, 而其它服务器还是采用单链路单交换机的接入方式, 同时, 按 N:1 方式准备若干备用交换机和备用连接线, 一旦交换机或链路发生故障, 就可以立即将备用设备替换上去, 从而在最短时间内恢复网络的正常参考文献 [1] VRRP,Virtual Router Redundancy Protocol,May, 2000, Anritsu Company [2] 庞鑫, 王力如何提高第三层网络交换的可靠性电子科技,2002 年 15 期 [3] 薛伟莲建设容错校园骨干网苏州大学学报工学版, 第 22 卷第 1 期

通过动态路由协议实现链路备份

通过动态路由协议实现链路备份实验名称通过动态路由协议实现链路备份实验目的掌握通过在不同链路上配置不同的路由协议实现链路备份背景描述你是公司高级网络管理员, 公司内部有一个很重要的服务器所在网段为 192.168.12.0/24, 平常访问通过 R1,R3 的 OSPF 路由协议, 为了保证该网段随时能够访问, 不能因为链路故障出问题, 要求你实现一个备份冗余的功能, 请给予支持实现功能