iBgpMultipathMplsLoadbalancing.pdf

Size: px

Start display at page:

Download "iBgpMultipathMplsLoadbalancing.pdf"

豆毕
7 years ago
Views:

1 ibgp multipath 在 MPLS 环境下等价路由负载不均衡问题的排障目录硬件平台软件版本案例简介故障诊断步骤解决方案经验总结其他相关文档硬件平台 Cisco 10 系列路由器软件版本 12.0S,12.0SY 案例简介上图是运营商中常见的一种网络拓扑, 可见于城域网或省网以上图为例,AS100 为城域网,AS 为骨干网 AS100 与 AS 通过两条路径互连, 设计上希望从 AS100 去往 AS 的出口流量在两个出口上实现负载均担常见的一种做法是在 AS100 内部的 ibgp 上配置 ibgp multipath, 这样对每个 AS 广播过来的路由,AS100 内部的 ibgp 路由器对它有两个路径, 分别指向两个出口路由器以上图为例,AS 向 AS100 广播一个 /24 的路由,R1 上的 BGP 表显示这个路由的两条路径都被选中, 它们的下一跳分别指向 R5 和 R6 的 loopback 地址

0SY 案例简介上图是运营商中常见的一种网络拓扑, 可见于城域网或省网以上图为例,AS100 为城域网,AS 为骨干网 AS100 与 AS 通过两条路径互连, 设计上希望从 AS100 去往 AS 的出口流

2 R1#show ip bgp BGP routing table entry for /24, version 43 Paths: (2 available, best #1) Multipath: ibgp Flag: 0x820 Not advertised to any peer (metric 20) from ( ) Origin IGP, metric 0, localpref 100, valid, internal, multipath, best (metric 20) from ( ) Origin IGP, metric 0, localpref 100, valid, internal, multipath 关于路由协议配置方面,AS100 内部跑 IS-IS, R1,R5 和 R6 之间跑 ibgp R1 和 R5 上主要的 BGP 配置情况如下,R6 的配置与 R5 类似 : R1: bgp router-id neighbor remote-as 100 neighbor update-source Loopback0 R5: bgp router-id neighbor remote-as 100 neighbor update-source Loopback0 neighbor next-hop-self neighbor next-hop-self neighbor remote-as 在大部分情况下, 城域网内部都开启了 MPLS, 以提供 MPLS L2/L3 VPN,MPLS TE 等服务对于 MPLS, 通常只有 IGP 路由及各个路由器的 loopback 地址参与 MPLS 标签分发这种情况下, 有时候会发现 R5,R6 上出口流量并不特别均衡的现象 R5,R6 上的出口流量均分是基于流的 per destination 的统计上的平均, 在城域或省域流量的情况下, 两边的出流量不应相差很大, 但问题是在上述部署中有时会出现两边出流量相差很大的情况, 最坏时甚至只有一个出口有流量, 而另一个出口几乎没有流量如上图的例子, 只有 R5 上有去往 AS 的流量, 而 R6 上去往 AS 的流量几乎为零故障诊断步骤通过对端口流量速率和 MPLS forwarding 转发表的观察, 通过 R1 去往 AS 的流量只经由以下两种路径 : R1--->R3--->R5--->R7 和 R1--->R4--->R5--->R7 路由器转发所用的 hash 算法, 以及流量的内容和特性等本身的原因基本可以排除首先检查 CEF 表 : R1#show ip cef /24, version 86, epoch 0, per-destination sharing 0 packets, 0 bytes tag information from /32, shared, all rewrites owned local tag: 43 via , 0 dependencies, recursive next hop , Ethernet2/0 via /32 (Default) valid adjacency (0x0172F288) tag rewrite with Et2/0, , tags imposed {18} via , 0 dependencies, recursive next hop , Ethernet2/0 via /32 (Default) valid adjacency (0x0172F288) tag rewrite with Et1/0, , tags imposed {19} Multilevel loadinfo missing some IGP paths 0 packets, 0 bytes switched through the prefix tmstats: external 0 packets, 0 bytes internal 0 packets, 0 bytes 虽然 CEF 表显示 /24 有分别经过 R5 loopback 和 R6 loopback 两条递归路由, 但是在 12.0S 和 12.0SY 系列的 IOS 中, 对于这种指向多个 bgp nexthop 的 BGP 路由, 如果只是 CEF 转发, 则 CEF 会选择所有的 BGP nexthop 路径, 然后为每个 BGP nexthop 选取一个 IGP 路径 ( 即使每个 BGP nexthop 也有多个 IGP 等价路径 )

6.6.6 (metric 20) from 6.6.6.6 (6.6.6.6) Origin IGP, metric 0, localpref 100, valid, internal, multipath 关于路由协议配置方面,AS100 内部跑 IS-IS, R1,R5 和 R6 之间跑 ibgp R1 和 R5 上主要的 BGP 配置情况如

3 MPLS 与 CEF 不同,MPLS forwarding 只会选择一个 BGP nexthop, 然后在这个 nexthop 的所有 LSP 上做负载分担, 这也是上面 "tag information from /32,shared" 所表示的, 它只选了 R 由于 AS100 内部的所有路由器都开启了 MPLS, 通过以下的 MPLS forwarding 表可以看到, 去往 /24 的流量会分别从 E2/0 发送并压上标签 18 和从 E1/0 发送并压上标签 19, 但这两种情况都是属于去往 R5 loopback 的 LSP 的 R1#show mpls forwarding detail /24 0 Et2/ MAC/Encaps=14/18, MRU=1500, Tag Stack{18} AABBCC00CC00AABBCC00C Per-destination load-sharing, slots: /24 0 Et1/ MAC/Encaps=14/18, MRU=1500, Tag Stack{19} AABBCC00CB00AABBCC00C R1#show mpls forwarding-table 41 Pop tag /32 0 Et1/ Pop tag /32 0 Et2/ /32 0 Et2/ /32 0 Et1/ /32 0 Et2/ /32 0 Et1/ 解决方案由于 Cisco 10 上多层递归路由的等价路径负载分担功能目前只在 IOS XR 上支持, 而 IOS 上并不支持, 为了满足去往 AS 的流量分担于 R5 和 R6 出口的需求, 可以考虑在 AS100 内部的 BGP 路由器上启动 BGP send label 功能, 让 BGP 为 BGP 路由分配标签, 这样 MPLS forwarding 会用上所有的 BGP nexthop 的 LSP 相关配置和验证过程如下 : R1,R5 和 R6 上都启用 bgp neighbor send-label 以下仅列出 R1 和 R5 上的相关配置,R6 与 R5 类似 R1: bgp router-id neighbor remote-as 100 neighbor update-source Loopback0 neighbor send-label neighbor send-label R5: bgp router-id neighbor remote-as 100 neighbor update-source Loopback0 neighbor next-hop-self neighbor send-label neighbor next-hop-self neighbor remote-as 然后可以看到 R5 和 R6 都通过 BGP 为 /24 分配了标签 : R1#show ip bgp BGP routing table entry for /24, version 31 Paths: (2 available, best #2) Multipath: ibgp Not advertised to any peer (metric 20) from ( )

5.5.5 的 LSP 的 R1#show mpls forwarding 100.100.1.0 24 detail 43 18 100.100.1.0/24 0 Et2/0 9.9.14.

4 Origin IGP, metric 0, localpref 100, valid, internal, multipath mpls labels in/out BGP-route(from LDP)/ (metric 20) from ( ) Origin IGP, metric 0, localpref 100, valid, internal, multipath, best mpls labels in/out BGP-route(from LDP)/18 检查 CEF 表可以发现类似 "tag information from /32, shared" 的这样一行没有了,CEF 选择两个 BGP nexthop 的 LSP: R1#show ip cef /24, version 95, epoch 0, per-destination sharing 0 packets, 0 bytes tag information set, all rewrites owned local tag: BGP route head via , 0 dependencies, recursive next hop , Ethernet1/0 via /32 (Default) valid adjacency tag rewrite with Recursive rewrite via /32, tags imposed {18} via , 0 dependencies, recursive next hop , Ethernet2/0 via /32 (Default) valid adjacency tag rewrite with Recursive rewrite via /32, tags imposed {31} 0 packets, 0 bytes switched through the prefix tmstats: external 0 packets, 0 bytes internal 0 packets, 0 bytes 再从 MPLS forwarding 表也可以看到 /24 有经 E2/0 和 E1/0 去往以及经 E2/0 和 E1/0 去往的共四个 LSP 路径, 在 R1 上接收多条 BGP 路由的情况下, 通过 Pagent 流量发生器向 R1 注入模拟的流量, 可以观察到流量均分在下述的路径上 : R1--->R3--->R5 R1--->R3--->R6 R1--->R4--->R5 R1--->R4--->R6 R1#show mpls for detail None Recursive /24 0 Recursive rewrite via /32, Tag Stack{18} Per-destination load-sharing, slots: Recursive /24 0 Recursive rewrite via /32, Tag Stack{31} 0001F000 Per-destination load-sharing, slots: R1#show mpls forwarding-table 41 Pop tag /32 0 Et1/ Pop tag /32 0 Et2/ /32 0 Et2/ /32 0 Et1/ /32 0 Et2/ /32 0 Et1/ 经验总结在 IOS 12.0 系列上, 对于 BGP multipath, 在没有启用 MPLS 时, 路由器会在所有 BGP nexthop 上做负载分担, 但对每个 BGP nexthop 只会选取一个 IGP 路径当在全网启用了 MPLS 之后, 路由器只会选取一个 nexthop 做转发以上图为例, 如果 R1 分别只直连到 R5 和 R6, 对于有多个 nexthop 的 BGP 路由, 出流量可能只会走一边, 比如只走 R1---R5 而不走 R1---R6 Cisco 早已注意到了这种情况, 从 12.0(33)S02 开始, 如果路由器上同时配置了 ibgp multipath 和 MPLS, 则 IOS 会给出如下提示, 建议启用 BGP send-label: %TFIB-4-UNSUPPORTED_CONFIG: WARNING: Using ibgp multipath feature with LDP or TE based LSPs towards the BGP nexthop, paths taken by forwarding may not be as expected. Please consider configuring BGP labeling (RFC 3107) for proper forwarding behavior 如果遵照 IOS 给出的建议, 在 ibgp multipath 加 MPLS 的环境中启用 BGP send-label, 则可以实现 BGP 路由在所有 ibgp nexthop 的所有

5.5.5/32, shared" 的这样一行没有了,CEF 选择两个 BGP nexthop 的 LSP: R1#

件创建日期 : 2011 年 3 月 23 日 http://www.cisco.

,,,,, :,, (.,, );, (, : ), (.., ;. &., ;.. &.., ;, ;, ),,,,,,, ( ) ( ),,,,.,,,,,, : ;, ;,.,,,,, (., : - ),,,, ( ),,,, (, : ),, :,

: 周晓虹 : - -., - - - -. :( ), -,.( ),,, -. - ( ).( ) ', -,,,,, ( ).( ),,, -., '.,, :,,,, :,,,, ,,,,, :,, (.,, );, (, : ), (.., ;. &., ;.. &.., ;, ;, ),,,,,,, ( ) ( ),,,,.,,,,,, : ;, ;,.,,,,, (., : - ),,,,