Tencent SDN实践分享

Size: px

Start display at page:

Download "Tencent SDN实践分享"

徨闵
5 years ago
Views:

1 基于 SDN 的路由控制及流量调度 Tencent SDN 实践分享

2 腾讯网络架构 - 业务需求是第一出发点业务众多且发展迅速, 需要稳定运营 & 高效交付的网络! 网络媒体流量最高的中国门户网站腾讯微博日活跃帐户数 0.87 亿无线业务国内领先的无线门户网站网络游戏即时通信国内最大的在线社区最高同时在线数 1.76 亿微信注册用户突破 3 亿国内第一互动娱乐游戏平台 QQ 游戏最高同时在线账户数 880 万网络社区国内最大的互动社区网站 QZONE 月活跃帐户数 6.03 亿开放平台注 : 所有数字的统计口径为 2012 年年底 Tencent Network Labarotary 2

3 腾讯网络互联 50+DC,30w+ 服务器,1k+ 专线,3T+ 出口带宽 ISP-A ISP-C ISP-B ISP-B ISP-A ISP-B City-A City-N IDC-A MAN IDC-B WAN-B IDC-N City-B Pod-1 IDC-C Pod-2 IDC-A MAN IDC-B WAN-A Pod-1 Pod-2 Tencent Network Labarotary 3

4 面临的挑战及 SDN 实践高性能安全多特性的大规模数据中心网络大容量差异化高利用率的广域网通讯高效自动化智能的网络管理 IDC: OVERLAY 网络虚拟化网管 : SDN 实践虚拟网络交换定制网络路由协议 NETCONF 零配置部署广域网 : 中央流量调度配置自动发现 Tencent Network Labarotary 4

5 大规模网络路由协议 Sequoia Routing Procotol Tencent Network Labarotary 5

6 目前 DC 内网络路由协议大多数使用 OSPF 1. 生成并全局同步 LSA 2. 把 LSA 拼接成拓扑 3. 计算最短路径 Tencent Network Labarotary 6

7 Sequoia 项目简介目标 : 大规模 IDC 架构 (2W+ 服务器 ) 下路由简单可控 SRP(Sequoia Routing Procotol) 价值控制器运算, 减少路由协议 ( 如 OSPF) 对控制平面的负担适应大规模多级 CLOS 架构, 收敛时间不随规模增加而增加可集中调度, 复杂度可控可预测 ( 代码极度精简 ) 手段静态路由 + 动态收敛, 简单轻量的距离矢量协议依赖固定的网络拓扑, 水平分割原则避免环路中央控制器实时监管动态调整 Tencent Network Labarotary 7

8 SRP 典型拓扑边界外部网络 XGP Border 1 Border 2 核心 Cor1 Cor4 Sequoia Route Protocol 接入... Tor 1 Tor 128 Tor 256 Tor 512 服务器 x 40 服务器 x 40 服务器 x 40 服务器 x 40 Tencent Network Labarotary 8

9 SRP 水平分割原则所有流量必须遵循最短路径 ( 忽略所有其他较长路径 ): DC 内 : 接入 --> 核心 --> 接入 (2 跳 )-- 蓝色路径 DC 间 : 接入 --> 核心 --> border(3 跳 )-- 绿色路径被禁止的路径 : 接入 --> 核心 --> 接入 --> 核心 --> 接入 (4 跳 ) 红色路径外部网络边界 XGP Border 1 Border 2 核心 Cor1. Sequoia Route Protocol Cor4 接入... Tor 1 Tor 128 Tor 256 Tor 512 服务器 x 40 服务器 x 40 服务器 x 40 服务器 x 40

10 SRP 实现框架 SRP 控制器根据身份下发 Topo Grid Route Map SRP 算法链路通告邻居状态维护生成维护转发表转发表 Tencent Network Labarotary Server1 Server2 10

SRP Topo Grid 示例行表示目的设备列表示邻居 Devices Core1 Core2 Core4 ToR1 * * * * ToR2 1 1 1 1 Core1 1 * * * Core2 * 1 * * Border1 1 1 1 1 Border2 1 1 1 1 ToR1 s Grid * 表示邻居永远为无效 next-hop Core1 s Grid 描述互联关系

11 SRP Topo Grid 示例行表示目的设备列表示邻居 Devices Core1 Core2 Core4 ToR1 * * * * ToR Core1 1 * * * Core2 * 1 * * Border Border ToR1 s Grid * 表示邻居永远为无效 next-hop Core1 s Grid 描述互联关系 Devices Core1 Core2 Core.4 ToR ToR Core1 1 * * * Core2 * 1 * * Border1 * * * * Border2 * * * * Border1 s Grid Devices ToR1 ToR2 ToR128 Border1 Border2 ToR1 1 * * * * * ToR2 * 1 * * * * Core1 * * * * * * Core2 * * * * * * Border1 * * * * 1 * Border2 * * * * * 1 1 表示邻居为目的有效 next-hop Tencent Network Labarotary 11

SRP Route Map 示例实现路由管控根据设备身份配置, 确定采用哪一列设置每一行确定对每条路由的学习策略 Subnet From Description Status ToR1 P ToR2 P Core1 P Core4 P Border1 P 10.1.1.0/26 ToR1 Production 有效 Direct Learn Learn Learn Learn 10.1.33.

12 SRP Route Map 示例实现路由管控根据设备身份配置, 确定采用哪一列设置每一行确定对每条路由的学习策略 Subnet From Description Status ToR1 P ToR2 P Core1 P Core4 P Border1 P /26 ToR1 Production 有效 Direct Learn Learn Learn Learn /26 ToR1 Server ILO 失效 Direct Black hole Learn Learn Learn /32 ToR1 Loopback 有效 Direct Learn Learn Learn Learn /24 ToR1 Deployment 有效 Direct Black hole Learn Learn Black hole /26 ToR2 Production 失效 Learn Direct Learn Learn Learn /26 ToR2 Server ILO 有效 Black hole Direct Learn Learn Learn /32 ToR2 Loopback 有效 Learn Direct Learn Learn Learn /24 ToR2 Deployment 有效 Black hole Direct Learn Learn Black hole /32 Core1 Loopback 有效 Learn Learn Direct Black hole Learn /8 Border /8 Border 2 Away from IDC 有效 Learn Learn Learn Learn Redistribute Away from IDC 失效 Learn Learn Learn Learn Redistribute Tencent Network Labarotary 12

13 SRP 算法纵览 Update Message Send Receive 链路状态恢复信息 Peer/Port up/down Event 将此 Peer/Port 的所有 Subnet 置为 0 0/1 - 静态路由表 - 动态可达 / 不可达状态某 subnet 的总可达 peer 数变为 0 或 1 Subnet Peer/Port Tencent Network Labarotary 13

14 SRP 已经上线运行 OSPF BGP SRP IDC 内收敛时间 > 2s < 1s < 1s 规模敏感性规模增长性能恶化不敏感不敏感实现代码 50 万级别 30 万行级别 7000 行功能扩展管控程度低极限 : 分布式调度集中式调度 Tencent Network Labarotary 14

15 SRP 愿意和各位一起完善 Tencent Network Labarotary 15

16 广域网流量调度 CarrierBackboneNetwork Controller Tencent Network Labarotary 16

17 专线容量管理窘境专线带宽利用率低成本压力很大专线容量预警多 BG 用户很不爽 Tencent Network Labarotary

18 更窘迫的是突发流量 Microsoft 在其骨干网同样碰到了链路利用不足的问题 Tencent Network Labarotary 18

19 原因在哪里? 传统网络架构类似于每个路口的交警们根据路口情况独立做出判断指挥交通分布式, 健壮性很好但缺乏全局视图, 无法解决所有人可能都走一条路, 或突发的问题 ; 提前规划区分流量智能分流很关键 Tencent Network Labarotary 19

有带宽资源的最优公网传输 4 有带宽资源的次优公网传输利用 auto-te 技术解决分布式计算带宽

20 建立多条通路公网专线流量原则 : 1 先保障承诺流量优先最优路径传输 2 非保障流量在拥塞时, 先切换到次优路径选路原则 : 1 有带宽资源的最优专线 2 有带宽资源的次优专线 3 有带宽资源的最优公网传输 4 有带宽资源的次优公网传输利用 auto-te 技术解决分布式计算带宽实现流量根据资源池资源按需调度更强的容灾架构提高专线利用率, 降低运营成本 Tencent Network Labarotary 20

集中式路径计算与调度 SDN Controller PCEP 路径计算 BGP-LS SDN Controller 与路由器之间运行 BGP-LS/SNMP 协议, 路由器将通过 IGP 搜集的网络拓扑和带宽情况通过 BGP-LS 传递给 SDN Controller, 每个域内只需一台或两台路由器 ( 通常为 ABR) 与 Controller 建立邻居关系即可,

21 集中式路径计算与调度 SDN Controller PCEP 路径计算 BGP-LS SDN Controller 与路由器之间运行 BGP-LS/SNMP 协议, 路由器将通过 IGP 搜集的网络拓扑和带宽情况通过 BGP-LS 传递给 SDN Controller, 每个域内只需一台或两台路由器 ( 通常为 ABR) 与 Controller 建立邻居关系即可, 解决了系统扩张的压力 ; SDN Controller 基于 BGP-LS/SNMP 传递的信息完成路径选择 (Path Computation), 并通过 PCEP 协议将结果下发给路由器集中式路径计算避免分布式模式下的带宽利用不合理 router router router router router router router router Tencent Network Labarotary 21

22 集中式业务流量规划及 QOS 管理 QOS 信息库业务申请带宽业务流程流量分析 (3) (2) Netflow 采集业务使用情况集中判断业务流量是否超过 Netflow 收集 (4) 下发至交换机上 QOS 降级管理 (1) 通知业务进行处理 ip dscp 标识 CBN IDC SERVER (5) Controller 集中化云端 QOS 分析控制处理, 由原来依赖硬件网络设备高性能处理工作交由软件系统实现 Tencent Network Labarotary 22

23 差异化广域网流量服务 ( 路径计算 + 流量控制 ) 业务需求集中路径调度集中流量控制差异化服务 CBN 4 5 路径计算流量采集 DSCP sw 2 策略下发 sw 5 源服务器城市 A Controller 城市 B 目标服务器 3 为流量上打 DSCP 标 1 用户带宽申请 / 撤销 Tencent Network Labarotary 23

24 Tencent Network Laboratory 愿与您探讨 & 分享 : 大规模 IDC 网络架构设计广域网流量调度虚拟化网络智能网络管理更多 SDN 内容 Wechat ID: sagezou QQ: Mail: sagezou@tencent.com Tencent Weibo: 腾讯云数据中心 Tencent Network Labarotary 24

untitled

untitled 7.1 7.1.1 IP R1 N N,R1,M IP 1 7.1.2 [Quidway]display ip routing Routing Tables: Destination/Mask proto pref Metric Nexthop Interface 0.0.0.0/0 Static 60 0 120.0.0.2 Serial0 8.0.0.0/8 RIP 100 3 120.0.0.2