雲端建置與各校區網路架構分享 台師大資訊中心網路系統組陳昱甫 Blue Chen Certified Ethical Hacker (C EH) #ECC944645 ISO27001 ISMS LA #042307 BS10012 PIMS LA #886-1-10111 服務專線 :02-7734-3734 TANet 網路電話 :9766-3734 E-mail:blue@ntnu.edu.tw 2018/5/2
大綱 一 台師大雲端機房建置與備援機制 : 使用 Cisco OTV 技術分享 二 台師大不同校區 ( 校本部 林口 公館 ) 之網路架 構與備援機制
雲端機房建置與備援機制 : 使用 Cisco OTV 技術分享建置背景 : 跨校區使用相同網段及資源 既有核心設備 Cisco 6509 已停止所有軟硬體支援, 對外連線中斷風險大幅提升 現狀網路無法支援 10G/FCoE/DR, 欠缺虛擬化資料中心所需相關網路技術 校園子網段能跨越多個校區, 簡化網段的分配 虛擬化伺服器需二層網路 透通, 才能做到高度 HA
雲端機房建置與備援機制 : 使用 Cisco OTV 技術分享 Overlay Transport Virtualization (OTV) OTV LAN Extensions OTV delivers a virtual L2 transport O Overlay - A solution that is independent of the infrastructure technology and services, flexible over various inter-connect facilities T Transport - Transporting services for layer 2 and layer 3 Ethernet and IP traffic V Virtualization - Provides virtual connections, connections that are in turn virtualized and partitioned into VPNs, VRFs, VLANs Slide 4
雲端機房建置與備援機制 : 使用 Cisco OTV 技術分享 Virtual Device Contexts (VDC) 一. 網路設備整併 網路設備垂直或水平整併 減少實體設備數目 二. 彈性的調整與分配資源 依需求分配不同的硬體資源與介面模組給 予每個 VDC 三. 提供另一種網路實體隔離方案 每個 VDC 可以獨立開關機, 不同的管理設 定與管理權限, 需要實體線路相連才能互 通, 如同兩部實體網路交換器
雲端機房建置與備援機制 : 使用 Cisco OTV 技術分享 資料中心第二層互連技術 第二層互連技術可使兩地資源整合成單一資源池, 任意調配資源前提是必須建立一高效能 Layer2 透通網路! EoMPLS VPLS Dark Fiber
雲端機房建置與備援機制 : 使用 Cisco OTV 技術分享 一般第二層互連技術常見問題 Flooding Behavior Pseudo-wire Maintenance Multi-Homing - Unknown Unicast for MAC propagation - Unicast Flooding reaches all sites Control-Plane Based Learning - Full mesh of Pseudo-wire is complex - Head-End replication is a common problem Dynamic Encapsulation - Requires additional Protocols & extends STP - Malfunctions impacts multiple sites Native Automated Multi-Homing
雲端機房建置與備援機制 : 使用 Cisco OTV 技術分享 Layer 2 VPN 的 Flooding 特性 Traditional Layer 2 VPN technologies rely on flooding to propagate MAC reachability. The flooding behavior causes failures to propagate to every site in the L2-VPN. x2 Site A Site C MAC 1 MAC 1 propagation Site B A solution that provides layer 2 connectivity, yet restricts the reach of the flood domain is necessary in order to contain failures and preserve the resiliency.
雲端機房建置與備援機制 : 使用 Cisco OTV 技術分享 MAC in IP 根據 MAC routing table 動態打包 MAC 解決之道 : OTV 所以不需要虛擬線路 (Pseudo-Wire) 的建立及維護 OTV 技術原理是把 Ethernet Frame 再一次封裝進 IP Packet 中, 然後才在 Public Network 中傳送到異地端, 接著異地端交換器將外部 IP Header 拿掉再依 MAC 位址送給目的主機 整個封包傳送流程都是以 IP 完成,Public Network 部分只要是 IP 路由網路都可以支援, 當然也包含 Internet VLAN MAC IF 100 MAC1 Eth1 100 MAC2 IP B 100 MAC3 IP B Ethernet Frame IP packet Ethernet Frame Ethernet Frame Encap Decap VLAN MAC IF OTV OTV IP A IP B 100 MAC1 IP A 100 MAC2 Eth 1 100 MAC3 Eth 2 West Site Communication between MAC1 (West) and MAC2 (East) East Site
雲端機房建置與備援機制 : 使用 Cisco OTV 技術分享 OTV Data Plane Layer 2 Lookup MAC TABLE VLAN MAC IF 100 MAC 1 Eth 2 Transport Infrastructure OTV OTV OTV OTV 100 MAC 2 Eth 1 100 MAC 2 IP A MAC 1 MAC 3 IP A IP B 100 MAC 3 IP B MAC 1 MAC 3 IP A IP B 100 MAC 3 Eth 3 100 MAC 4 IP B IP A 2 1 Encap 3 Decap 4 IP B MAC TABLE VLAN MAC IF 100 MAC 1 IP A 100 MAC 4 Eth 4 5 Layer 2 Lookup MAC 1 MAC 3 MAC 1 West Site East Site MAC 1 MAC 3 MAC 3 6
雲端機房建置與備援機制 : 使用 Cisco OTV 技術分享 Cisco OTV 簡化資料中心連結 支援各式類型廣域網路 Works over dark fiber, MPLS, or IP Multi-data center scalability 多地機房, 單一資料中心 更簡單的設定與管理 Seamless overlay - No network re-design Single touch site configuration 高可靠性與彈性 Failure domain isolation Seamless Multi-homing 流量最佳化 Automated multi-pathing Optimal multicast replication
雲端機房建置與備援機制 : 使用 Cisco OTV 技術分享 第二層互連技術比較 OTV 技術類型 MPLS (VPLS/EoMPLS) Nexus 7K 支援設備 6500+Sup-2T 容易設定管理複雜 (BGP LDP) 任何 L3 網路 (Internet VPN) 適用環境需具備完整的網路管理權限 P2P MP L2 型態 EoMPLS:P2P VPLS:MP 自動 手動 Neighbor Discovery 手動 Control Plane Multicast MAC Table Data Plane Flooding Drop Unknown Unicast Flooding YES ARP Cache No Local Site ONLY STP All site in one STP Domain Per VLAN Load Balance No Local Forward FHRP Problem Sub-optimal
雲端機房建置與備援機制 : 使用 Cisco OTV 技術分享 在校本部及林口校區間使用 Cisco N7K 上的 OTV 技術, 建立兩校區的 Server Farm 相同的網段, 等同於建立了一個大的 Layer 2 環境 利用此大 Layer 2 特性可以讓 VM Server 在兩地移動及做 Server Farm 跨校備援 林口校區 N7K VDC-WAN OTV 校本部 N7K VDC-Core 林口校區 N7K VDC-Core 校本部 N7K VDC-ServerFarm ServerFarm IP 網段 : 140.122.X.X 林口校區 ServerFarm 校本部 ServerFarm ServerFarm IP 網段 : 140.122.X.X 林口校區 N7K VDC-OTV 校本部 N7K VDC-OTV
不同校區 ( 校本部 林口 公館 ) 之網路架構與備援機制 - 國內及校內網路流向 校本部國內出口 公館校區及林口校區國內出口 國際電路 Internet Internet 三校區網路正常時網路流量走向 校本部及公館校區有各自上網出口林口及公館校區共用同一個上網出口, 而校本部則是獨立 校本部 C7606 公館校區 C7606 校本部 N7K 公館校區 N7K 林口校區 N7K
不同校區 ( 校本部 林口 公館 ) 之網路架構與備援機制 - 國內及校內網路流向 校本部國內出口 公館校區及林口校區國內出口 國際電路 Internet Internet 公館校區 C7606 路由器異常時網路走向 當公館校區 C7606 路由器異常時, 公館校區及林口校區的網路皆會透過路由自動導往校本部網路出口 校本部 C7606 公館校區 C7606 校本部 N7K 公館校區 N7K 林口校區 N7K
不同校區 ( 校本部 林口 公館 ) 之網路架構與備援機制 - 國內及校內網路流向 校本部國內出口 公館校區及林口校區國內出口 國際電路 Internet Internet 校本部 C7606 異常時網路流量 當校本部 C7606 異常故障時, 校本部會後透過路由自動導往公館校區出口 校本部 C7606 公館校區 C7606 校本部 N7K 公館校區 N7K 林口校區 N7K
不同校區 ( 校本部 林口 公館 ) 之網路架構與備援機制 - 國際網路網路流向 校本部國內出口 公館校區及林口校區國際出口 國際電路 Internet Internet 網路正常時國際網路流量走向 三校區校區共用同一條國際電路至國外 校本部 C7606 公館校區 C7606 校本部 N7K 公館校區 N7K 林口校區 N7K
不同校區 ( 校本部 林口 公館 ) 之網路架構與備援機制 - 國際網路網路流向 校本部國內出口 公館校區及林口校區國際出口 國際電路 Internet Internet 公館校區 C7606 路由器異常時國際網路流量走向 校本部 C7606 公館校區 C7606 三校區校區共用同一條國際電路至國外 當公館校區 C7606 路由器異常時, 林口校區及公館校區皆會透過路由自動學習而切換路徑 校本部 N7K 公館校區 N7K 林口校區 N7K
不同校區 ( 校本部 林口 公館 ) 之網路架構與備援機制 - 網路電話設備及服務備援 1. 備援 : IP 電話交換機 同地與異地硬體及虛擬機 HA 機制 同地備援 異地備援 林口校區 校 本 部 異地備援 公館校區 異地備援 2. 備援 : ENUM & SBC 伺服器 資料同步 校本部 林口校區 異地備援 TANet ENUM 資料同步 公館校區 3. 備援 : SIP 代理伺服器 校本部 4. 備援 : VoIP Gateway 校本部 林口校區 公館校區 林口校區 公館校區
不同校區 ( 校本部 林口 公館 ) 之網路架構與備援機制 - 網路電話 Intranet 備援 DOD 備援 PSTN Cisco ASA 5510 Firewall HA 校本部 Internet Router HA Intranet Router HA Internet VPN 備援 DOD 備援 林口校區 公館校區 DOD 備援
淺談 Cisco OTV 導入經驗 Cisco OTV 優勢 雖然 OTV 是利用 Layer2 的技術, 但是它會過濾掉原有在 Layer2 的一些 Frame, 包含 Spanning-Tree Broadcast Storm Unicast Flooding 等 使用 OTV 並不需要更動現有的網路架構 ( 所以稱為 Overlay, 覆蓋在既有的網路架構上 ), 因此當有一個新的資料中心加入時並不需要更動到其他資料中心的網路架構, 依照官方的說法最多只需四行指令就可以搞定 建置注意事項 跨校區專線電路 MTU 值必須大於 1500 (Jumbo Frame) 所遭遇問題 因 OTV 封包特性, 即使兩路專線電路作 EtherChannel 仍無法有效達到 Load Sharing 校本部 N7K VDC aclmgr Process 異常導致 VDC 自動重啟 公館 N7K VDC snmpd Process 異常導致 VDC 自動重啟失敗及 N7K Reload 後 Config 遺失
總結 以二層網路為基礎的資料中心設計, 對於許多網路管理人員來說其實是一項非常大的變革, 卻也是不得不做的改變 且其中影響架構的人員相當廣泛, 諸如伺服器管理員 虛擬化管理員與儲存系統管理員, 已非從前只要從網路的思考就可以完成 也因此網路管理者在組織內部需要更廣泛的了解各項資訊技術, 提出對於學校最佳的解決方案
簡報完畢, 謝謝!