Bypass 與 NPB 技術進化與探討 Prepared by Bryan Huang 1
Agenda - Bypass 概說 網路 Bypass 的重要性 Bypass 技術之種類 為何需要 Silicom 智慧型 Bypass NPB vs L2/L3 switch mirror PacketX Grism NPB 進階功能說明 Question? 2 2
概說 近幾年, 企業投資了很多資安防禦與效能分析工具, 代表著 : 1. 頻傳的網路攻擊事件讓人擔心 2. 網路運作效能, 對企業運作效率的影響變大 部署資安防禦工具的隱憂 是否讓防禦與分析工具效率最大化 3 3
透通模式的監控設備, 有效阻隔攻擊或監控 IPS DDoS WAF NG Firewall Inline 主機 網路卡 DAM SSL Proxy PCEF DPI 網路行為分析 4
透通模式監控設備, 增加網路斷線風險 inlin 主機發生故障? 斷電? 當機? 網路卡 斷線? Inline 主機 5
正常連線重要性, 不亞於資安防禦 6
正常連線重要性, 不亞於資安防禦 發生故障? 斷電? 當機? 網路卡 Bypass Inline 主機 7
有了自動 Bypass 機制, 就可以安心 8
目前市面上的 Bypass 方式 Prepared by Bryan Huang 9
Bypass 網路卡 網路卡 Bypass 斷電? Inline 主機 inlin 主機發生故障? 當機? 10
目前 Inline 主機的 Bypass 方式 主機內建網卡 In-Line 設備網卡內建硬體 Bypass 電路 (Passive Bypass): 缺點 : 其一僅設備斷電時硬體 Bypass, 但對於非斷電所導致的網路中斷無效, 例如系統軟體當機 其二種網卡有內建健康狀態監控, 需與主機特定程式連動, 但軟體當機時, 也經常失效 效益 : 斷電機率遠低於設備當機, 真正的防護 Bypass 的機會不大 11
目前 Inline 主機的 Bypass 方式 - Bypass Switch Bypass Switch 種類 被動型 (Passive) 管理型 (Managed) 智慧型 (Intelligent) 12
網路卡 Bypass Switch 連接架構圖 Inline mode Inline Inline 主機 13
網路卡 Bypass Switch 連接架構圖 Bypass Mode inlin 主機發生故障? Bypass Inline 主機 14
目前 Inline 主機的 Bypass 方式 - 被動式 Passive Bypass Switch 使用 Optical Switch or 電 relay 切換網路 Inline/Bypass USB 5V 無管理介面 Inline Bypass 15
網路卡 被動式 Passive Bypass Switch USB 斷電 Bypass 斷電? USB 當機? Inline 主機 16
目前 Inline 主機的 Bypass 方式 - 被動式 Passive 被動式 Passive Bypass switch: 缺點 : 其一僅設備斷電時硬體 Bypass, 但對於非斷電所導致的網路中斷無效, 例如系統軟體當機 效益 : 斷電機率遠低於設備當機, 真正的防護 Bypass 的機會不大 17
目前 Inline 主機的 Bypass 方式 - 管理型 Managed Bypass Switch 被動式 bypass 的延伸 由 Inline 主機控制 bypass 主機需植入公用程式 有簡易管理介面 WDT Reset Inline Bypass 18
網路卡 管理型 Managed Bypass Switch reset 指令中斷 or 太慢 Bypass 斷電 Reset WDT Bypass??? 當機? Inline 主機 19
目前 Inline 主機的 Bypass 方式 - 管理型 ( 原廠的選配 ) In-Line 設備原廠選配管理型 Bypass Switch: 缺點 : 需在 inline 設備執行特定程式, 透過外接訊號線控制 (RS232 or USB), 定時重設 Bypass switch 上的 Watch Dog 程式, 當 In- Line 設備系統過於忙碌不穩定或當機時, 程式容易失效而沒有觸發而啟動 Bypass 價位屬於三種方案中最高者 20
目前 Inline 主機的 Bypass 方式 - 智慧型 Intelligent Bypass Switch 主動式 + 被動式 Bypass 獨立的偵測封包 (HB), 隨流量進出 inline 主機 無須安裝程式到 inline 主機 WEB GUI CLI SNMP 網管功能 Inline Bypass 21
網路卡 智慧型 Intelligent Bypass Switch Heartbeat Time-out Bypass 斷電 Bypass 當機 Inline 主機 22
目前 Inline 主機的 Bypass 方式 - 智慧型 獨立於 In-Line 設備之智慧型旁路交換機 (Intelligent Bypass Switch) 優點 : 同時具備硬體 / 軟體 bypass, 不管是設備斷電 系統 / 軟體當機, 都能有效啟動 Bypass 機制, 且獨立地由外部 Heartbeat 封包跟隨流量進行 healthy check, 無 In-Line 設備廠牌匹配問題 缺點 :?? 23
主動式 Active Bypass 時機 ( 智慧型 ) Inline 主機 Link Loss 斷電 拔線 Heartbeat Packet Hold Time Expired 主機應用程式軟體故障 主機當機 24
Bypass Switch 內部運作示意圖 - Active Active Bypass 25
Passive Bypass 時機 Bypass Switch 斷電 Internal Watch Dog Timer expired. 26
Bypass Switch 內部運作示意圖 - Passive Passive Bypass 27
Passive Bypass Module Optical Switch 28
為何需要 Silicom 智慧型 Bypass Switch Prepared by Bryan Huang 30
一 Double Save / Double Bypass / WDT WDT: Watch Dog Timer 內部 WDT 能偵測自我系統失效, 進入 passive bypass 電路保護 Internal WDT Heartbeat WDT passive bypass active bypass 31 31
Double WDT, Double Save Video Demo 原廠 RD 下指令讓 Silicom 當機 Bypass 燈號在 18 秒後亮起 - Play 32
二 可以判斷 Bypass 原因 :SNMP OID variable Variable name code type attributes value description OID Value (x=) ibs Mon0Link 1.8 INTEGER read-only down(1), up(2) Monitor port 0 link status. 1.3.6.1.4.1.15 694.ibs(2). ibs Mon1Link 1.9 INTEGER read-only down(1), Monitor port 1 link status. 1.3.6.1.4.1.15 up(2) 694.ibs(2). ibs Net0Link 1.10 INTEGER read-only down(1), Network port 0 link status. 1.3.6.1.4.1.15 up(2) 694.ibs(2). ibs Net0Link 1.11 INTEGER read-only down(1), Network port 1 link status. 1.3.6.1.4.1.15 up(2) ibs ApplState 1.12 INTEGER read-only unknown(1 ), fail(2), alive(3) ibs PowerStatus 1.23 OCTET STRING ibssysrxtxerrratethr eshold 694.ibs(2). Application State 1.3.6.1.4.1.15 694.ibs(2). read-only Get device power status 1.3.6.1.4.1.15 694.ibs(2). (SIZE(10.128)) 3.52 read-write Network ports state that was configured will be activated, when error rate threshold will be reached (err/sec). Error rate threshold value should be set more than zero ibsophbactmode 5.1 INTEGER read-only on (1), off (2) ibsopactbypass 5.2 INTEGER read- Write ibsoppasbypass 5.3 INTEGER read-only off (1), on (2) 1.3.6.1.4.1.15 694.ibs(2). 1.8.0 1.9.0 1.10.0 1.11.0 1.12.0 1.23.0 3.52.0 Get/Set heartbeat active mode on/off. 1.3.6.1.4.1.15 5.1.0 694.ibs(2). off (1), 1.3.6.1.4.1.15 5.2.0 on (2), 694.ibs(2). tap (3), linkdrop(4), tapi12(5), tapa(6), tapai1(7), tapai2(8), tapai12(9) Get the state of the passive bypass state. 1.3.6.1.4.1.15 694.ibs(2). 5.3.0 33
三 IBS 進入 Bypass 狀態, 由 OID 檢查 Inline 主機狀態 當 Bypass 發生時 從 SNMP OID: 1.3.6.1.4.1.15.1.8 or 1.3.6.1.4.1.15.1.9 判斷在 bypass 狀態時,inline 主機是 : Monitor port 是 off Monitor port 是 On, 但 AP failed 從 SNMP OID: Ibs AppState(1.3.6.1.4.1.15.1.12) Application State 作為主要判斷是否 Inline 主機問題導致 Bypass, 當下 Inline 主機仍連接在 Silicom IBS 監控埠上 : Alive The link on the monitor ports are ON and the IBS receives the heartbeat packets fail, - The link on the monitor ports are ON and the IBS does not receive the heartbeat packets unknown - The link on the monitor ports are OFF 34
Log file - Application States 35
模組式 - 未來擴充性 節省機櫃空間 最多可置入四個 Bypass 模組 1G/10G, Fiber/Copper 可以混合使用 Internet Router A Router B 6509 6509 N0 N1 N0 N1 NMS for SNMP Polling, Syslog, SNMP trap IPS Enabling bypass when IPS(*) failure Silicom Bypass Switch 36
Intelligent Bypass Switch: IBS Series (1 of 3) 自我產生 heartbeat 偵測訊號 勿需再 inline 設備安裝驅動程式, 也不需要從管理解面產生脈衝訊號 切換至 Bypass 模式, 當偵測到 in-line system 系統故障 in-line system 斷線 (link failure) in-line 軟體應用系統當機 斷電 (Power failure) 當偵測到 in-line 設備回復正常, 設備自動切回正常 inline 模式 Double Safe Bypass architecture 雙重安全 雙重 bypass 迴路架構. 內建兩種 Watch Dog Timer (WDT) 控制器 37 37
Intelligent Bypass Switch: IBS Series (2 of 3) 可軟體設定 heartbeat 計時等待時間 可軟體設定 WDT 啟動 / 關閉 每個模組有獨立的設定運作模式 Bypass / Normal / Tap /Linkdrop 每個機架可支援高達四個 Bypass 模組 支援 TAP 模式運作 可由獨立的序列埠進行指令 (CLI ) 設定 可由獨立的網路埠使用 Telnet 管理介面 可由獨立的網路埠使用 SSH 管理介面 支援 SNMP version 1, 2c, 3 (SHA, AES) 38 38
Intelligent Bypass Switch: IBS Series (3 of 3) 支援 remote log 支援 TACACS+ 支援 NTP 支援 timezone 設定 支援設定備份 支援 Two ports link (2PL) 功能 當一個網路埠連線失敗,2PL 會將另一個網路埠也關閉 支援雙備援電源 可選配資料中心 -48V DC 直流供電方式 39 39
一般用戶的迷思 Prepared by Bryan Huang 40
一般用戶的迷思 1. 有硬體 Bypass 就好?(Passive Bypass) 一般用戶的迷思是認為內聯 (Inline) 設備只要具備硬體 Bypass 功能的網卡, 就不會因為設備故障造成網路中斷了 但 95% 以上由 IPS WAF DAM 頻寬管理器等內聯 (Inline) 設備模式造成網路斷線的原因就是... 當機, 不管是系統當機, 還是分析引擎已經不堪負荷, 設備已經處在流量處理很慢, 但卻又沒有斷線的癱瘓狀態,Bypass 網卡都無法發揮 bypass 功能 2. 有 HA 架構, 不需要 Bypass Switch? 使用兩套設備相互備援的 HA 架構, 在一方斷線時, 用戶仍能受到另一方設備保護 但若一方設備在已經癱瘓卻沒有斷線的情況下, 仍會有一半用戶受影響, 需要手動完全切斷故障的內聯設備, 才能讓全部用戶都使用 HA 備援機制的第二台監控設備, 沒有達到自動切換的效果 此刻內聯設備內建的 bypass 網卡的用處, 只是不需移除設備或跳線, 讓用戶手動關機後, 網路流量即可通過 但如此一來, 完全達不到自動化 Bypass 的目的, 與手動跳線的動作, 也沒有太大分別 41
HA 架構 網路卡 網路卡 Inline 主機 Inline 主機 42
HA 架構的盲點 : 單邊主機失效卻未斷線 發生故障? 斷電 當機 網路卡 網路卡 Inline 主機 Inline 主機 43
Bypass switch 模式 Linkdrop ( 網路斷線 ) Bypass Switch 強制將失效主機所連接的網路斷線, 讓網路 HA 機制正常啟動 Network Device Switch/Router 10 GB port 10 GB port Network Device Switch/Router Net 0 Net 1 Passive Bypass circuitry Management Active Bypass circuitry rs232 Mon 0 Mon 1 1 GB Nic 0 Nic 1 Transparent Network Applience 44
Bypass switch 模式 TAP break out mode 主機失效時, 強制進入 TAP 模式, 或直接當作 TAP 模組使用 Network Device Switch/Router 10 GB port 10 GB port Network Device Switch/Router Net 0 Net 1 Passive Bypass circuitry Active Bypass circuitry Management rs232 Mon 0 Mon 1 1 GB Nic 0 Nic 1 Transparent Network Applience 45 45
Silicom 原廠簡介 Prepared by Bryan Huang 46
Who Are We? 高效能伺服器介面卡 Bypass 技術 網路設備業界領導廠商 成立於 1987 年. 總公司 研發中心 設備製造工廠位於以色列, 美國分公司位於 New Jersey. RAD 控股集團成員之一 1994 於 NASDAQ 股票公開發行上市,Dual Listing in Israel since 2005. 21 年以上網路產品製造經驗 許多世界級網路設備領導廠牌, 是策略性夥伴 47
Our Sales Model Trusted OEM supplier to 90+ customers, including many market leaders Network Appliances WAN Optimization Internet Security Application Delivery Network Monitoring Riverbed Checkpoint F5 Networks Netscout Citrix Cisco Citrix Riverbed Market Leaders Blue Coat Silver Peak Cisco Juniper McAfee Symantec Radware Opnet (Riverbed) Niksun Trend Micro Exploding data and Internet traffic dramatically increase the need for connectivity & bandwidth - and the use of Network Appliances. 48 48
Network Packet Broker 簡介 Prepared by Bryan Huang 49
資安旁路監控設備, 網路效能分析設備 IDS DLP Database Auditor AANPM 50
流量來源與分析裝置的 多對多網絡圖引自 : ESG Market Report July 11, 2012 分析裝置建置時經常輕忽的事 分析裝置如何取得網路流量以進行分析? 傳統作法交換機 (L2/L3 switch) 透過 mirror port 將流量複製到多個分析裝置時, 如此會產生如右圖密集複雜的網絡 51
新型態監測網路 媒合 mirror port 與分析裝置的監測網路 (monitoring network) 依各分析裝置之需求精確派送封包 : 提升分析裝置執行效益並降低敏感資訊外流的風險 進行封包分析前置處理 (ex. MPLS/VLAN tag removal ), 提升分析裝置效能 ( 圖改自 : ESG Market Report July 11, 2012) 52
:= NPB + DPI + SDN 精準過濾與分配 Many-to-Many port mapping and aggregation L2-L4 header value & L4-L7 pattern matching Session-based Load Balance 平等分配 : 過濾條件交集封包複製 Out-of-band 封包預處理 Tag 移除 or 再封裝 : QinQ, MPLS, GRE, GTP Packet Slicing : 切除封包部分內容 敏感資料遮罩 : 自定內容遮罩 ( 如身份證 pattern) In-line 封包處理與辨識 以透通方式將 link 聚合後 分配到平行的分析裝置 大數據資料萃取 Netflow V5 Application Flow Log : 辨識每一 session 屬於那種服務 監測網路流量側錄 於近端或遠端寫錄 PCAP 檔 In-line 封包處理與辨識 以透通方式將 link 聚合 條件式分配到平行的 In-line 分析裝置 智慧型 部分旁路 機制 53
Case Study 55
Case 1: 監測網路基礎建設 精準過濾與分配 -L2-L4 header value -Load Balance - 平等分配右圖之 IDS 與 APM 均會收到 port 80, port 443 的封包 大數據資料萃取 - 產出 Netflow V5 (with packet deduplication) 以強化網管機制與行為 分析能力且無須犧牲 Router/Switch 的效能 56
Case 2: In-line 共享資源 In-line 封包處理與辨 識 1G 1G 1G 1G 以透通方式將 network link 聚合 c. 後 1G 1G 1G 1G 再分配到平行的 Inline 分析裝置 1G 1G 1G 1G 如此可將數條獨立的 link 共享有限的分析 資源 10G Aggregation & Load Balance 10G 10G 10G 10G 10G IPS 10G 10G IPS 57
多條網路線共用一對 IPS 埠示意圖 (2-to-1) 58 58
IPS 發生故障 : 斷電 不正常掉包或緩慢 PacketX 設備啟動 Bypass! 59
PacketX 斷電 Silicom 設備啟動 Bypass! 60 60
Case 3: 多媒體流量旁路 In-line 封包處理與辨識多媒體流量 ( 如 YouTube) 多半不具安全威脅, 可豁免其進入 WAF/IPS, 以保留分析資源對付真正有威脅性的流量 70% 30% Whole Traffic Others Multi-Media or Encrypted (User Selected) 1G 1G 1G L3 Switch Youtube 與多媒體串流將 bypass 資安設備 Content-based bypass 1G 1G 1G 1G 1G IPS L2 Switch 61
Case 4: 監測網路虛擬化的實踐 不受場域距離限制的監測能力 (RSPAN & ERSPAN) Production network 的規劃經常遷就資安設備, 只因 mirror 流量傳輸能力有限 ; 運用 GRISM 的 VxLAN 或 X-tunnel 技術可以輕易地透過既有 L2/L3/L4 網路來傳輸 mirror 流量至分析資源集中地 Switch Tunnel Switch Transportation Network IDS Tunnel Switch DLP Switch APM 62
Case 4 : 封包中的敏感資料遮罩 基於多種分析的需要, 網路封包會複製到多個裝置與單位, 於是 Syslog, VoIP message ( 如 SIP 的電話號碼 ) 或 DB Query ( 可能只是為了效能調降 ) 封包內的敏感資訊也將因此曝光給多個 其實並不需要這些資訊 的裝置與有心人 請用 GRISM 將其遮罩掉右邊是遮罩身分證號碼的案例 Taiwan ID pattern: \b[a-za-z][1-2]{1}[0-9]{8 Example: H123456789, F129134567 Original Packets After Mask 63
64