107 年度臺北區網 I 年度報告 單位 : 國立臺灣大學 計資中心主任 : 顏嗣鈞教授 網路組組長 : 謝宏昀教授 報告人 : 游子興 Email:davisyou@ntu.edu.tw 電話 :02-33665008 日期 :2018/11/22 1
大綱 1. 區網人力與架構 2. 網路管理 3. 資安服務 4. 特色服務 5. 未來目標與建議 2
1. 區網人力 計資中心主任 : 顏嗣鈞教授 E-mail:hcyen@ntu.edu.tw 電話 :(02) 33665001 網路組組長 : 謝宏昀教授網路管理負責人 : 游子興 E-mail:davisyou@ntu.edu.tw 電話 :(02) 33665008 資安管理負責人 : 李墨軒 E-mail:molee@ntu.edu.tw 電話 :(02) 33665012 編制內專職及約聘僱人員 8 名, 其中區網經費及資安經費各約聘 2 名 3
1. 區網架構 TWAREN 43 個連校單位 10G Cisco N5K 10G * 3 1G * 47 1G * 9 TANet ASR9912 Inline 10G*8 100G * 2 ISP 1G * 8 TANet 骨幹 ASR9010 1G * 9 9 個連校單位 Gigamon HC1 10G*4 40G Physical Bypass Filter port 53 Bypass 443 port 為原流量 35.8% Open Resolver SourceFire IPS
2. 網路管理 1. Cacti 建置符合 ISO27001 網管系統 2. 提升網路服務品質 Cacti-Plugin: MacTrack 3. 連線單位技術支援 免費憑證安裝技術分享 如何隱藏 DNS 版本 5
2.1 Cacti 建置 ISO27001 網管系統 系統日誌 Review 監控 ASR Router Log 相關事件 事件發生 email 通知案例 : 有人登入 Router 6
設備狀態監控 Threshold Router CPU : 80% Interface Traffic Usage: 90% Disk Usage: 80% Interface Traffic Abnormal: Deviation 170% Router CPU Interface Traffic Usage Disk Usage Interface Traffic Abnorma 7
Router CPU 80% 告警 CPU % 異常 8
Interface Traffic Abnormal 告警 依據過去歷史統計資訊設定異常差異標準差 流量異常 9
2.2 提升網路服務品質 Cacti-Plugin: MacTrack 網管之限制與困境 ARP Timeout: 4 hours(default) 電腦更換 重灌系統後忘記 IP IP 盜用 IP 使用狀況 MAC address Timeout: 300 seconds(default) 無法快速找到 Gateway Router/Edge Switch 斷線太久追不到 Interface Port Interface Up/Down: syslog Up/Down 歷史記錄已被覆寫 解決方案 Cacti-Plugin: Device Tracking(MacTrack) 10
Cacti-Plugin: MacTrack ARP/IP View Gateway 設備使用者 IP MAC 設備廠牌 11
Cacti-Plugin: MacTrack MAC to IP Report View IP 相同,MAC 更換更換設備? IP 盜用? 上線時間 Network Interfaces View 介面狀態異動時間 12
2.3 連線單位技術支援 免費憑證安裝技術分享 免費憑證申請 (90 days) 技術文件 106 年評審委員建議 : 第 8 點研創成果呈現於區網中心網頁 13
2.3 連線單位技術支援 如何隱藏 DNS 版本 顯示 DNS 版本可能暴露漏洞 14
隱藏 DNS Server version Linux 修改 bind 設定檔 ~# vi /etc/named.conf options { version "None of your business"; Windows dnscmd /config /EnableVersionQuery 0 15
3. 資安服務 1. 107 年度資安事件統計 2. DDoS 案例分析 16
3.1 107 年度資安事件統計 1 2 級資安事件處理 106 107 通報平均時數 2.70 小時 1.343 小時 應變處理平均時數 0.05 小時 0.026 小時 事件處理平均時數 2.76 小時 1.369 小時 通報完成率 98.90% 99.86% 事件完成率 99.91% 99.92% 3 4 級資安事件通報無無 資安事件通報審核平均時數 0.60 小時 0.519 小時 資料更新完整校數 72.92% 73.47% 106 年評審委員建議 : 第 1 點資安事件應變處理時數建議可逐步縮短第 5 點資安事件處理時效長, 但仍請積極處理 17
3.2 DDoS 案例分析 DDoS 攻擊方法 新型 LDAP 攻擊取代傳統 DNS NTP 放大攻擊 DDoS 攻擊來源 過去使用 Internet Server(NTP, Open Resolver) 轉而利用現成雲端資源 通報清洗機制建議 18
連線學校 DDoS 攻擊前後流量分析 大量 UDP 封包 19
攻擊來源與目的 攻擊來源 Port 389 (LDAP) 389 0 攻擊目的 IP and Protocol 20
攻擊來源 Top ASN 攻擊來源 : 各大雲端平台 21
攻擊來源 Top ASN OVH SAS 22
攻擊來源 Top ASN OVH SAS 23
攻擊來源 Top ASN Microsoft Corporation 24
Microsoft Azure regions https://azure.microsoft.com/en-us/global-infrastructure/regions/ 25
攻擊來源 Top ASN Amazon.com, Inc. 26
AWS Global Infrastructure https://aws.amazon.com/about-aws/global-infrastructure/?nc1=h_ls 27
DDoS 案例分析 LDAP 是微軟 Active Directory 認證使用之通訊協議, 因雲端租用使用者可能有遠端認證需求, 又未限制來源 IP, 而被駭客利用作為放大攻擊 DDoS 攻擊來源已從過去使用 Internet Server(NTP, Open Resolver) 轉而利用現成雲端資源 雲端資源主機多且對外流量大 雲端租用計費方式 : 上傳流量不計費 僅計算下載流量 雲端公司也許不會主動告知流量異常 (Money $$$$$...) 租用雲端使用者誤以為網站變熱門, 下載流量變高 28
通報清洗機制 上述資訊非能在發生攻擊時短時間得知建議應建立南北 SOC 主動通知機制 29
4. 特色服務 1.TCP-based 網路品質監控 2.Line Bot 網路監控系統 3.Layer 7 網路行為分析 4. 高風險協定分析 30
4.1 TCP-BASED 網路品質監控 31
傳統網路品質監控 監控方法 : ICMP Ping TraceRoute Round Trip Time(RTT) Packet Lost 缺點與限制 : 需對方設備回應 ICMP Ping 主動式偵測佔用頻寬資源 無法大量佈建與監控 : 國網於所有區網中心與部分雲端佈建監控設備 需有專用設備與軟體才能進行 24Hr 監控與統計 32
TCP-based 網路品質監控 監控方法 : TCP RTT: TCP 3-way handshake Packet Lost: TCP Retrasmit & OutOfOrder 33
Network Latency 監控設備 RTT (Internet) (Intranet) 34
Application Latency 監控設備 35
監控設備 新一代 Router Cisco Application Visibility and Control Solution (Cisco AVC) Cisco ASR 1000 Use Netflow V9/V10 自訂格式 flow record name collect connection delay network to-server sum collect connection delay network to-client sum collect connection delay application sum collect connection client counter packets retransmitted Mirror/SPAN 到外部設備進行分析 Cisco Flow Sensor nprobe ( 教育與研究機構免費 ) Inline 設備 : Proprietary Report 頻寬管理器 /DPI 設備 : Procera 36
TCP-based 網路品質監控 優點 被動式偵測 ( 封包 Listening), 不佔用頻寬資源可快速釐清 Intranet or Internet 緩慢或異常不需佈建監控設備, 節省電力與資源準確性更高 : 網路現成大量連線記錄提供量測結果可追溯過去之歷史統計記錄 37
TCP-based 網路品質監控 臺大網路架構圖 中研院 TANet 國家高速網路中心 HiNet 國際專線 IPS/DPI 邊界路由器 Mirror 20G Netflow v9 核心路由器 監控設備 nprobe 38
Latency 24 Hrs 統計 Client Latency 平均 :12ms Inline 設備 Loading 降低 Server Latency 平均 :80ms 凌晨時段 Internet 壅塞 Application Latency 平均 :200,000ms 網站很慢 遠大於 網路很慢 Application Server Loading 降低 39
Latency 24 Hrs 統計 國家 /ASN 不同國家 Latency 不同 ASN Latency 40
Latency 24 Hrs 統計 各區網中心 中正大學 中山區網 中興區網 中正區網 中興大學 41
封包重送 24 Hrs 統計 Retransmit 因國際頻寬壅塞 NTU Client 未依序收到封包, 要求 Server 重送封包 國際頻寬不壅塞 凌晨時段 42
Retransmit % 比例 24 Hrs 統計 各區網中心 43
RTT Packet Lost 分析 影響 RTT 高低 Inline 設備之有 無 Inline 設備之 Loading 高 低經過之 Node 節點數網路設備 Loading 影響 Packet Lost 頻寬壅塞實體線路不良 Inline 設備 Drop Server 異常對方資安設備 Drop 44
4.2 LINE BOT 網路監控系統 45
Line Bot 網路監控系統 即時訊息通知 接收網路設備 Syslog 並將異常及高風險事件通知於群組中 指令式 AI 對話 依據事先定義之指令, 主動撈取相關網路監控圖表顯示於群組中 46
Line Bot + Syslog Server 架構 Cisco Router
線路異常 Cisco Router Syslog Events LINK-3-UPDOWN LINEPROTO-5-UPDOWN 路由協定異常 OSPF-5-ADJCHG OSPFv3-5-ADJCHG -- ipv6 帳號登入 LOGIN_SUCCESS AUTHEN_SUCCESS Cisco ASR Config 指令修改 logged command -CONFIG -- Cisco ASR 48
即時訊息通知 帳號登入 event 線路異常 event 49
指令式 AI 對話 可用!MRTG < 連線單位 > 顯示流量圖及連結 50
指令式 AI 對話 51
4.3 高風險協定分析 TANET2018 論文因應高速頻寬與加密流量之校園網路實驗與規劃 52
高風險協定偵測架構 連校學校 Inline Inline 頻寬分流管理器 高風險協定 json Inline Inline 印表機勒索 : Printer Port 9100 RAW NTP 放大攻擊 : NTP monlist LDAP 放大攻擊 : LDAP port 389 IPS 53
Open Resolver DNS 偵測 連校學校 Inline Inline Gigamon HC1 Filter only port 53 Inline Inline 來源 IP ASN=1659 AND 目的 IP ASN<>1659 AND DNS 正常回應 (0x8180) AND 回應非 edu.tw 結尾 SourceFire IPS *TANet ASN: 1659 54
高風險協定偵測 DDoS 攻擊 Port 用途 潛在風險 19 chargen DDoS 攻擊 53 DNS DNS 放大攻擊 123 NTP 校時 NTP monlist 放大攻擊 389 LDAP LDAP 放大攻擊 1900 SSDP SSDP 放大攻擊 11211 Memory Cache Memory Cache 放大攻擊 55
高風險協定偵測 不宜對 Internet 開放 Port 用途 潛在風險 445 網路芳鄰 WannaCry, Conficker 1433 MS sql Server 資訊洩漏 3306 Mysql Server 資訊洩漏 9100 Printer RAW 印表機勒索 56
Open DNS Resolver 調查 無線 AP 分享器 Ruckus 7372, D-Link DIR-513A Windows 2008 R2 DNS 初始設定 57
4.4 Layer7 流量分析 58
ndpi Open Source DPI Library https://github.com/ntop/ndpi 網路社群力量大 v2.3.0 Supported protocols 239+ P2P (Skype, BitTorrent) Messaging (Viber, Whatsapp, MSN, The Facebook) Multimedia (YouTube, Last.gm, itunes) Conferencing (Webex, CitrixOnLine) Streaming (Zattoo, Icecast, Shoutcast, Netflix) Business (VNC, RDP, Citrix, *SQL) 59
Export JSON file to ELK Stack ASR 9912 ndpi Reader JSON 60
臺大區網 網路品質管理 -> Layer7 流量分析 http://www.tp1rc.edu.tw/layer7.html 106 年評審委員建議 : 第 8 點研創成果呈現於區網中心網頁 第 9 點創新網路管理服務, 呈現於區網中心網頁 61
臺大區網 網路品質管理 -> Layer7 流量分析 http://www.tp1rc.edu.tw/layer7.html 62
臺大區網 網路品質管理 -> Layer7 流量分析 63
5. 未來目標與建議 未來目標與規劃 TCP-based 網路品質監控導入於區網骨幹 加密流量分析 加解密設備 POC TANET2018 投稿論文 加密流量行為異常分析 64
加密流量分析 加密流量比例快速增加困難與解決方法 區網骨幹加密流量已達 50% 加密流量無法辨識, 原資安防護設備失效 解決方案 外對內防護 -> 解密設備 + 網頁憑證 內對外防護 -> 解密設備 + 根憑證安裝 65
傳統外對內防護 網頁伺服器 -WAF Internet WAF WAF WAF 電機系 66 資工系 未加密流量加密流量
網頁伺服器防護架構 - 解密設備 Internet https 解密設備 IPS 電機系資工系 加密流量暫時解密加密流量 67
TANet 內對外防護 校園網路規劃 骨幹路由器 頻寬分流管理器 Cache Server IPS 高風險協定 https 解密設備 json 未加密流量加密流量暫時解密加密流量 一般使用者 高風險使用者 68
106 年評審委員建議與回覆 委員建議 1. 資安事件處理之應變處理平均時數為 2.7 小時, 事件處理平均時數為 2.76 小時, 建議可逐步將其縮短至 1 小時內 同時來在教育部之資料有關資料, 更新完整度為 51.02%, 建議可改善之 2.11/16 凌晨區網斷線近 3 小時, 雖可由台大之網路備援區網網頁達到公告訊息, 此雖屬廠商施工不當所影響, 但應思考爾後之應變措施, 以使各連線單位之網路能順暢運作 3. 目前區網之網站網址為 http://www.ntu.tp1rc.edu.tw/ 建議可調整為 http://www.tp1rc.edu.tw/ 以使各區網網站之網址一致, 便使用者使用 同時可思考從使用者角度之需要來提供相關資訊 69 回覆 資安事件應變與處理時數與去年比較皆有改善 更新完整度也提高至 73% 已建議區網連線臺北主節點與新竹主節點之 Dark Fiber 電路租用應由兩家不同 ISP 承包 已將區網網址統一更改為 http://www.tp1rc.edu.tw/
106 年評審委員建議與回覆 委員建議 4. 請持續推動各連線單位升級 DNS Server 及校園網路導入 IPv6/IPv4 雙協定, 以因應未來網路之發展 建議可了解其困難協助解決之 5. 資安事件處理時效較長, 要精進不易, 但仍請積極處理 6. 工作量大又繁雜, 所面對的事件經驗也最豐富, 建議思考相關知識經驗該如何分享加值 7. 建議將區網人力完整呈現於區網中心網頁 8. 建議將區網中心研創成果呈現於區網中心網頁 回覆 已在 2017 年網管會議宣傳與說明 IPv6 雙協定之設定方法與路由設定 資安事件應變與處理時數與去年比較皆有改善 於區網會議上分享相關網管經驗與知識, 定期於 TANET 研討會發表相關研究論文 已更新網頁相關資訊 已將 Layer7 流量分析成果呈現於網頁中 http://www.tp1rc.edu.tw/layer7.html 70
106 年評審委員建議與回覆 委員建議 9. 建議將區網中心提供之各式服務, 包含創新網路管理服務, 呈現於區網中心網頁 10. 建議持續強化網路連線資訊透明化, 如 : 網路流量 線路頻寬等, 在不違反資訊安全原則考量下, 呈現於區域網路中心網頁 11. 建議持續推動連線單位 IPv6 支援能力, 並將結果呈現於區網中心網頁 12. 建議將區網中心辦理之教育訓練成果以數位影音方式留存, 以利資訊分享 71 回覆 在區網網頁之網路品質管理呈現創新網路管理服務 : http://www.tp1rc.edu.tw/b1.php 所有區網連線單位之頻寬使用狀況皆提供 MRTG 或 Cacti 圖表呈現於網頁中 http://www.tp1rc.edu.tw/mrtg/ http://www.tp1rc.edu.tw/cacti.html 已在 2017 年網管會議宣傳與說明 IPv6 雙協定之設定方法與路由設定 因教育訓練有部分課程為資安案例與攻防, 部分資料敏感不便公開 預計先從網路管理或法規訓練等教育訓練開始著手
其他建議 建議各節點路由器加上 IP 反解, 網管才能瞭解網路路徑 TANet NOC 網頁憑證錯誤 72
其他建議 連線學校反應無法連線網站 ntustbim.weebly.com u.camdemy.com slideplayer.com knowledge.exlibrisgroup.com 回覆因該網站之前有侵權行為在台北主節點路由器進行 ACL 封鎖 建議封鎖網址應公布於網站可供查詢 73
簡報完畢 謝謝 74