106 年度臺北區網 I 年度報告 單位 : 國立臺灣大學 計資中心主任 : 顏嗣鈞教授 網路組組長 : 謝宏昀教授 報告人 : 游子興 Email:davisyou@ntu.edu.tw 電話 :02-33665008 日期 :2017/11/24 1
大綱 1. 區網中心人力資源 2. 網路中心運作 3. 服務工作成效 4. 資訊安全運作 5. 網路應用服務特色 6. 未來工作目標與建議 2
一 區網中心人力資源 計資中心主任 : 顏嗣鈞教授 E-mail:hcyen@ntu.edu.tw 電話 :(02) 33665001 網路組組長 : 謝宏昀教授 網路 / 資安管理負責人 : 游子興 E-mail:davisyou@mtu.edu.tw 電話 :(02) 33665008 編制內專職及約聘僱人員 8 名, 其中區網經費及資安經費各約聘 2 名 3
105 年評審委員建議 4
105 年評審委員建議 5
二 網路中心運作 新增連線單位 : 臺灣科技大學 共計 52 個連線單位
ISP 線路統計 7
建置多樣即時監控機制 增加 Cacti 監控方式 流量圖 封包量圖 介面異常統計 105 年評審委員建議 : 第 2 點建置多樣即時監控機制 8
建置事件通知警示系統 監控 ASR Router Log 相關事件 事件發生立即 email 通知例如 : 有人登入 Router 9
改善連線單位 Ping 統計資訊 今年度已完成所有大專院校 peer ip 之 Ping RTT Packet Lost % 統計資訊 高中職以下受限設備與網管技術仍待完成 105 年評審委員建議 : 第 1 點改善連線單位 ping packet lost%.. 10
連線單位技術支援案例一 案例一 : 法鼓文理學院流量異常 105 年評審委員建議 : 第 9 點強化連線單位溝通協調 11
連線單位技術支援案例一 原以為是 DNS 放大攻擊 觀察 TTL 持續遞減 -> Routing Loop 因法鼓學院原有兩個校區使用不同網段 : 140.131.254.0/23 ( 金山校區 ) 120.97.248.0/21 ( 城區推廣中心 ) -> 合併取消 合併後校內路由未同步修正 12
連線單位技術支援案例二 臺北酷課雲使用區網雲端服務,2017/6 月反應認證連線緩慢, 進行封包分析 SSO 收到 Client 多次 SYN 卻不回應 SYN/ACK, Client TCP Session 建立六次未成功 最終原因 : 市網 IPS 誤擋造成 105 年評審委員建議 : 第 6 點與市網更有效溝通 13
三 服務工作成效 頻寬用量顯著增加 2016 2017 10Gb 頻寬連線單位 臺北市網 臺大 北科大 臺科大 現有資安設備 Capability 不足 IPS Capability: Max 15 Gbps 2016 2017 增加 % 最大 9.9G 21.3G 110% 平均 2.3G 3.6G 56% 14
建置頻寬分流器 解決 IPS Capability 不足 Cisco ASR9912 連校學校 100G * 2 Inline Inline 19 Gbps TANet 骨幹 Gigamon HC1 Inline Inline 過濾 443 加密封包 7.5 Gbps ( 剩四成 ) SourceFire IPS 15
下年度預計進行 Peer ISP 納入 IPS 監控.. Cisco ASR9912 100G * 2 連校學校 納入 ISP 監控 1G * 8 TANet 骨幹 區網所有對外連線皆在 IPS 保護範圍 Inline Gigamon HC1 line 需增購 20G Physical Bypass Inline Inline SourceFire IPS 16
四 資訊安全運作 通過教育版資訊安全管理制度 (ISMS) 認證 為建立完善之資訊安全管理制度, 降低組織內的重要資產與資訊之風險, 台北區網中心於 97 年開始導入教育版 ISMS 制度 98 年至 106 年每年皆通過教育版 ISMS 第三方認證 107 年度開始全計資中心導入 ISO27001-2013 17
資安事件統計 1 2 級資安事件處理 105 106 通報平均時數 1.97 小時 2.70 小時 應變處理平均時數 0.22 小時 0.05 小時 事件處理平均時數 2.19 小時 2.76 小時 通報完成率 99.37% 98.90% 事件完成率 99.83% 99.91% 3 4 級資安事件通報無無 資安事件通報審核平均時數 3.43 小時 0.60 小時 全年事件量統計 6930 4264 105 年評審委員建議 : 第 4 點改善資安審核時數第 5 點資安事件量龐大 18
偵測 DNS 放大攻擊之幫兇 不正確之 DNS 設置變成 Open Resolver DNS, 成為 DNS 放大攻擊之幫兇 105 年評審委員建議 : 第 9 點協助解決 DNS 老舊 屬於正常連線封包,IPS 無法用特徵碼偵測 偵測連線單位是否有允許回覆來自 Internet IP 詢問 非.edu.tw 結尾之 DNS Query 連線記錄 Wireshark Display Filter: ip.geoip.src_asnum == 1659 &&!ip.geoip.dst_asnum == 1659 && dns.flags.response == 0x8180 &&!dns.resp.name contains "edu.tw" 19
Open Resolver DNS 偵測 連校學校 Inline Inline Gigamon HC1 Filter only port 53 Inline Inline 來源 IP ASN=1659 AND 目的 IP ASN<>1659 AND DNS 正常回應 (0x8180) AND 回應非 edu.tw 結尾 SourceFire IPS *TANet ASN: 1659 20
下年度計畫 偵測其他異常連線 連校學校 Inline Inline 偵測因設定錯誤, 可能被駭客利用之網路服務為正常連線封包,IPS 無法用特徵碼偵測 Gigamon HC1 APF ASF json Inline Inline SourceFire IPS 印表機勒索 : Printer Port 9100 RAW NTP 放大攻擊 : NTP monlist LDAP 放大攻擊 : LDAP port 389 異常多次嘗試登入 : Try 密碼 21
五 網路應用服務特色 臺大區網網頁備援建置 網路行為異常偵測 Layer 7 網路行為分析 22
臺大區網網頁備援建置 臺大連外網路為 Multi-Home 架構 建構 TANet 與臺大網路互為備援之區網網頁 TANet 斷線時仍可由臺大網路在網頁公告事項 台大連外網路 11/16 凌晨區網斷線近 3 小時 23
網頁備援運作架構 TANet NTU 163.28.16.45/24 140.112.2.208/26 pfsense LAN www.ntu.tp1rc.edu.tw 台大區網 Web Server IP:10.1.1.2 24
DNS 備援設置 ntu.tp1rc.edu.tw NS record dns2.ntu.tp1rc.edu.tw 163.28.16.46 TANet A record NS record dns.ntu.tp1rc.edu.tw 140.112.2.238 NTU A record www.ntu.tp1rc.edu.tw 140.112.2.208 163.2816.45 nsupdate www.ntu.tp1rc.edu.tw 140.112.2.208 163.2816.45 25
網頁備援運作架構 TANet X 163.28.16.45 NTU 140.112.2.208 主動偵測 From Internet Cacti/The Dude nsupdate pfsense LAN 10.1.1.1/24 www.ntu.tp1rc.edu.tw 台大區網 Web Server IP:10.1.1.2 syslog Rsyslog Server 140.112.x.x NTU nsupdate dns.ntu.tp1rc.edu.tw 140.112.2.238 NTU www.ntu.tp1rc.edu.tw 140.112.2.208 163.2816.45 26
TANet 與臺大網路正常 27
TANet 網路異常 28
TANet 網路異常與恢復過程 29
網頁備援運作架構 TANet NTU X 163.28.16.45 140.112.2.208 pfsense LAN 10.1.1.1/24 Web Server IP:10.1.1.2 syslog Rsyslog Server 140.112.x.x NTU nsupdate dns.ntu.tp1rc.edu.tw 140.112.2.238 NTU www.ntu.tp1rc.edu.tw 140.112.2.208 163.2816.45 30
DNS 動態更新 nsupdate -v /root/nsupdate_tp1rc.txt nsupdate_tp1rc.txt server 140.112.2.238 update delete www.ntu.tp1rc.edu.tw A update add www.ntu.tp1rc.edu.tw 120 A 140.112.2.208 send 31
網路行為異常偵測 TANET2017 論文 與北區 ASOC 共同發表 105 年評審委員建議 : 第 3 點整合校內學術資源 32
傳統網路分析之瓶頸與限制 Netflow Layer 2 mac address Level: 無法觀察 無法偵測 broadcast storm, arp spoofing Layer 3 IP Level 無法偵測同網段之網路連線行為無法即時反應網路連線資訊 僅能提供連線 Summary 結果 路由器 Netflow Active Time 預設 30 分鐘 : 一個持續檔案傳輸之連線需 30 分鐘後才會匯出 Summary 傳輸結果資料 無法觀察 TTL(Time to Live) 變化 Layer 4 TCP Level: 有限分析 無法觀察 TCP Sessions TCP retrasmistion Out of order Duplicate ack Layer 7 Application Level: 無法分析 33
傳統網路分析之瓶頸與限制 見樹不見林 : Wireshark 可詳細觀察每個封包所有欄位資訊, 但缺乏整體統計與分析 針對高速網路 10Gbps,100Gbps 側錄有困難 無法針對 Layer7 應用層分析與過濾 filter all Skype traffic is not possible 34
Network Overview based on packet level Wireshark + ntop plugin ntop plugin (sharkfest 2017) Lua script for wireshark (Open Source) https://github.com/ntop/ndpi/tree/dev/wireshark Copy ndpi.lua to App\Wireshark\plugins 35
分析案例一 網路很慢 vs. 網站很慢 使用者抱怨反應 網路很慢 vs. 網站很慢 Network Delay vs. Application Delay 36
分析案例一 網路很慢 vs. 網站很慢 Application Delay 37
分析案例二 SYN Flood 統計 TCP flag 比例偵測異常行為 自行新增 Lua script 程式碼 38
臺大校內某系所網頁首頁 Web Server 新增統計 TCP 封包異常比例,Lua script 程式碼 label = label.. "Abnormal Packets Percentage : ".. formatpctg((num_tcp_retrans + num_tcp_ooo + num_tcp_lost_segment + num_tcp_duplicate_ack) / last_processed_packet_number * 100).. "\n" 分析案例三 實體網路線異常 39
分析案例四 IPS 誤擋 連線臺大首頁 www.ntu.edu.tw 封包遭 IPS 誤擋 新增統計 TCP 封包異常比例,Lua script 程式碼 ( 同前頁 ) 40
分析案例五重複嘗試登入 不尋常的重複嘗試登入, 可能被入侵的徵兆 傳統偵測方式 : 需於應用程式 Access Log 進行分析 SSH login failed RDP login failed 41
分析連入 Server 封包, 相同 Clinet IP 在短時間內不斷建立不同 tcp.stream, 即可能是嘗試登入行為 自行新增 Lua script 程式碼 分析案例五 重複嘗試登入 42
LAYER 7 網路行為分析 43
Layer 7 分析 - 傳統方式 傳統分析方式 21 ftp 22 ssh 23 telnet 80 http 443 https 44
Layer 7 分析 -ASN 使用 Geoip 查詢 IP 所屬 Autonomous System Number(ASN) 優點 : 現有 IP 就可分析, 可套用於現成 Netflow 分析工具 缺點 : 僅能大略分析網路行為, 無法辨識如 P2P 等 Protocol 45
Layer 7 分析 -ASN 區網 TANet 100G Top 10 ASN 分析結果 netflow + ELK Stack 2017/11/09 46
Layer 7 分析 -ASN 80 34.6% 443 64.3% port Source ASN % 443 Facebook, Inc. 26% 443 Google Inc. 25% 443 Academic Sinica Network 19% 443 Taiwan Academic Network (TANet) Information Center 14% 443 Data Communication Business Group 3% 80 Taiwan Academic Network (TANet) Information Center 50% 80 Microsoft Corporation 25% 80 Apple Inc. 11% 80 Academic Sinica Network 8% 80 Akamai International B.V. 47 6%
Layer 7 分析 -DPI 使用 DPI(Deep Packet Inspection ) 分析 商業硬體設備 Proprietary protocol pattern 非公開 倚賴廠商不斷更新 pattern Open Source DPI Library ndpi,support 186+ application protocols https://github.com/ntop/ndpi/tree/dev/example 網路社群力量大 48
ndpi Support 186+ Protocols FTP POP SMTP IMAP DNS IPP HTTP MDNS NTP NETBIOS NFS SSDP BGP SNMP XDMCP SMB SYSLOG DHCP PostgreSQL MySQL TDS DirectDownloadLink I23V5 AppleJuice DirectConnect Socrates WinMX VMware PANDO Filetopia imesh Kontiki OpenFT Kazaa/Fasttrack Gnutella edonkey Bittorrent OFF AVI Flash OGG MPEG QuickTime RealMedia Windowsmedia MMS XBOX QQ MOVE RTSP Feidian Icecast PPLive PPStream Zattoo SHOUTCast SopCast TVAnts TVUplayer VeohTV QQLive Thunder/Webthunder Soulseek GaduGadu IRC Popo Jabber MSN Oscar Yahoo Battlefield Quake VRRP Steam Halflife2 World of Warcraft Telnet STUN IPSEC GRE ICMP IGMP EGP SCTP OSPF IP in IP RTP RDP VNC PCAnywhere SSL SSH USENET MGCP IAX TFTP AFP StealthNet Aimini SIP Truphone ICMPv6 DHCPv6 Armagetron CrossFire Dofus Fiesta Florensia Guildwars HTTP Application Activesync Kerberos LDAP MapleStory mssql PPTP WARCRAFT3 World of Kung Fu MEEBO FaceBook Twitter DropBox Gmail Google Maps YouTube Skype Google DCE RPC NetFlow_IPFIX sflow HTTP Connect (SSL over HTTP) HTTP Proxy Netflix Citrix CitrixOnline/GotoMeeting Apple (imessage, FaceTime ) Webex WhatsApp Apple icloud Viber Apple itunes Radius WindowsUpdate TeamViewer Tuenti LotusNotes SAP GTP UPnP LLMNR RemoteScan Spotify H323 OpenVPN NOE CiscoVPN TeamSpeak Tor CiscoSkinny RTCP RSYNC Oracle Corba UbuntuONE CNN Wikipedia Whois-DAS Collectd Redis ZeroMQ Megaco QUIC WhatsApp Voice Stracraft Teredo Snapchat Simet OpenSignal 99Taxi GloboTV Deezer Instagram Microsoft cloud services Twitch KakaoTalk Voice and Chat HotspotShield VPN 49
Install ndpi with Wireshark Wireshark Extcap plugin 50
ndpi Layer 7 protocol 分析 51
六 未來工作目標與建議 ISO27001-2013 全臺大計資中心導入 區網 Peer ISP 電路納入 IPS 偵測範圍 搭配 Gigamon APF ASF 功能持續進行網路異常偵測與分析 印表機勒索 : Printer Port 9100 NTP 放大攻擊 :NTP monlist LDAP 放大攻擊 : LDAP Port 389 網路行為異常偵測 + ELK Stack 52
105 年評審委員建議與回覆 委員建議 1. 改善連線單位 ping packet lost% 監控機制 回覆 大專院校 peer ip 使用 Ping 統計已全部完成 (RTT Packet Lost %), 高中職以下受限設備與網管技術仍待努力 2. 建置多樣即時監控機制增加 Cacti 流量圖 封包量圖 介面異常統計, 建置事件通知警示系統監控 ASR Router Log 事件 3. 整合校內學術資源, 有效提升服務能量 在 TANET2017 論文發表 網路行為異常偵測, 與北區 ASOC 電機系 電信所教授共同發表 4. 改善資安審核時數已改善, 由 3.43 小時減少為 0.60 小時 5 資安事件量龐大已改善, 事件量由 6930 減少為 4264 53
105 年評審委員建議與回覆 委員建議 回覆 6. 與市網更有效溝通協助解決臺北酷課雲在區網雲端服務 SSO 連線問題 7. 資安人力未能及時聘用資安人力今年已經到位, 另有聘請工讀生協助區網網頁與相關資料整理 8. 資安事件總量高已改善, 事件量由 6930 減少為 4264 9. 強化連線單位溝通協調, 協助解決 DNS 老舊 協助解決連線單位 - 法鼓文理學院 Routing Loop 問題, 並建置主動偵測 DNS 放大攻擊機制 54
基礎電路建議 臺大連外 A4 O4 光纖應由兩家不同 ISP 承包 11/16 凌晨區網斷線近 3 小時 O4 D C 55
其他建議 Line 發生多次無法登入 2017/4/12 2017/5/10 2017/10/11 2017/11/15 缺乏顯示 TANet 連外線路頻寬與限制 建議各節點路由器加上 IP 反解, 網管才能瞭解網路路徑 56
其他建議 TANET 研討會 開幕式 -> 高朋滿座 論文發表 -> 門可羅雀 應多鼓勵參與論文發表 論文發表可當區網加分項目 TANet 維運相關論文可集中於同場次發表 ( 比照 TWAREN 模式 ) 出席論文發表會全勤獎 ( 比照廠商集點章 ) 57
簡報完畢 謝謝 58