Nginx 深度開發與客制化來自阿里巴巴的經驗阿里巴巴集團 - 核心系統部朱照遠 ( 叔度 )

Size: px

Start display at page:

Download "Nginx 深度開發與客制化來自阿里巴巴的經驗阿里巴巴集團 - 核心系統部朱照遠 ( 叔度 )"

际也甄
5 years ago
Views:

1 Nginx 深度開發與客制化來自阿里巴巴的經驗阿里巴巴集團 - 核心系統部朱照遠 ( 叔度 )

2 提綱背景介紹應用案例開發與客制化進行中的工作開源總結

3 1. 背景介紹

4 關於阿里巴巴集團

5 面對的技術挑戰 2012 年淘寶天貓的交易額為億元人民幣超過 Amazon 與 ebay 之和四家網站的網路流量在全球排名前 100(Alexa 統計 ) taobao.com(#10) tmall.com(#42) alibaba.com(#72) alipay.com(#77) 2012 年雙 11 大促活動的一些數據雙 11 購物當天總銷售額 191 億人民幣第一分鐘超過 1000 萬人湧入,1 分鐘成交 19.2 萬筆交易全天有 2.13 億獨立訪客, 佔中國大陸網民總數 40% CDN 最高峰值流量到達 2100Gbps

6 使用 Nginx 的過程 2009 年開始使用和探索 2010 年開始開發大量模組以滿足業務 2011 年開始修改 Nginx 的核心 2011 年 12 月將修改過的 Nginx 項目開源項目名稱為 Tengine

7 產生的收益 Nginx 使得業務更加穩定對大連接數目支援非常好佔用記憶體非常節省, 更不會用 swap Nginx 使得應用的性能更高 QPS 比 Apache 高節省伺服器數目基於 Nginx 的模組性能往往是之前業務的數倍

8 2. 應用案例

9 Web 接入層負載均衡 SSL 卸載管理界面安全防禦灰度發佈靜態化與 cache

10 用戶群消息服務提供 comet 服務 60 萬連接每臺伺服器

11 灰度發佈與 A/B Testing 灰度發佈逐漸放量測試方便的管理界面規則 IP 地址 cookie 值 K/V 存儲

12 日誌收集與統計系統阿里的類似於 Google Analytics 系統 JavaScript 植入收集日誌分析統計資訊內部實做 Nginx 模組分佈式傳輸系統在 Hadoop 上運行 MapReduce 統計性能幾十臺伺服器每天處理數百億 query 單機處理能力 4 萬 QPS( 短連接 )

13 RESTful 界面層 RESTful 界面支援 TFS( 阿里分佈式檔案系統, 類似 GFS) Tair( 可以看作一個分佈式的 memcached + Redis) 簡化應用開發可返回 JSON 格式直接讓瀏覽器處理從而不必在伺服器做組裝

14 分佈式防攻擊系統應對的問題 HTTP 層面的 DDoS 攻擊惡意的爬蟲解決單機防護不知道全局資訊的問題 TMD(Taobao Missle Defense) 系統 Nginx 作為防攻擊系統的客戶端 TMD Server 做策略分析 TMD Console 執行彙總和控制檯

15 TMD 系統架構圖

16 CDN 系統 consistent_hash 模組同一對象到同一台 cache 服務器不會 cache 抖動 Tengine Tengine Swift Swift

17 3. 開發與客制化

18 動態模組加載 DSO (Dynamic Shared Object) 支援避免每次新加模組都要重新編譯 binary./configure --with-http_sub_module=shared./dso_tool --add-module=/home/dso/lua-nginx-module 配置例子 dso { load ngx_http_lua_module.so; load ngx_http_memcached_module.so; }

19 流式上傳 Nginx 的問題寫硬碟與記憶體佔用之間的權衡, 避免 IO client_body_buffer_size 的限制 Tengine 的實做 proxy_request_buffering client_body_buffers client_body_postpone_size

20 組合 JavaScript 和 CSS 根據 Yahoo! 前端優化第一條原則 Minimize HTTP Requests 減少三方握手和 HTTP 請求的發送次數阿里CDN combo concat 模組, 組合 JavaScript 和 CSS

21 CDN combo 的使用以兩個問號 (??) 激活 combo 特性多個檔案之間用逗號 (,) 分開用一個? 來表示 timestamp 用來突破瀏覽器 cache 例子

22 為頁面瘦身 trim 模組刪除 HTML 和內嵌 JavaScript CSS 的註釋和空白符號 location / { } trim on; trim_jscss on;

23 系統過載保護監控系統條目伺服器的 load 記憶體的使用 ( 如 swap 的比例 ) sysguard 模組 sysguard on; sysguard_load load=4 action=/high_load.html; sysguard_mem swapratio=10% action=/mem_high.html 可客制化保護返回的頁面

24 多種日誌支援的方式本地和遠程 syslog 支援 access_log syslog:user:info: :514 combined; 管道支援 access_log pipe:/path/to/cronolog combined; 抽樣支援 ( 減少日誌的條目數目 ) access_log /path/to/file combined ratio=0.01;

25 伺服器資訊調試 footer 模組 footer $host_comment; 例子 ( 在頁面最後添加 )

26 對於行程設置的簡化可以通過 auto 選項來自動設置行程數目和 CPU 親和性 worker_processes 8; worker_cpu_affinity ; worker_processes auto; worker_cpu_affinity auto;

27 user_agent 模組將瀏覽器爬蟲輸出成變量具體實做使用trie 樹,O(n) 的複雜度對比Nginx 的 browser 模組是 O(n^3)

28 增強了 limit_req 模組多變量支援白名單支援指定跳轉頁面支援同 location 下多 limit_req 支援支援 off 選項 location / { limit_req zone=one burst=5; limit_req zone=two forbid_action=@test1; limit_req zone=three burst=3 forbid_action=@test2; }

29 主動健康檢查發現後端伺服器失效的響應快 L7 的檢查使上線下線很方便後端伺服器的狀態監控頁面可以檢查多種後端伺服器 TCP/HTTP/HTTPS/AJP/MySQL/FastCGI

30 輸入體過濾器流式地做安全過濾標準 Nginx 的問題 POST 體與記憶體之間的關係性能與硬碟已應用場景防 hashdos/sql 注入 /XSS

31 動態腳本支援 Lua 語言的支援支持各種 phase 支持 header body filter 性能和彈性的完美結合 LuaJIT, 和 Java C 一個量級方便修改, 不需編譯不必開發 C 的模組

32 Lua 支援的例子 location /http_client { proxy_pass $arg_url; } location /web_iconv { content_by_lua ' local from, to, url = ngx.var.arg_f, ngx.var.arg_t, ngx.var.arg_u local iconv = require "iconv" local cd = iconv.new(to or "utf8", from or "gbk") local res = ngx.location.capture("/http_client?url=".. url) if res.status == 200 then local ostr, err = cd:iconv(res.body) ngx.print(ostr) else ngx.say("error occured: rc=".. res.status) end '; }

33 會話保持 session_sticky 模組通過 cookie 實現客戶端與伺服器做負載均衡, 後續訪問同一台伺服器 upstream foo { server ; server ; session_sticky; } server { location / { proxy_pass } }

34 一致性 hash consistent_hash 模組防止抖動可以根據變量來 hash

35 命令行參數的完善列出已經編譯的模組 -m 選項列出已支援的指令 -l 選項列出配置檔案的全部內容 -d 選項

36 監控增強

37 4. 進行中的工作

38 計時器的優化數據結構對比 rbtree minheap timer wheel

39 SO_REUSEPORT 支援 epoll 的驚群問題 (Thundering Hurd) Google 的 patch 性能提升

40 後端 keep_alive 優化超時時間限制針對後端伺服器的 pool

41 對 10GE 網路的良好支援 10GE 網卡跑滿做 Load Balancer CPU 要求還有足夠的空閒

42 5. 開源總結

43 開源社區發佈 15 個版本核心開發者 7 人貢獻者 25 人

44 非阿里的外部用戶 Internet Archive 騰訊土豆京東酷六 PPLive 鳳凰網開源中國...

45 參考資源前面講過的內容絕大部分已經開源! Tengine 的主頁 Tengine 的 GitHub 歡迎參與 Tengine 開源項目!

46 阿里開源情況中國大陸開源力度投入最大的企業! 60 個開源項目左右 Linux kernel Hadoop LVS TFS/Tair...

47 Thank you! Q&A

打造安全、易运维的高性能Web平台

打造安全、易运维的高性能Web平台淘宝网 Nginx 应用定制不开发实战朱照远 (@ 淘叔度 ) 王晓哲 (@chaoslawful) 2012-06-09 大纲背景介绍应用案例分析开发不定制 Web 应用开发当前工作 1 背景介绍 Nginx 简介 Web 服务器反向代理和邮件代理服务器俄罗斯程序员 Igor Sysoev 于 2002 年开始全球使用量排名第二 2011 年成立商业公司特点性能非常高资源占用

Nginx 深度開發與客制化 來 自阿 里巴巴的經驗 阿 里巴巴集團 - 核 心系統部朱照遠 ( 叔度 )

Nginx 深度開發與客制化來自阿里巴巴的經驗阿里巴巴集團 - 核心系統部朱照遠 ( 叔度 )