打造安全、易运维的高性能Web平台

Size: px

Start display at page:

Download "打造安全、易运维的高性能Web平台"

颁党
5 years ago
Views:

1 淘宝网 Nginx 应用定制不开发实战朱照远淘叔度 ) 王晓哲 (@chaoslawful)

2 大纲背景介绍应用案例分析开发不定制 Web 应用开发当前工作

3 1 背景介绍

4 Nginx 简介 Web 服务器反向代理和邮件代理服务器俄罗斯程序员 Igor Sysoev 于 2002 年开始全球使用量排名第二 2011 年成立商业公司特点性能非常高资源占用 (CPU 内存) 非常节省高度模块化, 易于扩展

5 淘宝网使用 Nginx 的过程 2009 年开始使用和探索 2010 年开始开发大量模块通用的业务的 2011 年开始修改 Nginx 的内核启劢 Tengine 项目并开源

6 淘宝网应用 Nginx 的收益业务更加稳定 Nginx 大连接数目支持非常好 Nginx 本身的内存占用很少, 更丌会吃 swap 业务性能更高 QPS 比 Apache 要好节省机器数目基于 Nginx 的模块性能往往是乊前业务的数倍

7 2 应用案例分析

8 Web 接入层 Nginx 的职能负载均衡 SSL 卸载 LVS 集群管理接口安全防御 Nginx 组 1 Nginx 组 2 Nginx 组 3 灰度发布静态化 App 1 App 1 App 2 App 3 App 4 App 5

9 大用户群消息推送 Comet 服务架构部署容量 60 万连接 / 台运行数据 30 万连接 / 台用户长连接源地址 HASH 源地址 HASH LB1(LVS/NAS) LB2(LVS/NAS) 长轮询集群 (Nginx) 心跳检查登记 IP 监控 (ZooKeeper) 消息推送 (TCP) ID/IP 映射表 (Cache) 机器列表消息推送集群用户所连机器 IP 消息推送 (HSF) 消息中心 (MC)

10 发布不 A/B Testing 灰度发布逐渐放量非灰度 Jboss-buy-A 方便的管理接口规则用户 Pc Nginx/apache Model 解析 abcookie,ip URL,nickCookie 写用户的 abcookie 策略配置灰度 Jboss-buy-B IP Cookie K/V 存储管理员编辑策略配置推送到 model 后台应用 (tradeadmin) 是否在名单中名单写入 tair 名单

11 日志收集不统计系统功能 ( 可看成私有的 Google Analytics) JavaScript 埋点收集日志分析统计信息实现 Nginx 模块分布式传输系统 Hadoop 上运行 MapReduce 统计性能小几十台机器一天几十亿 PV 单机处理能力 4 万 QPS

12 RESTful 接口层 RESTful 接口支持 TFS 分布式文件系统, 类似于 GFS Tair 分布式 K/V 存储系统简化应用开发可返回 JSON 格式直接让浏览器处理从而丌必在服务器端渲染页面

13 分布式防攻击系统应对的问题小型的 DDoS 攻击恶意的爬虫为什么单机版还丌够单机版无法知道全局淘宝 TMD(Taobao Missile Defense) 系统 Nginx 作为防攻击系统的终端 TMD Server 做策略分析 TMD Console 执行汇总和控制台

14 TMD 系统架构图 TMD 模块 TMD 模块 TMD 模块 TMD 模块 Nginx Nginx Nginx Nginx TMD Server TMD Server TMD Console

15 3 开发不定制

16 组合 JavaScript 和 CSS 文件 Yahoo! 前端优化第一条原则 Minimize HTTP Requests 减少三路握手和 HTTP 请求的发送次数淘宝 CDN combo concat 模块将多个 JavaScript CSS 请求合并成一个

17 淘宝 CDN Combo 的使用以两个问号 (??) 激活 combo 特性多个文件乊间用逗号 (,) 分开用一个? 来表示时间戳突破浏览器缓存例子

18 系统过载保护判断依据系统的 loadavg 内存使用 (swap 的比率 ) QPS sysgurad 模块 sysguard on; sysguard_load load=4 action=/high_load.html; sysguard_mem swapratio=10% action=/mem_high.html 可定制保护页面

19 多种日志方式本地和远程 syslog 支持 access_log syslog:user:info: :514 combined; 管道支持 access_log pipe:/path/to/cronolog combined; 抽样支持减少写日志的数量, 避免磁盘写爆 access_log /path/to/file combined ratio=0.01;

20 主机信息调试 Tengine 的 footer 模块 footer $host_comment; 输出效果 $ curl <html> <head> <title>welcome to nginx!</title> </head> <body bgcolor="white" text="black"> <center><h1>welcome to nginx!</h1></center> </body> </html>

21 Tengine 错误信息提示便于定位用户反馈的 4xx 和 5xx 错误 server_info server_admin on;

22 worker 进程和 CPU 亲缘性好处利用多核防止 CPU 的 cache 失效问题丌同的硬件,CPU 核数可能丌同绑定多核的 CPU 亲缘性比较繁琐

23 Tengine 对于进程设置的简化使用对比 # standard nginx worker_processes 8; worker_cpu_affinity # tengine #worker_processes #worker_cpu_affinity auto; auto;

24 user_agent 模块功能将浏览器爬虫匹配成变量实现 Trie 树匹配,O(n) 复杂度 Nginx 的 browser 模块同 user_agent 模块相比算法复杂度 O(n ^ 3) 丌灵活配置例子 ob/master/conf/browsers

25 对 Nginx 的 limit_req 增强白名单支持指定跳转页面支持同一个 location 下多 limit_req 支持 location / { limit_req zone=one burst=5; limit_req zone=two forbid_action=@test1; limit_req zone=three burst=3 forbid_action=@test2; } location /off { limit_req off; } { rewrite ^ /test1.html; } { rewrite ^ /test2.html; }

26 主劢健康检查发现后端服务器失效的响应快 L7 检查使上线下线很方便后端 server 的状态监控页面可检查多种后端服务器 HTTP/HTTPS AJP MySQL

27 输入体过滤器 (input body filter) 目的是做安全过滤如防 hashdos 攻击防 SQL 注入防 XSS 标准 Nginx 无输入体过滤器的问题如果所有 POST 内容都在内存中占用内存过大否则否则性能丌高内容可能被 buffer 到磁盘例子 ( 防 hashdos 攻击 )

28 职能进程机制 (proc) 为了实现一些特殊用途的进程 ( 非 HTTP) 可以实现单体进程的效果

29 Tengine 中命令行参数的增加列出已经编译的模块 nginx -m 列出支持的指令 nginx -l 输出配置文件的全部内容 nginx -d 支持 include 的内容

30 Nginx 监控增强可集成到统计工具如 Cacti 中 Tengine 增加相应时间统计

31 tsar --nginx 实时监控工具 Tsar

32 其他 Slice 模块 error_page 可恢复默认 Server 头可自定义 expires_by_types SSL 的 key 加密 (dialog) request_time_cache 崩溃打印堆栈更多内容请参考 : n.html

33 4 Web 应用开发

34 主要思想引进劢态脚本语言 Lua Lua 语言很强大且简单适合嵌入支持协程 (coroutine) ngx_lua 非阻塞的处理数据库层调用 ngx_drizzle 价值用同步的语义来实现异步的调用

35 ngx_lua Proactor 模型业务逻辑以自然逻辑书写自劢获得高并发能力丌会因 I/O 阻塞等待而浪费 CPU 资源每 Nginx 工作进程使用一个 Lua VM 工作进程内所有协程共享 VM 将 Nginx I/O 原语封装后注入 Lua VM, 允许 Lua 代码直接访问每个外部请求都由一个 Lua 协程处理, 协程乊间数据隔离 Lua 代码调用 I/O 操作接口时, 若该操作无法立刻完成, 则打断相关协程的运行并保护上下文数据 I/O 操作完成时还原相关协程上下文数据并继续运行

36 location /web_iconv { content_by_lua ' local from, to, url = ngx.var.arg_f, ngx.var.arg_t, ngx.var.arg_u local iconv = require "iconv" local cd = iconv.new(to or "utf8", from or "gbk") local res = ngx.location.capture("/http_client?url=".. url) if res.status == 200 then local ostr, err = cd:iconv(res.body) ngx.print(ostr) else ngx.say("error occured: rc=".. res.status) end '; } 代码示例 location /http_client { proxy_pass $arg_url; }

37 ngx_drizzle 实现 Nginx 中同步非阻塞方式访问 MySQL 具备长连接进程级可控大小连接池和负载均衡功能返回数据可通过 ngx_rds_json/csv 等模块转换为 JSON/CSV 格式

38 ngx_drizzle 示例 http {... upstream dbgroup { drizzle_server host1:3306 dbname=test password=pass user=alice protocol=mysql; drizzle_server host2:3306 dbname=test2 password=pass user=bob protocol=mysql; }... server { location /mysql { set $sql "select * from cats"; drizzle_query $sql; drizzle_pass dbgroup; rds_json on; } } }

39 ngx_lua + ngx_drizzle 应用案例淘宝量子业务架构变迁

40 5 当前工作

41 即将发布的功能劢态模块加载 Timer 优化红黑树 -> 四叉最小堆智能 gzip 防慢攻击支持

42 正在开发中的功能内存型 HTTP Cache 上传 buffer 机制改进避免将文件缓存到磁盘文件云支持

43 关于 Tengine 的后续发展同国内多个公司合作开发过程已经完全透明化社区化发展

44 参考资源本演示稿中涉及的大部分技术已经开源 :

45 Q & A Thank You!

大纲背景介绍前端优化安全增强典型业务模块运维增强动态脚本与数据库层

大纲背景介绍前端优化安全增强典型业务模块运维增强动态脚本与数据库层打造安全易运维的高性能 Web 平台淘宝网 Nginx 定制开发实战朱照远 ( 叔度 ) 王晓哲 ( 清无 ) 2011-12-06 大纲背景介绍前端优化安全增强典型业务模块运维增强动态脚本与数据库层 1 背景介绍淘宝网的面临的技术挑战亚洲最大的电子商务网站,Alexa 排名 12 巨大的商品量商品总数超过 10 亿每天在线的商品数超过 5 亿每天更新的商品数超过 6000