陶辉-从代码看Nginx运维

Size: px

Start display at page:

Download "陶辉-从代码看Nginx运维"

晏矶经
5 years ago
Views:

1 从代码看 Nginx 运维本质陶辉

2 常见 Web 框架可伸缩性可用性 Nginx 在负载均衡和 Web 加速服务器层面负有盛名负载均衡可伸缩性, 容灾 WEB 加速服务器静态内容高层次内容缓存应用服务器动态内容处理, 如 django tomcat 缓存低层次内容缓存, 如 redis 数据库数据持久化

3 为什么选择 Nginx? 更快节约机器降低成本单节点支撑更大的负载每请求消耗更少的资源投入产出比高广泛使用, 经过全面考验扩展性高, 大量模块提供了足够丰富的功能可以不造轮子, 只搭积木

4 运维 nginx 的步骤编译准备环境理解执行 configure 编译修改配置熟悉配置格式了解如何明确用法理解脚本式配置 error 日志编译时 --with-debug 打开定位问题时配置日志级别 debug 日志定位配置错误部署安装到正确位置开机自启 Access 日志分割 access 日志熟悉可利用的变量 goaccess -f access.log -o report.html -- real-time-html --ws-url=zlddata.com

5 提升性能提升传输效率长连接代替短连接 Gzip 压缩降低带宽限制速度保护应用服务器缓存有效的缓存往往是提升性能的杀器减少进程消耗降低写日志磁盘 IO 使用 sendfile 修改操作系统配置更好的适合高并发场景架构优化 Nginx 优化 Linux 优化缓存限制流量提高 Backlog 文件描述符端口范 keepalive 长连接 gzip 压缩 access 日志批量输出启用 sendfile 等高性能配置围限制 TCP 连接传输优化

6 Nginx 能做些什么?

7 事件驱动框架 events{use epoll;} 事件驱动请求建立 TCP 连接事件连接建立事件消费者 TCP 连接可读事件读事件消费者 TCP 连接关闭事件 TCP 连接可写事件事件收集分发者写事件消费者连接关闭事件消费者异步读磁盘成功事件异步读磁盘事件消费者定时器事件消费者

8 ppt 素材事件驱动框架的优点 : 很少的上下文切换

9 事件驱动框架的缺点 : 阻塞操作可以轻易的造成性能下降

10 线程池与事件驱动框架的结合 sendfile() on purpose only works on things that use the page cache. ---Linus Torvalds thread_pool default threads=32 max_queue=65536;

11 Master-Worker 进程结构全局配置 master_process on; worker_processes worker_cpu_affinity auto; pid nginx.pid; worker_priority -10; auto; 清闲的 master 进程启动监控 worker cache 进程接收信号命令读取解析重载配置文件执行 binary 升级繁忙的 worker 进程建立连接, 处理各种请求, 包括 http 请求 mail 请求 tcp 传输 Cache 相关进程处理文件缓存

12 Master-worker 架构的优点 : nginx -s reload 升级 Nginx

13 监听端口复用 reuseport master 建立一个监听 socket, worker 进程间共享 master 为每个 worker 进程建立独立的 socket 用 lsof 可以观察 server { listen 80; } server { listen 80 reuseport; }

$9 内核以上 events {accept_mutex on;} events {accept_mutex$

14 reuseport 性能 Linux3.9 内核以上 events {accept_mutex on;} events {accept_mutex off;} http { listen 80 reuseport;}

15 Nginx 模块结构./configure --with-module ngx_conf_module NGX_CONF_MODULE epoll event_core NGX_EVENT_MODULE upsteam 相关模块响应过滤模块请求处理模块 ngx_http_core_module NGX_HTTP_MODULE ngx_mail_core_module NGX_MAIL_MODULE steam 模块 ngx_stream_core_module NGX_STREAM_MODULE events http mail stream NGX_CORE_MODULE core errlog thread_pool openssl

16 动态模块 Configure 加入模块到 c 代码 load_module modules/ngx_mail_module.so; 编译进 binary 启动时初始化模块数组读取 load_module 配置打开动态库并加入模块数组基于模块数组开始初始化

NGX_HTTP_POST_READ_PHASE NGX_HTTP_SERVER_REWRITE_PHASE real_ip_header If return NGX_HTTP_FIND_CONFIG_PHASE NGX_HTTP_REWRITE_PHASE 同 server NGX_HTTP_POST_REWRITE_PHASE

17 NGX_HTTP_POST_READ_PHASE NGX_HTTP_SERVER_REWRITE_PHASE real_ip_header If return NGX_HTTP_FIND_CONFIG_PHASE NGX_HTTP_REWRITE_PHASE 同 server NGX_HTTP_POST_REWRITE_PHASE NGX_HTTP_PREACCESS_PHASE NGX_HTTP_ACCESS_PHASE NGX_HTTP_POST_ACCESS_PHASE NGX_HTTP_TRY_FILES_PHASE NGX_HTTP_CONTENT_PHASE NGX_HTTP_LOG_PHASE limit_conn auth_basic_use r_file try_files index access_log

18 http 请求选择 location 流程监听端口 1 监听端口 2 根据 TCP 四元组 dstip 地址 1+ 端口 1 地址 2+ 端口 1 根据 HTTP 头部 host server{} server{} server{} 根据 URI location{} location{} 合并 main server 块下的配置项到 location server { } Server { listen localhost:80; listen 8000; server_name zlddata.com zlddata.cn; location /static {... } location / {... } listen 80; server_name fuzhong.pub;. 寻找 location 时仅在 NGX_HTTP_FIND_CONFIG_PHASE 阶段进行, 该阶段前会有 post_read 和 server_rewrite 阶段

19 读取配置文件打开监听 socket http 模块工作流程 master 进程启动 worker 进程 event 模块解析 event {} 配置 http 模块解析 http{} 配置 stream 模块解析 stream {} 配置监控进程状态与信号命令 http 模块解析配置, 注册 handler 建立 location 树模块回调方法注册 handler 监听端口处理, 如 reuseport worker 进程接收 http 包头调用 HTTP 模块 11 个阶段的内容处理方法发送 HTTP 响应调用 HTTP 过滤模块的过滤 header 和过滤 body 方法处理事件处理信号命令

HTTP 模块间的配合接收 HTTP 头部 preaccess 阶段 access 阶段

auth_basic 模块 access 模块 http 内容模块 4 http 内容模块

limit_req zone=req_one burst=120; limit_conn

pass; gzip on; image_filterresize 80 80; body

20 HTTP 模块间的配合接收 HTTP 头部 preaccess 阶段 access 阶段 content 阶段 header 过滤模块 limit_conn 模块 auth_basic 模块 access 模块 http 内容模块 4 http 内容模块 5 image_filter gzip 发送 HTTP 头部 limit_req 模块 limit_req zone=req_one burst=120; limit_conn c_zone 1; satisfy any; allow /32; auth_basic_user_file access.pass; gzip on; image_filterresize 80 80; body 过滤模块 image_filter gzip 发送 HTTP 包体

21 模块变量 Nginx 启动提供变量的模块 Preconfiguration 中定义新的变量解析出变量的方法使用变量的模块, 比如 http 的 access 日志变量名 HTTP 头部读取完毕解析 nginx.conf 时定义变量使用方式 log_formatmain '$remote_addr $remote_user $request" $status ' '$host $body_bytes_sent $gzip_ratio "$http_referer" 变量值处理请求

22 2 个 REWRITE_PHASE 请求开始执行脚本建立上下文 engine 及变量栈 ip 指向指令数组执行每条指令脚本 script ngx_http_rewrite_module 模块配置中存放解析的指令 Nginx 启动时读取 nginx.conf 中的脚本类配置, 编译为脚本指令数组存放在相应模块的配置中 CONTENT_PHASE 阶段执行脚本 ngx_http_fastcgi_module 模块配置中存放解析的指令 try_files $uri $uri/ /index.php?$args; return 401 "Access denied because token is expired"; if ($scheme!= "https") { rewrite ^ permanent; } uwsgi_store /data/www$original_uri; uwsgi_pass localhost:9000;

23 决定模块顺序 auto/modules

24 DEBUG 级别日志的阅读找到请求 http request line: GET / 从 uri 中寻找到请求起始 LOG,http header: 确认头部,http header done 确认所有 HTTP 头部接收完毕找到处理它的 location test location: static 看看哪些 server 和 location 尝试处理请求,using configuration / 最后又是哪个 location 处理了请求处理请求的模块 rewrite phase: 2 了解经过了哪些 http 阶段, http script copy: 找到脚本变量值, http filename 找到静态文件, uwsgi param 找到上游头部发送 HTTP 响应 HTTP/ OK 找到响应确认头部, http gzip filter 确认过滤模块的处理, write new buf 确认发送了多少字节

25 低投入高产出 : 理解 Nginx Step by step 教程亲自动手 02 按照方向学习某一领域方面的知识在 stackoverflow 上寻找答案在官方及其他牛人博客上寻找某一场景下的专题技术分析 03 学习 Nginx 架构熟悉你需要运行的操作系统理解产品的场景常用技术框架, 如 Http 协议浏览器特性等理解高并发相关的性能挖掘知识, 如零拷贝 DirectIO TCP 状态机等阅读源码 Gdb 调试

26 杭州智链达数据有限公司关于我们智链达于 2016 年成立, 立足于服务建筑业和制造业的蓝领工人, 针对中国复杂的行业现状, 用互联网技术解决工人薪筹福利持续教育, 提升工程管理效率培养中国产业工人建筑与制造业垂直领域的大数据平台降低风险提升效率用多年沉淀的行业领域知识, 通过资源的监控数据化, 提升管理效率降低项目风险数据挖掘针对第一手数据分析, 深入挖掘工人企业的潜在需求

27 THANKS

关于我夏志培沪江网运维架构师 / 基础运维团队负责人,10+ 年运维经验负责沪江 Redis/Codis,DNS,ApiGateway,RabbitMQ,ELK,Ceph 等基础组件运维和架构工作对系统底层以及开源的软件有浓厚的兴趣微信 :summer_xia_027

关于我夏志培沪江网运维架构师 / 基础运维团队负责人,10+ 年运维经验负责沪江 Redis/Codis,DNS,ApiGateway,RabbitMQ,ELK,Ceph 等基础组件运维和架构工作对系统底层以及开源的软件有浓厚的兴趣微信 :summer_xia_027 沪江 ApiGateway 实践关于我夏志培沪江网运维架构师 / 基础运维团队负责人,10+ 年运维经验负责沪江 Redis/Codis,DNS,ApiGateway,RabbitMQ,ELK,Ceph 等基础组件运维和架构工作对系统底层以及开源的软件有浓厚的兴趣微信 :summer_xia_027 目录 01 02 03 背景和目的 ApiGateway 架构 ApiGateway 的实现