Intruduction to the NGINX stream subsystem and OpenResty's support

Size: px

Start display at page:

Download "Intruduction to the NGINX stream subsystem and OpenResty's support"

巫刁
5 years ago
Views:

1 NGINX stream 子系统的简介以及 OpenResty 对其的支持孙大同 OpenResty Con 2017 北北京 2017 年年 10 月 21 日

2 关于我 90 后曾在 LinkedIn,Cloudflare 等公司工作 OpenResty Inc. 技术合伙人热爱钻研底层技术以及折腾飞行行爱好者拥有固定翼私人飞行行执照, 仪表飞行行资质以及无人机驾驶执照

3 NGINX stream 子系统的简介

4 NGINX stream 子系统的历史从 2015 年年 4 月发布的 v1.9.0 开始正式出现用于实现通用的 TCP 以及 UDP 服务器器功能在 v v 之间得到了了很大的提升 v1.11.x 版本的 stream, 核心变化十分巨大且不不向后兼容截止到 v1.13.x, 核心部分已经趋于稳定 OpenResty 早在 2016 年年 1 月就有了了实验性的支持

5 NGINX stream 子系统的连接处理理 (TCP) O/S, event subsystem and stream_core_module TCP 3-way handshake accept() session 初始化 stream phase engine postaccept preaccess access ssl log output filter content preread 清理理

6 NGINX stream 子系统的连接处理理 (UDP) O/S, event subsystem and stream_core_module 收到 UDP 数据包 recv() session 初始化 stream phase engine postaccept preaccess access ssl log output filter content preread 清理理

7 stream-lua-nginx-module 对最新 NGINX 核心的支持 Kong Inc. 赞助了了 stream-lua-nginx-module 的开发完全基于最新的 lua-nginx-module 代码重写重写过程中加入了了对新的 phase 系统和变量量系统的支持增加了了新的 API 来适应 stream 模块的特殊需求新的 meta-lua-nginx-module

8 no location block

9 preread_by_lua 访问控制高级代理理策略略可以使用会 yield 的 API 可以向客户输出内容不不受 preread_buffer_size 和 preread_timeout 的限制

10 balancer_by_lua API 于 lua-nginx-module 现有的完全兼容需要在 stream 的 block 下单独定义 upstream state_name, status_code = balancer.get_last_failure() balancer.set_timeouts(connect_timeout, send_timeout, read_timeout)

11 log_by_lua 发生在连接即将被关闭时不不能 yield 可以使用 ngx.timer.* API 可以访问所有的变量量以及 ngx.ctx

12 stream-lua-nginx-module 使用过程中的注意事项避免频繁在请求的内存池上分配 UDP 子系统对数据包的特殊处理理不不要在没有完全清空操作系统的 socket 读缓冲区的情况下关闭连接新的 API:tcpsock:shutdown() 用来模拟 lingering close

13 Lingering close Kernel socket 读缓存数据 NGINX 连接读缓存数据 close() will cause RST

14 tcpsock:shutdown local LINGERING_TIME = seconds local LINGERING_TIMEOUT = seconds local ok, err = sock:shutdown("send") if not ok then ngx.log(ngx.err, "failed to shutdown: ", err) return end local deadline = ngx.time() + LINGERING_TIME sock:settimeouts(nil, nil, LINGERING_TIMEOUT) repeat local data, _, partial = sock:receive(1024) until (not data and not partial) or ngx.time() >= deadline Source:

15 stream-lua-nginx-module 的开发思路路 I/O 主要依靠于 ngx.req.socket, 只支持 raw socket 有少量量的 ngx.say(),ngx.print() 的支持可以利利用 preread_by_lua,proxy 模块和 balancer_by_lua 来高效的转发

16 stream-lua-nginx-module 未来的功能 ssl_certificate_by_lua* access_by_lua* shdict 跨子系统的共享 lua-resty-core 的集成

17 例例子 :echo 服务器器 stream { server { listen 1234; content_by_lua_block { local sock, err = ngx.req.socket() if not sock then ngx.exit(500) end while true do local data data, err = sock:receive('*l') if not data then return ngx.exit(200) end } } } end local sent sent, err = sock:send(data.. '\n') if err then return ngx.exit(200) end

18 Demo: telnet 聊天室

19 stream-lua-nginx-module 模块在 OpenResty Edge 2 中的应用已经在用类 memcached 协议的服务 DNS 服务器器很快会有基于规则的四层流量量代理理 Routing Platform

20 OpenResty Edge 2 Routing Platform Edge Admin cluster2.node1.pri vileged.service 集群 1 集群 2 Node 1 Node 2 Node n 数据 Node 1 Node 2 Node n

21 代码生成过程 meta-lua-nginx-module 渲染渲染 lua-nginx-module NGINX stream-lua-nginxmodule 编译链接二进制文件

22 更更多信息 datong#openresty.com 欢迎贡献 PR!

23 Questions?

24 Thank You!

Community Development 社区发展

New development of OpenResty in 2016 OpenResty 2016 新发展 agentzh@openresty.org Yichun Zhang (@agentzh) 2016.12 Community Development 社区发展 OpenResty 大会 OpenResty Con 2015 OpenResty Con 2016 OpenResty Software