OpenResty在又拍云容器平台中的应用

Size: px

Start display at page:

Download "OpenResty在又拍云容器平台中的应用"

胎楷云
4 years ago
Views:

1 OpenResty 在又拍云容器器平台中的应用又拍云 OpenResty OpenTalk Beijing

2 又拍云

3 又拍云容器器云平台

4 业务特点 1. 域名多 : 上千个域名, 不不同 SSL 证书 2. 服务多 : 上千种不不同的服务 3. 调用关系复杂 : 各种服务间互相调用 4. 流量量大 : 上传图片处理理视频处理理 5. 高可用 : 不不能存在单点

5 解决办法 1. 域名多 : API 网关 2. 服务多 : 容器器化 3. 调用关系复杂 : 不不同节点的容器器间网络互通 4. 流量量大 : 高性能的负载网关避免产生额外流量量 5. 高可用 :VIP 内部域名解析

6 解决办法服务多调用关系复杂高可用 + 域名多流量量大

7 业务拓拓扑 WEB/API/ 上传 / 处理理 API Gateway 公网 Load Balancer 内网

8 第一个 OpenResty 应用对外的 API 网关

9 Kong 作为容器器网关域名管理理权限认证证书调度速率控制访问控制流量量整形 API 管理理

10 第二个 OpenResty 应用 Nginx Ingress Controller 容器器云平台内部负载网关

11 Nginx Ingress Controller 多 SSL 证书调度动态 upstream 管理理灰度更更新动态更更新配置 TCP 负载均衡 WAF 链路路追踪

12 Nginx Ingress Controller 原理理更更新监听域名路路径等配置 nginx.conf Nginx Nginx Ingress Controller 启动 Controller (Golang) Lua 动态 upstream 灰度证书调度监听 K8S 事件, 获取配置和 upstream 更更新信息

13 动态更更新 upstream 原理理监听 K8S 事件 POST /configuration 获取新的 upstream 列列表写入共享内存 Lua table 是否需要 reload 否读取 Timer 写入是生成新的 nginx.conf proxy_pass balancer_by_lua Reload

14 灰度更更新原理理 balancer_by_lua random 随机数 < weight >= weight 灰度版本稳定版本

15 SSL 证书调度原理理 ssl_certificate_by_lua_block { } certificate.call() local hostname = ssl.get_servername() local pem_cert_key = get_pem_cert_key(hostname) ssl.clear_certs() set_pem_cert_key(pem_cert_key)

16 部署与更更新 kubectl apply -f deploy/mandatory.yaml kubectl apply -f deploy/provider/baremetal/service-nodeport.yaml 修改版本号即可

17 部署拓拓扑 K8S API Server

18 Host or Bridge 内部网络 /24 Container Container Container Container eth0 eth0 eth0 eth0 veth0 veth0 docker0 (bridge) eth0 eth Bridge 模式 Host 模式

19 问题 1. 如何热更更新负载网关? 直接更更新 Nginx Ingress Controller 会产生 5xx 业务分散在多个部门, 切流量量更更新非常痛苦灰度更更新网关本身不不方便便 2. 负载网关能否不不加入 K8S 集群? 负载网关机器器专机专用, 与容器器机器器不不同配置, 且通常不不会变动 Nginx Lua 项目如何直接访问到容器器

20 我们的方案需要一个能独立部署在物理理机上的 Nginx, 并且能直接访问到 K8S 集群中的容器器 1. 把 Ingress Nginx 移动容器器外 2. 打通 Nginx 所在机器器与容器器集群的网络

21 第三个 OpenResty 应用 Ingress OpenResty 独立部署的内部负载网关

22 Ingress OpenResty 1. 分离 Controller 与 Nginx Controller 与 Nginx 相互独立 Nginx 可独立 reload, hot update Controller 可以直接重启 2. 支持 K8S 集群外部署 CentOS7 物理理机部署负载网关机器器不不需要加入到 K8S 集群 ( 需要负载网关与容器器在同一个二层网络下 )

23 分离 Controller 与 Nginx Nginx 配置模板 - 从 ingress-nginx 拷贝 (rootfs/etc/nginx/template/nginx.tmpl) - 去掉不不需要的配置项 Lua 代码 - 从 ingress-nginx 拷贝 (rootfs/etc/nginx/lua) Controller 去除启动与停止 Nginx 的代码 - 修改 nginx.go 中相关代码编译一个新的 Nginx - 从 OpenResty 编译

24 问题与解决 Nginx 重启后,upstream 丢失! upstream 信息持久化保存到磁盘, 在 init_by_lua 阶段从磁盘加载回共享内存

25 Dockerfile 基于 CentOS 7.3 静态安装 pcre OpenSSL 安装 OpenResty 安装 Lua Resty 库

26 支持 K8S 集群外部署打通物理理机与 K8S 集群的网络 - K8S 的网络互通原理理流量量大 - 尽量量避免代理理产生新的流量量

27 K8S 网络模式内部网络 /24 内部网络 /24 Container Container Container Container eth0 eth0 eth0 eth0 veth0 veth0 veth0 veth0 docker0 (bridge) docker0 (bridge) eth0 eth 节点间网络互通

28 K8S 网络组件 Flannel (Overlay, route) Calico (route) Kube-Router (route)

29 Kube-Router 原理理通过本地路路由表转发数据包通过 BGP 协议交换路路由信息图片来源 :

30 我们的方案 Kube-Router 不不支持 1. 在负载网关机器器上部署 Kube-Router 2. 在负载网关机器器上部署 Quagga 同步路路由规则 3. 在 K8S 节点中部署负载网关, 并且不不在节点上部署其它服务

31 部署拓拓扑 Nginx (OpenResty) Controller Route Table K8S API Server

32 Request Time V.S. Ingress OpenResty Host 模式部署的 Nginx Ingress Controller

33 优缺点优点 - 平滑升级 - 性能损耗小 - 支持集群外部署缺点 - 需要自己维护项目 - 需要与容器器在同一个二层网络或者打通 IPIP 隧道

34 Thanks Q & A

Intruduction to the NGINX stream subsystem and OpenResty's support

Intruduction to the NGINX stream subsystem and OpenResty's support NGINX stream 子系统的简介以及 OpenResty 对其的支持孙大同 (@dndx) OpenResty Con 2017 北北京 2017 年年 10 月 21 日关于我 90 后曾在 LinkedIn,Cloudflare 等公司工作 OpenResty Inc. 技术合伙人热爱钻研底层技术以及折腾飞行行爱好者拥有固定翼私人飞行行执照, 仪表飞行行资质以及