Kubernetes 的 Service 机制 Iptables 实现 Service 负载均衡目录 CONTENTS 当前 Iptables 实现存在的问题 IPVS 实现 Service 负载均衡 Iptables VS. IPVS IPSet 与 IPVS 协同

Size: px

Start display at page:

Download "Kubernetes 的 Service 机制 Iptables 实现 Service 负载均衡目录 CONTENTS 当前 Iptables 实现存在的问题 IPVS 实现 Service 负载均衡 Iptables VS. IPVS IPSet 与 IPVS 协同"

染疋常
6 years ago
Views:

1 Kubernetes Service 在大规模场景下的优化实战杜军华为云高级工程师 - PaaS 开源组 Kubernetes upstream, feature maintainer

2 Kubernetes 的 Service 机制 Iptables 实现 Service 负载均衡目录 CONTENTS 当前 Iptables 实现存在的问题 IPVS 实现 Service 负载均衡 Iptables VS. IPVS IPSet 与 IPVS 协同

3 - 多个后端实例, 如何做到负载均衡? - 如何保持会话亲和性? - 容器迁移,IP 发生变化如何访问? - 健康检查怎么做? - 怎么通过域名访问? Kubernetes 的 Service 但, 简单的生活总是暂时的 :

4 Kubernetes Service 与 Endpoints

5 Service 与 Endpoints 定义

6 Service 内部逻辑

7 Kubernetes 的 Service 机制 Iptables 实现 Service 负载均衡目录 CONTENTS 当前 Iptables 实现存在的问题 IPVS 实现 Service 负载均衡 Iptables VS. IPVS IPSet 与 IPVS 协同

8 Iptables 是什么? 用户空间应用程序, 通过配置 Netfilter 规则表 ( Xtables ) 来构建 linux 内核防火墙

9 网络包通过 Netfilter 全过程

10 Iptables 实现流量转发与负载均衡 Iptables 如何做流量转发? DNAT 实现 IP 地址和端口映射 iptables -t nat -A PREROUTING -d /32 -- dport 80 -j DNAT --to-destination :8080 Iptables 如何做负载均衡? statistic 模块为每个后端设置权重 iptables -t nat -A PREROUTING -d dport 80 -m statistic --mode random --probability.25 -j DNAT --to-destination :8080 Iptables 如何做会话保持? recent 模块设置会话保持时间 iptables -t nat A FOO -m recent --rcheck -- seconds reap -- name BAR -j BAR

11 Iptables 在 Kubernetes 的应用举例 VIP:Port -> PREROUTING(OUTPUT) -> KUBE-SERVICES -> KUBE-SVC-XXX -> KUBE-SEP-XXX -> RIP:Port

12 Kubernetes 的 Service 机制 Iptables 实现 Service 负载均衡目录 CONTENTS 当前 Iptables 实现存在的问题 IPVS 实现 Service 负载均衡 Iptables VS. IPVS IPSet 与 IPVS 协同

13 Iptables 做负载均衡的问题规则线性匹配时延规则更新时延可扩展性可用性 KUBE- SERVICES 链挂了一长串 KUBE- SVC-* 链 ; 访问每个 service, 要遍历每条链直到匹配, 时间复杂度 O(N) 非增量式当系统存在大量 iptables 规则链时, 增加 / 删除规则会出现 kernel lock Another app is currently holding the xtables lock. Perhaps you want to use the -w option? 后端实例扩容, 服务会话保持时间更新等都会导致连接断开

14 Iptables 规则匹配时延注 : 上面测试中, 每个 service 在 kube-services 对应 1 条 chain

15 更新 Iptables 规则的时延时延出现在哪? 非增量式, 即使加上 no-flush(iptables-restore) 选项 Kube-proxy 定期同步 iptables 状态 : ü ü ü ü 拷贝所有规则 iptables-save 在内存中更新规则在内核中修改规则 iptables-restore 规则更新期间存在 kernel lock K service(40k 规则 ), 增加一条 iptables 规则, 耗时 11min 20K service(160k 规则 ), 增加一条 iptables 规则, 耗时 5h

16 Iptables 周期性刷新导致 TPS 抖动

17 K8S Scalability 5000 Nodes 1000 Services??

18 优化方案使用树形结构组织 iptables 规则 IPVS

19 树形结构的 iptables 规则

20 Kubernetes 的 Service 机制 Iptables 实现 Service 负载均衡目录 CONTENTS 当前 Iptables 实现存在的问题 IPVS 实现 Service 负载均衡 Iptables VS. IPVS IPSet 与 IPVS 协同

21 什么是 IPVS(IP Virtual Server) Linux 内核实现的 L4 LB,LVS 负载均衡的实现基于 netfilter, hash table 支持 TCP, UDP,SCTP 协议,IPV4,IPV6 支持多种负载均衡策略 rr, wrr, lc, wlc, sh, dh, lblc 支持会话保持 persistent connection 调度算法

22 IPVS 工作流

23 IPVS 三种转发模式支持三种 LB 模式 : Direct Routing(DR), Tunneling, NAT DR 模式工作在 L2, 最快, 但不支持端口映射 Tunneling 模式用 IP 包封装 IP 包, 不支持端口映射 DR 和 Tunneling 模式, 回程报文不会经过 IPVS Director NAT 模式支持端口映射, 回程报文经过 IPVS Director - 内核原生版本只做 DNAT, 不做 SNAT

24 DR

25 Tunneling

26 NAT

27 IPVS 做流量转发绑定 VIP ü dummy 网卡 # ip link add dev dummy0 type dummy # ip addr add /32 dev dummy0 ü 本地路由表 # ip route add to local /32 dev eth0 proto kernel ü 网卡别名 # ifconfig eth0: netmask up IPVS Virtual Server # ipvsadm -A -t :80 -s rr -p 600 IPVS Real Server # ipvsadm -a -t :80 -r :80 m # ipvsadm -a -t :80 -r :80 m

28 IPVS 实现 Kubernetes Service

29 Kubernetes 支持 IPVS 模式社区 1.8 Alpha 特性, 社区 1.9 进 beta, 支持 ClusterIP,NodePort,External IP,Load Balancer 类型 Service iptables 模式的特性,IPVS 模式都支持! 兼容 Network Policy 依赖 iptables 做 SNAT 和访问控制

30 Kubernetes 的 Service 机制 Iptables 实现 Service 负载均衡目录 CONTENTS 当前 Iptables 实现存在的问题 IPVS 实现 Service 负载均衡 Iptables VS. IPVS IPSet 与 IPVS 协同

31 Iptables vs. IPVS 增加规则时延 Service 基数 Rules 基数增加 1 条 Iptables 规则 50 us 11 min 5 hours 增加 1 条 IPVS 规则 30 us 50 us 70 us 增加一条 Iptables 的时延, 随着规则数的增加指数上升增加一条 IPVS 的时延, 规则基数对其几乎没影响

使用 iperf 测量每个 Service 暴露 4 个端口 (KUBE-SERVICES 下挂 4 条 KUBE-SVC-*) service 数 1 1000 5000 10000 25000 50000 带宽,iptables,first 66.

32 使用 iperf 测量每个 Service 暴露 4 个端口 (KUBE-SERVICES 下挂 4 条 KUBE-SVC-*) service 数带宽,iptables,first 带宽,iptables,last 带宽,IPVS,first 带宽,IPVS,last

33 Iptables vs. IPVS CPU/ 内存消耗 Metrics number of service IPVS Iptables Memory Usage MB 1.1 G 5000 N/A 1.9 G MB 2.3 G N/A OOM MB OOM CPU Usage 1000 N/A % - 85% % 50%-100% N/A N/A

34 Iptables vs. IPVS Iptables ü 灵活, 功能强大 ü 在 prerouting, postrouting, forward, input, output 不同阶段都能对包进行操作 IPVS ü 更好的性能 (hash vs. chain) ü 更多的负载均衡算法 - rr, wrr, lc, wlc, ip hash ü 连接保持 - IPVS service 更新期间, 保持连接不断开 ü 预先加载内核模 - nf_conntrack_ipv4, ip_vs, ip_vs_rr, ip_vs_wrr, ipvs_sh ü# echo 1 > /proc/sys/net/ipv4/vs/conntrack ü 不支持作为 VIP

35 Why we still need iptables? 自己访问自己

36 从 Host 发起跨节点访问

37 Iptables: Masquerade

38 但, 不想要太多 iptables

39 Kubernetes 的 Service 机制 Iptables 实现 Service 负载均衡目录 CONTENTS 当前 Iptables 实现存在的问题 IPVS 实现 Service 负载均衡 Iptables VS. IPVS IPSet 与 IPVS 协同

40 IPSet - 把 O(N) 的 iptables 规则降为 O(1) pset create KUBE-LOOP-BACK hash:ip,port,ip ipset add KUBE-LOOP-BACK ,udp:53, ipset add KUBE-LOOP-BACK ,tcp:80, O(N) iptables -t nat -A POSTROUTING -m set --match-set KUBE-LOOP- BACK dst,dst,src -j MASQUERADEOUTING O(1) 而且 : ipset 支持增量式增 / 删 / 改, 而非 iptables 式全量更新

41 欢迎关注, 华为云!

42 感谢聆听 Thanks!

MASQUERADE # iptables -t nat -A POSTROUTING -s / o eth0 -j # sysctl net.ipv4.ip_forward=1 # iptables -P FORWARD DROP #

MASQUERADE # iptables -t nat -A POSTROUTING -s / o eth0 -j # sysctl net.ipv4.ip_forward=1 # iptables -P FORWARD DROP # iptables 默认安全规则脚本一 #nat 路由器 ( 一 ) 允许路由 # iptables -A FORWARD -i eth0 -o eth1 -j ACCEPT ( 二 ) DNAT 与端口转发 1 启用 DNAT 转发 # iptables -t nat -A PREROUTING -p tcp -d 192.168.102.37 dprot 422 -j DNAT to-destination

Kubernetes 的 Service 机制 Iptables 实现 Service 负载均衡 目录 CONTENTS 当前 Iptables 实现存在的问题 IPVS 实现 Service 负载均衡 Iptables VS. IPVS IPSet 与 IPVS 协同

Kubernetes 的 Service 机制 Iptables 实现 Service 负载均衡目录 CONTENTS 当前 Iptables 实现存在的问题 IPVS 实现 Service 负载均衡 Iptables VS. IPVS IPSet 与 IPVS 协同