P2P网络匿名性研究

Size: px

Start display at page:

Download "P2P网络匿名性研究"

圭围温国
7 years ago
Views:

1 LVS 集群研究刘鑫 1, 翁念龙 2 1 上海证券通信有限责任公司, 上海上海证券交易所信息中心, 上海 xliu@stocom.net 摘要 :LVS 作为中国最早的自由软件项目之一, 已进入 Linux 的内核, 并广泛用于商业化的负载均衡接入服务中本文首先阐述了 LVS 的基本内容和体系结构, 然后着重阐述了 LVS 的负载均衡技术, 包括基于 IP 层的负载均衡技术和基于内容请求分发的负载均衡技术, 特别是针对比较成熟的 IP 层负载均衡技术, 详细描述了 IP 层负载均衡的三种方式和 IP 层负载均衡的十种算法接下来简要阐述了 LVS 自身的高可用性最后针对交易所通信服务器 CSP 的应用现状, 提出了在通信服务器 CSP 负载均衡接入和动态调度分配中应用 LVS 的建议关键词 :LVS;IP 层负载均衡 ; 内容请求分发负载均衡 ; 通信服务器 CSP 1. LVS 概述 LVS[1][2] 是 Linux Virtual Server 的缩写, 也即 Linux 虚拟服务器, 本质上是负载均衡的服务器集群 LVS 项目在 1998 年 5 月由章文嵩成立, 是中国国内最早出现的自由软件项目之一目前,LVS 已进入标准的 Linux 内核 (2.4 内核和 2.6 内核 ), 成为在 Linux 内核中实现的负载均衡的服务器集群同时也已成为 RedHat 高可用性集群 RHCS(RedHat Cluster Suite)[4] 的核心组件, 为用户提供高可用性集群的负载均衡接入服务 LVS 针对高可伸缩性高可用性网络服务的需求, 给出了基于 IP 层和基于内容请求分发的负载均衡调度技术, 并在 Linux 内核中实现了上述技术, 将一组服务器构成为一个实现可伸缩的高可用网络服务的虚拟服务器从用户的角度,LVS 就是将一组真实服务器虚拟为对外提供服务的单台虚拟服务器, 真实服务器可以自由的增加或减少, 从而实现了高可伸缩性 ; 真实服务器之间互为冗余互为备份, 从而实现了高可用性

2 2. LVS 集群的体系结构 User User Internet/Intranet ReaServer 1 Virtual IP Address(VIP) IPVS or KTCPVS heartbeat ReaServer 2 Distribute d faulttolerant filesystem Standby ReaServer N Load Balancer Server Pool Backend Storage 图 1 LVS 集群体系结构图 LVS 集群的体系结构 [3][5] 如图 1 所示, 有三个主要组成部分 : 负载调度器 (Load Balancer) 负载调度器是整个集群对外面服务的前端机, 负责依照一定的算法和机制, 将用户的请求发送到一组内部的服务器上执行, 而用户认为服务是来自负载调度器对外的公布的同一个 IP 地址中, 该地址被称为虚拟 IP 地址 (Virtual IP Address,VIP) 负载调度器在 Linux 内核中实现了两种负载均衡技术负载均衡技术分别为 :IP 负载均衡软件 (IPVS) 和内容请求分发负载均衡软件 (KTCPVS), 其中 IPVS 实现了三种工作原理的 IP 负载均衡技术, 分别为通过 NAT 实现虚拟服务器 (VS/NAT) 通过 IP 隧道实现虚拟服务器 (VS/TUN) 和通过直接路由实现虚拟服务器 (VS/DR) 在 IP 负载均衡技术中, 需要服务器池中的服务器提供相同的服务当用户请求到达时, 调度器根据调度算法从服务器池中选择一个服务器, 将该请求转发到选出的服务器, 并记录这个调度, 当这个请求的其他报文到达, 也会被转发到前面的服务器在内容请求分发负载均衡技术中, 服务器可以提供不同的服务, 当用户请求到达时, 调度器可根据请求的内容和服务器的情况选择服务器执行请求因为所有的操作都在 Linux 的内核空间完成, 因此调度开销很小, 具有较高的吞吐率服务器池 (Server Pool), 是一组真正执行用户请求, 完成实际功能的服务器服务器池的结点数目是可变的当整个所承载的负载超过目前所有结点的处理能力时, 可以在服务器池中增加相关服务器来满足不断增长的请求负载对大多数网络服务来说, 结点与结点间不存在很强的相关性, 所以整个的性能可以随着服务器池的结点数目增加而线性增长后端存储 (Backend Storage) 通常用容错的分布式文件, 如 AFS GFS JFS 等, 分布式文件为各服务器提供共享的存储区, 访问分布式文件就像访问本地文件一样, 同时分布式文件提供了良好的伸缩性和可用性访问分布式文件使用分布式所管理器 (Distributed Lock Manager) 进行应

3 用程序的访问冲突管理, 确保分布式文件的资源处于一致状态 3. 负载均衡技术 LVS 最核心的功能就是负载均衡, 最核心的组件就是调度器, 因此 LVS 最核心的技术就是负载均衡技术, 相应的最主要的工作就是发展更加先进更佳合理有效的负载均衡技术如体系结构一节所述,LVS 提供了两种负载均衡技术, 分别为基于 IP 层的负载均衡技术和基于内容请求分发的负载均衡技术 4. 基于 IP 层的负载均衡技术基于 IP 层的负载均衡技术 [3][5] 仅需在 IP 层进行相应的处理操作, 因此是效率最高的负载均衡技术基于 IP 层的负载均衡技术最为常见的是 VS/NAT 方式, 即通过网络地址转换 (NAT) 将一组服务器构成一个高性能高可用的虚拟服务器, 大多数商业的 IP 负载均衡产品都基于该方式, 包括 Cisco 的 LocalDirector F5 的 Big/IP 和 Alteon 的 ACEDirector 等如体系结构一节所述, 在 VS/NAT 方式的基础上,LSV 还提供了两种基于 IP 层的负载均衡方式, 分别为 VS/TUN 方式, 即通过 IP 隧道 (IP Tunneling) 实现虚拟服务器的方式 ;VS/DR 方式, 即通过直接路由实现虚拟服务器的方式 4.1 负载均衡方式 VS/NAT 方式 User Internet/Intranet 2 Scheduling & Rewriting Packets ---à ReaServer 1 1 requests ----à 3 Processing the request 5 Replies <----- Virtual IP Address(VIP) heartbeat Standby Switch ReaServer 2 4 Rewriting replies <----- ReaServer N 图 2 LVS 集群 VS/NAT 方式体系结构图 VS/NAT 的体系结构如图 2 所示, 整个处理过程由五个步骤完成, 具体为 : 1. 用户通过 VIP 发送网络服务的请求 2. 当请求报文到达调度器时, 调度器依据负载均衡算法从一组真实服务器中选出一台服务器, 将报文的目标地址 VIP 修改为选出服务器的实际 IP 地址, 将报文的目标端口改写成选定服务器的相应端口, 最后将修改后的报文发送给选出的服务器同时, 调度器在连接 Hash 表中记录这个连接, 当该连接的下一个报文到达时, 从连接 Hash 表中可以得到原选定服务器的地址和端口, 进

4 行同样的改写操作, 并将报文传输给选定的服务器 3. 选定的真实服务器对请求进行实际的应用处理, 并返回相应的处理响应 4. 调度器接收到真实服务器的响应报文时, 将报文的源地址和源端口修改为 VIP 和相应的端口 5. 调度器将修改后的报文传输给用户 VS/NAT 在传输的连接中引入了状态机, 不同的报文会使得连接处于不同的状态, 不同的状态有不同的超时值在 TCP 连接中, 根据标准的 TCP 有限状态机进行状态迁移, 并具有对应的超时时间, 而对于 UDP 则只设置一个 UDP 状态 VS/TUN 方式在 VS/NAT 的集群中, 请求和响应的数据报文都要通过负载调度器, 因此负载调度器的开销较大, 会成为集群的处理瓶颈在多数的 Internet 服务中, 请求报文和响应报文的数据是不对称的, 响应报文包含更大量的数据, 因此如果能将请求报文和响应报文分开处理, 会大大增强的吞吐量 VS/TUN 方式正是基于这种思路提出的 User Internet/Intranet IP Tunnel ReaServer 1 IP Tunnel Virtual IP Address(VIP) heartbeat IP Tunnel ReaServer 2 Standby ReaServer N 图 3 LVS 集群 VS/TUN 方式体系结构图 VS/TUN 的体系结构如图 3 所示 VS/TUN 方式的连接调度处理集群管理与 VS/NAT 方式基本一样, 只是报文处理和转发的方式不同当用户的请求到达调度器, 调度器依照调度算法根据各个服务器的负载情况, 动态地选择一台服务器, 利用 IP 隧道的方式, 将原有请求封装在外部的 IP 报文中, 外部 IP 报文的目的地址和端口是真实服务器的地址和端口, 内部 IP 报文的源地址和端口是外部用户的地址和端口, 封装后的报文发送给内部真实的服务器内部真实服务器接收到封装后的报文, 首先进行解封装处理, 得到源地址为用户地址, 目的地址为 VIP 的内部报文, 并依据请求进行相应处理, 处理完毕后, 根据用户请求的源地址和端口, 同时依据相应的路由, 直接将相应报文返回给用户, 而不需要通过调度器进行相应的处理因此减少了调度器相应的开销

5 4.1.3 VS/DR 方式与 VS/TUN 方式相同,VS/DR 也利用了多数 Internet 服务具有数据传输非对称的特性, 负载调度器只负责调度请求, 而真实服务器将响应直接返回给客户 VS/DR 采用修改 MAC 地址直接路由的方式, 和 IBM 的商业化产品 NetDispatcher 具有类似的方法 User Internet/Intranet ReaServer 1 Virtual IP Address(VIP) heartbeat ReaServer 2 Standby ReaServer N 图 4 LVS 集群 VS/DR 方式体系结构图 VS/DR 的体系结构如图 4 所示与 VS/TUN 方式类似,VS/DR 方式的连接调度处理集群管理也与 VS/NAT 方式基本一样, 但是又具有另一种不一样的报文处理和转发的方式当用户的请求到达调度器, 调度器依照调度算法根据各个服务器的负载情况, 动态地选择一台服务器, 然后并不是对请求进行封装, 而是将数据帧的 MAC 地址修改为选出的真实服务器的 MAC 地址, 也就是 MAC 的修改, 然后再将修改后的数据帧在整个服务器组的局域网中传输真实服务器的网卡侦听局域网, 得到数据帧后, 还原出对应的 IP 报文, 如果发现报文的目的地址 VIP 为本地的 VIP, 则依据请求进行相应处理, 处理完毕后, 根据用户请求的源地址和端口, 同时依据相应的路由, 直接将相应报文返回给用户, 而不需要通过调度器进行相应的处理因此减少了调度器相应的开销 4.2 三种方式比较分析 VS/NAT 方式的优点是通用性较好, 服务器可以运行任何支持 TCP/IP 的操作,, 只需要一个外部的 IP 地址配置在调度器上, 真实服务器组可以使用内部私有的 IP 地址缺点是资源消耗较大, 扩展性较为一般, 由于请求报文和响应报文都需要经过调度器的处理, 且响应报文消耗的资源远大于请求报文, 因此当服务器上升到一定数量后, 调度器本身将成为的瓶颈, 从而限制整个的扩展在 VS/TUN 方式中, 负载调度器只处理请求报文, 并进行相应调度处理, 而后端真实服务器组将响应报文直接返回给用户因此, 负载调度器消耗的资源较低, 可以处理大量的请求, 从而使就有很好的扩展性但是 VS/TUN 方式对于服务器的操作有要求, 必须支持 IP Tunneling 或者 IP Encapsulation 协议 Linux 操作支持上述的协议

6 和 VS/TUN 方式一样,VS/DS 方式负载调度器也只处理请求报文, 并进行相应调度处理, 后端真实服务器组将响应报文直接返回给用户, 而且该种方式还减少了 IP 隧道的开销因此, 负载调度器消耗的资源较低, 可以处理大量的请求, 从而使就有很好的扩展性但是 VS/DS 方式需要负载调度器和真实服务器连在同一物理网段上, 且真实服务器的网络设备不作 ARP 响应, 因此需要对真实服务器进行一定的特殊处理 5. 基于内容请求分发的负载均衡技术 IPVS 本质上是在传输层提供负载均衡的服务当一个 TCP 连接的初始 SYN 报文到达时,IPVS 就选择一台服务器, 将报文转发给它, 后续通过查询报文的 IP 地址和 TCP 报文头, 确保该连接的后续报文转发到相同服务器中 IPVS 无法根据请求的内容进行服务器的选择, 需要后端的服务器组提供相同的服务但是在有些应用中后端的服务器可能功能并不相容, 需要基于内容的请求分发基于内容的请求分发 [5] 就是在应用层上实现负载均衡的调度, 有两种方法实现基于内容的调度一种是 TCP 网关, 调度器建立一个到后端服务器的 TCP 连接, 将客户请求通过该连接发到服务器, 服务器将相应结果通过该连接返回给调度器, 调度器再将结果返回给客户另一种是 TCP 迁移, 将客户到调度器建立的 TCP 连接迁移到服务器中, 请求报文通过调度器传输给服务器, 响应报文直接返回给客户 TCP 网关的方法具有比较好的通用性, 目前被绝大多数的商业产品和自由软件所使用, 如 ArrowPoint 的 CS-100 Zeus 负载调度器自由软件 Apache 和 Squid 等, 但是 TCP 网关的方式开销比较大 TCP 迁移的方式需要修改调度器和后端服务器的 TCP/IP 协议栈, 因此通用性一般, 但是具有比较好的传输负载性能 KTCPVS 是在 Linux 的内核中实现的 TCP 网关方法的基于内容请求分发 6. LVS 的高可用性 LVS 的高可用性 [1][5] 主要包括两方面的内容, 一个是节点调度的高可用性, 另一个是调度器的高可用性节点调度的高可用性通过检测节点或服务进程的状态来实现, 使得收到的请求能被正常状态的节点服务器处理通常, 调度器上部署资源监视进程来监视各个服务器节点的健康状况, 当服务器对 ICMP Ping 或相应网络服务在指定时间没有响应时, 资源监视进程会通知操作内核将该服务器从调度列表中删除, 从而使新的服务请求不会被调度到非正常状态的节点中同时一旦资源监视进程发现服务器进程恢复工作, 通知调度器将其加入调度列表中另外, 通过提供的管理程序, 维护人员可以手工的将一台机器加入服务或切除服务调度器的高可用性通过调度器的主从备份来实现两个心跳进程分别在主从调度器上运行, 通过串口线和互联网线来相互汇报各自的健康状况当从调度器串口线和互联网线同时接收不到主调度器的心跳时, 从调度器会接管主调度器的工作来提供负载调度服务, 一般通过 ARP 欺骗的方式来接管集群的 VIP 调度器的主从备份在调度器切换时, 会导致已有调度信息的丢失, 需要客户重新发送请求 7. 交易所 LVS 应用建议 7.1 通信服务器 CSP 现状通信服务器 CSP 是交易所交易接入前置的通信服务器, 每家通过通信服务器的中转接入交易撮合主机, 实现买卖的申报和成交的接收目前通信服务器的接入是按照区域和通信固定分配的, 每一个广域网通信线路对应着固

7 定的通信服务器, 相互一一对应, 在分配广域网通信线路的互联地址的同时也就确定了对应的通信服务器通信服务器 CSP 的接入架构如下 : 陆家嘴外高桥陆家嘴 SDH 陆家嘴 DDN 外高桥 SDH 外高桥宽双外高桥宽双 8.3K 外高桥数据中心陆家嘴 SDH 陆家嘴 DDN 陆家嘴 SDH 陆家嘴 DDN 陆家嘴 DDN 陆家嘴 DDN 注 : 外高桥 SDH 和外高桥宽双存在一定数量共用的 CSP 图 5 通信服务器 CSP 接入现状目前的通信服务器现状主要存在以下需要进一步改进的内容 : 1. 通信服务器按照接入区域和通信固定分配, 通信服务器的资源无法在多个之间共享, 也无法在同一通信内进行共享, 因此通信服务器的资源利用不均衡例如由于 SDH 为主用的交易通信, 且链路带宽较大, 因此 SDH 对应通信服务器组的资源利用率相对较高, 而 DDN 宽带双向对应的通信服务器的资源利用率则较低再比如在 SDH 内部, 如果两台通信服务器连接相同的券商数, 连接大券商数量较多的通信服务器的资源利用率就会相对较高, 而另一台则相对空闲 2. 通信服务器与通信链路绑定, 如果单台通信服务器出现故障, 接入该通信服务器的会员用户在进行通信服务器切换的同时, 也在进行通信链路的切换如果会员切换的通信链路之间存在链路带宽链路延时等网络参数的不对等性, 则会对的申报和成交接收产生影响 3. 由于通信服务器的固定分配, 通信服务器地址为直接可见, 在线通信服务器的更新替换升级下线等变更操作都直接和相关, 同时也涉及对应的通信, 因此在线通信服务器的变更操作的复杂性较大可维护性较低而新增通信服务器则只能对新的用户产生影响, 如需要对已有用户产生影响, 则需要用户的迁移, 因此扩展性也相对一般 4. 通信服务器的管理维护较为复杂, 需要将通信服务器和通信三者关联, 进行统一的分配状态和运行状态的管理维护

8 7.2 通信服务器应用 LVS 的方法架构陆家嘴外高桥陆家嘴地面外高桥地面外高桥卫星 Load Balancer Load Balancer Load Balancer StandBy StandBy StandBy 陆家嘴地面通信 SDH DDN SDH 外高桥地面通信托管机房外高桥卫星通信宽带双向宽带双向 8.3K 图 6 通信服务器 CSP 应用 LVS 架构架构说明 1. 通信服务器整体采用地 - 地 - 天架构, 即位于陆家嘴的地面通信服务器位于外高桥的地面通信服务器位于外高桥的卫星通信服务器, 分别匹配陆家嘴的地面通信外高桥的地面通信和外高桥的卫星通信由于陆家嘴地面通信服务器外高桥地面通信服务器和外高桥卫星通信服务器面向的通信链路存在一定程度的差异, 因此三个通信服务器采用区别的与所连接通信链路相匹配的负载均衡动态调度分配策略和方法 2. 通信服务器前方部署 LVS 主从调度器, 用户得到的是调度器的 VIP, 通信服务器的接入通过调度器来完成由于整体采用地 - 地 - 天架构, 因此每个只需要得到三个 VIP, 分别对应陆家嘴地面外高桥地面和外高桥卫星的通信服务器组, 通过访问 VIP 来发起 CSP 的接入 3. 由于交易业务采用长连接, 且对于的稳定性和性能的要求很高, 因此 LVS 只应用于通信服务器 CSP 的负载均衡接入和动态调度分配, 即调度器 IPVS 只完成负载均衡的调度和通信服务器的分配, 然后将分配的通信服务器地址返回给, 后续的业务传输会员用户将直接和所分配的通信服务器进行通信简要的流程为 : 接入时, 访问 VIP; 调度器根据调度算法完成 CSP 调度选择, 得到适合的 CSP; 调度器将选择的通信服务器地址发送回会员用户 ; 端软件发起面向分配得到的通信服务器的用户登录 ; 用户和登录通信服务器直接进行申报和成交接收

9 7.2.3 架构分析 1. 通信服务器之间资源相互共享, 并通过调度器 IPVS 的动态调度, 确保通信服务器组内部各个通信服务器之间的资源利用率相对平衡 2. 通信服务器组和通信链路相对分离, 通信服务器的故障在通信服务器组内部完成, 仅涉及通信服务器的切换, 从而减少由于通信链路切换对申报和成交接收的影响 ; 通信链路的故障将涉及链路的切换, 以及对应通信服务器组的切换 3. 通信服务器的维护和操作相对简单, 扩展性和可维护性较好会员用户并不直接访问通信服务器, 其可见的地址为调度器的 VIP, 因此我们可以通过 IPVS 的配置, 自由的增加删除升级更替通信服务器组中的通信服务器, 新增的通信服务器也可以应用于所有的会员用户 4. 通信服务器的管理仅为内部的管理和维护, 不涉及外部的通信链路和会员用户 5. 由于 LVS 本身为 RedHat 高可用性集群 RHCS 中提供负载均衡接入的核心组件, 因此架构可以通过应用 RedHat 的高可用性集群 RHCS, 平滑扩展构建为通信服务器组整体的高可用性集群 6. 架构在目前现状的基础上引入了调度器, 对通信服务器和通信链路进行了分离, 因此不可避免也引入了新的风险点, 因此为了降低调度器故障风险的影响, 调度器仅在会员用户接入时进行负载均衡调度, 后续的用户登录应用传输都由会员用户和被选择的通信服务器直接通信传输完成 7. 在当前建议中, 共有三组 LVS 主从调度器, 分别处理陆家嘴地面通信服务器组外高桥地面通信服务器组和外高桥卫星通信服务器组的接入和调度, 且仅为用户的接入和 CSP 通信服务器的调度和分配, 为接入的短连接, 不涉及后续会员用户的报盘接入报盘传输和成交接收且 CSP 通信服务器地址为会员可见, 可以直接访问的, 在应急处理状态下, 会员用户可以跳过 LVS 主从调度器, 以手动调度的方式接入 CSP 通信服务器 8. 在当前的建议中,LVS 调度器仅处理会员用户接入时的负载调度和通信服务器分配, 对应的连接为 TCP 的短连接目前陆家嘴共有 232 条 SDH 链路,107 条 DDN 链路, 外高桥共有 151 条 SDH 链路,181 条宽双链路, 以一条链路对应一个接入会员用户 ( 即一个报盘程序 ) 计算, 陆家嘴地面通信服务器组的 LVS 主从调度器可能需要处理 339 次接入服务和调度请求, 外高桥地面通信服务器组的 LVS 主从调度器可能需要处理 151 次接入服务和调度请求, 外高桥卫星通信服务器组的 LVS 主从调度器可能需要处理 181 次接入服务及调度请求由于 LVS 负载均衡集群已实际应用在大型网站 ( 如淘宝 ) 的接入服务中, 因此从性能的角度, 三组 LVS 主从调度器可以满足交易所的接入服务调度 8. 参考文献 : [1] [2] [3] [4] Red Hat Cluster Suite Overview: Red Hat Cluster Suite for Red Hat Enterprise Linux 5, 2007, RedHat, Inc. [5] LVS 手册 ( 手册.pdf )

使用 LVS 集群架设高可扩展的网络服务章文嵩 LVS 项目哲思沙龙 - 哲思自由软件社区 2008 年 6 月期总第 6 期 Page 1

使用 LVS 集群架设高可扩展的网络服务章文嵩 LVS 项目哲思沙龙 - 哲思自由软件社区 2008 年 6 月期总第 6 期 Page 1 使用 LVS 集群架设高可扩展的网络服务章文嵩 LVS 项目 Page 1 议程引言 LVS 集群技术使用 LVS 架设可扩展的网络服务 LVS 用户和评价小结 Page 2 Internet Internet 的飞速发展网络流量以每年 100% 速度增长很多关键性业务在网上开展很多网站收到前所未有的工作负载 Yahoo! 每天收到 31.4 亿次的网页访问 ( 2005Q2) 视频分享网站