lvs cluster ,write by sery

Transcription

1 第 六 章 负 载 均 衡 及 服 务 器 集 群 (lvs) 作 者 : 田 逸 (sery@163.com) 在 互 连 网 应 用 技 术 里, 负 载 均 衡 一 直 是 热 门 话 题, 本 书 讨 论 的 负 载 均 衡 技 术, 包 括 但 不 限 于 负 载 均 衡 本 身 使 用 负 载 均 衡 技 术 主 要 的 目 的 包 括 如 下 几 点 : 系 统 高 可 用 性 组 成 系 统 的 某 些 设 备 或 部 件 失 效, 并 不 会 影 响 正 常 的 服 务 系 统 可 扩 展 性 用 户 的 增 加, 引 起 访 问 数 乃 至 流 量 的 增 加, 这 种 情 形 下, 需 要 对 系 统 进 行 扩 容, 以 应 对 这 种 快 速 增 长 对 于 提 供 高 可 用 服 务 的 互 联 网 网 站, 其 对 可 扩 展 的 基 本 要 求 就 是 在 保 持 系 统 服 务 不 终 止 的 情 况 下, 透 明 的 扩 充 容 量, 即 用 户 不 知 道 扩 容 的 存 在, 或 者 说 是 扩 容 不 对 现 有 的 服 务 产 生 任 何 负 面 作 用 这 些 扩 展 主 要 包 括 : 带 宽 扩 展 服 务 器 扩 展 存 储 容 量 扩 展 数 据 库 扩 展 等, 当 然 也 包 括 主 机 增 加 内 存 等 方 面 的 扩 展 负 载 均 衡 能 力 一 个 应 用 或 服 务 由 数 个 物 理 服 务 器 提 供, 并 且 每 个 物 理 服 务 器 运 行 的 应 用 或 服 务 是 相 同 的, 我 们 可 以 让 用 户 的 访 问 通 过 某 种 控 制 策 略, 把 负 载 分 摊 到 不 同 的 物 理 服 务 器, 从 而 保 持 每 个 物 理 服 务 器 有 比 较 合 理 的 负 载 当 整 个 系 统 的 负 载 趋 于 饱 和 时, 通 过 增 加 物 理 服 务 器 和 扩 充 物 理 带 宽 来 解 决 这 个 麻 烦 增 加 物 理 服 务 器 以 后, 系 统 的 负 载 情 况 将 重 新 在 所 有 集 群 的 物 理 服 务 器 之 间 按 照 指 定 的 算 法 重 新 达 到 新 的 均 衡 一 个 完 整 的 负 载 均 衡 项 目, 一 般 由 虚 拟 服 务 器 故 障 隔 离 及 失 败 切 换 3 个 功 能 框 架 所 组 成 虚 拟 服 务 器 是 负 载 均 衡 体 系 的 基 本 架 构, 它 分 两 层 结 构 : 转 发 器 (Director) 和 真 实 服 务 器 图 6-1 为 虚 拟 服 务 器 的 结 构 示 意 图 6-1 虚 拟 服 务 器 结 构 为 什 么 称 虚 拟 服 务 器? 因 为 从 用 户 的 角 度 看 来, 似 乎 只 是 一 个 服 务 器 在 提 供 服 务 虚 拟 服 务 器 最 主 要 的 功 能 是 提 供 包 转 发 和 负 载 均 衡, 这 个 功 能 可 以 通 过 撰 写 ipvsadm 脚 本 具 体 实 现 虚 拟 服 务 器 项 目 由 章 文 嵩 博 士 所 贡 献, 目 前 已 被 添 加 到 各 种 linux 发 行 版 的 内 核

2 故 障 隔 离 指 虚 拟 服 务 器 中 的 某 个 真 实 服 务 器 ( 或 某 几 个 真 实 服 务 器 ) 失 效 或 发 生 故 障, 系 统 将 自 动 把 失 效 的 服 务 器 从 转 发 队 列 中 清 理 出 去, 从 而 保 证 用 户 访 问 的 正 确 性 ; 另 一 方 面, 当 实 效 的 服 务 器 被 修 复 以 后, 系 统 再 自 动 地 把 它 加 入 转 发 队 列 失 败 切 换, 这 是 针 对 负 载 均 衡 器 Director 采 取 的 措 施, 在 有 两 个 负 载 均 衡 器 Director 的 应 用 场 景, 当 主 负 载 均 衡 器 (MASTER) 失 效 或 出 现 故 障, 备 份 负 载 均 衡 器 (BACKUP) 将 自 动 接 管 主 负 载 均 衡 器 的 工 作 ; 一 旦 主 负 载 均 衡 器 故 障 修 复, 两 者 将 恢 复 到 最 初 的 角 色 要 从 技 术 上 实 现 虚 拟 服 务 器 故 障 隔 离 及 失 败 切 换 3 个 功 能, 需 要 两 个 工 具 :ipvsadm 和 keepalived 当 然 也 有 heartbeat 这 样 的 工 具 可 以 实 现 同 样 的 功 能, 但 相 对 于 keepalived, heartbeat 的 实 现 要 复 杂 得 多 ( 如 撰 写 ipvsadm 脚 本, 部 署 ldirectord, 编 写 资 源 文 件 等 ) 在 采 用 keepalived 的 方 案 里, 只 要 ipvsadm 被 正 确 的 安 装, 简 单 的 配 置 唯 一 的 文 件 keepalived 就 行 了 6.1 lvs 核 心 ipvs Ipvs(IP Virtual Server) 是 整 个 负 载 均 衡 的 基 础, 如 果 没 有 这 个 基 础, 故 障 隔 离 与 失 败 切 换 就 毫 无 意 义 了 在 大 部 分 linux 发 行 版 中,ipvs 被 默 认 安 装, 而 以 本 书 前 面 介 绍 的 方 法 定 制 安 装 系 统, 则 ipvs 没 有 被 默 认 安 装 除 大 部 分 linux 发 行 版 支 持 ipvs 外,FreeBSD 也 可 以 支 持 LVS, 只 不 过 实 现 起 来 要 麻 烦 一 些 安 装 ipvs Ipvs 具 体 实 现 是 由 ipvsadm 这 个 程 序 来 完 成, 因 此 判 断 一 个 系 统 是 否 具 备 ipvs 功 能, 只 需 要 察 看 ipvsadm 程 序 是 否 被 安 装 察 看 ipvsadm 程 序 最 简 单 的 办 法 就 是 在 任 意 路 径 执 行 命 令 ipvsadm 表 6-1 为 安 装 ipvsadm 及 未 安 装 ipvsadm 的 输 出 对 比 执 行 ipvsadm 后 的 输 出 未 安 装 ipvsadm 安 装 ipvsadm -bash: ipvsadm: command not foun IP Virtual Server version (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn 表 6-1 ipvsadm 输 出 对 比 ( 样 例 来 源 centos 5.2) Centos5.2 安 装 ipvsadm( 假 定 当 前 目 录 为 /root) 1 从 官 方 网 站 下 载 ipvsadm, 目 前 最 新 的 版 本 为 ipvsadm-1.25.tar.gz, 其 发 布 时 间 是 2008 年 11 月 5 日 Wget [1] 取 得 该 版 本 2 创 建 一 个 连 接 文 件, 其 命 令 为 :ln sv /usr/src/kernels/ el5pae-i686 /usr/src/linux. 注 意 一 定 要 与 当 前 的 运 行 的 内 核 相 一 致, 因 为 /usr/src/kernels 目 录 下 可 多 个 目 录 如 果 不 创 建 这 个 连 接 文 件, 在 编 译 时 会 出 错, 从 而 不 能 继 续 进 行 安 装 3 解 包 tar zxvf ipvsadm 编 译 并 安 装 cd ipvsadm-1.24; make;make install 可 执 行 文 件 被 安 装 到 /sbin/ipvsadm.

3 检 验 ipvsadm 是 否 被 正 确 安 装 1 执 行 ipvsadm, 看 是 否 有 表 6-1 第 2 栏 的 输 出 2 检 查 当 前 加 载 的 内 核 模 块, 看 是 否 存 在 ip_vs 模 块 [root@hd-4 ipvsadm-1.24]# lsmod grep ip_vs ip_vs 注 1 只 有 执 行 ipvsadm 以 后, 才 会 在 内 核 加 载 ip_vs 模 块 注 2 不 能 以 查 进 程 的 方 式 判 断 ipvs 是 否 运 行 注 [1]: 如 果 下 载 最 新 的 ipvsadm-1.25.tar.gz 这 个 版 本, 在 创 建 连 接 文 件 /usr/src/linux 后, 执 行 编 译 时, 可 能 需 要 修 改 /boot/grub/grub.conf 启 动 内 核 名 称 一 旦 当 前 运 行 内 核 与 连 接 文 件 所 代 表 的 内 核 名 不 一 致 时, 将 出 现 找 不 到 *.h 这 样 的 错 误, 从 而 导 致 安 装 不 能 正 常 进 行 lvs 客 户 端 Lvs 的 客 户 端 指 负 载 均 衡 其 / 转 发 器 (director) 后 面 提 供 服 务 的 真 实 机 器 负 载 均 衡 类 型 (lb_kind) 一 般 分 直 接 路 由 模 式 DR 网 络 地 址 转 换 模 式 NAT 以 及 隧 道 模 式 TUN 三 种 Lvs 客 户 端 的 配 置 是 根 据 其 所 采 用 的 负 载 均 衡 种 类 (lb_kind) 来 做 相 应 操 作 的 在 我 们 的 应 用 环 境 里, 为 了 获 得 最 高 的 性 能, 采 用 的 负 载 均 衡 种 类 (lb_kind) 是 直 接 路 由 模 式 DR 不 管 采 取 哪 一 种 模 式,lvs 客 户 端 都 不 需 安 装 额 外 的 软 件 Lvs 可 支 持 的 客 户 端 包 括 : 各 种 GNU/linux 大 部 分 unix 已 经 windows 目 前 我 已 经 成 功 运 行 的 lvs 客 户 端 环 境 有 centos redhat freebsd windows 等 需 要 注 意 的 是, 由 于 客 户 端 操 作 系 统 的 不 同,lvs 客 户 端 的 配 置 也 就 各 不 相 同 了 本 书 中, 将 以 centos 及 freebsd 两 种 操 作 系 统 作 为 lvs 的 客 户 端, 给 出 其 直 接 路 由 模 式 DR 的 配 置 方 法 lvs 客 户 端 ( 真 实 服 务 器 ) 操 作 系 统 是 centos 时 的 配 置 文 件 [root@huludao-2 ~]# more /usr/local/bin/lvs_real #!/bin/bash #description : start realserver VIP= /etc/rc.d/init.d/functions case "$1" in start) echo " start LVS of REALServer" /sbin/ifconfig lo:0 $VIP broadcast $VIP netmask up echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce ;; stop)

4 /sbin/ifconfig lo:0 down echo "close LVS Directorserver" echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce ;; *) echo "Usage: $0 {start stop" exit 1 esac 这 里 对 配 置 文 件 里 重 要 的 一 些 项 进 行 说 明 : 1 vip(virtual ip) 直 接 路 由 模 式 的 vip 必 须 跟 服 务 器 对 外 提 供 服 务 的 ip 地 址 在 同 一 个 网 段, 并 且 lvs 负 载 均 衡 器 和 其 他 所 有 提 供 相 同 功 能 的 服 务 器 都 使 用 这 个 vip. 2 vip 被 绑 定 在 环 回 接 口 lo0:0 上, 其 广 播 地 址 是 其 本 身, 子 网 掩 码 是 这 与 标 准 的 网 络 地 址 设 置 有 很 大 的 不 同 采 用 这 种 可 变 长 掩 码 方 式 把 网 段 划 分 成 只 含 一 个 主 机 地 址 的 目 的 是 避 免 ip 地 址 冲 突 3 echo 1,echo 2 这 段 的 作 用 是 抑 制 arp 广 播 如 果 不 做 arp 抑 制, 将 会 有 众 多 的 机 器 向 其 他 宣 称 : 嗨! 我 是 奥 巴 马, 我 在 这 里 呢!, 这 样 就 乱 套 了 lvs 客 户 端 ( 真 实 服 务 器 ) 操 作 系 统 是 freebsd 时 的 配 置 文 件 fav1# more /usr/local/bin/lvs_real_bsd #!/usr/local/bin/bash #description : start realserver VIP= case "$1" in start) echo " start LVS of REALServer" /sbin/ifconfig lo0 $VIP netmask alias -arp up ;; stop) /sbin/ifconfig lo0 alias down echo "close LVS Directorserver" /sbin/ifconfig lo arp up ;; *) echo "Usage: $0 {start stop" exit 1 esac 在 这 里, 我 们 同 样 对 这 个 配 置 脚 本 的 某 些 项 进 行 说 明 : 1 vip 地 址 设 置 和 arp 抑 制 用 /sbin/ifconfig lo0 $VIP netmask alias -arp up 这 么 一 行 就 实 现 了

5 我 们 把 这 两 种 操 作 系 统 的 lvs 客 户 端 做 个 比 较, 发 现 freebsd 的 配 置 书 写 上 要 简 洁 一 些, 是 不 是 可 以 认 为 freebsd 的 网 络 功 能 比 linux 强 大 呢? lvs 客 户 端 验 证 lvs 客 户 端 不 必 依 赖 负 载 均 衡 器 就 可 以 独 立 运 行, 只 不 过 这 种 运 行 对 负 载 均 衡 没 有 任 何 作 用, 当 然 也 没 有 任 何 副 作 用, 所 以 我 们 把 lvs 客 户 端 配 置 完 成 后 ( 配 置 文 件 就 是 一 个 shell 脚 本 ), 可 以 单 独 运 行 它, 来 检 验 配 置 是 否 正 确 centos 脚 本 配 置 脚 本 写 好 保 存, 给 予 脚 本 执 行 权 限 脚 本 启 停 以 start 和 stop 这 两 个 参 数 来 控 制 首 先, 我 们 来 启 动 配 置 脚 本, 执 行 命 令 /usr/local/bin/lvs_real start, 接 着 我 们 来 检 查 网 络 的 状 态 : [root@huludao-2 ~]# ip add 1: lo: <LOOPBACK,UP,LOWER_UP> mtu qdisc noqueue link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet /8 scope host lo inet /32 brd scope global lo:0 inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 100 link/ether 00:15:17:60:21:a0 brd ff:ff:ff:ff:ff:ff inet /24 brd scope global eth0 inet6 fe80::215:17ff:fe60:21a0/64 scope link valid_lft forever preferred_lft forever 3: eth1: <BROADCAST,MULTICAST> mtu 1500 qdisc noop qlen 1000 link/ether 00:15:17:60:21:a1 brd ff:ff:ff:ff:ff:ff 4: sit0: <NOARP> mtu 1480 qdisc noop link/sit brd 从 输 出 可 以 看 出, lo0:0 确 实 绑 定 了 我 们 指 定 的 vip 地 址 那 么 当 我 们 执 行 /usr/local/bin/lvs_real 时,vip 应 当 从 lo0:0 接 口 卸 载 我 们 来 看 看 输 出 是 什 么 : [root@huludao-2 ~]# lvs_real stop close LVS Directorserver [root@huludao-2 ~]# ip add 1: lo: <LOOPBACK,UP,LOWER_UP> mtu qdisc noqueue link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00 inet /8 scope host lo inet6 ::1/128 scope host valid_lft forever preferred_lft forever 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast qlen 100 link/ether 00:15:17:60:21:a0 brd ff:ff:ff:ff:ff:ff

6 inet /28 brd scope global eth0 inet6 fe80::215:17ff:fe60:21a0/64 scope link valid_lft forever preferred_lft forever 3: eth1: <BROADCAST,MULTICAST> mtu 1500 qdisc noop qlen 1000 link/ether 00:15:17:60:21:a1 brd ff:ff:ff:ff:ff:ff 4: sit0: <NOARP> mtu 1480 qdisc noop link/sit brd 噢, 上 帝! 正 是 我 们 所 期 待 的 结 果 :vip 从 lo 上 消 失 了 freebsd 脚 本 /usr/local/bin/lvs_real_bsd 启 停 所 使 用 的 方 法 和 参 数 与 centos 那 个 配 置 脚 本 是 一 样 的, 但 察 看 方 法 有 所 不 同 (freebsd 无 ip add 工 具 ) 这 里 使 用 的 方 法 是 ifconfig, 启 动 时 输 出 如 下 : fav1# ifconfig em0: flags=8843<up,broadcast,running,simplex,multicast> metric 0 mtu 1500 options=19b<rxcsum,txcsum,vlan_mtu,vlan_hwtagging,vlan_hwcsum, TSO4> ether 00:15:17:6e:c8:46 inet netmask 0xffffffc0 broadcast media: Ethernet autoselect (100baseTX <full-duplex>) status: active lo0: flags=80c9<up,loopback,running,noarp,multicast> metric 0 mtu inet6 fe80::1%lo0 prefixlen 64 scopeid 0x3 inet6 ::1 prefixlen 128 inet netmask 0xff inet netmask 0xffffffff 当 执 行 /usr/local/bin/lvs_real_bsd stop 时,vip 被 卸 载 有 时 可 能 卸 载 不 成 功, 可 能 需 要 多 执 行 几 次 停 止 命 令 arp 抑 制 验 证 如 果 不 配 置 负 载 均 衡 器 的 转 发 功 能, 那 么 在 这 个 步 骤 所 设 置 的 vip 将 不 会 提 供 任 何 ip 功 能, 除 了 能 用 ifconfig 输 出 显 示 而 外 在 没 有 配 置 或 开 启 lvs 负 载 均 衡 器 的 情 况 下, 我 们 用 其 他 机 器 ping vip, 应 该 是 不 通 的 当 然 在 网 络 前 面 启 用 了 防 火 墙 阻 止 ping 不 算 为 了 不 影 响 测 试, 最 好 把 你 的 防 火 墙 打 开 Arp 抑 制 生 效 后, 再 也 没 有 机 器 知 道 vip 的 存 在, 这 是 一 个 问 题, 谁 来 响 应 vip 请 求? 这 个 问 题 交 给 负 载 均 衡 器 吧, 它 知 道 这 背 后 的 一 切 6.2 故 障 隔 离 失 败 切 换 框 架 keepalived Keepalived 是 运 行 在 lvs 之 上, 它 的 主 要 功 能 是 实 现 真 实 机 的 故 障 隔 离 及 负 载 均 衡 器 间 的 失 败 切 换 FailOver.lvs 结 合 keepalived, 就 实 现 了 3 层 4 层 5/7 层 交 换 的 功 能, 下 面 摘 录 来 自 官 方 网 站 的 一 段 描 述 :

7 The main goal of the keepalived project is to add a strong & robust keepalive facility to the Linux Virtual Server project. This project is written in C with multilayer TCP/IP stack checks. Keepalived implements a framework based on three family checks : Layer3, Layer4 & Layer5/7. This framework gives the daemon the ability of checking a LVS server pool states. When one of the server of the LVS server pool is down, keepalived informs the linux kernel via a setsockopt call to remove this server entrie from the LVS topology. In addition keepalived implements an independent VRRPv2 stack to handle director failover. So in short keepalived is a userspace daemon for LVS cluster nodes healthchecks and LVS directors failover. 从 这 段 描 述 中, 我 们 可 以 得 到 几 个 有 用 的 信 息 : 1 keepalived 是 lvs 的 扩 展 项 目, 因 此 它 们 之 间 具 备 良 好 的 兼 容 性 这 点 应 该 是 keepalived 部 署 比 其 他 类 似 工 具 能 更 简 洁 的 原 因 吧! 2 通 过 对 服 务 器 池 对 象 的 健 康 检 查, 实 现 对 失 效 机 器 / 服 务 的 故 障 隔 离 3 负 载 均 衡 器 之 间 的 失 败 切 换 failover, 是 通 过 VRRPv2(Virtual Router Redundancy Protocol) stack 实 现 的 keepalived 体 系 结 构 Keepalived 大 致 分 两 层 结 构 : 用 户 空 间 user space 和 内 核 空 间 kernel space. 图 6-2 是 来 自 官 方 站 点 ( 关 于 其 结 构 的 展 示 图 6-2 keepalived 内 部 结 构 图 在 这 个 结 构 图 里, 处 于 下 端 的 是 内 核 空 间, 它 包 括 ipvs 和 NETLINK 两 个 部 分 Ipvs 的 作 用 在 前 面 的 章 节 已 经 做 过 描 述, 不 再 重 复 叙 述 ;netlink 提 供 高 级 路 由 及 其 他 相 关 的 网 络 功 能, 如 果 我 们 在 负 载 均 衡 器 上 启 用 netfilter/iptable, 将 会 直 接 影 响 它 的 性 能 出 于 图 形 上 方 的 组 件 为 用 户 空 间, 由 它 来 实 现 具 体 的 功 能, 下 面 选 取 几 个 重 要 的 来 做 说 明 :

8 1 WatchDog 负 责 监 控 checkers 和 VRRP 进 程 的 状 况 2 Checkers 负 责 真 实 服 务 器 的 健 康 检 查 healthchecking, 是 keepalived 最 主 要 的 功 能 换 句 话 说 可 以 没 有 VRRP Stack, 但 健 康 检 查 healthchecking 是 一 定 要 有 的 3 VRRP Stack 负 责 负 载 均 衡 器 之 间 的 失 败 切 换 FailOver. 如 果 只 用 一 个 负 载 均 衡 器, 则 VRRP 不 是 必 须 的 4 IPVS wrapper 用 来 发 送 设 定 的 规 则 到 内 核 ipvs 代 码 5 Netlink Reflector 用 来 设 定 vrrp 的 vip 地 址 等 Keepalived 各 种 功 能 的 实 现 是 通 过 设 置 其 配 置 文 件 keepalived.conf 来 完 成 的, 关 于 配 置 文 件 各 项 的 用 途, 将 在 后 面 的 章 节 进 行 描 述 安 装 keepalived 安 装 keepalived 非 常 的 简 单 和 容 易, 这 跟 安 装 其 他 GNU 源 码 软 件 步 骤 是 以 模 一 样 的 下 面 给 出 其 安 装 过 程 1 下 载 最 新 稳 定 版 wget 2 解 包 tar zxvf keepalived tar.gz 3 切 换 目 录 cd keepalived 配 置./configure prefix=/usr/local/keepalive 因 为 keepalived 运 行 在 ipvs 之 上, 因 此 这 两 个 软 件 一 定 要 安 装 在 一 个 系 统 里 面 如 果 configure 操 作 能 正 常 进 行, 运 行 完 毕 后 将 有 如 下 的 汇 总 输 出 : Keepalived configuration Keepalived version : Compiler : gcc Compiler flags : -g -O2 Extra Lib : -lpopt -lssl -lcrypto Use IPVS Framework : Yes IPVS sync daemon support : Yes Use VRRP Framework : Yes Use LinkWatch : No Use Debug flags : No 5 编 译 和 安 装 make ; make install keepalived 安 装 验 证 Keepalived 安 装 完 成 后, 会 在 安 装 目 录 /usr/local/keepalived 生 成 bin,etc,man,sbin 这 4 个 目 录 其 中 etc 为 配 置 文 件 所 在 的 目 录, 进 入 这 个 目 录, 看 看 里 面 都 有 些 什 么? [root@chinatelecom-1 etc]# pwd /usr/local/keepalived/etc [root@chinatelecom-1 etc]# ll

9 total 12 drwxr-xr-x 3 root root 4096 Apr 23 10:23 keepalived drwxr-xr-x 3 root root 4096 Apr 23 10:23 rc.d drwxr-xr-x 2 root root 4096 Apr 23 10:23 sysconfig 还 有 子 目 录, 这 里 着 重 关 注 一 下 keepalived 目 录, 它 的 下 面 包 含 一 个 完 整 的 配 置 文 件 keepalived.conf( 实 际 上 是 一 个 样 例 ) 以 及 一 些 单 独 的 配 置 样 例 文 件 [root@chinatelecom-1 keepalived]# tree -l. -- keepalived.conf `-- samples -- client.pem -- dh1024.pem -- keepalived.conf.http_get.port -- keepalived.conf.smtp_check -- keepalived.conf.ssl_get -- keepalived.conf.fwmark -- keepalived.conf.inhibit -- keepalived.conf.misc_check -- keepalived.conf.misc_check_arg -- keepalived.conf.sample -- keepalived.conf.status_code -- keepalived.conf.track_interface -- keepalived.conf.virtual_server_group -- keepalived.conf.virtualhost -- keepalived.conf.vrrp -- keepalived.conf.vrrp.localcheck -- keepalived.conf.vrrp.lvs_syncd -- keepalived.conf.vrrp.routes -- keepalived.conf.vrrp.scripts -- keepalived.conf.vrrp.static_ipaddress -- keepalived.conf.vrrp.sync -- root.pem `-- sample.misccheck.smbcheck.sh 值 得 注 意 的 是,keepalived 的 启 动 过 程 并 不 会 对 配 置 文 件 进 行 语 法 检 查, 就 算 没 有 配 置 文 件, keepalived 的 守 护 进 程 照 样 能 够 被 运 行 起 来 在 默 认 状 态 下 -- 即 不 指 定 配 置 文 件 的 位 置 keepalived 先 查 找 文 件 /etc/keepalived/keepalived.conf, 如 果 为 了 省 事, 可 以 手 动 创 建 这 个 文 件, 然 后 在 这 个 文 件 里 书 写 规 则, 来 达 到 控 制 keepalived 运 行 的 目 的 这 里 我 们 先 来 试 试 默 认 情 况, 即 没 有 配 置 文 件 下 运 行 keepalived. 运 行 前 先 了 解 一 下 其 语 法 : [root@lvs-m keepalived]# keepalived --help Keepalived v (06/23,2009)

10 Usage: keepalived keepalived -n keepalived -f keepalived.conf keepalived -d keepalived -h keepalived -v Commands: Either long or short options are allowed. keepalived --vrrp -P Only run with VRRP subsystem. keepalived --check -C Only run with Health-checker subsystem. keepalived --dont-release-vrrp -V Dont remove VRRP VIPs & VROUTEs on daemon stop. keepalived --dont-release-ipvs -I Dont remove IPVS topology on daemon stop. keepalived --dont-fork -n Dont fork the daemon process. keepalived --use-file -f Use the specified configuration file. Default is /etc/keepalived/keepalived.conf. keepalived --dump-conf -d Dump the configuration data. keepalived --log-console -l Log message to local console. keepalived --log-detail -D Detailed log messages. keepalived --log-facility -S 0-7 Set syslog facility to LOG_LOCAL[0-7]. (default=log_daemon) keepalived --help -h Display this short inlined help screen. keepalived --version -v Display the version number keepalived --pid -p pidfile keepalived --checkers_pid -c checkers pidfile keepalived --vrrp_pid -r vrrp pidfile 接 下 来 我 们 参 照 这 个 帮 助 语 法, 执 行 命 令 /usr/local/keepalived/sbin/keepalive D, 然 后 来 检 查 keepalived 运 行 后 的 状 况 1 查 看 进 程 ps aux grep keepalived, 其 输 出 为 : [root@lvs-m ~]# ps aux grep keepalived grep -v grep root ? Ss 15:39 0:00 keepalived -D root ? S 15:39 23:47 keepalived -D root ? S 15:39 24:15 keepalived -D Keepalived 正 常 运 行 时, 共 启 动 3 个 进 程, 其 中 一 个 进 程 是 父 进 程, 负 责 监 控 其 子 进 程 ; 一 个 是 vrrp 子 进 程 ; 另 外 一 个 是 checkers 子 进 程 图 6-3 为 keepalived 3 个 进 程 之 间 的 关 系

11 图 6-3 keepalived 进 程 相 关 性 2 查 看 内 核 模 块,ip_vs 模 块 应 该 被 加 载 到 内 核 空 间 Lsmod grep ip_vs. 3 查 看 系 统 日 志 因 为 我 在 启 动 keepalived 是 使 用 了 选 项 D, 这 将 详 细 的 打 印 日 志 消 息 [root@lvs-m ~]# tail -f /var/log/messages Jun 27 00:58:05 lvs-m Keepalived: Starting VRRP child process, pid=22017 Jun 27 00:58:05 lvs-m Keepalived_healthcheckers: Netlink reflector reports IP added Jun 27 00:58:05 lvs-m Keepalived_healthcheckers: Registering Kernel netlink reflector Jun 27 00:58:05 lvs-m Keepalived_vrrp: Netlink reflector reports IP added Jun 27 00:58:05 lvs-m Keepalived_healthcheckers: Registering Kernel netlink command channel Jun 27 00:58:05 lvs-m Keepalived_vrrp: Registering Kernel netlink reflector Jun 27 00:58:05 lvs-m Keepalived_vrrp: Registering Kernel netlink command channel Jun 27 00:58:05 lvs-m Keepalived_vrrp: Registering gratutious ARP shared channel Jun 27 00:58:05 lvs-m Keepalived_healthcheckers: Configuration is using : 2285 Bytes Jun 27 00:58:05 lvs-m Keepalived_vrrp: Configuration is using : Bytes 逐 项 检 查 这 个 输 出, 可 知 图 6-2 所 示 的 组 件 都 可 以 在 这 里 找 到 对 应 的 纪 录 从 而 进 一 步 证 实 keepalived 安 装 的 正 确 性 配 置 文 件 keepalived.conf 一 个 功 能 比 较 完 整 的 keepalived 的 配 置 文 件, 其 配 置 文 件 keepalived.conf 可 以 包 含 三 个 文 本 块 : 全 局 定 义 块 VRRP 实 例 定 义 块 及 虚 拟 服 务 器 定 义 块 全 局 定 义 块 和 虚 拟 服 务 器 定 义 块 是 必 须 的, 如 果 在 只 有 一 个 负 载 均 衡 器 的 场 合, 就 不 须 VRRP 实 例 定 义 块 接 下 来, 我 们 以 一 个 配 置 文 件 模 版 为 例, 有 选 择 的 说 明 其 中 一 些 重 要 项 的 功 能 或 作 用 # 全 局 定 义 块 global_defs { notification_ { notification_ _from smtp_server host smtp_connect_timeout num lvs_id string

12 #VRRP 实 例 定 义 块 vrrp_sync_group string { group { string string vrrp_instance string { state MASTER BACKUP interface string lvs_sync_daemon_interface string virtual_router_id num priority num advert_int num smtp_alert authentication { auth_type PASS AH auth_pass string virtual_ipaddress { # Block limited to 20 @IP virtual_ipaddress_excluded { # Unlimited IP @IP # 虚 拟 服 务 器 定 义 块 virtual_server (@IP PORT) (fwmark num) { delay_loop num lb_algo rr wrr lc wlc sh dh lblc lb_kind NAT DR TUN persistence_timeout num virtualhost string protocol TCP UDP PORT

13 PORT { weight num connect_port num connect_timeout num PORT { weight num MISC_CHECK { misc_path /path_to_script/script.sh (or misc_path /path_to_script/script.sh <arg_list> ) PORT { weight num HTTP_GET SSL_GET { url { # You can add multiple url block path alphanum digest alphanum connect_port num connect_timeout num nb_get_retry num delay_before_retry num 全 局 定 义 块 1 通 知 作 用 : 有 故 障, 发 邮 件 报 警 这 是 可 选 项 目, 建 议 不 用, 用 nagios 全 面 监 控 代 替 之 2 Lvs 负 载 均 衡 器 标 识 (lvs_id) 在 一 个 网 络 内, 它 应 该 是 唯 一 的 3 花 括 号 { 用 来 分 隔 定 义 块, 因 此 必 须 成 对 出 现 如 果 写 漏 了,keepalived 运 行 时, 不 会 得 到 预 期 的 结 果 由 于 定 义 块 内 存 在 嵌 套 关 系, 因 此 很 容 易 遗 漏 结 尾 处 的 花 括 号, 这 点 要 特 别 注 意 VRRP 定 义 块 1 同 步 vrrp 组 vrrp_sync_group 作 用 : 确 定 失 败 切 换 (FailOver) 包 含 的 路 由 实 例 个 数 即 在 有 2 个 负 载 均 衡 器 的 场 景, 一 旦 某 个 负 载 均 衡 器 失 效, 需 要 自 动 切 换 到 另 外 一 个 负 载 均 衡 器 的 实 例 是 哪 些? 2 实 例 组 group. 至 少 包 含 一 个 vrrp 实 例 3 Vrrp 实 例 vrrp_instance. 实 例 名 出 自 实 例 组 group 所 包 含 的 那 些 名 字

14 (1) 实 例 状 态 state. 只 有 MASTER 和 BACKUP 两 种 状 态, 并 且 需 要 大 写 这 些 单 词 其 中 MASTER 为 工 作 状 态,BACKUP 为 备 用 状 态 当 MASTER 所 在 的 服 务 器 失 效 时, BACKUP 所 在 的 系 统 会 自 动 把 它 的 状 态 有 BACKUP 变 换 成 MASTER; 当 失 效 的 MASTER 所 在 的 系 统 恢 复 时,BACKUP 从 MASTER 恢 复 到 BACKUP 状 态 (2) 通 信 接 口 interface 对 外 提 供 服 务 的 网 络 接 口, 如 eth0,eth1. 当 前 主 流 的 服 务 器 都 有 2 个 或 2 个 以 上 的 接 口, 在 选 择 服 务 接 口 时, 一 定 要 核 实 清 楚 (3) lvs_sync_daemon_inteface 负 载 均 衡 器 之 间 的 监 控 接 口, 类 似 于 HA HeartBeat 的 心 跳 线 但 它 的 机 制 优 于 Heartbeat, 因 为 它 没 有 裂 脑 这 个 问 题, 它 是 以 优 先 级 这 个 机 制 来 规 避 这 个 麻 烦 的 在 DR 模 式 中,lvs_sync_daemon_inteface 与 服 务 接 口 interface 使 用 同 一 个 网 络 接 口 (4) 虚 拟 路 由 标 识 virtual_router_id. 这 个 标 识 是 一 个 数 字, 并 且 同 一 个 vrrp 实 例 使 用 唯 一 的 标 识 即 同 一 个 vrrp_stance,master 和 BACKUP 的 virtual_router_id 是 一 致 的, 同 时 在 整 个 vrrp 内 是 唯 一 的 (5) 优 先 级 priority. 这 是 一 个 数 字, 数 值 愈 大, 优 先 级 越 高 在 同 一 个 vrrp_instance 里,MASTER 的 优 先 级 高 于 BACKUP 若 MASTER 的 priority 值 为 150, 那 么 BACKUP 的 priority 只 能 是 140 或 更 小 的 数 值 (6) 同 步 通 知 间 隔 advert_int.master 与 BACKUP 负 载 均 衡 器 之 间 同 步 检 查 的 时 间 间 隔, 单 位 为 秒 (7) 验 证 authentication 包 含 验 证 类 型 和 验 证 密 码 类 型 主 要 有 PASS AH 两 种, 通 常 使 用 的 类 型 为 PASS, 据 说 AH 使 用 时 有 问 题 验 证 密 码 为 明 文, 同 一 vrrp 实 例 MASTER 与 BACKUP 使 用 相 同 的 密 码 才 能 正 常 通 信 4 虚 拟 ip 地 址 virtual_ipaddress. 可 以 有 多 个 地 址, 每 个 地 址 占 一 行, 不 需 要 指 定 子 网 掩 码 注 意 : 这 个 ip 必 须 与 我 们 在 lvs 客 户 端 设 定 的 vip 相 一 致! 虚 拟 服 务 器 virtual_server 定 义 块 虚 拟 服 务 器 定 义 是 keepalived 框 架 最 重 要 的 项 目 了, 是 keepalived.conf 必 不 可 少 的 部 分 1 虚 拟 服 务 器 virtual_server. 这 个 ip 来 自 于 vrrp 定 义 块 的 第 4 步, 后 面 一 个 空 格, 然 后 加 上 端 口 号 定 义 一 个 vip, 可 以 实 现 多 个 tcp 端 口 的 负 载 均 衡 功 能 (1) delay_loop 健 康 检 查 时 间 间 隔, 单 位 是 秒 (2) lb_algo. 负 载 均 衡 调 度 算 法, 互 联 网 应 用 常 使 用 wlc 或 rr (3) lb_kind. 负 载 均 衡 转 发 规 则 一 般 包 括 DR,NAT,TUN3 种, 在 我 的 方 案 中, 都 使 用 DR 的 方 式 (4) persistence_timeout. 会 话 保 持 时 间, 单 位 是 秒 这 个 选 项 对 动 态 网 站 很 有 用 处 : 当 用 户 从 远 程 用 帐 号 进 行 登 陆 网 站 时, 有 了 这 个 会 话 保 持 功 能, 就 能 把 用 户 的 请 求 转 发 给 同 一 个 应 用 服 务 器 在 这 里, 我 们 来 做 一 个 假 设, 假 定 现 在 有 一 个 lvs 环 境, 使 用 DR 转 发 模 式, 真 实 服 务 器 有 3 个, 负 载 均 衡 器 不 启 用 会 话 保 持 功 能 当 用 户 第 一 次 访 问 的 时 候, 他 的 访 问 请 求 被 负 载 均 衡 器 转 给 某 个 真 实 服 务 器, 这 样 他 看 到 一 个 登 陆 页 面, 第 一 次 访 问 完 毕 ; 接 着 他 在 登 陆 框 填 写 用 户 名 和 密 码, 然 后 提 交 ; 这 时 候, 问 题 就 可 能 出 现 了 登 陆 不 能 成 功 因 为 没 有 会 话 保 持, 负 载 均 衡 器 可 能 会 把 第 2 次 的 请 求 转 发 到 其 他 的 服 务 器 (5) 转 发 协 议 protocol. 一 般 有 tcp 和 udp 两 种 实 话 说, 我 还 没 尝 试 过 udp 协 议 类 的 转 发 2 真 实 服 务 器 real_server. 也 即 服 务 器 池 Real_server 的 值 包 括 ip 地 址 和 端 口 号 多 个 连 续 的 真 实 ip, 转 发 的 端 口 相 同, 是 不 是 可 以 以 范 围 表 示? 需 要 进 一 步 实 验 如 写 成 real_server

15 (1) 权 重 weight. 权 重 值 是 一 个 数 字, 数 值 越 大, 权 重 越 高 使 用 不 同 的 权 重 值 的 目 的 在 于 为 不 同 性 能 的 机 器 分 配 不 同 的 负 载, 性 能 较 好 的 机 器, 负 载 分 担 大 些 ; 反 之, 性 能 差 的 机 器, 则 分 担 较 少 的 负 载, 这 样 就 可 以 合 理 的 利 用 不 同 性 能 的 机 器 资 源 (2) Tcp 检 查 tcp_check. 关 于 配 置 文 件 的 理 论 我 们 就 先 讲 到 这 里 由 于 应 用 场 景 的 不 同, 配 置 文 件 也 会 有 很 大 的 差 异, 在 接 下 来 的 章 节 里, 我 将 以 两 个 具 体 的 应 用 来 展 示 keepalived 神 奇 功 效 6.3 cdn 缓 存 服 务 器 的 负 载 均 衡 (lvs+keepalived) 在 cdn 的 某 个 区 域, 需 要 部 署 多 个 缓 存 服 务 器, 以 集 群 方 式 来 应 对 大 量 用 户 的 访 问 请 求, 提 高 系 统 的 高 可 用 性 在 机 器 数 量 较 少 的 时 候, 我 曾 用 dns 轮 训 的 方 式 把 访 问 负 载 分 担 给 服 务 器, 效 果 不 佳, 因 为 DNS 不 会 做 健 康 检 查 后 来 增 加 机 器, 做 成 lvs 集 群, 就 很 安 心 了 cdn 缓 存 服 务 器 集 群 场 景 6 个 服 务 器,2 个 服 务 器 为 lvs 负 载 均 衡 器,4 个 服 务 器 为 真 实 服 务 器 另 外 为 了 方 便 远 程 管 理, 还 购 置 了 一 个 KVM OVER IP 设 备 申 请 到 8 个 公 网 ip 地 址,6 个 服 务 器 用 去 6 个,KVM OVER IP 设 备 用 掉 1 个, 剩 下 1 个 作 为 VIP. 4 个 真 实 服 务 器 已 经 部 署 好 应 用 (Varnish), 并 且 只 要 修 改 本 地 windows 的 hosts 文 件, 把 域 名 指 向 这 些 ip, 就 可 以 通 过 这 些 缓 存 服 务 器 访 问 到 网 站 内 容 关 于 缓 存 服 务 器 的 具 体 部 署, 请 参 照 本 书 第 7 章 简 单 cdn 为 了 方 便 阅 读 和 理 解, 我 把 上 述 信 息 做 成 一 个 汇 总 表, 如 表 6-2 角 色 所 需 ip 实 现 负 载 所 需 软 件 操 作 负 载 均 衡 器 (MASTER) 负 载 均 衡 器 (BACKUP) 真 实 服 务 器 (server pool) 接 口 ip VIP ipvsadm,keepalived 安 装 ipvsadm 及 keepalived 接 口 ip VIP ipvsadm,keepalived 安 装 ipvsadm 及 keepalived 接 口 ip VIP Lvs 客 户 端 配 置 脚 按 节 内 容 编 本 写 配 置 脚 本 表 6-2 缓 存 服 务 器 集 群 信 息 汇 总 cdn 缓 存 服 务 器 集 群 部 署 尽 管 部 署 cdn 缓 存 服 务 器 集 群 没 有 先 后 顺 序 之 分, 但 为 了 部 署 顺 利 进 行, 我 们 可 以 先 从 简 单 的 部 分 开 始, 即 先 从 lvs 客 户 端 开 始, 然 后 再 到 负 载 均 衡 器 这 边

16 真 实 服 务 器 上 的 操 作 ( 每 个 服 务 器 都 是 一 样 的 操 作 ) 1 照 节 的 格 式 编 写 lvs 客 户 端 配 置 脚 本, 保 存 后 给 予 执 行 权 限 其 完 整 的 内 容 如 下 : [root@huludao-2 ~]# more /usr/local/bin/lvs_real #!/bin/bash #description : start realserver VIP= /etc/rc.d/init.d/functions case "$1" in start) echo " start LVS of REALServer" /sbin/ifconfig lo:0 $VIP broadcast $VIP netmask up echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce ;; stop) /sbin/ifconfig lo:0 down echo "close LVS Directorserver" echo "0" >/proc/sys/net/ipv4/conf/lo/arp_ignore echo "0" >/proc/sys/net/ipv4/conf/lo/arp_announce echo "0" >/proc/sys/net/ipv4/conf/all/arp_ignore echo "0" >/proc/sys/net/ipv4/conf/all/arp_announce ;; *) echo "Usage: $0 {start stop" exit 1 esac 2 运 行 和 验 证 这 个 配 置 脚 本, 其 具 体 方 法 如 前 所 叙, 不 再 赘 述 负 载 均 衡 器 上 的 操 作 MASTER 和 BACKUP 上 安 装 ipvsadm 及 keepalived 的 方 法 都 是 一 样 的 ( 具 体 步 骤 参 见 及 两 节 的 内 容 ), 两 者 之 间 的 主 要 差 异 在 于 其 配 置 文 件 keepalived.conf 1 MASTER 的 配 置 文 件 /etc/keepalived/keepalived.conf. #writed by sery, contact sery@163.com #guration File for keepalived #global define global_defs { router_id LVS_CNC_1

17 vrrp_sync_group VGM { group { VI_CACHE ################################################################ # vvrp_instance define # ################################################################ vrrp_instance VI_CACHE { state MASTER interface eth0 lvs_sync_daemon_inteface eth0 virtual_router_id 51 priority 180 advert_int 5 authentication { auth_type PASS auth_pass 1111 virtual_ipaddress { ############################################################## # virtual machine setting # ############################################################## # setting port 80 forward virtual_server { delay_loop 6 lb_algo wlc lb_kind DR # persistence_timeout 20 protocol TCP real_server { connect_port 80

18 real_server { connect_port 80 real_server { connect_port 80 real_server { connect_port 80 2 BACKUP 配 置 文 件 /etc/keepalived/keepalived.conf

19 #writed by sery, contact #guration File for keepalived #global define global_defs { router_id LVS_CNC_2 vrrp_sync_group VGM { group { VI_CACHE ################################################################ # vrrp_instance setting # ################################################################ vrrp_instance VI_CACHE { state BACKUP interface eth1 lvs_sync_daemon_inteface eth1 virtual_router_id 51 priority 150 advert_int 5 authentication { auth_type PASS auth_pass 1111 virtual_ipaddress { ############################################################## # virtual server setting # ############################################################## # setting port 80 forward virtual_server { delay_loop 6 lb_algo wlc lb_kind DR # persistence_timeout 50 protocol TCP

20 real_server { connect_port 80 real_server { connect_port 80 real_server { connect_port 80 real_server { connect_port 80 在 这 样 只 有 一 个 vrrp_instance 的 环 境 里, 主 负 载 均 衡 器 (MASTER) 与 备 份 负 载 均 衡 器 (BACKUP) 配 置 文 件 的 差 异 一 共 只 有 3 处 : 全 局 定 义 的 route_id vrrp_instance state 已 经 vrrp_instance 的 优 先 级 priority 负 载 均 衡 服 务 的 启 用 和 验 证

21 Lvs 客 户 端 的 启 用 和 验 证 在 前 面 的 一 节 有 过 详 细 的 说 明, 此 处 略 过 前 面 我 们 也 提 过,keepalived 启 动 过 程 不 会 检 查 配 置 文 件 的 语 法, 因 此 在 启 动 keepalived 以 前, 需 要 人 工 对 /etc/keepalived/keepalived.conf 文 件 做 全 面 的 语 法 检 查 一 个 比 较 容 易 犯 的 错 误 就 是 把 花 括 号 写 漏 了, 不 成 对! 当 lvs 客 户 端 都 正 常 启 动 并 且 配 置 文 件 经 检 查 无 误 后 ( 当 然 有 错 误 也 无 妨, 随 时 可 以 修 改 嘛!), 执 行 命 令 /usr/local/keepalived/sbin/keepalived D, 然 后 我 们 查 看 系 统 进 程, 看 是 否 是 3 个 keepalived 进 程 如 果 配 置 文 件 的 路 径 不 是 /etc/keepalived/keepalived.conf 则 需 要 在 启 动 时 用 选 项 -f 指 定 最 能 反 映 keepalived 启 动 情 况 的 地 方 当 属 系 统 日 志 手 动 执 行 启 动 操 作 后, 使 用 命 令 tail f /var/log/messages 滚 动 查 看 输 出, 就 能 详 细 了 解 其 运 行 情 况 图 6-3 为 某 个 lvs 环 境 的 keepalived 启 动 输 出 : 图 6-3 启 动 keepalived 时 系 统 日 志 的 输 出 ( 截 取 ) 另 外 一 个 反 映 keepalived 正 常 运 行 状 态 的 地 方 是 网 络 接 口 vip 的 启 用 通 过 执 行 ip add 即 可 看 见 vip 已 经 被 绑 定 在 制 定 的 网 络 接 口 ( 注 意 :ifconfig 不 能 显 示 vip) 需 要 注 意 的 是, BACKUP 的 vip 暂 时 不 绑 定 图 6-4 显 示 了 这 种 比 较

22 图 6-4 主 负 载 均 衡 器 (MASTER) 与 备 份 负 载 均 衡 器 (BACKUP) 输 出 对 比 主 负 载 均 衡 器 (MASTER) 和 备 份 负 载 均 衡 器 (BACKUP) 的 keepalived 都 把 它 运 行 起 来, 然 后 我 们 进 行 功 能 测 试 测 试 前 的 准 备 1 保 证 所 有 服 务 器 的 网 络 服 务 正 常 这 可 以 通 过 ping 所 有 机 器 的 ip 地 址 已 经 ping vip 来 检 查 2 修 改 本 地 计 算 机 的 hosts 文 件, 把 域 名 跟 vip 绑 定 起 来 然 后 再 ping 一 下 域 名, 看 是 否 正 常 如 转 发 功 能 测 试 1 在 本 地 机 器 执 行 命 令 telnet 80, 检 查 访 问 是 否 正 常 2 在 本 地 计 算 机 的 浏 览 器 地 址 栏 输 入 看 网 站 默 认 页 是 否 能 正 常 访 问 3 登 录 主 负 载 均 衡 器, 察 看 转 发 情 况 Lvs 的 转 发 情 况, 是 不 能 通 过 netstat an 这 样 的 方 式 来 察 看 的 这 时, 前 面 我 们 安 装 的 ipvsadm 终 于 上 场 了 执 行 不 带 任 何 选 项 的 ipvsadm 指 令, 即 可 察 看 tcp 连 接 情 况 图 6-5 为 主 负 载 均 衡 器 的 转 发 情 况 :

23 图 6-5 负 载 均 衡 器 转 发 状 态 如 果 想 知 道 当 前 测 试 机 的 访 问 请 求 被 转 发 到 那 个 服 务 器 去 了, 可 以 在 ipvsadm 命 令 后 带 一 个 选 项, 其 完 整 形 式 为 :ipvsadm lcn grep ~]# ipvsadm -lcn grep TCP 14:56 ESTABLISHED : : :80 健 康 检 查 功 能 ( 故 障 隔 离 ) 测 试 通 过 手 工 的 方 法, 使 真 实 服 务 器 提 供 的 服 务 实 效, 然 后 再 从 客 户 端 发 起 访 问 请 求, 检 验 lvs 提 供 的 服 务 是 否 可 用 这 种 测 试, 有 两 种 方 式 : 停 止 某 个 真 实 服 务 器 的 服 务 ( 本 例 为 varnish) 关 闭 网 络 服 务 1 关 闭 真 实 服 务 器 的 varnish 服 务 先 telnet , 不 能 访 问 为 正 常 然 后 再 从 本 地 计 算 机 执 行 telnet , 如 访 问 正 常, 再 检 查 负 载 均 衡 器 的 输 出 这 时 停 止 服 务 的 机 器 将 被 lvs 从 转 发 列 表 中 删 除, 系 统 日 志 也 会 有 被 删 除 的 消 息 打 印 出 来, 如 图 6-6 所 示 : 图 6-6 服 务 停 止, 真 实 服 务 器 从 转 发 队 列 删 除 2 关 闭 主 机 的 网 络 可 以 关 闭 网 络 接 口 或 关 闭 服 务 器, 然 后 再 按 第 1 步 的 方 法 测 试, 检 查 客 户 端 的 访 问 请 求 是 否 不 受 影 响 ; 转 发 队 列 是 否 把 关 闭 网 络 服 务 的 对 象 删 除 图 6-7 为 某 个 真 实 服 务 器 网 络 启 停 时 ipvsadm 输 出 对 比

24 图 6-7 关 闭 服 务 器 前 后 ipvsadm 输 出 对 比 3 关 闭 lvs 的 客 户 端 配 置 脚 本 /usr/local/bin/lvs_real 这 个 测 试 不 会 成 功, 关 闭 真 实 机 器 的 vip 以 后, 负 载 均 衡 器 依 然 会 把 用 户 请 求 转 发 过 来, 可 是 tcp 连 接 却 不 能 成 功, 部 分 用 户 的 访 问 失 败 因 此 在 部 署 和 运 维 lvs 环 境 时, 要 特 别 注 意 这 一 点 从 上 面 的 测 试 可 知, 关 闭 或 停 止 服 务, 负 载 均 衡 器 通 过 健 康 检 查 自 动 把 实 效 的 机 器 从 转 发 队 列 删 除 掉, 实 现 故 障 隔 离, 保 证 用 户 的 访 问 不 受 影 响 失 败 切 换 (FailOver) 测 试 关 闭 主 负 载 均 衡 器 (MASTER) 的 keepalived 进 程, 然 后 从 客 户 端 访 问 vip 地 址 及 本 地 绑 定 的 域 名 方 法 是 telnet 及 用 浏 览 器 访 问 检 查 访 问 是 否 正 常 这 是 最 直 观 的 表 现 方 法 正 常 情 况 下, 当 主 负 载 均 衡 器 (MASTER) 实 效 时, 备 份 负 载 均 衡 器 (BACKUP) 能 立 即 接 替 转 发 任 务 ( 接 替 时 间 由 keepalived.conf 文 件 的 advert_int 指 定 ) 在 确 认 主 负 载 均 衡 器 (MASTER) 的 keepalived 进 程 关 闭 后, 我 们 来 看 看 备 份 负 载 均 衡 器 的 运 行 情 况 这 里 我 们 观 察 两 个 地 方 :ipvsadm 的 输 出 及 系 统 日 志 的 输 出 1 ipvsadm 输 出 变 化 未 接 替 转 发 任 务 前,ipvsadm 的 输 出 字 段 ActionConn InActionConn 对 应 的 值 皆 为 0 ( 因 为 没 有 请 求 转 发 ); 接 替 转 发 任 务 后, 这 两 个 字 段 的 值 立 即 发 生 变 化 2 系 统 输 出 日 志 将 记 录 备 份 负 载 均 衡 器 从 BACKUP 向 MASTER 切 换 过 程, 下 面 截 取 系 统 日 志 关 于 keepalived 输 出 的 部 分 : Jul 6 21:04:32 telcom-dl-1 Keepalived_vrrp: VRRP_Instance(VI_CACHE) Transition to MASTER STATE Jul 6 21:04:32 telcom-dl-1 Keepalived_vrrp: VRRP_Group(VGM) Syncing instances to MASTER state Jul 6 21:04:37 telcom-dl-1 Keepalived_vrrp: VRRP_Instance(VI_CACHE)

25 Entering MASTER STATE Jul 6 21:04:37 telcom-dl-1 Keepalived_vrrp: VRRP_Instance(VI_CACHE) setting protocol VIPs. Jul 6 21:04:37 telcom-dl-1 Keepalived_vrrp: VRRP_Instance(VI_CACHE) Sending gratuitous ARPs on eth1 for Jul 6 21:04:37 telcom-dl-1 Keepalived_vrrp: Netlink reflector reports IP added Jul 6 21:04:37 telcom-dl-1 Keepalived_healthcheckers: Netlink reflector reports IP added Jul 6 21:04:42 telcom-dl-1 Keepalived_vrrp: VRRP_Instance(VI_CACHE) Sending gratuitous ARPs on eth1 for 现 在 再 回 来 启 动 主 负 载 均 衡 器 (MASTER) 的 keepalived 进 程, 接 着 察 看 辅 助 负 载 均 衡 器 (BACKUP) 的 系 统 日 志, 截 取 一 段 输 出 如 下 : Jul 6 21:18:12 telcom-dl-1 Keepalived_vrrp: VRRP_Instance(VI_CACHE) Received higher prio advert Jul 6 21:18:12 telcom-dl-1 Keepalived_vrrp: VRRP_Instance(VI_CAHCE) Entering BACKUP STATE Jul 6 21:18:12 telcom-dl-1 Keepalived_vrrp: VRRP_Instance(VI_CACHE) removing protocol VIPs. Jul 6 21:18:12 telcom-dl-1 Keepalived_vrrp: VRRP_Group(VGM) Syncing instances to BACKUP state Jul 6 21:18:12 telcom-dl-1 Keepalived_vrrp: Netlink reflector reports IP removed Jul 6 21:18:12 telcom-dl-1 Keepalived_healthcheckers: Netlink reflector reports IP removed 这 段 输 出 显 示, 备 份 服 务 器 尽 管 曾 经 行 使 了 一 段 MASTER 的 职 权, 一 旦 原 来 的 MASTER 复 活, 它 就 得 把 控 制 权 乖 乖 地 交 给 原 MASTER, 自 己 打 回 原 形 BACKUP 是 什 么 东 西 在 起 作 用 呢? 是 配 置 文 件 里 设 置 的 那 个 优 先 级 priority 为 了 保 证 FailOver 正 常 发 挥 作 用, 应 确 保 主 负 载 均 衡 器 的 priority 值 大 于 备 份 负 载 均 衡 器 的 priority 值 同 样, 辅 助 负 载 均 衡 器 的 ipvsadm 的 输 出 也 会 发 生 变 化, 这 里 不 再 多 做 说 明 6.4 多 vrrp_instance 负 载 均 衡 应 用 在 CDN 缓 存 服 务 器 的 负 载 均 衡 一 节 中, 我 们 详 细 的 介 绍 了 单 实 例 (vrrp_instance) 单 虚 拟 地 址 (vip) 实 现 负 载 均 衡 的 方 方 面 面, 在 这 个 应 用 场 景 中, 它 最 主 要 的 特 征 就 是 : 主 负 载 均 衡 器 负 责 转 发, 而 备 份 负 载 均 衡 器 则 处 于 等 待 状 态, 只 有 主 负 载 均 衡 器 失 效, 备 份 负 载 均 衡 器 才 承 担 用 户 请 求 转 发 任 务 在 多 vrrp_instance 负 载 均 衡 应 用 场 景 下, 我 将 让 两 个 负 载 均 衡 器 都 转 发 用 户 请 求, 其 主 要 用 意 在 于 提 高 资 源 的 利 用 率 多 vrrp_instance 负 载 均 衡 需 求 描 述 本 方 案 要 实 现 一 个 web 及 自 定 义 的 tcp 服 务 的 负 载 均 衡. 其 中 web 为 3 个 站 点, 运 行 在 同 一 个

26 服 务 器 上, 以 虚 拟 机 的 方 式 实 现 ; 自 定 义 的 tcp 服 务, 使 用 两 个 端 口 号, 运 行 在 不 同 的 服 务 器 上 在 这 个 环 境 中, 共 有 14 个 服 务 器 :2 个 负 载 均 衡 器 ( 分 别 命 名 为 lvs-1 lvs-2),4 个 web 服 务 器,4 个 运 行 自 定 义 端 口 为 3000 tcp 服 务 的 服 务 器, 以 及 4 个 运 行 自 定 义 端 口 为 4000 tcp 服 务 的 服 务 器 本 方 案 仍 然 使 用 负 载 均 衡 的 DR 模 式, 为 了 有 效 地 使 用 紧 缺 的 ip 地 址 资 源, 我 们 只 需 要 使 用 2 个 vip 地 址 就 可 达 到 目 的 ----web 服 务 使 用 一 个 vip, 后 面 2 个 服 务 共 用 一 个 vip 为 了 更 清 楚 地 理 解 前 面 的 描 述, 表 对 整 个 需 求 进 行 了 汇 总 负 载 均 衡 器 Vip Vrrp_instance 角 色 Lvs Lvs VI_WEB VI_WEB - MASTER VI_CTCP VI_CTCP- BACKUP VI_WEB VI_WEB-- BACKUP VI_CTCP VI_CTCP- MASTER 表 6-4 负 载 均 衡 器 需 求 汇 总 项 目 Vip 转 发 端 口 (TCP) 转 发 规 则 Web(bbs blog www) : x:80 自 定 义 服 务 : y: 3000 自 定 义 服 务 :4000-> z: 4000 表 6-5 应 用 服 务 需 求 汇 总 Web 服 务 支 持 的 3 个 站 点 均 为 动 态 网 站, 其 运 行 环 境 为 apache 加 php, 因 为 涉 及 帐 号 登 录, 因 此 负 载 均 衡 过 程 必 须 启 用 会 话 保 持 这 里 把 3 个 站 点 整 合 到 一 个 物 理 服 务 器 上, 既 能 保 持 服 务 配 置 的 一 致 性, 又 能 最 大 限 度 的 利 用 资 源 关 于 动 态 站 点 及 apache 虚 拟 的 配 置, 请 参 看 其 他 章 节 的 内 容 多 vrrp 负 载 集 群 部 署 参 照 cdn 缓 存 服 务 器 集 群 部 署 操 作 步 骤, 多 vrrp_instance 集 群 的 部 署 也 按 真 实 服 务 器 和 负 载 均 衡 器 2 个 环 节 来 处 理 真 实 服 务 器 上 进 行 的 操 作 1 编 写 负 载 均 衡 客 户 端 配 置 脚 本 本 例 中 有 3 组 真 实 服 务 器, 每 组 服 务 器 使 用 相 同 的 lvs 客 户 端 配 置 脚 本 配 置 脚 本 除 了 vip 而 外, 其 余 的 部 分 与 本 章 其 他 部 分 所 列 的 lvs 客 户 端 配 置 脚 本 完 全 相 同 关 于 3 个 组 vip 地 址 使 用 情 况, 请 看 参 表 6-4, 表 检 验 lvs 客 户 端 配 置 脚 本 的 正 确 性 负 载 均 衡 器 上 的 操 作 1 负 载 均 衡 器 lvs_1 (1) 安 装 ipvsadm 方 法 如 前 文 所 叙

27 (2) 安 装 keepalived 方 法 如 前 文 所 叙 (3) 新 增 配 置 文 件 /etc/keepalived/keepalived.conf 为 了 跟 第 二 个 lvs 负 载 均 衡 器 做 比 较, 我 在 后 面 把 2 个 配 置 文 件 放 在 一 个 表 格 里 ( 表 6-6), 方 便 查 看 2 负 载 均 衡 器 lvs_2 (1) 安 装 ipvsadm 方 法 如 前 文 所 叙 (2) 安 装 keepalived 方 法 如 前 文 所 叙 (3) 新 增 配 置 文 件 /etc/keepalived/keepalived.conf 负 载 均 衡 器 lvs_1 配 置 文 件 /etc/keepalived/keepalived.conf #guration File for keepalived,writed by sery #global define global_defs { router_id lvs_1 负 载 均 衡 器 lvs_2 配 置 文 件 /etc/keepalived/keepalived.conf #guration File for keepalived,writed by sery #global define global_defs { router_id lvs_2 vrrp_sync_group VGM { group { VI_WEB vrrp_sync_group VGB { group { VI_CTCP vrrp_sync_group VGM { group { VI_CTCP vrrp_sync_group VGB { group { VI_WEB vrrp_instance VI_WEB{ state MASTER interface eth0 lvs_sync_daemon_inteface eth0 virtual_router_id 51 priority 180 advert_int 5 authentication { auth_type PASS auth_pass 1111 virtual_ipaddress { # setting port 80 forward virtual_server { vrrp_instance VI_WEB{ state BACKUP interface eth0 lvs_sync_daemon_inteface eth0 virtual_router_id 51 priority 150 advert_int 5 authentication { auth_type PASS auth_pass 1111 virtual_ipaddress { # setting port 80 forward virtual_server {

28 delay_loop 6 lb_algo wlc lb_kind DR persistence_timeout 10 protocol TCP delay_loop 6 lb_algo wlc lb_kind DR persistence_timeout 10 protocol TCP real_server { connect_port 80 real_server { connect_port 80 real_server { weight 90 connect_port 80 real_server { weight 90 connect_port 80 real_server { connect_port 80 real_server { connect_port 80 real_server { weight 90 connect_port 80 real_server { weight 90 connect_port 80

29 vrrp_instance VI_CTCP { state BACKUP interface eth0 lvs_sync_daemon_inteface eth0 virtual_router_id 52 priority 150 advert_int 5 authentication { auth_type PASS auth_pass 2222 virtual_ipaddress { vrrp_instance VI_CTCP { state MASTER interface eth0 lvs_sync_daemon_inteface eth0 virtual_router_id 52 priority 180 advert_int 5 authentication { auth_type PASS auth_pass 2222 virtual_ipaddress { virtual_server { delay_loop 6 lb_algo wlc lb_kind DR persistence_timeout 50 protocol TCP virtual_server { delay_loop 6 lb_algo wlc lb_kind DR persistence_timeout 50 protocol TCP real_server { connect_port 3000 real_server { connect_port 3000 real_server { real_server { connect_port 3000 real_server { connect_port 3000 real_server {

30 connect_port 3000 real_server { connect_port 3000 connect_port 3000 real_server { connect_port 3000 virtual_server { delay_loop 6 lb_algo wlc lb_kind DR persistence_timeout 50 protocol TCP virtual_server { delay_loop 6 lb_algo wlc lb_kind DR persistence_timeout 50 protocol TCP real_server { connect_port 4000 real_server { connect_port 4000 real_server { real_server { connect_port 4000 real_server { connect_port 4000 real_server {

31 connect_port 4000 real_server { connect_port 4000 connect_port 4000 real_server { connect_port 4000 表 6-6 lvs 负 载 均 衡 器 配 置 文 件 keepalived.conf 多 vrrp_instance 负 载 均 衡 集 群 功 能 测 试 在 进 行 测 试 之 前, 需 要 把 lvs 客 户 端 负 载 均 衡 器 (keepalived) 各 真 实 服 务 器 上 的 服 务 都 启 动, 并 逐 个 检 验 其 正 确 性, 具 体 的 检 查 方 法 可 参 照 本 章 前 面 的 内 容, 不 再 赘 述 健 康 检 查 功 能 ( 故 障 隔 离 ) 测 试 多 vrrp_instance 健 康 检 查 功 能 ( 故 障 隔 离 ) 测 试 的 方 法 与 单 vrrp_instance 相 同 因 多 vrrp_instance 所 涉 及 的 服 务 较 多 ( 本 案 3 个 ), 因 此 需 要 多 花 些 时 间 逐 个 测 试 如 果 多 vrrp_instance 涉 及 的 服 务 很 多, 则 可 采 用 随 机 抽 样 的 方 式 进 行 测 试, 通 过 观 察 lvs 负 载 均 衡 器 的 转 发 状 态 (ipvsadm) 及 lvs 负 载 均 衡 器 的 系 统 日 志 了 解 健 康 检 查 测 试 的 有 效 性 负 载 均 衡 器 失 败 切 换 本 案 的 多 vrrp_instance 负 载 均 衡 环 境 正 常 运 行 后, 每 个 lvs 负 载 均 衡 器 都 有 MASTER 和 BACKUP 两 种 状 态, 每 一 个 lvs 负 载 均 衡 器 都 承 担 转 发 任 务 当 我 们 在 每 个 lvs 负 载 均 衡 器 上 执 行 ipvsadm 时, 其 输 出 结 果 正 好 交 错 的, 即 lvs-1 上 如 果 有 非 0 输 出 时, 则 lvs_2 相 对 应 的 项 为 0; 反 之 亦 然 表 6-7 为 某 运 行 环 境 lvs 负 载 均 衡 器 的 输 出 截 取 对 比 Lvs_1 的 ipvsadm 输 出 ( 部 分 ) Lvs_2 的 ipvsadm 输 出 ( 部 分 ) IP Virtual Server version (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP :9000 wlc persistent 50 -> :9000 Route > :9000 Route IP Virtual Server version (size=4096) Prot LocalAddress:Port Scheduler Flags -> RemoteAddress:Port Forward Weight ActiveConn InActConn TCP :9000 wlc persistent 50 -> :9000 Route > :9000 Route

32 -> :9000 Route > :9000 Route TCP :http wlc persistent 30 -> :http Route > :http Route > :http Route > :http Route > :9000 Route > :9000 Route TCP :http wlc persistent 20 -> :http Route > :http Route > :http Route > :http Route 表 6-7 多 vrrp_instance 负 载 均 衡 器 转 发 输 出 对 比 ( 注 意 观 察 ActiveConn InActConn 的 值 ) 现 在, 我 们 来 停 掉 lvs_1 的 keepalived 进 程, 观 察 lvs_2 的 系 统 日 志, 将 会 发 现 vrrp_instance(vi_web) 从 BACKUP 状 态 变 成 MASTER. 于 是 lvs_2 负 载 均 衡 器 有 了 两 个 MASTER 状 态 ; 另 外 lvs_2 的 ipvsadm 的 输 出 字 段 ActiveConn 的 值 将 全 部 变 成 非 零 同 样, 当 我 们 启 动 lvs_1 的 keepalived 进 程 关 闭 lvs_2 的 keepalived 进 程, 则 lvs_1 的 状 态 都 是 MASTER, 所 有 的 转 发 请 求 都 被 转 移 到 lvs_1 在 上 述 lvs_1 和 lvs_2 手 动 切 换 过 程 中, 我 们 可 以 通 过 在 客 户 端 浏 览 器 地 址 栏 输 入 站 点 名 (dns 解 析 域 名 到 lvs 的 vip), 来 验 证 lvs 的 可 用 性 自 定 义 服 务 可 以 通 过 在 客 户 端 执 行 telnet 及 telnet 来 初 步 验 证 6.5 lvs 负 载 均 衡 集 群 运 行 维 护 当 我 们 把 所 有 的 配 置 做 好 并 通 过 各 项 功 能 测 试 后, 就 可 以 把 这 个 集 群 环 境 正 式 运 行 起 来 ( 这 里 忽 略 其 它 处 理 过 程 ), 但 这 并 不 意 味 着 万 事 大 吉 要 使 负 载 均 衡 环 境 真 正 的 高 可 用 并 符 合 业 务 需 求, 还 有 事 情 需 要 去 做 的 这 些 事 情 包 括 : 负 载 均 衡 环 境 中 对 象 新 增 变 更 及 删 除, 状 态 监 控, 故 障 的 排 查 处 理 等 对 象 新 增 变 更 及 删 除 这 里 的 对 象 包 括 vip 真 实 服 务 器 服 务 (vip+ 端 口 号 ) 等 从 前 面 的 事 例 可 以 得 知, 一 对 负 载 均 衡 器, 可 以 承 担 多 个 服 务 的 转 发 任 务, 因 此 在 运 行 过 程 中, 很 可 能 因 为 业 务 本 身 的 变 化 而 新 增 变 更 或 删 除 对 象 比 如 : 某 个 服 务 负 载 趋 于 饱 和, 需 新 加 服 务 器 ; 有 些 业 务 下 线 了, 需 要 从 转 发 队 列 中 把 服 务 删 除 掉 对 象 增 加 变 更 及 删 除 的 操 作, 涉 及 负 载 均 衡 器 和 真 实 服 务 器 在 负 载 均 衡 器 方 面, 主 要 的 操 作 就 是 修 改 keepalived 的 配 置 文 件 keepalived.conf; 在 真 实 服 务 器 上, 进 行 的 操 作 主 要 是 编 写 lvs 配 置 脚 本 运 行 或 者 关 闭 这 个 配 置 脚 本 在 有 2 个 负 载 均 衡 器 的 lvs 环 境, 所 作 的 配 置 文 件 keepalived.conf 变 更 操 作 要 在 这 两 个 服 务 器 上 都 进 行 一 遍, 以 保 持 配 置 和 服 务 的 一 致 性 当 我 们 进 行 对 象 增 加 变 更 或 删 除 的 操 作 时, 只 要 注 意 好 执 行 的 先 后 顺 序, 就 能 保 证 提 供 的 服 务 不 中 断, 用 户 的 正 常 访 问 不 受 影 响

33 对 象 新 增 假 定 在 负 载 均 衡 环 境 新 增 一 个 web 服 务 器, 其 操 作 顺 序 是 : 1 启 用 新 增 服 务 器 的 web 服 务 2 启 用 新 增 服 务 器 的 lvs 客 户 端 配 置 脚 本 3 检 验 1 和 2 两 步 的 正 确 性 4 修 改 负 载 均 衡 器 的 配 置 文 件 keepalived.conf 5 关 闭 第 一 个 lvs 负 载 均 衡 器, 所 有 的 转 发 服 务 将 切 换 到 另 外 一 个 负 载 均 衡 器 上 6 启 用 5 关 闭 的 那 个 负 载 均 衡 器, 然 后 关 闭 5 中 还 在 运 行 的 那 个 负 载 均 衡 器 7 重 新 启 动 6 所 关 闭 的 负 载 均 衡 器 删 除 对 象 假 定 在 负 载 均 衡 环 境 删 除 一 个 web 服 务 器, 其 操 作 顺 序 是 : 1 关 闭 欲 下 线 服 务 器 的 web 服 务 这 样 负 载 均 衡 器 的 健 康 检 查 会 自 动 把 该 web 服 务 从 转 发 队 列 删 除 掉 2 卸 载 欲 下 线 服 务 器 的 vip 地 址 即 执 行 /usr/local/bin/lvs_real stop 操 作 3 修 改 负 载 均 衡 器 的 配 置 文 件 keepalived.conf 4 关 闭 第 一 个 lvs 负 载 均 衡 器, 所 有 的 转 发 服 务 将 切 换 到 另 外 一 个 负 载 均 衡 器 上 5 启 用 4 关 闭 的 那 个 负 载 均 衡 器, 然 后 关 闭 4 中 还 在 运 行 的 那 个 负 载 均 衡 器 6 重 新 启 动 6 所 关 闭 的 负 载 均 衡 器 变 更 对 象 与 前 两 种 方 式 的 操 作 步 骤 基 本 相 似, 不 再 赘 述 这 里 再 强 调 一 下, 如 果 真 实 服 务 器 上 的 服 务 没 关 闭 而 把 其 上 的 vip 卸 载 的 话, 某 些 用 户 的 请 求 仍 然 会 被 负 载 均 衡 器 转 发 过 来, 导 致 请 求 失 败 因 此, 要 记 住, 无 论 如 何, 请 先 关 服 务! 状 态 监 控 为 了 随 时 随 地 了 解 整 个 lvs 负 载 均 衡 环 境 的 运 行 情 况, 我 们 必 须 对 其 进 行 有 效 的 监 控 当 出 现 异 常 或 故 障 时, 监 控 系 统 能 及 时 有 效 的 通 知 维 护 人 员, 以 便 问 题 得 以 及 时 地 处 理 这 也 是 提 高 可 靠 性 的 一 个 保 障 措 施 有 很 多 开 源 的 或 商 业 类 型 的 监 控 系 统 可 供 选 择, 本 书 选 定 开 源 的 nagios 作 为 监 控 平 台, 关 于 nagios 的 相 关 细 节, 请 参 照 网 络 服 务 及 主 机 资 源 监 控 -nagios 一 章 可 供 nagios 监 控 的 对 象 很 多, 对 lvs 负 载 均 衡 环 境 而 言, 怎 么 选 定 对 象 才 是 最 有 效 的 呢? 这 里 我 们 先 来 回 顾 一 下 lvs 负 载 均 衡 环 境 运 行 时, 其 存 在 的 表 现 形 式 有 哪 些? 1 负 载 均 衡 器 及 真 实 服 务 器 2 各 真 实 服 务 器 上 运 行 的 服 务 3 Lvs 公 用 的 vip 根 据 这 些 表 现 形 式, 我 们 选 取 存 活 检 查 及 服 务 状 态 作 为 监 控 对 象, 就 可 以 清 晰 地 了 解 lvs 负 载 均 衡 环 境 的 运 行 状 况 把 它 具 体 化, 可 分 为 : 1 负 载 均 衡 器 及 真 实 服 务 器 的 存 活 检 查 只 有 这 些 服 务 器 运 行 正 常, 才 可 能 有 其 他 依 赖 服 务

34 2 Vip 的 存 活 检 查 一 般 情 况 下, 启 用 了 lvs 环 境 后, 是 可 以 用 ping 的 方 式 检 查 vip 的 3 真 实 服 务 器 服 务 状 态 检 查 4 Vip 对 应 的 服 务 状 态 检 查 一 般 通 过 check_tcp 加 端 口 号 的 形 式 实 现 如 果 web 集 群, 可 以 以 check_http!url 的 方 式 更 精 确 的 检 查 故 障 处 理 在 对 lvs 运 行 环 境 进 行 有 效 的 监 控 后, 一 旦 有 故 障 或 异 常 发 生, 系 统 管 理 人 员 将 会 得 到 及 时 的 通 知 并 且 这 些 报 警 信 息 往 往 包 含 故 障 的 基 本 情 况, 如 负 载 过 高 主 机 down 了 服 务 严 重 不 可 用 (critical) 磁 盘 空 间 快 满 了 等 等, 这 些 信 息 非 常 有 利 于 系 统 管 理 员 定 位 故 障 点 如 果 没 有 一 个 有 效 的 监 控 系 统, 故 障 的 报 告 往 往 来 自 用 户 的 报 告 这 些 报 告 笼 统 而 模 糊, 可 能 包 含 你 们 的 网 站 不 能 访 问 了 之 类 的 字 眼, 要 定 位 故 障 点, 可 能 会 花 费 更 多 的 时 间 在 知 晓 和 定 位 故 障 以 后, 结 下 来 就 是 分 析 和 处 理 故 障 Lvs 负 载 均 衡 的 故 障 点 可 分 为 : 负 载 均 衡 器 故 障 真 实 服 务 器 故 障 vip 故 障 服 务 故 障 这 几 个 部 分 这 些 故 障 出 现 后, 怎 么 着 手 处 理? 下 面 分 别 论 述 之 负 载 均 衡 器 发 生 故 障 的 检 查 点 1 查 看 系 统 日 志 /var/log/messages, 了 解 内 核 是 否 有 报 错 信 息 因 为 keepalived 的 日 志 也 被 追 加 到 系 统 日 子, 因 此 通 过 系 统 日 志, 也 能 了 解 keepalived 的 运 行 情 况 2 检 查 负 载 均 衡 器 的 网 络 连 通 状 况 这 包 括 ip 地 址 的 设 置 是 否 正 确, 是 否 能 远 程 访 问 ( 如 ping tracert 等 ) 3 检 查 keepalived 的 运 行 情 况 这 包 括 进 程 是 否 处 于 运 行 中,ipvs 模 块 是 否 被 加 载 到 系 统 的 内 核,vip 是 否 被 绑 定 到 网 络 接 口,ipvsadm 是 否 有 输 出 4 检 查 负 载 均 衡 器 的 系 统 负 载 5 检 查 keepalived 的 配 置 文 件 书 写 是 否 正 确 因 为 keepalived 启 动 过 程 不 对 配 置 文 件 做 语 法 检 查, 因 此 在 运 行 前, 必 须 按 需 求 表 逐 项 检 查 配 置 文 件 keepalived.conf 的 内 容 有 时, 就 可 能 就 是 因 为 漏 写 了 一 个 符 号 而 导 致 意 外 的 结 果 配 置 文 件 的 内 容 检 查 还 包 括 主 从 优 先 级 priority 虚 拟 路 由 标 识 virtual_router_id 路 由 标 识 router_id 等 几 个 部 分, 这 些 值 有 些 是 必 须 相 同 的 有 些 则 必 须 不 同 6 检 查 负 载 均 衡 器 是 否 启 用 防 火 墙 规 则 真 实 服 务 器 发 生 故 障 的 检 查 点 1 查 看 系 统 日 志 /var/log/messages, 了 解 内 核 是 否 有 报 错 信 息 2 检 查 服 务 器 的 网 络 连 通 状 况 3 检 查 服 务 是 否 正 常 运 行 可 以 结 合 察 看 进 程 模 拟 用 户 访 问 来 确 定 4 检 查 服 务 器 的 负 载 情 况, 看 哪 些 进 程 占 用 较 高 的 资 源 如 果 暂 停 占 资 源 高 的 进 程, 情 况 会 怎 么 样? 5 检 查 vip 是 否 被 绑 定 Linux 只 能 通 过 ip add 指 令 察 看,freebsd 用 ifconfig 就 可 以 了 6 检 查 主 机 防 火 墙 是 否 被 启 用 如 果 需 要 启 用 主 机 防 火 墙, 则 应 设 置 好 过 滤 规 则 7 从 客 户 端 直 接 访 问 服 务 器 的 服 务, 看 是 否 能 正 常 访 问 这 是 dr 模 式 的 一 个 优 点 vip 发 生 故 障 的 检 查 点 1 检 查 负 载 均 衡 器 的 vip 是 否 被 绑 定

35 2 检 查 负 载 均 衡 器 ipvsadm 的 输 出, 察 看 输 出 的 vip 项 是 否 与 我 们 的 设 定 相 一 致 3 检 查 各 真 实 服 务 器 的 vip 是 否 被 绑 定 4 从 客 户 端 测 试 一 下 vip 的 连 通 情 况, 如 ping vip 5 检 查 vip 地 址 是 否 与 其 它 服 务 器 的 地 址 相 冲 突 服 务 发 生 故 障 检 查 点 1 检 查 服 务 是 否 正 常 运 行 如 查 进 程 模 拟 用 户 访 问 等 2 检 查 系 统 的 负 载 情 况 3 检 查 是 否 启 用 主 机 防 火 墙 一 旦 知 道 问 题 的 所 在, 解 决 问 题 本 身 就 不 再 是 什 么 困 难 的 事 情 了, 因 此 这 里 不 再 一 一 列 举 对 应 的 解 决 方 法 数 据 备 份 Lvs 负 载 均 衡 环 境 需 要 备 份 的 数 据 包 括 keepalived 配 置 文 件 和 lvs 客 户 端 配 置 脚 本 因 为 这 两 个 文 件 都 是 文 本 文 件, 并 且 尺 寸 小 ( 几 k 而 已 ), 因 此 可 以 以 复 制 的 方 式 进 行 备 份 如 果 把 备 份 放 在 windows 环 境 的 话, 尽 量 不 要 用 word 写 字 板 一 类 的 工 具 修 改 它 如 果 用 windows 的 word 之 类 的 工 具 编 辑 这 两 个 文 件, 上 传 到 linux 服 务 器 时, 会 出 现 格 式 问 题, 而 导 致 运 行 错 误 当 然, 可 以 用 dos2unix 修 正 格 式, 或 者 在 vi 的 命 令 模 式 下, 以 :set ff=unix 方 式 转 换 格 式 6.6 杂 项 一 lvs 负 载 均 衡 转 发 模 式 及 调 度 算 法 1 负 载 均 衡 转 发 模 式 包 括 直 接 路 由 模 式 DR 网 络 地 址 转 换 模 式 NAT 以 及 隧 道 模 式 TUN 三 种 在 一 般 的 互 联 网 应 用 环 境, 选 择 直 接 路 由 模 式 是 比 较 有 利 的, 原 因 有 : (1)DR 利 用 大 多 数 Internet 服 务 的 非 对 称 特 点, 负 载 调 度 器 中 只 负 责 调 度 请 求, 而 服 务 器 直 接 将 响 应 返 回 给 客 户, 可 以 极 大 地 提 高 整 个 集 群 系 统 的 吞 吐 量 引 用 自 从 原 理 上 可 以 知 道,DR 模 式 下, 负 载 均 衡 器 的 输 出 和 输 出 流 量 应 该 是 基 本 一 致 的, 图 6-8 证 实 了 这 个 事 实

36 图 6-8 负 载 均 衡 器 流 量 图 (2) 排 错 方 便 迅 速 如 果 通 过 vip 访 问 不 到 服 务, 则 可 以 直 接 通 过 访 问 真 实 服 务 器 的 方 式 直 接 定 位 问 题 的 所 在 (3) 当 负 载 均 衡 器 都 停 止 工 作 时,DR 模 式 易 于 应 急 处 理 通 过 修 改 dns 的 A 记 录, 把 先 前 主 机 名 对 应 的 vip 改 成 真 实 服 务 器 的 ip 地 址, 使 服 务 迅 速 恢 复 起 来, 从 而 赢 得 时 间 处 理 负 载 均 衡 器 的 故 障 2 负 载 均 衡 器 的 调 度 算 法 Lvs 负 载 均 衡 器 的 调 度 算 法 有 8 种, 详 情 请 访 问 一 般 的 互 联 网 应 用, 多 采 用 轮 叫 调 度 rr(round-robin Scheduling) 及 加 权 最 小 连 接 调 度 wlc(weighted Least-Connection Scheduling) 二 lvs 负 载 均 衡 环 境 安 全 问 题 前 面 我 们 讲 过, 在 负 载 均 衡 器 上, 为 了 获 得 更 好 的 转 发 性 能, 尽 量 不 要 使 用 主 机 防 火 墙 那 么, 这 怎 样 保 证 系 统 的 安 全 呢? 个 人 觉 得, 还 是 采 购 硬 件 防 火 墙 放 在 负 载 均 衡 器 的 前 面 比 较

37 可 靠 如 果 资 金 充 裕, 购 买 具 备 防 ddos 的 硬 件 防 火 墙 则 更 胜 一 筹 三 同 义 词 网 上 有 些 词 语 有 不 同 的 说 法, 为 了 便 于 理 解, 这 里 给 出 相 同 意 义 的 一 些 说 法 1 负 载 均 衡 器 与 Director 为 同 义 词 2 真 实 服 务 器 realserver 与 pool server 是 同 义 词 3 ip 负 载 均 衡 技 术 与 负 载 均 衡 模 式 是 同 义 词 四 关 于 负 载 均 衡 器 后 面 真 实 服 务 器 的 数 量 有 人 曾 经 问 我 : sina 是 不 是 做 了 负 载 均 衡? 是 不 是 一 个 负 载 均 衡 器 背 后 放 几 百 个 服 务 器? 理 论 上, 放 几 百 个 服 务 器 没 有 问 题 ( 章 文 嵩 博 士 给 出 的 数 值 是 100), 技 术 上 也 可 能 实 现 但 这 不 是 一 个 好 的 策 略 最 佳 的 策 略 可 能 是 : 根 据 访 问 情 况 对 大 的 应 用 进 行 分 割, 弄 成 一 个 个 小 的 集 群 具 体 到 一 个 网 站, 可 以 把 访 问 量 大 的 频 道 独 立 出 来, 一 个 频 道 或 几 个 频 道 组 成 一 个 lvs 负 载 均 衡 集 群 五 话 题 讨 论 近 来 nginx 很 受 追 捧, 于 是 就 有 人 使 用 了 图 6-9 的 架 构 来 实 现 负 载 均 衡 这 种 3 层 结 构 的 负 载 均 衡 相 对 于 两 层 的 负 载 均 衡 架 构, 谁 优 谁 劣? 欢 迎 讨 论 图 层 结 构 负 载 均 衡