最佳实践产品文档

Transcription

1 负载均衡 最佳实践 产品文档

2 版权声明 腾讯云版权所有 本文档著作权归腾讯云单独所有 未经腾讯云事先书面许可 任何主体不得以任何形式复制 修改 抄袭 传 播全部或部分本文档内容 商标声明 及其它腾讯云服务相关的商标均为腾讯云计算 北京 有限责任公司及其关联公司所有 本文档涉及的第三方 主体的商标 依法由权利人所有 服务声明 本文档意在向客户介绍腾讯云全部或部分产品 服务的当时的整体概况 部分产品 服务的内容可能有所调整 您所购买的腾讯云产品 服务的种类 服务标准等应由您与腾讯云之间的商业合同约定 除非双方另有约定 否则 腾讯云对本文档内容不做任何明示或模式的承诺或保证 第2页

3 文档目录 文档声明... 2 负载均衡七层转发获取来访真实IP的方法... 4 注册域名并添加CNAME记录的方法 SSL证书格式要求及格式转换说明 均衡算法选择与权重配置实例 负载均衡开启Gzip配置及检测方法说明 第3页

4 负载均衡七层转发获取来访真实IP的方法 由于4层负载均衡 TCP协议 服务可以直接在后端CVM上获取来访者真实IP地址 无需进行额外的配 置 以下介绍的内容均是针对7层 HTTP协议 的负载均衡服务而言 7层负载均衡系统提供X-Forwarded-For的方式获取访问者真实IP 默认开启 以下针对常见的应用服务器配置方案进行介绍 1. IIS 6 配置方案 1) 安装插件F5XForwardedFor.dll 根据自己的服务器操作系统版本将x86\Release或者x64\Release目录下的 F5XForwardedFor.dll拷贝到某个目录 这里假设为C:\ISAPIFilters 同时确保对IIS进程对该目录有读取权限 2) 打开IIS管理器 找到当前开启的网站 在该网站上右键选择 属性 打开属性页 3) 在属性页切换至 ISAPI筛选器 点击 添加 按钮 出现添加窗口 4) 在添加窗口 筛选器名称 填写 F5XForwardedFor 可执行文件 填写F5XForwardedFor.dll的完整 路径 点击确定 5) 重启IIS服务器 等待配置生效 2. IIS 7 配置方案 1) 下载与安装插件F5XForwardedFor模块 根据自己的服务器操作系统版本将x86\Release或者x64\Release 目录下的F5XFFHttpModule.dll和F5XFFHttpModule.ini拷贝到某个目录 这里假设为C: \F5XForwardedFor 确保对IIS进程对该目录有读取权限 2) 选择 IIS服务器 选项 按图所示选择 模块 功能 第4页

5 3) 双击 模块 功能 点击 配置本机模块 4) 在弹出框中点击 注册 按钮 第5页

6 5) 添加下载的DLL文件 如下图 第6页

7 6) 添加完成后 勾选并点击 确定 7) 把这两个DLL在 API 和CGI限制 进行添加 并改为允许 8) 重启IIS服务器 等待配置生效 第7页

8 3. Apache配置方案 1) 安装apache第三方模块 mod_rpaf wget tar zxvf mod_rpaf-0.6.tar.gz cd mod_rpaf-0.6 /usr/bin/apxs -i -c -n mod_rpaf-2.0.so mod_rpaf-2.0.c 2) 修改apache配置/etc/httpd/conf/httpd.conf 在最末尾添加 LoadModule rpaf_module modules/mod_rpaf-2.0.so RPAFenable On RPAFsethostname On RPAFproxy_ips ip地址 这个ip地址首先不是负载均衡提供的公网ip 具体ip多少可以看一下apache日志 通常会有2个 都要写上 RPAFheader X-Forwarded-For 3) 添加完成后重启apache /usr/sbin/apachectl restart 4. Nginx配置方案 1) Nginx作为负载均衡获取真实ip是使用http_realip_module 默认安装的Nginx是没有安装这个模块的 需 要重新编译Nginx增加 --with-http_realip_module wget tar zxvf nginx tar.gz cd nginx /configure --user=www --group=www --with-http_stub_status_module --without-httpcache --with-http_ssl_module --with-http_realip_module 第8页

9 make make install 2) 修改nginx.conf vi /etc/nginx/nginx.conf 修改如下红色部分 fastcgi connect_timeout 300; fastcgi send_timeout 300; fastcgi read_timeout 300; fastcgi buffer_size 64k; fastcgi buffers 4 64k; fastcgi busy_buffers_size 128k; fastcgi temp_file_write_size 128k; set_real_ip_from ip地址; 这个ip地址首先不是负载均衡提供的公网ip 具体ip多少可以看一下之前nginx日志 如果有多个都要写上 real_ip_header X-Forwarded-For; 3) 重启nginx service nginx restart 第9页

10 第10页

11 注册域名并添加CNAME记录的方法 目前负载均衡公网有日租型产品 支持A记录和CNAME的绑定 用户可通过注册域名并添加A记录和CNAME记进行访问 1. 域名注册 注册域名可以通过打开域名注册页面 进行域名查询和注册 相关文档可以参考如何注册域名 2. 添加CNAME记录 2.1. 进入域名解析页面 登录腾讯云 管理中心 - 云产品 - 域名管理 - 解析, 示例的主域名为qcloudtest.com 2.2. 添加CNAME记录 在 解析 页面 点击 添加 用户可以添加CNAME记录 操作指引如下 a. 主机记录可以按照需求说明填写 主机记录就是域名前缀 常见用法有 www 解析后的域名为 第11页

12 @ 直接解析主域名 qcloudtest.com 泛解析 匹配其他所有域名.qcloudtest.com b. 记录类型用户可选CNAME记录 各个记录类型如下 A记录 地址记录 用来指定域名的IPv4地址 如 如果需要将域名指向一个IP地址 就需 要添加A记录 CNAME 如果需要将域名指向另一个域名 再由另一个域名提供ip地址 就需要添加CNAME记录 TXT 在这里可以填写任何东西 长度限制255 绝大多数的TXT记录是用来做SPF记录 反垃圾邮件 NS 域名服务器记录 如果需要把子域名交给其他DNS服务商解析 就需要添加NS记录 AAAA 用来指定主机名 或域名 对应的IPv6地址 例如 ff06:0:0:0:0:0:0:c3 记录 MX 如果需要设置邮箱 让邮箱能收到邮件 就需要添加MX记录 显性URL 从一个地址301重定向到另一个地址的时候 就需要添加显性URL记录 注 DNSPod目前 只支持301重定向 隐性URL 类似于显性URL 区别在于隐性URL不会改变地址栏中的域名 SRV 记录了哪台计算机提供了哪个服务 格式为 服务的名字 点 协议的类型 例如 _xmppserver._tcp c. 线路是为了让指定线路的用户访问这个IP 若空间商只提供了一个 IP 地址或域名 选择 默认 就可以了 常见用法有 默认 必须添加 否则只有单独指定的线路才能访问您的网站 如果双线解析 建议 默认 线路填写 电信IP 联通 单独为 联通用户 指定服务器 IP 其他用户依然访问 默认 搜索引擎 指定一个服务器 IP 让蜘蛛抓取 d. CNAME记录值主要填写空间商给您提供的域名 各类型的记录值一般是这样的 A记录 填写您服务器 IP 如果您不知道 请咨询您的空间商 CNAME记录 填写空间商给您提供的域名 第12页

13 例如 负载均衡中LB实例的域名1b16c9-0.gz clb.myqcloud.com MX记录 填写您邮件服务器的IP地址或企业邮局给您提供的域名 如果您不知道 请咨询您的邮件服 务提供商 TXT记录 一般用于 Google QQ等企业邮箱的反垃圾邮件设置 显性URL记录 填写要跳转到的网址 例如 隐性URL记录 填写要引用内容的网址 例如 AAAA 不常用 解析到 IPv6 的地址 NS记录 不常用 系统默认添加的两个NS记录请不要修改 NS向下授权 填写dns域名 例如 f1g1 ns1.dnspod.net SRV记录 不常用 格式为 优先级 空格 权重 空格 端口 空格 主机名 记录生成后会自动在 域名后面补一个. 这是正常现象 例如 xmpp-server.l.google.com. 其余值可以按照默认进行操作 添加完毕后 点击 确定 2.3. 查看CNAME记录 添加记录完毕后 可以在 解析 页面查看所添加的CNAME记录 并对其进行修改 管理等操作 2.4. 测试解析结果 用户为测试域名是否解析正常 可以直接访问绑定后的CNAME域名 如例子中的 第13页

14 注: 解析大概需要十分钟左右生效 第14页

15 SSL证书格式要求及格式转换说明 1. 常用证书申请流程 本地生成私钥:openssl genrsa -out privatekey.pem 2048 其中privateKey.pem为您的私钥文件 请妥善保管 生成证书请求文件:openssl req -new -key privatekey.pem -out server.csr 其中server.csr是您的证书请求文件 可用其去申请证书 获取请求文件中的内容前往CA等机构站点申请证书 2. 证书格式要求 用户要申请的证书为 linux环境下pem格式的证书 负载均衡不支持其他格式的证书 如是其它格式 的证书请参考本文 负载均衡支持的证书格式及转换方式 部分内容 如果是通过root CA机构颁发的证书 您拿到的证书为唯一的一份 不需要额外的证书 配置的站点即可被浏览器等访问设备认为可信 如果是通过中级CA机构颁发的证书 您拿到的证书文件包含多份证书 需要人为的将服务器证书与中 间证书合并在一起上传 当您的证书有证书链时 请将证书链内容 转化为PEM格式内容 与证书内容合并上传 拼接规则为 服务器证书放第一份 中间证书放第二份 中间不要有空行 注 一般情况下 机构在颁 发证书的时候会有对应说明 请注意规则说明 以下为证书格式和证书链格式范例 请确认格式正确后上传 1 root CA机构颁发的证书 证书格式为linux环境下pem格式 样例如下 第15页

16 证书规则为 [ -BEGIN CERTIFICATE -, -END CERTIFICATE -] 开头和结尾 请将这些内容一并上传 每行64字符 最后一行不超过64字符 2 中级机构颁发的证书链 -BEGIN CERTIFICATE -END CERTIFICATE -BEGIN CERTIFICATE -END CERTIFICATE -BEGIN CERTIFICATE -END CERTIFICATE - 证书链规则 证书之间不能有空行 每一份证书遵守第一点关于证书的格式说明 第16页

17 3. RSA私钥格式要求 样例如下 rsa私钥可以包括所有私钥 RSA 和 DSA 公钥 RSA 和 DSA 和 (x509) 证书 它存储用 Base64 编码的 DER 格式数据 用 ascii 报头包围 因此适合系统之间的文本模式传输 rsa私钥规则 [ -BEGIN RSA PRIVATE KEY -, -END RSA PRIVATE KEY -] 开头结尾 请将这些内容一并上传 每行64字符 最后一行长度可以不足64字符 如果您不是按照上述方案生成私钥 得到[ -BEGIN PRIVATE KEY -, -END PRIVATE KEY -] 这种样式的私钥 您可以按照如下方式转换 openssl rsa -in old_server_key.pem -out new_server_key.pem 第17页

18 然后将new_server_key.pem的内容与证书一起上传 4. 证书转换为PEM格式说明 目前负载均衡只支持PEM格式的证书 其他格式的证书需要转换成PEM格式后才能上传到负载均衡中 建议通 过openssl 工具进行转换 下面是几种比较流行的证书格式转换为PEM格式的方法 4.1. DER转换为PEM DER格式一般出现在java平台中 证书转换 openssl x509 -inform der -in certificate.cer -out certificate.pem 私钥转换 openssl rsa -inform DER -outform PEM -in privatekey.der -out privatekey.pem 4.2. P7B转换为PEM P7B格式一般出现在windows server和tomcat中 证书转换 openssl pkcs7 -print_certs -in incertificat.p7b -out outcertificate.cer 获取outcertificat.cer里面 [ -BEGIN CERTIFICATE - -END CERTIFICATE -] 的内容作为证书上传 私钥转换 无私钥 4.3. PFX转换为PEM PFX格式一般出现在windows server中 证书转换 openssl pkcs12 -in certname.pfx -nokeys -out cert.pem 私钥转换 openssl pkcs12 -in certname.pfx -nocerts -out key.pem -nodes 第18页

19 均衡算法选择与权重配置实例 1. 负载均衡算法比较分析 1.1. 加权轮询算法 Weighted Round-Robin Scheduling 原理 轮叫调度算法就是以轮叫的方式依次将请求调度不同的服务器 即每次调度执行i = (i + 1) mod n 选出第i台服务器 加权轮叫调度算法可以解决服务器间性能不一的情况 它用相应的权值表示服务 器的处理性能 按权值的高低和轮叫方式分配请求到各服务器 权值高的服务器先收到的连接 权值高 的服务器比权值低的服务器处理更多的连接 相同权值的服务器处理相同数目的连接数 优势 算法的优点是其简洁性 和实用性 它无需记录当前所有连接的状态 所以它是一种无状态调度 劣势 加权轮叫调度算法相对简单 但不适用于请求服务时间变化比较大 或者每个请求所消耗的时间不一 致的情况 此时轮叫调度算法容易导致服务器间的负载不平衡 适用场景 每个请求所占用的后端时间基本相同 负载情况最好 常用于短连接服务 例如 HTTP 等服务 用户推荐 用户可知每个请求所占用后端时间基本相同时 如已知rs处理的都是同类型或者相似类型的请求时 推荐选择加权轮询的方式 当请求时间相差较小时也推荐使用加权轮询的方式 因为该实现方式消耗小 无需遍历 效率较高 1.2. 加权最小连接数 Weighted Least-Connection Scheduling 原理 在实际情况中 客户端的每一次请求服务在服务器停留的时间可能会有较大的差异 随着工作时间的 延伸 如果采用简单的轮询或随机均衡算法 每一台服务器上的连接进程数目可能会产生极大的不同 这样实际上并没有达到真正的负载均衡 最小连接调度是一种动态调度算法 它通过服务器当前所活跃 的连接数来估计服务器的负载情况 与轮询调度算法相反 最小连接调度是一种动态调度算法 它通过 第19页

20 服务器当前所活跃的连接数来估计服务器的负载情况 调度器需要记录各个服务器已建立连接的数目 当一个请求被调度到某台服务器 其连接数加1; 当连接中止或超时 其连接数减一 权重最少连接数 调度算法是在做少连接数调度算法的基础上 根据服务器的不同处理能力 给每个服务器分配不同的权 值 使其能够接受相应权值数的服务请求 是在最少连接数调度算法的基础上的改进 1 假设各台rs的权值依次为wi,当前连接数依次为ci,依次计算ci/wi,值最小的rs作为下一个分配的rs 2 如果存在ci/wi相同的rs 这些rs再使用加权轮训的方式调度 优势 此种均衡算法适合长时处理的请求服务 如FTP等应用 劣势 由于接口限制 目前最小连接数和会话保持功能不能同时开启 适用场景 每个请求所占用的后端时间相差较大的场景 常用于长连接服务 用户推荐 如果用户需要处理不同的请求 且请求所占用后端时间相差较大 如3ms和3s这种数量级的差距时 推荐使用加权最小连接数算法实现负载均衡 1.3. 源地址散列调度算法 ip_hash 原理 根据请求的源IP地址 作为散列键 Hash Key 从静态分配的散列表找出对应的服务器 若该 服务器是可用的且未超载 将请求发送到该服务器 否则返回空 优势 可以使某一client请求通过hash表一直映射在一台rs上 因此在不支持会话保持的场景可以使用ip_h ash进行调度 用户推荐 将请求的源地址进行hash运算 并结合后端的服务器的权重派发请求至某匹配的服务器 这可以使 得同一个客户端IP的请求始终被派发至某特定的服务器 该方式适合负载均衡无cookie功能的TCP协议 2. 均衡算法选取及权重配置实例 第20页

21 在负载均衡即将发布的新功能中 七层转发将支持最小连接数的均衡方式 为了让用户在不同场景下 能够让RS集群稳定的承接业务 因此我们给出几个负载均衡选择与权重配置的实 例供用户进行参考 场景1 设有3台配置相同 CPU / 内存 的RS 由于性能一致 用户可以将RS权重都设置为10 设现在每台R S与client端建立了100个TCP链接 此时新增1台RS 在此场景下 推荐用户使用最小连接数的均衡方 式 这种配置能快速的让第四台RS的负载提升 降低另外3台RS的压力 场景2 设用户首次接触云服务 且建站时间不长 网站负载较低 则建议购买相同配置的RS 因此RS都是无 差别的接入层服务器 在此场景下 用户可以将RS权重都设为10 采用加权轮询的均衡方式进行流量 分发 场景3 用户有5台服务器 用与承载简单的静态网站访问 且5台服务器的计算能力的比例为 按CPU 内存换算 在此场景下 用户可以依次将RS权重比例设置为 由 于静态网站访问大多数是短连接请求 因此可以采用加权轮询的均衡方式 让CLB按RS的性能比例分配 请求 场景4 某用户有10台RS用于承担海量的WEB访问请求 且不希望多购置RS增加支出 某台RS经常会因为负 载过高 导致服务器重启 在此场景下 建议用户根据RS的性能进行相应的权重设置 给负载过高的R S设置较小的权值 除此之外 可以采用最小连接数的负载均衡方式 将请求分配到活跃连接数较少的 RS上 从而解决某台RS负载过高的问题 场景5 某用户有3台RS用于处理若干长连接请求 且这3太服务器的计算能力比例为3 1 1 按CPU 内存 换算 此时性能最好的服务器处理请求较多 用户不希望过载此服务器 希望能够将新的请求分配 到空闲服务器上 在此场景下 可以采用最小连接数的均衡方式 并适当降低繁忙服务器的权重 便于 CLB将请求分配到活跃数较少的RS上 实现负载均衡 第21页

22 场景6 某用户希望后续客户端的请求可以分配到同一服务器上 而采用加权轮询或加权最小连接数的方式 不 能保证相同客户端的请求被分到固定某台服务器上去 为了配合客户特定应用程序服务器的需求 保证 客户端的会话具有 粘性 或是 持续性 在此场景下 我们可以采用ip_hash的均衡方式进行流量 分发 此方法可以确保来自同一客户端的请求总被定向分发到同一RS上去 服务器数量变化或是该 服务器不可用时除外 第22页

23 负载均衡开启Gzip配置及检测方法说明 在公网有日租型的负载均衡实例中 http/https协议 支持用户开启Gzip压缩功能 用户开启Gzip压缩后 浏览器端不需要进行配置 主流浏览器都支持Gzip功能 对于云服务器端 用户需要配置可使用Gzip的http最低版本为http 1.0 因为在腾讯云内部使用的是http1.0 协议 而客户RS端如不做配置 使用的是nginx默认配置 即http1.1版本 因此会出现不兼容的问题 下面的 例子展示了Gzip配置的修改方法 示例RS运行环境 Debian 6 1. 使用vim依据用户路径打开Nginx配置文件 vim /etc/nginx/nginx.conf 2. 找到如下代码进行修改 gzip on; gzip_min_length 1k; gzip_buffers 4 16k; gzip_http_version 1.0; gzip_comp_level 2; 部分代码功能如下 第1行 开启Gzip 第2行 不压缩临界值 大于1K的才压缩 一般不用改 第3行 buffer不用改 第4行 nginx默认是http/1.1 腾讯云支持的最低版本是HTTP/1.0 因此需要改为 gzip_http_version 1.0; 第5行 压缩级别 1-10 数字越大压缩的越好 时间也越长 3. 将文件保存退出 进入到Nginx bin文件目录 执行如下命令重新加载Nginx./nginx -s reload 第23页

24 4. 使用curl命令测试Gzip是否成功开启 curl -I -H "Accept-Encoding: gzip, deflate" " Powered by TCPDF ( 第24页