当用户浏览器发出一个 HTTP 请求时, 通过域名解析将请求定向到反向代理服务器 ( 如果要实现多个 WEB 服务器的反向代理, 需要将多个 WEB 服务器的域名都指向反向代理服务器 ) 由反向代理服务器处理器请求反向代理一般只缓存可缓冲的数据 ( 比如 html 网页和图片等 ), 而一些 CG

Size: px

Start display at page:

Download "当用户浏览器发出一个 HTTP 请求时, 通过域名解析将请求定向到反向代理服务器 ( 如果要实现多个 WEB 服务器的反向代理, 需要将多个 WEB 服务器的域名都指向反向代理服务器 ) 由反向代理服务器处理器请求反向代理一般只缓存可缓冲的数据 ( 比如 html 网页和图片等 ), 而一些 CG"

佩圆寿
6 years ago
Views:

1 一反向代理的概念什么是反向代理呢? 其实, 反向代理也就是通常所说的 WEB 服务器加速, 它是一种通过在繁忙的 WEB 服务器和 Internet 之间增加一个高速的 WEB 缓冲服务器 ( 即 :WEB 反向代理服务器 ) 来降低实际的 WEB 服务器的负载典型的结构如下图所示 : Web 服务器加速 ( 反向代理 ) 是针对 Web 服务器提供加速功能的它作为代理 Cache, 但并不针对浏览器用户, 而针对一台或多台特定 Web 服务器 ( 这也是反向代理名称的由来 ) 实施反向代理( 如上图所示 ), 只要将 Reverse Proxy Cache 设备放置在一台或多台 Web 服务器前端即可当互联网用户访问某个 WEB 服务器时, 通过 DNS 服务器解析后的 IP 地址是 Reverse Proxy Server 的 IP 地址, 而非原始 Web 服务器的 IP 地址, 这时 Reverse Proxy Server 设备充当 Web 服务器, 浏览器可以与它连接, 无需再直接与 Web 服务器相连因此, 大量 Web 服务工作量被卸载到反向代理服务上不但能够防止外部网主机直接和 web 服务器直接通信带来的安全隐患, 而且能够很大程度上减轻 web 服务器的负担, 提高访问速度二反向代理工作原理反向代理服务器位于本地 WEB 服务器和 Internet 之间, 如下图所示 :

2 当用户浏览器发出一个 HTTP 请求时, 通过域名解析将请求定向到反向代理服务器 ( 如果要实现多个 WEB 服务器的反向代理, 需要将多个 WEB 服务器的域名都指向反向代理服务器 ) 由反向代理服务器处理器请求反向代理一般只缓存可缓冲的数据 ( 比如 html 网页和图片等 ), 而一些 CGI 脚本程序或者 ASP 之类的程序不缓存它根据从 WEB 服务器返回的 HTTP 头标记来缓冲静态页面三具体搭建过程 1 安装 squid wget tar zxvf squid-3.0.stable15.tar.gz cd squid-3.0.stable15./configure --prefix=/usr/local/squid \ --enable-dlmalloc \ --enable-gnuregex \ --enable-async-io \ --enable-removal-policies='heap,lru' \ --enable-delay-pools \ --enable-snmp \ --enable-storeio='ufs,aufs,null' \ --disable-wccp \ --enable-kill-parent-hack \ --disable-select \ --enable-auth=basic \ --with-aio \ --disable-ident-lookup \

3 --with-filedescriptors= \ --enable-epoll \ --enable-linux-netfilter \ --enable-underscore \ --enable-arp-acl \ --enable-arp-acl \ --enable-cache-digests \ --enable-icmp \ --enable-large-cache-file \ --with-large-files \ --localstatedir=/var/squid \ --enable-stacktraces make && make install 相关编译参数说明 : --prefix=/usr/local/squid 指定 squid 日志, 二进制文件和配置文件的默认位置,squid 会将 var 目录也放在这下面, 在这个目录下面会有日志文件, 日志文件通常会很大, 因此建议将其放在较大的磁盘下面, 你可以使用 localstatedir 选项 --localstatedir=/bigdisk/var 指定 var 目录的安装位置 --enable-dlmalloc[=lib] 在一些系统上, 内建的内存分配机制 (malloc) 在使用 squid 时表现不尽人意使用 --enable-dlmalloc 选项将 squid 源代码包中的 dlmalloc 包编译和链接进来假如你的系统中已安装 dlmalloc, 你能使用 =LIB 参数指定库的路径请更多关于 dlmalloc 的信息 --enable-gnuregex 在访问控制列表和其他配置指令里,squid 使用正则表达式作为匹配机制 GNU 的正则表达式库包含在 squid 的源代码包里 ; 它可以在没有内建正则表达式的操作系统中使用./configure 脚本侦察你系统中的正则表达式库, 假如必要, 它可以激活使用 GNU 正则表达式如果因为某些理由, 你想强制使用 GNU 正则表达式, 你可以将这个选项加到./configure 命令后 --enable-async-io[=n_threads] 异步 I/O 是 squid 技术之一, 用以提升存储性能 aufs 模块使用大量的线程来执行磁盘 I/O 操作该代码仅仅工作在 linux 和 solaris 系统中 =N_THREADS 参数改变 squid 使用的线程数量 aufs 在多 cup 系统上优势更为明显, 设置的线程数量不要过多 squid 默认根据缓存目录的数量, 自动计算需要使用多少线程 --enable-removal-policies='heap,lru' 排除策略是 squid 需要腾出空间给新的 cache 目标时, 用以排除旧目标的机制 squid-2.5 支持 3 个排除策略 : 最少近期使用 (LRU), 贪婪对偶大小 (GDS), 最少经常使用 (LFU) LRU 是默认的, 它以双链表数据结构执行 --enable-delay-pools 延时池是 squid 用于传输形状或带宽限制的技术该池由大量的客户端 IP 地址组成当来自这些客户端的请求处于 cache 丢失状态, 他们的响应可能被人工延迟 --enable-snmp

4 简单网络管理协议 (SNMP) 是监视网络设备和服务器的流行方法该选项导致编译过程去编译所有的 SNMP 相关的代码, 包括一个裁切版本的 CMU SNMP 库 --enable-cachemgr -hostname[=hostname] cachemgr 是一个 CGI 程序, 你能使用它来管理查询 squid 默认 cachemgr 的 hostname 值是空的, 但你能使用该选项来指定一个默认值 --enable-htcp HTCP 是超文本缓存协议 -- 类似于 ICP 的内部缓存协议 --enable-ssl 使用该选项赋予 squid 终止 SSL/TLS 连接的能力注意这仅仅工作在 web 加速器中用以加速请求 --with-openssl[=dir] 假如必要, 你使用该选项来告诉 squid 到哪里找到 OpenSSL 库或头文件假如它们不在默认位置, 在该选项后指定它们的父路径例如 :./configure --enable-ssl --with-ssl=/opt/foo/openssl, 在这个例子中, 你的编译器将在 /opt/foo/openssl/include 目录中找头文件, 在 /opt/foo/openssl/lib 中找库文件 --enable-cache-digests Cache 消化是 ICP 的另一个替代, 但有着截然不同的特性 --enable-err-languages="simplify_chinese" --enable-default-err-languages="simplify_chinese" 上面两个选项告诉 Squid 编入并使用简体中文错误信息 squid 支持定制错误消息, 错误消息可以用多种语言报告该选项指定复制到安装目录 ($prefix/share/errors) 的语言假如你不使用该选项, 所有可用语言被安装想知道何种语言可用, 请见源代码包里 errors 目录下的目录列表 --enable-epoll: 使用 epoll 模型 ( 只支持 2.6 内核 ) --enable-linux-netfilter: 可以支持透明代理 --enable-underscore: 允许解析的 URL 中出现下划先, 因为默认 squid 会认为带下划线的 URL 地址是非法的, 并拒绝访问该地址 --enable-arp-acl: 可以在规则设置中直接通过客户端的 MAC 地址进行管理, 防止客户使用 IP 欺骗 --disable-ident-lookups: 防止系统使用 RFC931 规定的身份识别方法 --enable-cahce-digests: 加快请求时, 检索缓存内容的速度 --enable-icmp: 加入 icmp 支持 --enable-kill-parent-hack: 关掉 suqid 的时候, 要不要连同父进程一起关掉, 这个当然要啦 --with-filedescriptors=102400: 设置 squid 可以同时打开的文件数, 此参数比较重要 2 创建 squid 用户和组 :

5 useradd squid -M -c "Squid user" -d /dev/null -s /sbin/nologin 3 配置 squid rm -f /usr/local/squid/etc/squid.conf vi /usr/local/squid/etc/squid.conf 使用以下内容 : cache_effective_user squid cache_effective_group squid visible_hostname squid.test.com http_port 80 accel vhost vport cache_peer parent no-query originserver acl all src http_access allow all cache_log /var/squid/logs/cache.log acl QueryString url_regex \.php? no_cache deny QueryString maximum_object_size KB maximum_object_size_in_memory 512 KB 参数说明 : cache_effective_user cache_effective_group 表明运行 squid 进程的用户和组都为 squid visible_hostname squid 服务器的名称, 没有这项服务启动不了 http_port 80 accel vhost vport 表明 squid 监听本机 80 端口加速 web 访问, 后面的 vhost 和 vport 必须加 cache_peer parent no-query originserver 设置真实服务器, 上面的选项表明为加速端口的访问 acl all src http_access allow all cache_log /var/squid/logs/cache.log acl QueryString url_regex \.php? no_cache deny QueryString 访问控制与日志的存放位置, 上面的选项表明允许所有的访问, 日志存放于 /var/squid/logs/, 不缓存.php 文件 maximum_object_size KB 最大缓存文件大小 maximum_object_size_in_memory 512 KB 内存中缓存文件大小

6 4 优化 linux 内核 linux 内核的优化根据具体情况来定, 其中比较重要的参数有 : net.ipv4.tcp_max_tw_buckets = 6000 表示允许的最多 timewait 数量, 这个值根据服务器的情况来定, 不建议太高 net.ipv4.ip_local_port_range = 允许 tcp 连接打开的端口范围, 上面指定为参考优化参数 :( 将此参数插入到 /etc/sysctl.conf 文件中 ) net.ipv4.ip_forward = 0 net.ipv4.conf.default.rp_filter = 1 net.ipv4.conf.default.accept_source_route = 0 kernel.sysrq = 0 kernel.core_uses_pid = 1 net.ipv4.tcp_syncookies = 1 kernel.msgmnb = kernel.msgmax = kernel.shmmax = kernel.shmall = net.ipv4.tcp_max_tw_buckets = 6000 net.ipv4.tcp_sack = 1 net.ipv4.tcp_window_scaling = 1 net.ipv4.tcp_rmem = net.ipv4.tcp_wmem = net.core.wmem_default = net.core.rmem_default = net.core.rmem_max = net.core.wmem_max = net.core.netdev_max_backlog = net.core.somaxconn = net.ipv4.tcp_max_orphans = net.ipv4.tcp_max_syn_backlog = net.ipv4.tcp_timestamps = 0 net.ipv4.tcp_synack_retries = 2 net.ipv4.tcp_syn_retries = 2 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_mem = net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_fin_timeout = 1 net.ipv4.tcp_keepalive_time = 60 net.ipv4.ip_local_port_range = 运行命令使其生效 :

7 sysctl -p 5 创相关目录并启动 squid mkdir /var/squid chown -R squid.squid /var/squid ln -s /usr/local/squid/sbin/squid /usr/sbin/ ln -s /usr/local/squid/bin/squidclient /usr/bin/ ulimit -SHn squid -z squid 查看 squid 服务是否正常启动, 端口是否打开 netstat -an grep 80 6 测试首先创建一个测试页面, 这里给出一个包含 js,css 以及一些图片文件的页面 : 下载文件点击这里下载文件将这个页面在真实服务器上通过 apache 或其他 web 服务发布分别在两台服务器上使用 webbench 同时进行测试,webbench 下载与安装方法 : 使用如下命令 : webbench -c t 在 squid 服务器使用如下命令查看 tcp 连接数 : netstat -n awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 一般情况下服务器应该可以承受个左右的并发, 下面贴一张我的测试结果 :

8 参考文档 :

第一章　Linux與網路資源

第一章　Linux與網路資源 1 28 Proxy Server 28-1 Proxy proxy Server rpm qa grep squid Linux Proxy Proxy Proxy Proxy Proxy Request Proxy Proxy Proxy RedHat Linux Fedora #mount /mnt/cdrom squid squid Proxy #cd /mnt/cdrom/redhat/rpms