致远协同管理软件 WEB 部署手册 北京致远互联软件股份有限公司 2019 年 8 月 北京致远互联软件股份有限公司 1 / 16 www.seeyon.com
前言 本手册对协同管理系统支持的 web 服务部署相关事宜进行说明 如对手册存在疑问, 可与致远互联的客户服务人员联系 北京致远互联软件股份有限公司 2 / 16 www.seeyon.com
目录 致远协同管理软件... 1 WEB 部署手册... 1 1 Web 服务配置... 4 2 Apache 部署及配置... 5 2.1 Apache 部署... 5 2.1.1 Windows 系统部署... 5 2.1.2 Linux 系统部署... 6 2.2 配置文件修改... 7 2.3 集群或代理配置... 8 2.4 启用 HTTPS 配置... 10 3 Nginx 部署及配置... 11 3.1 Nginx 安装... 11 3.2 Nginx 配置... 12 3.3 Nginx 启动... 14 3.4 参数调优... 14 3.5 启用 https 配置... 14 4 F5 的配置说明... 16 北京致远互联软件股份有限公司 3 / 16 www.seeyon.com
1 Web 服务配置 Web 服务可以为协同系统的单机环境提供 Web 访问, 为协同系统的集群环境提供 Web 访问以及负载均衡 协同系统的集群要求对应的 web 服务在做负载均衡时支持会话保持机制 会话保持机制的意义在于, 确保将来自相同客户端的请求, 转发至后端相同的服务器进行处理 换句话说, 就是将客户端与服务器之间建立的多个连接, 都发送到相同的服务器进行处理 这种机制, 可以识别客户端与服务器之间交互过程的关联性, 在负载均衡的同时, 保证一系列相关联的访问请求分配到同一台服务器上 依据实际情况, 可自由选择 Apache Nginx F5 或其他 web 服务软硬件设施 以下章节对 Apache Nginx F5 在做 web 服务时的部署及配置注意事项进行说明 北京致远互联软件股份有限公司 4 / 16 www.seeyon.com
2 Apache 部署及配置 可以根据实际情况调整 Apache 的版本 建议使用 Apache 对应系列的最新版本 以下 Apache 部署及配置的说明以 2.4.29 版本为基础 ; Apache 2.4. 系列不再支持 windows2003, 若使用 windows2003 请更换 Apache2.2 系列 使用 https 需在 SeeyonConfig 中设置服务器配置为 : 单机 (HTTPS) 或集群 / 双机, 如图 : 2.1 Apache 部署 2.1.1 Windows 系统部署 安装包获取 : 从 Apache 官方合作网站下载 :https://www.apachehaus.com/cgi-bin/download.plx 依赖包安装安装对应版本的 vc_redist 程序 Apache 安装 1) 解压下载的 Apache 程序压缩包至 WEB 服务器 Apache 所在目录, 如 D:\Apache 2) 调整 Apache\Windows\conf\httpd.conf 文件中 Apache 所在绝对路径, 如 : 替换 httpd.conf 中 c:/apache24 为 D:/Apache24 3) 注册 Apache 为 Windows 服务 ( 在 cmd 命令提示符中, 执行以下命令 ): cd /d D:\Apache\bin httpd -k install Apache 服务启停检查配置文件正确性 : d:\apache\bin\httpd t 启动服务 : d:\apache\bin\httpd start 或使用 Windows 服务项中启动 Apache 服务 停止服务 : d:\apache\bin\httpd stop 或使用 Windows 服务项中停止 Apache 服务 北京致远互联软件股份有限公司 5 / 16 www.seeyon.com
2.1.2 Linux 系统部署 安装包获取从 Apache 官网下载 ( https://httpd.apache.org/download.cgi ) 依赖包安装 ( 可从 Apache 下载 ) 安装 pcre( 下载地址 :https://www.pcre.org/), 解压并拷贝下载后的安装程序到 /home 目录下下, 执行以下命令进行 pcre 的安装 cd /home/pcre-8.41./configure --prefix=/usr/local/pcre make make install 安装 apr( 下载地址 :https://apr.apache.org/), 解压并拷贝下载后的安装程序到 /home 目录下, 执行以下命令进行 apr 的安装 : cd /home/apr1.6.2./configure --prefix=/usr/local/apr make make install 安装 apr-util( 下载地址 :https://apr.apache.org/), 解压并拷贝下载后的安装程序到 /home 目录下, 执行以下命令进行 apr 的安装 : cd /home/apr-util-1.6.0./configure --prefix=/usr/local/apr-util --with-apr=/usr/local/apr make make install 安装 httpd,, 解压并拷贝下载后的安装程序到 /home 目录下, 执行以下命令进行 httpd 的安装 :( 注意红色标注的为一条命令 ): cd /home/httpd-2.4.29./configure --prefix=/usr/local/apache --with-apr=/usr/local/apr --with-aprutil=/usr/local/apr-util --with-pcre=/usr/local/pcre --enable-ssl --enable-so -- enable-deflate --enable-ext-filter make make install Apache 服务启停拷贝启动脚本 cp /usr/local/apache/bin/apachectl /etc/init.d/httpd 检查配置文件正确性 : /usr/local/apache/bin/apachectl -t 启动服务 : /usr/local/apache/bin/apachectl start 或 service httpd start 停止服务 : /usr/local/apache/bin/apachectl stop 或 service httpd stop 北京致远互联软件股份有限公司 6 / 16 www.seeyon.com
2.2 配置文件修改 Windows 下配置文件修改 : 到 Apache 安装目录的 conf 目录下 ( 如 Winows 下的 D:\apache\conf), 找到 httpd.conf, 取消以下内容注释或增加以下内容 : LoadModule socache_shmcb_module modules/mod_socache_shmcb.so LoadModule log_config_module modules/mod_log_config.so LoadModule setenvif_module modules/mod_setenvif.so LoadModule ssl_module modules/mod_ssl.so LoadModule filter_module modules/mod_filter.so LoadModule deflate_module modules/mod_deflate.so # 配置集群时, 增加 mod_jk 配置文件, 并去掉下面一行的注释 #Include conf/mod_jk.conf # 对指定的内容进行压缩 AddOutputFilterByType DEFLATE text/html text/plain text/xml # 去掉以下行前面的注释符号 "#" Include conf/extra/httpd mpm.conf 然后找到 Apache 安装目录的 conf\extra 目录下找到 httpd mpm.conf, 并进行如下修改 : <IfModule mpm_winnt.c> ThreadsPerChild 2000 # 推荐设置 : 小型网站 =1000 中型网站 =1000~2000 大型网站 =2000~3500 MaxRequestsPerChild 20000 # 推荐设置 : 小 =10000 中或大 =20000~100000 AcceptFilter http None AcceptFilter https None </IfModule> Linux 下配置文件修改 : 到 Apache 安装目录的 conf 目录下 ( 如 /usr/local/apache/conf), 找到 httpd.conf, 取消以下内容注释或增加以下内容 : LoadModule socache_shmcb_module modules/mod_socache_shmcb.so LoadModule log_config_module modules/mod_log_config.so LoadModule setenvif_module modules/mod_setenvif.so LoadModule ssl_module modules/mod_ssl.so LoadModule filter_module modules/mod_filter.so LoadModule deflate_module modules/mod_deflate.so # 配置集群时, 增加 mod_jk 配置文件, 并去掉下面一行的注释 #Include conf/mod_jk.conf # 对指定的内容进行压缩 AddOutputFilterByType DEFLATE text/html text/xml text/css text/javascript text/plain application/javascript application/octet-stream # 去掉以下行前面的注释符号 "#" 北京致远互联软件股份有限公司 7 / 16 www.seeyon.com
Include conf/extra/httpd mpm.conf conf/extra/httpd mpm.conf 配置文件修改, 取消以下内容注释或修改 增加以下内容 : (perfork 或 worker 模块修改使用模块对应的配置文件 ) #mpm_perfork 模块 <IfModule mpm_prefork_module> StartServers 50 # 推荐设置 : 小 = 默认中 =20~50 大 =50~100 MinSpareServers 50 # 推荐设置 : 与 StartServers 保持一致 MaxSpareServers 80 # 推荐设置 : 小 =20 中 =30~80 大 =80~120 MaxClients 1500 # 推荐设置 : 小 =500 中 =500~1500 大型 =1500~3000 ServerLimit 1500 # 还需额外设置 ServerLimit 参数, 该参数最好与 MaxClients 的值保持 一致 MaxRequestsPerChild 20000 # 推荐设置 : 小 =10000 中或大 =10000~500000 </IfModule> #mpm_worker 模块 <IfModule mpm_worker_module> StartServers 10 # 推荐设置 : 小 = 默认中 =3~5 大 =5~10 MaxClients 1500 # 推荐设置 : 小 =500 中 =500~1500 大型 =1500~3000 ServerLimit 1500 # 如果 MaxClients/ThreadsPerChild 大于 16, 还需额外设置 ServerLimit 参数,ServerLimit 必须大于等于 MaxClients/ThreadsPerChild 的值 MinSpareThreads 100 # 推荐设置 : 小 = 默认中 =50~100 大 =100~200 MaxSpareThreads 200 # 推荐设置 : 小 = 默认中 =80~160 大 =200~400 ThreadsPerChild 100 # 推荐设置 : 小 = 默认中 =50~100 大型 =100~200 MaxRequestsPerChild 20000 # 推荐设置 : 小 =10000 中或大 =10000~50000 </IfModule> 2.3 集群或代理配置 Linux 下和 Windows 下配置步骤相同 : 集群组件下载 : 组件下载地址 ( 下载对应操作系统及版本的 mod_jk.so 文件 ): http://archive.apache.org/dist/tomcat/tomcat connectors/jk/binaries/ 集群组件安装 : 将下载的 mod_jk.so 文件拷贝到 Apache 安装目录下的 modules 目录下 集群组件配置 : 在 Apache\conf\httpd.conf 中增加以下内容 : Include conf/mod_jk.conf 在 Apache\conf 下建立 mod_jk.conf 文件, 内容如下 : #mod_jk.conf 主要描述了 jk 模块的位置及相关参数 LoadModule jk_module modules/mod_jk.so JkWorkersFile conf/workers.properties JkMountFile conf/uriworkermap.properties 北京致远互联软件股份有限公司 8 / 16 www.seeyon.com
JkLogFile logs/mod_jk.log JkLogLevel debug #format JkLogStampFormat "[%a %b %d %H:%M:%S %Y]" #options JkOptions +ForwardKeySize +ForwardURICompatUnparsed ForwardDirectories JkRequestLogFormat "%w %V %T" JkMount /* controller HostnameLookups Off # Should mod_jk send SSL information to Tomcat (default is On) JkExtractSSL On # What is the indicator for SSL (default is HTTPS) JkHTTPSIndicator HTTPS # What is the indicator for SSL session (default is SSL_SESSION_ID) JkSESSIONIndicator SSL_SESSION_ID # What is the indicator for client SSL cipher suit (default is SSL_CIPHER) JkCIPHERIndicator SSL_CIPHER # What is the indicator for the client SSL certificated (default is SSL_CLIENT_CERT) JkCERTSIndicator SSL_CLIENT_CERT 在 Apache\conf 下建立 uriworkermap.properties 文件, 内容如下 : /*=controller # 所有请求转发到集群服务器上 /jkstatus= status #jkstatus 的请求转发到 statusworker 上 在 Apache\conf 下建立 workers.properties 文件, 内容如下 : worker.list = controller,status worker.status.type=status worker.controller.type=lb # 与 tomcat 的 server.xml 中 jvmroute 的值一致 #<Engine name="catalina" defaulthost="localhost" jvmroute="sy1"> worker.controller.balance_workers=sy1 # 若增加 tomcat 节点, 请参考以下格式添加 #worker.controller.balance_workers=sy1,sy2 # 若增加 tomcat 节点, 请参考上述格式添加 worker.controller.sticky_session=1 worker.controller.sticky_session_force=0 # 与 tomcat 的 server.xml 中协议为 AJP/1.3 的 Connector 端口一致 #<Connector port="8009" protocol="ajp/1.3" /> worker.sy1.port=8951 worker.sy1.host=192.168.0.1 worker.sy1.type=ajp13 worker.sy1.lbfactor=1 北京致远互联软件股份有限公司 9 / 16 www.seeyon.com
worker.sy1.retries=3 # 若增加 tomcat 节点, 请参考以下格式添加 #worker.sy2.port=8951 #worker.sy2.host=192.168.0.2 #worker.sy2.type=ajp13 #worker.sy2.lbfactor=1 #worker.sy2.retries=3 # 若增加 tomcat 节点为多节点时, 请参考上述格式添加修改说明 : 红色粗体是需要修改的部分 ; worker.sy***.host 值为对应协同服务器的 IP; worker.sy*** 中 *** 为协同服务器 IP 的最后一段 2.4 启用 HTTPS 配置 说明 : 若不使用 Apache 的 HTTPS 功能, 可以不进行以下步骤 若为单机环境, 则在 Apache 的 conf /workers.properties 中只需配置一个 tomcat 节点 使用 https 需在 SeeyonConfig 中设置服务器配置为 : 单机 (HTTPS) 或集群 / 双机 启用支持 openssl 版本 Apache 的 HTTPS 功能步骤如下 : Windows 下 https 配置 配置文件更改 : 打开 httpd.conf 文件, 取消注释或增加以下内容 : Include conf/extra/httpd-ssl.conf 编辑 conf/extra/httpd-ssl.conf 文件, 取消注释或增加以下内容 : SSLCertificateFile "conf/server.crt" SSLCertificateKeyFile "conf/server.key" JkMount /* controller 修改说明 : 在 Apache/conf 目录中放置 CA 的.crt 和.key 文件, 注意文件名分别为 :server.crt server.key; 为了取得更好的安全性, 建议使用经过安全机构认证过的第三方证书 启用 mod_jk 模块, 并开启 https 时,httpd-ssl.conf 中需要增加 JkMount /* controller 重启 Apache 即可使用 http https 方式访问 Web 服务 Linux 下 https 配置 前提条件 : 编译安装包时, 增加 --enable-ssl 参数 其他配置同 Windows 下配置 北京致远互联软件股份有限公司 10 / 16 www.seeyon.com
3 Nginx 部署及配置 Nginx 支持协同系统集群部署 为了保持负载均衡且实现会话保持, 需要用到 nginx stickymodule 模块, 此模块目前仅支持 Linux 系统, 因此用 Nginx 做为 web 服务, 则需要 Linux 操作系统的服务器 以下 Nginx 的部署及配置的说明以 1.12.1 版本为基础 3.1 Nginx 安装 Nginx 及安装过程中需要的依赖程序的下载链接参考如下 : Nginx, 参考下载链接 ( 建议下载 stable version):http://nginx.org/en/download.html nginx sticky module, 参考下载链接 :https://bitbucket.org/nginx goodies/nginx stickymodule ng/downloads/ pcre, 参考下载链接 :https://ftp.pcre.org/pub/pcre/ openssl, 参考下载链接 :https://www.openssl.org/source/ zlib, 参考下载链接 :https://zlib.net/ 若系统未安装 gcc, 请使用操作系统安装盘 ( 或安装镜像 ) 进行安装 以所有的安装程序位于 /home/soft 下,nginx 的安装目录位于 /home/nginx 下, 依次执行以下命令进行 nginx 的安装 ( 命令中标红的安装包名称, 以实际下载的为准 ): # 切换目录至 /home/soft cd /home/soft # 以实际下载的文件格式选择 tar 或 zip 解压 # 解压 tar 压缩包 tar zxvf nginx 1.12.1.tar.gz tar zxvf pcre 8.40.tar.gz tar zxvf zlib 1.2.11.tar.gz tar zxvf openssl 1.1.0g.tar.gz # 解压 zip 压缩包 unzip nginx goodies nginx sticky module ng 08a395c66e42.zip # 修改解压后文件夹名, 便于后续安装 mv nginx1.12.1 nginx mv pcre 8.40 pcre mv nginx goodies nginx sticky module ng 08a395c66e42 nginx sticky module mv zlib 1.2.11 zlib mv openssl 1.1.0g openssl # 赋权文件夹 chmod R 777 nginx chmod R 777 openssl chmod R 777 zlib chmod R 777 nginx stick module chmod R 777 pcre # 进行 nginx 的 configure 北京致远互联软件股份有限公司 11 / 16 www.seeyon.com
cd nginx # 注意以下 configure 命令为一行./configure prefix=/home/nginx with http_stub_status_module with http_ssl_module with http_realip_module with http_sub_module with http_flv_module withhttp_mp4_module with http_random_index_module with http_gzip_static_module with pcre=/home/soft/pcre add module=/home/soft/nginx sticky module withopenssl=/home/soft/openssl with zlib=/home/soft/zlib # 编译 安装 make make install 3.2 Nginx 配置 以 nginx 安装在 /home/nginx 下为例,nginx 的配置文件为 /home/nginx/conf/nginx.conf 配置文件内容示例如下 ( 其中 # 号为注释内容,upstream 的名称及服务地址依据实际情况进行修改 ): worker_processes auto; worker_rlimit_nofile 20960; error_log logs/error.log crit; events { worker_connections 4096; multi_accept on; accept_mutex on; accept_mutex_delay 500ms; } http { server_tokens off; sendfile on; tcp_nopush on; tcp_nodelay on; access_log off; include mime.types; default_type application/octet stream; keepalive_timeout 300; client_max_body_size 10240M; # 开启 gzip gzip on; # 1KB 以下不进行 gzip gzip_min_length 1k; # 设置 gzip 的 buffer gzip_buffers 416k; # 设置 gzip 的等级, 等级越高压缩比例越大, 越消耗 cpu gzip_comp_level 3; # 设置 gzip 的压缩类型 北京致远互联软件股份有限公司 12 / 16 www.seeyon.com
gzip_types text/xml text/plain text/css text/javascript application/x javascript application/javascript application/xml; # ie6 及以下版本浏览器不进行 gzip gzip_disable "MSIE[1 6]\."; # 定义一个 upstream, 名称 (seeyon_v5_cluster, 可更改 ) 模式( 必须为 sticky) 及其服务集 (server,192.168.0.1 为服务 ip,80 为 http 端口, 以实际情况进行修改 ) upstream seeyon_v5_cluster{ sticky; server 192.168.0.1:80 max_fails=5 fail_timeout=20s; server 192.168.0.2:80 max_fails=5 fail_timeout=20s; } # 定义一个 server server { # 设置监听端口 listen 80; # 设置 server 名称 server_name localhost; # 设置字符集 charset utf 8; # 设置 location location / { # 转发请求至 seeyon_v5_cluster, 该名称与 upstream 的名称一致 proxy_pass http://seeyon_v5_cluster; # 设置 header 的 host 包含 host 及 port proxy_set_header Host $host:$server_port; # 设置 header 的客户端 ip 为实际 ip proxy_set_header X Real IP $remote_addr; proxy_set_header REMOTE HOST $remote_addr; # 设置 header 的协议为实际使用的协议 proxy_set_header X Forwarded For $proxy_add_x_forwarded_for; proxy_set_header X Forwarded Proto $scheme; # 关闭 redirect proxy_redirect off; # 设置超时时间 proxy_connect_timeout 300; proxy_read_timeout 300; proxy_send_timeout 300; } error_page 500502503504 /50x.html; location = /50x.html { root html; } } } 北京致远互联软件股份有限公司 13 / 16 www.seeyon.com
3.3 Nginx 启动 以 nginx 安装在 /home/nginx 下为例,nginx 的启动脚本为 /home/nginx/sbin/nginx 启动示例如下 : # 切换命令行到 nginx 启动脚本目录 cd /home/nginx/sbin # 启动./nginx # 重启./nginx s reload # 指定配置文件重启, 一般用于 nginx 异常停止后的启动./nginx c /home/nginx/conf/nginx.conf 3.4 参数调优 参数优化需依据 nginx 的运行情况, 及服务器负载情况进行调整 常见的优化参数有以下内容 : worker_processes:nginx 的进程数, 一般为 cpu 的倍数, 可以为 1 倍 worker_rlimit_nofile:nginx 的进程打开文件数, 可以与 ulimit u 的值一致 worker_connections: 每个进程允许的最多连接数 keepalive_timeout: 客户端超时时间, 单位秒 client_max_body_size: 客户端连接的最大请求实体, 影响协同系统的上传附件大小, 建议设置大于或等于运行附件上传的最大值 access_log: 请求日志, 建议无需调试时关闭 (off) Nginx 可优化的参数还有很多, 建议依据系统实际的运行需求, 选择性优化 3.5 启用 https 配置 启用 https 需要购买 ca 证书, 在购买了证书后, 对 nginx 配置文件 (nginx.conf) 的 server 段进行以下调整 : server { # 设置监听端口及协议,443 为 https 的默认端口, 建议使用 443 listen 443 ssl; # 以下 ssl 文件夹与 nginx.conf 平级 # 设置证书 crt 文件路径,www.seeyon.com.crt 以实际为准 ssl_certificate ssl/www.seeyon.com.crt; # 设置证书 key 文件路径,www.seeyon.com.key 以实际为准 ssl_certificate_key ssl/www.seeyon.com.key; # 控制 ssl 协议 ssl_protocols TLSv1 TLSv1.1 TLSv1.2; # 其他内容不需要修改, 省略 } 北京致远互联软件股份有限公司 14 / 16 www.seeyon.com
对协同的 ApacheJetspeed/conf/server.xml 进行以下调整 : 在 <Host> 段增加以下内容 : <Valve classname="org.apache.catalina.valves.remoteipvalve" remoteipheader="x Forwarded For" protocolheader="x Forwarded Proto" protocolheaderhttpsvalue="https"/> 北京致远互联软件股份有限公司 15 / 16 www.seeyon.com
4 F5 的配置说明 协同系统的集群结构需要 web 服务做负载均衡时会话保持 ( 或会话粘滞 ), 会话保持机制的意义在于, 确保将来自相同客户端的请求, 转发至后端相同的服务器进行处理 因此 F5 需采用符合会话保持原理的负载均衡策略才可保证协同集群系统的正常运行 北京致远互联软件股份有限公司 16 / 16 www.seeyon.com