权利要求书 1/1 页 1. 一种优化服务器缓存管理的方法, 其特征在于, 通过修改 web 反向代理服务器中的缓存模块及缓存的存储结构, 构建 web 反向代理服务器分层的二级缓存结构, 并配置与包括分层的二级缓存存储结构相匹配的缓存失效方式, 具体步骤如下 : 步骤 1: 将 web 反向代理服

Size: px

Start display at page:

Download "权利要求书 1/1 页 1. 一种优化服务器缓存管理的方法, 其特征在于, 通过修改 web 反向代理服务器中的缓存模块及缓存的存储结构, 构建 web 反向代理服务器分层的二级缓存结构, 并配置与包括分层的二级缓存存储结构相匹配的缓存失效方式, 具体步骤如下 : 步骤 1: 将 web 反向代理服"

安差孙
7 years ago
Views:

1 (19) 中华人民共和国国家知识产权局 (12) 发明专利申请 (21) 申请号 (10) 申请公布号 CN A (43) 申请公布日 (22) 申请日 (71) 申请人焦点科技股份有限公司地址江苏省南京市高新技术产业开发区星火路软件大厦 A 座 8-12F (72) 发明人褚一帆任睿 (74) 专利代理机构南京瑞弘专利商标事务所 ( 普通合伙 ) 代理人陈建和 (51)Int.Cl. G06F 17/30( ) 权利要求书 1 页说明书 5 页附图 3 页 (54) 发明名称一种优化服务器缓存管理的方法 (57) 摘要一种优化服务器缓存管理的方法, 通过修改 web 反向代理服务器中的缓存模块及缓存的存储结构, 构建 web 反向代理服务器分层的二级缓存结构, 并配置与包括分层的二级缓存存储结构相匹配的缓存失效方式 ; 通过修改 web 反向代理服务器缓存的管理模块 : 将 web 反向代理服务器自带的缓存失效方式和修改之后的二级缓存存储结构进行适配, 使 web 反向代理服务器既支持基于网页 URL 的缓存删除机制, 又能支持基于网站域名的缓存删除机制 ; 为 web 反向代理服务器的二级缓存结构进行配置, 并为各网站域名下的网站缓存数据设置存储路径, 存储路径格式为 /opt/ cache/ 网站域名 /opt/cache/ 网站域 /URL 标示 CN A

2 权利要求书 1/1 页 1. 一种优化服务器缓存管理的方法, 其特征在于, 通过修改 web 反向代理服务器中的缓存模块及缓存的存储结构, 构建 web 反向代理服务器分层的二级缓存结构, 并配置与包括分层的二级缓存存储结构相匹配的缓存失效方式, 具体步骤如下 : 步骤 1: 将 web 反向代理服务器的存储结构修改为按照网站域名分开存储, 不同的网站域名占据不同的存储区域 ; 步骤 2: 构建 web 反向代理服务器分层的二级缓存结构, 一个网站域名下涵盖多个网页 url, 因而在基于网站域名缓存的存储结构之上, 再将 web 反向代理服务器的存储结构细化分为按照网页 url 分开存储, 不同的网页 url 占据不同的存储区域 ; 步骤 3: 修改 web 反向代理服务器缓存的管理模块 : 将 web 反向代理服务器自带的缓存失效方式和修改之后的二级缓存存储结构进行适配, 使 web 反向代理服务器既支持基于网页 URL 的缓存删除机制, 又能支持基于网站域名的缓存删除机制 ; 步骤 4: 为 web 反向代理服务器的二级缓存结构进行配置, 并为各网站域名下的网站缓存数据设置存储路径, 存储路径格式为 /opt/cache/ 网站域名 /opt/cache/ 网站域 /URL 标示 2. 根据权利要求 1 所述的一种优化服务器缓存的方法, 其特征在于 :web 反向代理服务器的缓存失效方式建立在基于网页 URL 的缓存存储结构之上, 由于 web 反向代理服务器存储结构由原有的一级存储结构修改为二级存储结构, 相应地,web 反向代理服务器自带的缓存失效方式修改为与二级存储结构相匹配的模式 ; 网站域名的数据内容隶属于一级缓存结构, 如该数据内容失效, 清空网站域名对应的一级存储结构及其包括的所有二级存储结构 ; 网页 URL 的数据内容隶属于二级缓存结构, 如该数据内容失效, 清空网页 URL 对应的二级存储结构 3. 根据权利要求 1 所述的一种优化服务器缓存的方法, 其特征在于 :web 反向代理服务器启动工作后, 当需更新整个域名下的缓存数据时, 通过向 web 反向代理服务器发送清除缓存的指令, 这个指令指明预删除的数据是域名级别或是 URL 级别 ; 如果是域名级别的数据, 则清除缓存的命令会清空该网站域名存储区内所有数据 ; 如果是 URL 级别的数据, 则清除缓存的命令只会清除单个网页 URL 存储区内的数据, 而不会影响其所属网站域名存储区内其他 URL 的数据内容 4. 根据权利要求 2 所述的一种优化服务器缓存的方法, 其特征在于 : 当一个网页 URL 的缓存内容超过有效期后,web 反向代理服务器会先找到该网页 URL 所属域名占据的存储区, 然后在该域名的存储区寻找该网页 URL 的存储区, 并删除缓存内容 ; 当一个域名区内所有网页 URL 缓存内容超过有效期,web 反向代理服务器直接清空该域名的存储区 5. 根据权利要求 3 所述的一种优化服务器缓存的方法, 其特征在于 : 进一步地, 清除缓存指令可通过 shell 脚本语言 python 语言 perl 语言等实现 2

3 说明书 1/5 页一种优化服务器缓存管理的方法技术领域 [0001] 本发明属于数据存储领域, 具体涉及一种优化服务器缓存管理的方法背景技术 [0002] 随着现在电子商务互联网发展, 大量信息数据通过互联网传播到世界的四面八方, 加之人们对信息量的需求也越来越大, 如何利用互联网将信息数据更快更准确地提供给用户成为企业发展的关键 [0003] WEB 缓存是一种 HTTP 应用加速技术,HTTP 代理服务器将客户机访问的可以缓存的内容存储下来, 当用户想访问一个网站的 URL(Uniform Resource Locator, 统一资源定位符 ), 这个访问请求经过 web 反向代理服务器处理时,web 反向代理服务器会检查自身缓存中是否存在该 URL 所对应的数据内容, 如果存在, 直接从缓存中读取出该数据内容返回给用户 ; 如果不存在, 则向 web 反向代理服务器后端的应用服务器发起请求, 应用服务器接收到请求后, 会把内容返回给 web 反向代理服务器,web 反向代理服务器在将数据内容传递给用户的过程中, 也会将数据内容存入自身的缓存中当用户下次再访问同一个 URL 时,web 反向代理服务器直接从缓存中取出内容返回给用户这种机制在很大程度上提高网站内容的传输效率但由于网站的数据不停地发生变化, 我们需要在网站数据发生变化的时候及时清除 web 反向代理服务器中相应的缓存内容, 保证缓存内容的及时更替目前 web 反向代理服务器提供如下三种常用的缓存清除机制 : [0004] (1) 按照 url 清除缓存, 即通过命令或者 http 请求的方式, 通知 web 反向代理服务器清除哪些 url 的缓存比如, 如果要清除的缓存, 通过浏览器访问 purge 就可以清除该 url 在 web 反向代理服务器上的缓存 ; [0005] (2) 删除 web 反向服务器内的全部缓存数据, 即清除 web 反向代理服务器的缓存目录 ; [0006] (3) 人为设置缓存数据的过期时间, 当到达过期时间时,web 反向代理服务器的缓存数据自动失效并清除 ; [0007] 可见三种缓冲清理方式虽然能起到清除缓存数据的作用, 但都存在一定的缺陷, 方法一受限于只能按照 url 删除, 导致当清除一个域名下所有 url 缓存时, 需要执行大量命令指令, 删除操作效率低, 降低缓存管理的性能 ; 第二种将全部缓存数据删除, 当客户端向 web 反向代理服务器发送数据请求时, 那些未更新的数据因被删除需要再次跨广域网 (WAN, Wide Area Network) 从服务器获取, 极大降低页面访问速度 ; 第三种方法只能等待缓存自动失效, 数据时效性差 ; [0008] 在对 web 反向代理服务器的研究过程中也发现, 基于 web 反向代理服务器的缓存存储结构过于单一化, 都是按照 URL 进行存储区域的划分, 而每个 URL 占据特定的存储区域, 导致清除缓存的方式较为单一, 其一是按照 URL 清除缓存 ; 其二是依赖缓存的自动失效机制 [0009] 在这样的技术背景之下, 为了提升网站的性能, 提高网站的响应速度, 本申请建立了一套网站数据的缓存优化机制 3

4 说明书 2/5 页发明内容 [0010] 为解决上述问题, 本发明目的是, 提供一种优化服务器缓存管理的方法, 在网站数据发生变化的时候及时清除 web 反向代理服务器中相应的缓存内容, 保证缓存内容的及时更替 ; 用以改进现有 web 反向代理服务器的缓存管理方式, 有助于提升网站性能, 提高网站的响应速度, 以为用户提供准确又快捷的数据传输服务 [0011] 本发明技术方案如下 : 一种优化服务器缓存管理的方法, 其特征在于, 通过修改 web 反向代理服务器中的缓存模块及缓存的存储结构, 构建 web 反向代理服务器分层的二级缓存结构, 并配置与包括分层的二级缓存存储结构相匹配的缓存失效方式, 保证时效数据的及时清除和更新 ; 具体步骤如下 : [0012] 步骤 1: 考虑到 web 反向代理服务器能代理多个网站的数据请求, 将 web 反向代理服务器的存储结构修改为按照网站域名分开存储, 不同的网站域名占据不同的存储区域 ; [0013] 步骤 2: 构建 web 反向代理服务器分层的二级缓存结构, 一个网站域名下涵盖多个网页 url, 因而在基于网站域名缓存的存储结构之上, 再将 web 反向代理服务器的存储结构细化分为按照网页 url 分开存储, 不同的网页 url 占据不同的存储区域 ; [0014] 步骤 3: 修改 web 反向代理服务器缓存的管理模块 : 将 web 反向代理服务器自带的缓存失效方式和修改之后的二级缓存存储结构进行适配, 使 web 反向代理服务器既支持基于网页 URL 的缓存删除机制, 又能支持基于网站域名的缓存删除机制 ; [0015] 步骤 4: 为 web 反向代理服务器的二级缓存结构进行配置, 并为各网站域名下的网站缓存数据设置存储路径, 存储路径格式为 /opt/cache/ 网站域名 /opt/cache/ 网站域 / URL 标示 [0016] 进一步,web 反向代理服务器的缓存失效方式建立在基于网页 URL 的缓存存储结构之上, 由于 web 反向代理服务器存储结构由原有的一级存储结构修改为二级存储结构, 相应地,web 反向代理服务器自带的缓存失效方式修改为与二级存储结构相匹配的模式 ; [0017] 网站域名的数据内容隶属于一级缓存结构, 如该数据内容失效, 清空网站域名对应的一级存储结构及其包括的所有二级存储结构 ; [0018] 网页 URL 的数据内容隶属于二级缓存结构, 如该数据内容失效, 清空网页 URL 对应的二级存储结构 [0019] 进一步,web 反向代理服务器启动工作后, 当需更新整个域名下的缓存数据时, 通过向 web 反向代理服务器发送清除缓存的指令, 这个指令指明预删除的数据是域名级别或是 URL 级别 ; [0020] 如果是域名级别的数据, 则清除缓存的命令会清空该网站域名存储区内所有数据 ; [0021] 如果是 URL 级别的数据, 则清除缓存的命令只会清除单个网页 URL 存储区内的数据, 而不会影响其所属网站域名存储区内其他 URL 的数据内容 [0022] 进一步, 当一个网页 URL 的缓存内容超过有效期后,web 反向代理服务器会先找到该网页 URL 所属域名占据的存储区, 然后在该域名的存储区寻找该网页 URL 的存储区, 并删除缓存内容 ; 当一个域名区内所有网页 URL 缓存内容超过有效期,web 反向代理服务器直接清空该域名的存储区 4

5 说明书 3/5 页 [0023] 进一步地, 清除缓存指令可通过 shell 脚本语言 python 语言 perl 语言等实现 [0024] 本发明与现有技术相比, 其有益效果 : [0025] (1) 本发明通过设计两级存储结构, 能够实现按需批量删除, 而无需再通过命令的方式逐条删除, 提高缓存清除的效率, 有力地解决现有技术中所存在的删除效率低下的问题 ; [0026] (2) 从缓存管理的角度, 本发明细化了缓存存储结构, 使 web 反向代理服务不仅能按照域名管理数据, 还能按照 URL 管理数据, 包括数据的添加维护和删除, 增加缓存数据更新和缓存数据管理的便利性 ; [0027] (3) 本发明提供缓存自动失效方式与缓存存储结构的匹配机制, 提供基于 URL 和基于网站域名的双重的缓冲数据删除方式, 优化缓存数据的管理附图说明 [0028] 图 1 为本发明实施例中 web 反向代理服务器的缓存存储结构示意图 ; [0029] 图 2 本发明实施例中 web 反向代理服务器的缓存管理的工作流程图 ; [0030] 图 3 为本发明实施例中 web 反向代理服务器的缓存数据添加流程图 ; [0031] 图 4 为本发明实施例中 web 反向代理服务器的缓存数据删除流程图具体实施方式 [0032] 为了使本发明的目的技术方案和优点更加清楚, 下面结合附图和具体实施例对本发明进行详细描述 [0033] 图 1 为本发明实施例中 web 反向代理服务器的缓存存储结构示意图 web 反向代理服务器的缓存存储结构实施分层存储, 缓存存储结构先依据网站域名划分出三个不同的存储区域, 每个网站域名的缓存数据占据一个存储区域, 然后域名缓存区域再依据该网站的 URL 细分为不同存储区域, 上述三个网站域名分别都包含两个 URL, 包含的 URL 依次为和域名缓存区域根据域名所涵盖的 URL 数目, 为每个 URL 划分相应的存储区域 ; 当 web 反向代理服务器接收到应用服务器的响应之后, 会将响应内容根据当前请求的域名写入相应目录下的文件中 ; [0034] 通过上述方式, 将存储结构划分为二级存储结构, 有利于更为快速地定位缓存数据文件 ; [0035] 进一步地, 一个网站内包含有多个 URL, 不同 URL 对应的页面内容存储在不同的区域, 相应的每一个缓存区域的大小通过在配置文件设置来来实现, 当存储区域的使用率接近 100% 时, 缓存区域根据缓存内容的访问次数和时间, 剔除访问量偏低的缓存内容 [0036] 图 2 为本发明实施例中 web 反向代理服务器的缓存管理的工作流程图, 该方法具体包括 : [0037] 步骤 201:web 反向代理服务器将缓存存储结构首先按照网站域名划分成不同的存储区域, 然后再将该存储区域按照该网站域名下的 URL 细化分为不同的存储区域 ; [0038] 步骤 202: 修改 web 反向代理服务器缓存的管理模块, 具体为 : 将 web 反向代理服务器自带的缓存失效方式和修改之后的缓存存储结构进行适配, 使 web 反向代理服务器既支 5

6 说明书 4/5 页持基于 URL 的缓存删除机制, 又能支持基于网站域名的缓存删除机制 ; [0039] 步骤 203: 为 web 反向代理服务器的二级存储结构配置缓存, 并为各网站域名下的网站缓存数据设置存储路径 ; 按照上述的实施例, 反向代理服务器要为三个网站提供缓存服务, 在为三个网站配置缓存时, 会将上述网站的内容依次放入 /opt/cache/ 和 /opt/cache/ 下 [0040] 步骤 204: 编译经修改过的 web 反向代理服务器, 启动 web 反向代理服务器 ; [0041] 步骤 205: 客户端向应用服务器发送数据请求, 经 web 反向代理服务器处理的时候, web 反向代理服务器从数据请求中提取出网站域名, 找到该域名对应的存储区域, 同时从数据请求中提取 URL 地址, 并根据该 URL 在已定位到的存储区域内找寻该 URL 的数据存储域, 若没有在 web 反向代理服务器的缓存存储结构中找到缓存数据, 转步骤 206; 否则转步骤 207; [0042] 步骤 206:web 反向代理服务器将客户端的数据请求发至应用服务器, 应用服务器经业务逻辑计算后, 将请求响应的数据传回至 web 反向代理服务器 ; [0043] 步骤 207:Web 反向代理服务器根据当前请求的网站域名和 URL 地址, 定位该请求内容对应的缓存区域, 同时将缓存内容读取出来, 发送至客户端 ; [0044] 图 3 为本发明实施例中 web 反向代理服务器的缓存数据添加流程图, 当 web 反向代理服务器的数据缓存区内需要更新数据时, 需要将应用服务器内的数据载入 web 反向代理服务器的数据缓存区, 具体过程为 : [0045] 步骤 301: 当有新的数据载入 web 反向代理服务器中时, 其一根据数据类型, 判断数据存储区的级别 ; 其二是判别存储该数据的域名目录是否存在 ; [0046] 若数据存储区级别是一级, 且域名目录存在, 清除域名目录的内容, 将新的数据更新入域名目录中 ; [0047] 若数据存储区级别是一级, 且域名目录不存在, 步骤转入步骤 302; [0048] 若数据存储区级别是二级, 且域名目录不存在, 步骤转入 302; [0049] 若数据存储级别是二级, 且域名目录存在, 步骤转入 303; [0050] 步骤 302: 新建一个域名目录, 以数据所属域名作为目录名称, 创建第一级别的缓存结构 ; [0051] 步骤 303: 进入到域名目录中, 创建一个用于标识 URL 的路径和文件, 即创建第二级的存储结构, 并将缓存内容写入到文件中 ; [0052] 图 4 为本发明实施例中 web 反向代理服务器的缓存数据删除流程图, 当网站管理员因更新网站数据需要清除网站缓存时, 可通过向 web 反向代理服务器发送指令来实现, 具体过程包括 : [0053] 步骤 401: 网站管理员向 web 反向代理服务器发出清除缓存的指令, 指令中已明确说明预清除数据的类型, 数据的类型指明数据是域名级别还是 URL 级别 ; [0054] 步骤 402: 当 web 反向代理服务器接收到清除缓存的指令时, 判断预删除的数据类型, 若数据是 URL 缓存数据时, 操作转入步骤 403; 若数据是域名级别的缓存数据时, 操作转入步骤 404; [0055] 步骤 403: 根据 URL 地址, 找到该 URL 在 web 反向代理服务器内对应的缓存存储区域, 并将该缓存区域的数据删除 ; 例如, 现在预删除的缓存, 通过浏览器访 6

7 说明书 5/5 页问即可 ; [0056] 步骤 404: 根据域名找到对应的缓存存储区域, 该缓存存储区域内涵盖该网站域名下所有 URL 对应的缓存数据 ; 例如, 现在预删除域名下的所有缓存, 可采用 shell 脚本的方式直接清除网站域名缓存区的缓存内容, 即 rm rf/opt/ [0057] 所属领域的普通技术人员应当理解 : 以上所述仅为本发明的具体实施例而已, 并不用于限制本发明, 凡在本发明的精神和原则之内, 所做的任何修改等同替换改进等, 均应包含在本发明的保护范围之内 7

8 说明书附图 1/3 页图 1 8

9 说明书附图 2/3 页图 2 9

10 说明书附图 3/3 页图 3 图 4 10

上海现代设计集团建筑协同设计平台研究与应用

上海现代设计集团建筑协同设计平台研究与应用邓雪原苏昶孙朋王国俭上海交通大学土木工程系上海上海现代建筑设计集团有限公司上海本文首先分析了建筑协同设计发展过程中存在的问题指出建筑协同设计的发展需要经过二维协同设计向三维协同设计的过渡接着对适合于大型建筑设计企业的建筑协同设计平台的关键问题进行了阐述通过上海现代建筑设计集团一个实际工程项目详细描述了建筑工程协同设计的方法与过程然后对建筑协同设计的标准统一工种协同等特点和高效沟通及超大项目的应用优势进行了讨论