中图分类号 TP319 文献标志码 B 文章编号 1672-4844(213)1-87-6 摘要 SAP ERP 信息是很多大型企业的核心信息 是企业在进行容灾建设时主要关切的 信息 文章以双活方式运行的特点对 SAP ERP 信息进行了分析 推导出了 SAP ERP 信息以双活模式运行时操作响时间的计算公式 提出了影响操作响时间的主要因素是网 络时延 测试了 SAP ERP 产品以服务器双活模式运行的实际效果和以数据库双活 备端只读 模式运行的可行性 基于对网络时延的具体分析 文章估算了双活备端数据中心位于不同地点时 SAP ERP 信息的操作响时间 关键词 SAP ERP 双活 数据中心 灾备 网络时延 基于 SAP ERP 信息的双活 数据中心研究 张扬 郭森 季平 中国华能集团公司 信息中心 北京 131 引言 针对多活模式的设计改造难易程度 中国华能集团公司从 21 年始基于 SAP 平 在建成集团企业一集成的信息的过程 台建设资产财务管理一体化 人力资源管理信 中 企业赖以正常运转的重要信息和核心数据 息和电子商务等筹项目 这些是华 以越来越高的比率集中地运行和存储在单一的总数 能集团的核心信息 也是华能集团研究如何进 据中心 鉴于单数据中心的风险巨大 为了保证业 行容灾建设时主要关切的信息 为此华能集团 务 连 续 性 企 业 非 常 有 必 要 进 行 适 度 的 容 灾 建 设 进行了一列的 POC Proof of Concept 测试 来验 考虑到传的主 备数据中心模式的建设和运维成 证华能集团的 SAP ERP 信息以双 活方式运行 本可观 且备数据中心又只能在生灾难的时候 的可行性和实际效果 挥作 如何提高备数据中心的使率 是一个值得 研究的课题 随着云计算技术的兴起 双活 activeactive 数据中心甚至多活数据中心成为解决企业备 数据中心平战结合问题的一个选择 实现双活或多活数据中心的关键在于 2 个方面 1 POC 测试内容结果 1.1 服务器双活 双活的一种运行方式是备端服务器连接 主端数据库服务器正常运行 终端根据就近原则或 一是户对信息时效性和数据一致性的要求有 其他某种策略选择主端或者备端的服务器连 多高 比如金融交易和搜索引擎在时效性和数 接 这种方式简称为服务器多活 SAP ERP 信 据一致性方面的差别就是巨大的 而一套信息 息实现服务器多活的难点在于备端服 运行在双活或多活数据中心必然会损失一定的时效 务器和主数据库服务器之间的交互量相当大 使得 性或数据一致性 或者两者都受损失 二是信息 网络时延被极大地放大 从而影响终端操作响时 87
间 SAP ERP 信息的户在终端进行一次操作 处理终端之间交互单次时为 t a 服务器终 会触服务器和数据库服务器之间的很多次交 端之间交互总时为 Ta 操作响时间为 T 有 互 其交互的次数完成操作指令的复杂程度 有关 见图 1 则 经验说明 n 1 m 且 故可近似认为 1 ၸనҫ٧ ஜ నҫ٧ 图 1 SAP ERP 信息逻辑部署 Fig.1 The logical deployment of the SAP ERP system 本次测试在终端进行同一种操作 A 自变量为 网 络 单 边 时 延 τ 因 变 量 为 操 作 响 时 间 T 可 通 过 线 性 回 归 分 析 求 得 n 的 值 对 于 一 套 现 有 的 本 次 研 究 选 取 SAP ERP 信 息 中 一 种 常 SAP ERP 在 选 择 双 活 备 端 数 据 中 心 时 n 取 的单项计操作 并通过网络损伤仪来模拟主端和 决于业务逻辑和代码实现 是固定值 取决于业务 备端处在不同地理位置时的广域网链路 通过测试 逻 辑 代 码 实 现 和 硬 件 性 能 也 是 不 易 改 变 的 因 来验证备端服务器能否直接使主端数据库 此可以认为影响操作响时间的主要因素是网络 以及主端和备端之间存在不同网络时延时完成一次 时延 常见的终端操作需要多长的响时间 见图 2 服务器双活的测试结果如图 3 所示 当主 备端单边时延为 37 ms 时 报错超时 图 3 中没 ቪஜ నҫ٧ ܫ ቪஜ నҫ٧ 有录入这一数据 %# )"%3 ቪՓ ܫ ቪ ܬ 4 35 ܫ ቪ ၸనҫ٧ y=17 61x+1 47 R2=.999 4 3 ቪ ၸనҫ٧ 操作响时间 /ms Ꭹፎ૮ ௐढԺ ࡌ Ꭹ 图 2 服务器双活测试示意 Fig.2 The schematic diagram of testing application servers in the active-active mode 18.5,335 273 25 2 15 7,133 921 操作响时间 s 1 3,67 55 1. 5, 37 831. 5, 2 445. 1, 5 298 5 5 1 网络单边时延 /ms 15 2 图 3 操作响时间网络单边时延 Fig.3 The relationship between response time and network time delay 设 SAP ERP 有某个终端操作 A 在进行 A 从结果来看 操作响时间主备端网络时延 操作时 主端数据库服务器到备端服务器网络 之间的线性关非常明显 线性回归可得出斜率为 单边时延为 τ, 数据库服务器服务器之间交互 17 61 由 1 式得 n=8 8.5 =1.19 ms 也就是 n 次 数据库服务器处理服务器交互单次 在进行某个单项计操作 A 时 数据库服务器 时为 t d 数据库服务器服务器交互总时为 服务器之间交互 8 8.5 次 数据库服务器处理 T d 有 服务器交互平均时为 1.19 ms 笔 者 没 有 就 企 业 SAP ERP 操 作 响 时 间 对户使效果的影响进行大量的计和分析 但 服务器终端之间交互 m 次 服务器 88 是可以参考表 1 所示互联网企业的类似研究结果
表 1 互联网企业对操作响时间影响的研究 [1] ܫ ቪஜ నҫ٧ ԵឳഴयὈ Tab.1 Research results of the increase of response time and its influence by the internet industry 研究单位 操作响时间每增加 Google 4 ms 户搜索请求下降.59% Yahoo 4 ms 户访问量降低 5% 9% Amazon 1 ms 网站销售量减少 1% Bing 2s 来自每位户的收入降低 4.3% %# )"%3 ቪՓ ܫ ቪ ܬ ቪஜ నҫ٧ 造成影响 ܫ ቪ ၸనҫ٧ ቪ ၸనҫ٧ 在讨论中笔者将探讨距离等因素将如何影响 网络时延 并尝试说明企业双活数据中心的选址对 SAP ERP 使的影响 ࡌ Ꭹ ԵឳഴयὈ 1.2 数据库双活 备端只读 Ꭹ 数据库双活是另外一种双活运行方式 可解决 图 4 数据库双活 备端只读 测试示意 服务器双活运行方式下备端服务器和主端 Fig.4 The schematic diagram of testing database 数据库服务器之间广域网链路交互量太大的问题 这种方式需设立备数据库 主备数据库之间进行同 步复制 将备端服务器连接至备端数据库服务 器 终端按照某种策略选择连接备端服务器或 servers in the active- active (read only) mode 2 讨论 2.1 主备数据中心网络时延 主端服务器 大部分信息要求绝对保证主 网络时延 τ =τ TN+τ DCN τ TN 是传输网络时延 τ DCN 备数据库的一致性 因此将禁止备端数据库进行写 是数据通信网络时延 本研究讨论的是主备数据中 操作 这种运行方式简称为数据库双活 备端只读 心之间利同步数字体 Synchronous Digital Hiera- 一般来讲 为了保证信息的数据一致性 当其在 rchy SDH 组建传输网络 运行数据业务时的情况 数据库双活方式下运行时 主备数据库进行同步 是传输媒质时延 其中 L 为线路 复制 数据库同步复制相对于异步复制对网络时延 是网元时延 的敏感度要高很多 因此对数据中心之间的距离有 长度 单位为 km 1.5 为线路长度的修正数 由于 严格要求 国际上公认的最大距离是 1 km [2 5] SAP ERP 信息实现数据库双活 备端只读 光在纤芯中是折射传播的 其速度是光直线传播时速 率的 2/3 即 2 km/ms[6] 方式的难点在于即便终端不进行写操作 在运 2 行过程中的日志 自检记录等会也对数据库服 其中 N 为网元数量.375 ms 为根据经验得到的 务器进行写操作 本次测试将验证在备端数据库只 单个网元时延 [6 7] 我国运营商组建的 SDH 专线一 读模式下 备端服务器能否正常运行 见图 4 般会在客户接入侧 地市局 省局 骨干网关口局各有 本次测试先将备端数据库服务器切换到只读 一个网元 根据实际情况有的 SDH 专线可以省去地 模式 没有生异常 再将备端服务器指向备 市局网元 因此通过运营商组建的跨地市不跨省的 端数据库服务器 启动 SAP ERP 服务 结果是 SDH 专线 N 一般为 5 最少可到 3 跨省的 SDH 专 SAP ERP 服务无法启动 根据对报错信息 线 N 一般为 7 最少可到 5 的分析 笔者认为服务无法启动的原因是 SAP ERP 是数据通 服务器数据库服务器连接时就会产生日 信转时延 是数据通信拥塞时延 是数 志 而日志无法写入只读模式下的备端数据库 据通信线缆时延 根据其他研究结果 以太网交换 服 务 器 造 成 了 工 作 中 断 导 致 服 务 无 法 正 常 启 动 机的转时延约为.3 ms [8] 高端路由器的转时 因此被测试的 SAP ERP 版本还不支持在数据库双 延约为.15 ms [9] 从各厂商和测试机构公布的数据 活 备端只读 方式下运行 笔者认为这是 SAP ERP 来看防火墙 IPS 和 UTM 的转时延约为.2 ms 自身特点造成的 将针对这一问题进行探讨 设每个网络设备的转时延为 f i 有 k 个网络设备, 89
则 (3) 如 果 存 在 某 网 络 设 备 的 端 口 总 是 在 最 大 转 速 率 下 工 作, 还 会 产 生 频 偏 时 延 如 在 标 称 时 钟 频 率 125 MHz 下, 某 交 换 机 C 和 相 邻 网 络 设 备 D 之 间 有 1PPM(part per million, 百 万 分 之 一 ) 时 钟 频 偏, 假 定 其 缓 存 为 4 MB,C 的 某 个 端 口 在 最 大 转 速 率 下 和 D 通 信 6 s, 会 产 生.299 7 ms 的 频 偏 时 延 [8] 考 虑 到 数 据 通 信 网 络 设 备 连 续 在 最 大 转 速 率 下 工 作 的 情 况 很 少, 本 研 究 不 考 虑 频 偏 时 延 主 和 备 数 据 中 心 之 间 的 数 据 通 信 网 络 拥 塞 时 会 产 生 明 显 的 拥 塞 时 延, 并 影 响 整 个 容 灾 的 运 行, 因 此 企 业 该 在 容 灾 设 计 时 就 避 免 主 干 线 路 生 网 络 拥 塞 同 理, 笔 者 认 为 主 备 数 据 中 心 之 间 的 该 为 数 据 通 信 线 缆 时 延 指 进 入 传 输 网 络 之 前 的 线 缆 传 输 时 间 损 耗, 根 据 实 际 情 况 可 合 并 得 : (4) 由 于 主 备 数 据 中 心 之 间 的 SDH 专 线 网 元 一 般 不 超 过 7 个, 按 照 (2) 式 可 得 τ element 在 达 到 2.625 ms 后 就 不 再 增 加 根 据 数 据 中 心 以 太 网 交 换 机 路 由 器 防 火 墙 IPS UTM 等 设 备 组 网 经 验, 按 照 (3) 式 可 得 一 般 不 超 过.1 ms 故 有 近 似 公 式 : (5) 公 式 (4) 适 于 主 备 数 据 中 心 处 于 同 一 省 级 行 政 区 域 的 情 况, 公 式 (5) 适 于 主 备 数 据 中 心 处 于 不 同 省 级 行 政 区 域 的 情 况 企 业 租 的 SDH 线 路 在 选 择 光 缆 路 径 时 受 很 多 实 际 情 况 的 制 约, 不 一 定 能 够 符 合 最 短 距 离 的 原 则 从 图 5 中 可 以 现, 修 正 理 论 值 (L 按 2 倍 公 路 或 铁 路 里 程 计 算 ) 非 常 接 近 实 测 值, 而 最 小 理 论 值 (L 按 公 路 或 铁 路 里 程 计 算 ) 实 测 值 有 一 定 差 距 3 25 2 15 1 5 北 京 A 地 北 京 B 地 北 京 C 地 天 津 济 南 上 海 重 庆 实 测 值.5 1.5 3 4.5 7 18.5 25.5 最 小 理 论 值.825 75 1.293 25 2.111 5 3.512 5 5.87 5 1.6 13.75 修 正 理 论 值.841 5 1.361 5 2.248 4.3 7.45 18.475 24.775 备 端 地 点 网 络 单 边 时 延 /ms 图 5 实 测 网 络 时 延 理 论 值 Fig.5 Comparison of measured values and theoretical values of the network time delay 2.2 双 活 备 端 数 据 中 心 选 址 对 SAP ERP 使 的 影 响 由 式 (1) 可 知, 以 本 次 测 试 的 终 端 操 作 A 为 参 考, 若 某 操 作 比 A 简 单, 则 该 操 作 n<8 8.5, 若 某 操 作 比 A 复 杂, 则 该 操 作 n>8 8.5 因 此 只 要 知 道 主 端 数 据 库 服 务 器 和 备 端 服 务 器 在 同 一 局 域 网 ( 即 单 数 据 中 心 运 行 ), 终 端 操 作 A 的 响 时 间, 和 其 他 终 端 操 作 的 响 时 间, 就 可 以 估 算 出 各 种 操 作 在 不 同 主 备 端 网 络 时 延 下 的 响 时 间 假 设 某 企 业 的 主 数 据 中 心 在 北 京, 则 可 以 估 算 出 单 数 据 中 心 运 行 备 数 据 中 心 在 北 京 同 城 天 津 上 海 重 庆 双 活 运 行 时, 各 种 操 作 的 响 时 间 表 2 双 活 备 端 数 据 中 心 地 点 操 作 响 时 间 预 测 Tab.2 Estimation of the response time for data centers locating at different positions 响 时 间 操 作 精 确 查 询 单 项 地 点 录 入 模 糊 查 询 批 量 定 制 的 录 入 计 复 杂 功 能 单 数 据 中 心 运 行 <1 s (1 s, 1 s) (1 s, 3 s) 北 京 备 端 双 活 运 行 <1 s (1 s, 2 min) (2 min 1 min) 天 津 备 端 双 活 运 行 <3 s (2 s, 4 min) >4 min, 有 可 能 报 错 上 海 备 端 双 活 运 行 <1 min (1 min, 1 min) 报 错 重 庆 备 端 双 活 运 行 <1.5 min >1.5 min, 有 可 能 报 错 报 错 从 表 2 所 反 映 的 预 测 值 看, 为 了 保 证 SAP ERP 信 息 的 正 常 使, 只 有 在 北 京 建 立 同 城 的 双 活 备 端 数 据 中 心 存 在 可 能 性 并 且 在 进 行 可 行 性 分 析 时 充 分 测 试 SAP ERP 信 息 的 复 杂 功 能 在 这 种 双 活 环 境 下 能 否 正 常 使 2.3 改 造 SAP ERP 信 息, 使 其 更 适 合 在 双 活 模 式 下 运 行 让 SAP ERP 信 息 更 加 适 合 在 双 活 模 式 下 运 行, 有 3 种 方 式 :1 改 变 SAP ERP 产 品 服 务 器 和 数 据 库 服 务 器 之 间 频 繁 交 互 的 运 行 模 式, 使 服 务 器 承 担 更 多 的 工 作, 从 而 使 SAP ERP 信 息 更 加 适 合 在 服 务 器 双 活 甚 至 多 活 模 式 下 运 行 2 从 数 据 库 层 面 拆 分 SAP ERP 产 品, 使 其 可 以 分 部 署 到 多 个 数 据 中 心, 实 现 模 块 化 的 数 据 库 多 活, 但 进 一 步 研 究 该 方 式 对 灾 备 的 影 响 3 对 备 端 服 务 器 产 品 进 行 改 造, 使 之 实 现 对 数 据 库 的 零 写 入, 适 合 以 数 据 库 双 活 ( 备 端 只 读 ) 模 式 部 署 由 于 备 端 只 读 模 式 只 向 户 提 供 查 询 服 务, 所 以 企 9 213 年 第 11 卷 第 1 期
业还可以考虑利实时数据平台等产品达到类似 学, 24(11) 59 62. [7] 张继蓉, 方强, 徐东明. 同步数字体网元时延分析仿真[J]. 效果 光子学报, 28, 37(5): 875 878. 3 结语 ZHANG Ji-rong FANG Qiang XU Dong-ming. Delay analysis SAP ERP 信 息 可 以 在 服 务 器 双 活 模 式下运行 其代价是增加操作响时间 而影响操作 响时间的主要因素是主备数据中心之间的网络时 延 SAP ERP 信息实现数据库双活 备端只读 需要解决数据库模块化拆分或备端数据库零写入两 大问题 综合分析备端数据中心选址对网络时延带 来的改变 以及进而对操作响时间造成的影响 笔 者认为只适合在同城建设 SAP ERP 信息的双 活备端数据中心 and emulation on SDH network elements[j]. Acta Photonica Sinica, 28, 37(5): 875 878. [8] 梁永生, 张基宏, 张乃通. IEEE 标准容限内以太网转时延的 测试分析[J]. 电子学报, 28, 36(1): 46 5. LIANG Yong-sheng, ZHANG Ji-hong, ZHANG Nai-tong. Measurement and analysis of forwarding delay in ethernet architecture within tolerances of the IEEE specifications [J]. Acta electronica Sinica, 28, 36(1): 46 5. [9] 符刚, 吴一波. NGN 业务的端到端时延分析[J]. 邮电设计技术 26(2) 22 26. 参考文献 编辑 [1] 霍娜. 1 毫秒降 1% 销量 终端户体验成关键[N]. 中国计算 刘生 收稿日期 212-12-1 机报 212-7-3(A16). [2] IBM Canada Leadership Data Centre [EB/OL]. http://www-935. ibm.com/services/ca/en/igs/datacenter/cldc.html. [3] Clusters and DisasterTolerant Solutions [EB/OL]. http://download. oracle.com/opndocs/emea/clusters_dt.pdf. [4] Data Center High Availability Clusters Design Guide [EB/OL]. http://www.cisco.com/en/us/docs/solutions/enterprise/data_ Center/HA_Clusters/HA_Clusters.html. [5] Best practices for replication of Oracle storage area networks white paper [EB/OL]. http://h2195.www2.hp.com/v2/getpdf. aspx/4aa-165enw.pdf. 作者简介 张扬 1981 男 四川成都人 工程师 从事电力企业 信息化建设 信息集成工作 郭森 196 男 北京人 高级工程师 从事电力企业 信息化建设管理等工作 季平 1953 男 北京人 高级工程师 教授级 从事 电力企业信息化建设管理等工作 [6] 张文瀚. SDH 光纤自愈环网传输延时的分析及解决[J]. 电信科 Research on Data Center with the Active-Active Mode for SAP ERP System ZHANG Yang, GUO Sen, JI Ping (Information Center of China Huaneng Group, Beijing 131,China) Abstract: As a core IT system for many large enterprises, SAP ERP system need be deeply concerned in the construction of IT disaster recovery. For the SAP ERP system running in the active-active mode, this paper analyzes its characteristics, derives an operation response time formula and finds that the network time delay is a critical factor influencing the operation response time. Further this paper gives the running effects of the SAP ERP system in the case of application servers running in the active-active mode and in the case of database servers running in the active-active read only mode respectively. By analyzing the network time delay, this paper estimates the operation response time of the SAP ERP system in case of its standby data center locating at different places. Key words: SAP ERP; the active-active mode; data center; disaster recovery; network time delay 91