科研信息化技术与应用,2014, 5 (5) of SI system in GRAPES_MESO is analyzed, we split SI into two separate applications, and parallelized by different mechanism. T

Size: px

Start display at page:

Download "科研信息化技术与应用,2014, 5 (5) of SI system in GRAPES_MESO is analyzed, we split SI into two separate applications, and parallelized by different mechanism. T"

肃划暨
5 years ago
Views:

1 科研信息化技术与应用 2014, 5(5): 应用 / APPLICATION GRAPES_MESO 模式标准初始化 ( SI ) 系统并行化研究房田文 1, 胡江凯 2, 陈德训 1 2, 陈峰峰 1. 江南计算技术研究所, 江苏无锡中国气象局数值预报中心, 北京摘要 : 分辨率的增加使得数值预报系统的运行时间大大增加, 对预报业务的时效性带来了很大的挑战以往满足时效性需求的串行程序往往因为耗时增加而成为整个系统的瓶颈, 为此需要对串行程序进行并行化改造, 以缩短运行时间, 满足预报业务的时效性要求根据 GRAPES_MESO 模式 SI 系统的程序结构和特点, 将 SI 拆分为两个独立的模块, 并采用不同的并行机制进行了并行化处理, 试验结果表明, 本文所设计的并行方法稳定可靠, 加速比近线性, 取得了良好的效果关键词 : GRAPES_MESO;SI; 并行化 doi: /j.issn Parallelization of SI Application in GRAPES_MESO Fang Tianwen 1, Hu Jiangkai 2, Chen Dexun 1, Chen Fengfeng 2 1. Jiangnan Institute of Computational Technology, Wuxi, Jiangsu , China 2. Numerical Weather Prediction Center of China Meteorological Administration, Beijing , China Abstract: Increasing resolution of numerical weather prediction (NWP) system often leads to great growth of run time, which comes to be a challenge to system efficiency. A previous serial application, which used to meet the need of run time and efficiency, often becomes a bottleneck of whole system. Therefore parallelization of these serial applications should be done in advance. In this paper, application structure and characteristics 基金项目 : 国家重点基础研究发展计划 ( 973 计划 )( 2014CB ); 财政部 / 科技部公益类行业专项 ( GYHY ) 65

2 科研信息化技术与应用,2014, 5 (5) of SI system in GRAPES_MESO is analyzed, we split SI into two separate applications, and parallelized by different mechanism. Test results indicate that the parallelization methods are stable and valid, and acceleration curves are approximately linear. Keywords: GRAPES_MESO; SI; parallelization 引言随着数值预报模式的发展, 主要业务模式所包含的物理过程越来越复杂, 时空分辨率也越来越高, 问题求解规模成指数倍增大, 导致业务模式计算时间显著增加, 极大地影响了数值预报业务系统的时效性 [1] 分辨率的增加对预报业务的时效性带来了很大的挑战, 为此相关的并行程序需要更多的计算资源, 而耗时的串行程序则需要进行并行化改造, 以缩短运行时间, 满足时效性要求 1 GRAPES_MESO 系统 1.1 GRAPES_MESO 系统 2001 年科技部与中国气象局共同支持了为期五年的中国气象数值预报系统技术创新项目, 并把它列入国家十五科技攻关计划的重点之一通过该项目的实施, 一个新的全球与区域同化预报系统 (Global-Regional Assimilation and Prediction System, GRAPES) 建立起来并具备了业务应用能力目前 GRAPES 已经在我国几个主要的业务数值预报中心的业务应用 [2] GRAPES_MESO 是 GRAPES 区域中尺度数值预报系统的英文名缩写, 它的核心部分是 GRAPES 预报模式系统, 包括动力框架以及经过优化选取和改进的物理过程参数化方案三维变分资料同化系统模式标准初始化系统 1.2 SI 系统功能, 程序结构 SI(Standard Initialization 模式 ) 是 GRAPES_ MESO 模式的标准初始化系统, 它的主要作用是将分析资料或大模式资料处理成模式运行所必须的模式格点上的初始场资料及侧边界资料图 1 给出了 SI 的系统结构图, 它通过三个主要模块完成其主要功能 : 静态资料准备模式变量的水平插值及垂直插值其中, 静态资料准备模块主要是为了抑制预报过程中由地形坡度变化等因素带来的数值噪音, SI 根据 namelist 参数设置对静态资料进行地形滤波, 平滑可能给数值计算带来不稳定的短波, 同时保持有效地形静态资料库静态资料准备地形土壤温度植被反照率等垂直插值模块及模式变量准备模式初始场及侧边界资料等压面资料 (T213 分析场 NCEP 分析场等 ) 水平插值模块模式水平格点上的等压面物理量场图 1 SI 系统结构图 Fig. 1 Schematic diagram of SI system 66

3 房田文等 :GRAPES_MESO 模式标准初始化 ( SI ) 系统并行化研究 2 SI 并行化 2.1 程序性能分析表 1 给出了 SI 原始版本程序性能, 其中为推算的结果如表 1 所示,A 列为开启地形滤波时的总时间, B 列为关闭地形滤波时的总时间,C=A-B 为地形滤波的时间,D 列为地形滤波过程求解线性方程组的时间,E 列为地形滤波除去求解线性方程组剩下的时间,F 列为水平分辨率量级, 可以看出 :A=B+D+E SI 可以认为是求解一个二维问题, 从表 1 可以看出,B 近似与 N2 成正比 (N 标识水平分辨率量级, 例如假定分辨率某水平方向格点数为 100, 此时 N=1.0, 则时该方向格点数为 150, 对应地 N=1.5),D 近似与 N5 成正比 ( 地形滤波操作是在每个格点上构造一个 N 阶的线性方程组, 用线性方程组的解作为修正后的地形高度参数, 其中格点数为 N2, 采用 LU 分解法求解线性方程组的复杂度为 O(N3), 因此 D 近似与 N5 成正比 ),E 近似与 N 成正比, 这与计算复杂度分析是相符的以此关系推算可以得到 ( 等效全国 1.5km 分辨率 ) 的时间, 见表格最后一行可见, 随着分辨率的增加, 程序计算时间增加非常显著, 特别是地形滤波模块 ( 超过 25 天 ), 即使插值计算部分也超过 1 小时, 这在业务运行时是不可接受的, 因此必须进行并行化, 以降低 SI 系统的运行时间, 保证 GRAPES_MESO 业务系统的时效性由于对于特定的区域和水平分辨率, 地形滤波只需要处理一次, 且地形滤波模块不便于采用 GRAPES_MESO 使用的分块并行机制, 因此将地形滤波模块从 SI 系统中剥离出来, 将 SI 分割为 2 个独立的应用程序, 分别采用不同的并行机制 2.2 地形滤波模块并行地形滤波模块的主要作用是平滑一个二维矩阵, 其输入和输出为同阶的二维矩阵 : sroutine filter(ul, m, n, uf) implicit none integer, intent(in) :: m, n real, intent(in) :: ul(m,n) real, intent(out) :: uf(m,n) 滤波过程有两个步骤, 依次在两个水平方向上进行滤波, 滤波方法相同, 但滤波过程具有依赖性用 i j 表示两个水平方向, 以 i 方向滤波为例, 对一个特定的 j 行, 首先构造一个 [m, m] 的二维矩阵 A, 取中间区域 [m-5, m-5] 的矩阵 A1, 根据输入数据计算得到一个 m-5 个元素的向量 b, 用 doolittle 函数求解 A1 x=b, 得到解向量 x, 用 x 及原始输入数据构造结果矩阵的 j 行 i 方向滤波完成之后, 完整的结果矩阵同时构造完成, 然后用此矩阵和原始输入矩阵作为 j 方向滤波的输入再次进行滤波在滤波过程中, 需要在每一行 / 列上求解一个线性方程组, 因此并行时最合理的方式是按照行 / 列进行区域分割以 2 进程为例, 在进行 i 方向滤波时, 如图 2 所示,0 进程负责红色的区域,1 进程负责黄色的区域为简化通信模式, 在并行计算时, 将整个区域对应的数据广播到各个进程表 1 不同分辨率 SI 程序性能 ( 分辨率单位 : 度, 时间单位 : 秒 ) Tab. 1 Performance of SI under different horizontal resolutions (UNITS: resolution-degree, time-second) 水平分辨率 A 总时间有地形滤波 B 总时间无地形滤波 C A-B D 地形滤波求解线性方程组 E C-D F 水平分辨率量级 N N 2 N 5 N

4 科研信息化技术与应用,2014, 5 (5) 滤波计算完成之后,0 进程收集其它进程的数据, 然后采用相同的方法进行 j 方向的滤波计算 3 测试结果 3.1 地形滤波模块测试结果 2.3 插值模块并行插值模块并行方法采用了 GRAPES_MESO 主模式的并行软件框架, 在计算区域的并行分解上采用了通用的水平二维网格划分, 如图 3 所示, 整个并行计算过程由驱动层控制驱动层首先获取模式计算控制变量, 包括处理器数目预报区域大小以及其它控制参数, 然后根据处理器数目预报区域大小以及用户需求, 结合计算负载平衡要求, 给出适当的并行处理区域分配方案 [3] 在程序设计上沿用原有的三层结构软件框架, 同时每个变量的数组空间包含三层含义, 即预报区域 domain 存储域 memory 计算域 patch/tile 使用测试数据对并行化后的程序进行了加速比测试, 测试平台为国家超算济南中心商用集群, 排除了 I/O 的时间, 结果如表 2 所示地形滤波模块与曲线图如图 3 所示从测试结果可以看出 : (1) 上面的测试数据与全国 5km 分辨率数据规模相当, 加速比近似线性, 与有一定的偏离, 分析认为主要是因为程序中有一定的全局通信操作, 影响并行效率, 相关的改进会在后续工作中完成 ; 16.0 地形滤波模块加速比测试进程进程图 2 进程数为 2 时 i 方向滤波时的区域分割方法 Fig. 2 Region decomposition when filtering in i direction with 2 processes 图 4 地形滤波模块加速比曲线 Fig. 4 Acceleration curve of terrain filter module ims 2 ime 插值模块加速比测试 halo 1 tile its ite ips ids ipe ide 图 3 插值模块并行区域划分 Fig. 3 Parallel decomposition of interpolation module 图 5 插值模块加速比曲线 Fig. 5 Acceleration curve of interpolation module 68

5 房田文等 :GRAPES_MESO 模式标准初始化 ( SI ) 系统并行化研究表 2 地形滤波模块加速比测试结果 Tab. 2 Acceleration test results of terrain filter module 进程数计算时间 ( 秒 ) 并行效率 % % % % % 表 3 插值模块加速比测试结果 Tab. 3 Acceleration test results of interpolation module 4 结束语分辨率的增加使得模式系统的运行时间大大增加, 对预报业务的时效性带来了很大的挑战, 以往满足时效性需求的串行程序往往因为耗时增加而成为整个系统的瓶颈, 为此需要对串行程序进行并行化改造, 以缩短运行时间, 满足预报业务的时效性要求本文针对 GRAPES_MESO 模式 SI 系统的程序结构和特点, 将其拆分为两个独立的模块, 并采用不同的并行机制进行了并行化处理, 取得了良好的效果, 目前相关模块已集成到气象局新版业务系统中进程数计算时间 ( 秒 ) 并行效率 % % % 参考文献 [1] 徐金秀, 刘钊, 金之雁, 陈德训. GRAPES 全球模式并行优化与从核实现 [J]. [2] 薛纪善, 陈德辉等. 数值预报系统 GRAPES 的科学设计 (2) 全国 5km 分辨率下, 较为理想的并行规模为 16; ( 3 ) 如果换用的数据 ( 与全国 1km 分辨率数据规模相当 ), 数据规模增大, 加速比曲线会更加线性, 理想的并行规模预计能达到 100 以上 3.2 插值模块测试结果插值模块加速比测试采用全国 5km 实际数据, 测试平台为某 Intel E5620 双路 8 核服务器, 格点数为 , 测试结果如表 3 所示插值模块与曲线如图 5 所示从测试结果可以看出, 插值模块加速比曲线近似线性, 但与曲线有一定的偏离, 这是由于统计时间为程序总的运行时间, 包含了开始的 I/O 时间以及插值过程中读取多个时次静态资料 / 输出文件的 I/O 时间, 所有的 I/O 操作都是串行执行的, 在很大程度上影响了程序的并行效率如果不考虑开始的 I/O 过程, 问题规模变大 ( 如取全国 1~3km 分辨率 ), 测试结果与理论结果会更加趋于一致与应用 [M]. 科学出版社 ( 北京 ), [3] 伍湘君, 金之雁, 黄丽萍, 陈德辉. GRAPES 模式软件框架与实现 [J]. 应用气象学报, 2005(16):4, 收稿日期 :2014 年 6 月 20 日房田文 : 无锡江南计算技术研究所, 工程师, 博士, 主要研究方向为并行算法设计与优化 @126.com 胡江凯 : 中国气象局数值预报中心, 高级工程师, 工程硕士, 主要研究方向为数值预报支撑技术 hujk@cma.gov.cn 陈德训 : 无锡江南计算技术研究所, 高级工程师, 硕士, 主要研究方向为高性能计算应用 adch@263.net 陈峰峰 : 中国气象局数值预报中心, 高级工程师, 硕士, 主要研究方向为数值预报高性能计算系统 chenff@cma.gov.cn 69

200 31 5 SWAN 0. 01 0. 01 6 min TITAN Thunder Identification Tracking Analysis SWAN TITAN and Nowcasting 19 TREC Tracking Radar Echo by Correlaction T

200 31 5 SWAN 0. 01 0. 01 6 min TITAN Thunder Identification Tracking Analysis SWAN TITAN and Nowcasting 19 TREC Tracking Radar Echo by Correlaction T 31 1 2013 3 Journal of Arid Meteorology Vol. 31 No. 1 March 2013. SWAN J. 2013 31 1 199-205. doi 10. 11755 /j. issn. 1006-7639 2013-01 - 0199 SWAN 730020 2011 7 7 SWAN SWAN 2012 2 SWAN 1006-7639 2013-01