目 录 参 考 材 料 1 第 一 章 预 备 知 识 高 性 能 并 行 计 算 机 系 统 简 介 微 处 理 器 的 存 储 结 构

Transcription

1 MPI 并 行 编 程 讲 稿 张 林 波 中 国 科 学 院 数 学 与 系 统 科 学 研 究 院 科 学 与 工 程 计 算 国 家 重 点 实 验 室 1999 年 7 月 ( 最 后 修 订 :2012 年 7 月 ) i

2 目 录 参 考 材 料 1 第 一 章 预 备 知 识 高 性 能 并 行 计 算 机 系 统 简 介 微 处 理 器 的 存 储 结 构 ache 结 构 对 程 序 性 能 的 影 响 共 享 内 存 SMP 型 并 行 计 算 机 分 布 式 内 存 MPP 型 并 行 计 算 机 DSM 型 并 行 计 算 机 SMP/DSM 机 群 微 机 / 工 作 站 机 群 TOP 并 行 编 程 模 式 自 动 并 行 与 手 工 并 行 OpenMP DSM 编 程 模 式 高 性 能 Fortran: HPF 消 息 传 递 并 行 编 程 模 式 Unix 程 序 开 发 简 介 Unix 中 常 用 的 编 译 系 统 实 用 工 具 make 消 息 传 递 编 程 平 台 MPI MPI 程 序 的 编 译 与 运 行 利 用 MPIH 建 立 MPI 程 序 开 发 与 调 试 环 境 第 二 章 MPI 基 础 知 识 下 载 MPI 标 准 的 PS 文 档 一 些 名 词 与 概 念 编 程 模 式 MPI 函 数 的 一 般 形 式 MPI 的 原 始 数 据 类 型 ii

3 2.5.1 原 始 数 据 类 型 原 始 数 据 类 型 MPI 的 几 个 基 本 函 数 初 始 化 MPI 系 统 检 测 MPI 系 统 是 否 已 经 初 始 化 得 到 通 信 器 的 进 程 数 及 进 程 在 通 信 器 中 的 序 号 退 出 MPI 系 统 异 常 终 止 MPI 程 序 的 执 行 查 询 处 理 器 名 称 获 取 墙 上 时 间 及 时 钟 精 度 MPI 程 序 的 基 本 结 构 程 序 程 序 第 三 章 点 对 点 通 信 标 准 阻 塞 型 点 对 点 通 信 函 数 标 准 阻 塞 发 送 阻 塞 接 收 阻 塞 型 消 息 传 递 实 例 其 它 一 些 阻 塞 型 消 息 传 递 函 数 消 息 发 送 模 式 阻 塞 型 缓 冲 模 式 消 息 发 送 函 数 阻 塞 型 与 非 阻 塞 型 函 数 非 阻 塞 型 点 对 点 通 信 函 数 非 阻 塞 发 送 非 阻 塞 接 收 通 信 请 求 的 完 成 与 检 测 通 信 请 求 的 释 放 消 息 探 测 与 通 信 请 求 的 取 消 消 息 探 测 通 信 请 求 的 取 消 点 对 点 通 信 函 数 汇 总 持 久 通 信 请 求 创 建 持 久 消 息 发 送 请 求 创 建 持 久 消 息 接 收 请 求 iii

4 3.7.3 开 始 基 于 持 久 通 信 请 求 的 通 信 持 久 通 信 请 求 的 完 成 与 释 放 第 四 章 数 据 类 型 与 数 据 类 型 有 关 的 一 些 定 义 数 据 类 型 定 义 数 据 类 型 的 大 小 数 据 类 型 的 下 界 上 界 与 域 MPI LB 和 MPI UB 数 据 类 型 查 询 函 数 数 据 类 型 创 建 函 数 MPI Type contiguous MPI Type vector MPI Type hvector MPI Type indexed MPI Type hindexed MPI Type struct 地 址 函 数 MPI Address 数 据 类 型 的 使 用 数 据 类 型 的 提 交 数 据 类 型 的 释 放 MPI Get elements 数 据 的 打 包 与 拆 包 数 据 打 包 数 据 拆 包 得 到 打 包 后 的 数 据 大 小 MPI 1.1 中 位 移 与 数 据 大 小 的 限 制 第 五 章 聚 合 通 信 (ollective ommunications) 障 碍 同 步 广 播 数 据 收 集 收 集 相 同 长 度 数 据 块 MPI Gather 收 集 不 同 长 度 数 据 块 MPI Gatherv 全 收 集 MPI Allgather 不 同 长 度 数 据 块 的 全 收 集 MPI Allgatherv iv

5 5.4 数 据 散 发 散 发 相 同 长 度 数 据 块 MPI Scatter 散 发 不 同 长 度 数 据 块 MPI Scatterv 全 部 进 程 对 全 部 进 程 的 数 据 散 发 收 集 相 同 数 据 长 度 的 全 收 集 散 发 MPI Alltoall 不 同 数 据 长 度 的 全 收 集 散 发 MPI Alltoallv 归 约 归 约 函 数 MPI Reduce 全 归 约 MPI Allreduce 归 约 散 发 MPI Reduce scatter 前 缀 归 约 MPI Scan 归 约 与 前 缀 归 约 中 用 户 自 定 义 的 运 算 程 序 实 例 :π 值 计 算 程 序 实 例 : 二 维 Poisson 方 程 (by 莫 则 尧 ) 方 程 离 散 与 迭 代 求 解 并 行 算 法 设 计 : 区 域 分 解 策 略 并 行 算 法 设 计 : 通 信 数 据 结 构 Poisson 方 程 MPI 程 序 Poisson 方 程 MPI 程 序 改 进 一 : 非 阻 塞 通 信 Poisson 方 程 MPI 程 序 改 进 二 : 重 叠 通 信 与 计 算 Poisson 方 程 MPI 程 序 的 其 他 改 进 第 六 章 进 程 组 与 通 信 器 基 本 概 念 进 程 组 上 下 文 (ontext) 域 内 通 信 器 (Intracommunicator) 域 间 通 信 器 (Intercommunicator) 进 程 组 操 作 函 数 查 询 进 程 组 大 小 和 进 程 在 组 中 的 序 号 两 个 进 程 组 间 进 程 序 号 的 映 射 比 较 两 个 进 程 组 进 程 组 的 创 建 与 释 放 域 内 通 信 器 操 作 函 数 比 较 两 个 通 信 器 v

6 6.3.2 通 信 器 的 创 建 与 释 放 通 信 器 的 附 加 属 性 (aching) 域 间 通 信 器 (Intercommunicator) 进 程 拓 扑 结 构 迪 卡 尔 拓 扑 结 构 Poisson 方 程 MPI 程 序 改 进 三 : 进 程 拓 扑 结 构 一 般 拓 扑 结 构 底 层 支 持 函 数 第 七 章 文 件 输 入 输 出 基 本 术 语 基 本 文 件 操 作 打 开 MPI 文 件 关 闭 MPI 文 件 删 除 文 件 设 定 文 件 长 度 为 文 件 预 留 空 间 查 询 文 件 长 度 查 询 文 件 参 数 查 询 打 开 文 件 的 进 程 组 查 询 文 件 访 问 模 式 设 定 文 件 视 窗 文 件 中 的 数 据 表 示 格 式 可 移 植 数 据 类 型 查 询 数 据 类 型 相 应 于 文 件 数 据 表 示 格 式 的 域 文 件 读 写 操 作 使 用 显 式 位 移 的 阻 塞 型 文 件 读 写 使 用 独 立 文 件 指 针 的 阻 塞 型 文 件 读 写 使 用 共 享 文 件 指 针 的 阻 塞 型 文 件 读 写 非 阻 塞 型 文 件 读 写 函 数 分 裂 型 文 件 读 写 函 数 文 件 指 针 操 作 独 立 文 件 指 针 操 作 共 享 文 件 指 针 操 作 文 件 位 移 在 文 件 中 的 绝 对 地 址 vi

7 7.7 不 同 进 程 对 同 一 文 件 读 写 操 作 的 相 容 性 设 定 文 件 访 问 的 原 子 性 查 询 atomicity 的 当 前 值 文 件 读 写 与 存 储 设 备 间 的 同 步 子 数 组 数 据 类 型 创 建 函 数 Poisson 方 程 MPI 程 序 改 进 四 : 近 似 解 输 出 vii

8 本 讲 义 仅 供 课 程 学 员 及 其 他 感 兴 趣 者 个 人 参 考 用, 尚 处 于 逐 步 修 改 完 善 的 过 程 中, 许 多 内 容 代 表 的 是 作 者 的 个 人 观 点. 未 经 作 者 同 意, 不 得 擅 自 散 播 印 刷 转 引 讲 义 中 的 部 分 或 全 部 内 容. viii

9 参 考 材 料 莫 则 尧 等, 消 息 传 递 并 行 编 程 环 境 MPI, 科 学 出 版 社, 都 志 辉 等, 高 性 能 并 行 计 算 编 程 技 术 MPI 并 行 程 序 设 计, 清 华 大 学 出 版 社,2001 张 林 波 等, 并 行 计 算 导 论, 清 华 大 学 出 版 社, * ftp://ftp.cc.ac.cn/pub/home/zlb/bxjs/bxjs.pdf: * ftp://ftp.cc.ac.cn/pub/home/zlb/bxjs/bxjs.pdf 本 讲 义 中 的 程 序 实 例 的 下 载 地 址 : ftp://ftp.cc.ac.cn/pub/home/zlb/bxjs/: * ftp://ftp.cc.ac.cn/pub/home/zlb/bxjs/ 1

10 第 一 章 预 备 知 识 1.1 高 性 能 并 行 计 算 机 系 统 简 介 微 处 理 器 的 存 储 结 构 ache 结 构 对 程 序 性 能 的 影 响 例 1.1 矩 阵 乘 法 中 不 同 循 环 顺 序 对 程 序 性 能 的 影 响. c i,j = n a i,k b k,j k=1 DO J=1,N DO I=1,N (I,J) = 0.D0 ENDDO ENDDO DO I=1,N DO J=1,N DO K=1,N (I,J) = (I,J) + A(I,K) * B(K,J) ENDDO ENDDO ENDDO i, j = 1,..., n 矩 阵 乘 法 实 例 1: matmul/matmul0.m4 矩 阵 乘 法 实 例 2: matmul/matmul.f 共 享 内 存 SMP 型 并 行 计 算 机 对 称 多 处 理 器 (Symmetric Multi Processors), 或 共 享 内 存 处 理 器 (Shared Memory Processors). 多 个 处 理 器 通 过 系 统 总 线 或 交 叉 开 关 共 享 一 个 或 多 个 内 存 模 块. 优 点 : 使 用 简 单, 维 护 方 便. 缺 点 : 受 系 统 总 线 带 宽 限 制, 只 能 支 持 少 量 处 理 器 ( 一 般 十 几 个 ). 并 行 编 程 方 式 : 通 常 采 用 OpenMP, 也 可 使 用 消 息 传 递 (MPI/PVM) 及 HPF. 2

11 代 表 机 型 : SGI Power hallenge: 01-chall.sh, Sun E10000, 等 分 布 式 内 存 MPP 型 并 行 计 算 机 Massively Parallel Processors 的 简 称 指 由 大 量 具 有 局 部 内 存 的 计 算 结 点 通 过 高 速 系 统 网 络 联 接 而 构 成 的 并 行 处 理 系 统. MPP 系 统 的 系 统 网 络 通 常 具 有 某 种 拓 扑 结 构 ( 如 tree, mesh, torus, hypercube) DSM 型 并 行 计 算 机 分 布 共 享 内 存 : Distributed Shared Memory 多 个 物 理 上 具 有 独 立 内 存 的 处 理 单 元, 通 过 高 速 网 络 联 接 在 一 起. 逻 辑 上 作 为 共 享 内 存 并 行 机 使 用. 也 称 为 NUMA 结 构 (NonUniform Memory Access). 不 同 处 理 单 元 间 内 存 的 共 享 通 过 特 殊 的 硬 件 / 软 件 实 现. 具 有 比 SMP 型 并 行 机 更 好 的 可 扩 展 性 ( 超 过 100 个 PU). 代 表 机 型 : SGI Origin 2000/ SMP/DSM 机 群 将 多 台 SMP 或 DSM 并 行 机 通 过 互 联 网 络 连 接 而 成. 目 前 国 内 外 最 高 性 能 的 并 行 机 大 多 是 这 种 结 构. 3

12 1.1.7 微 机 / 工 作 站 机 群 微 机 机 群 (P cluster, 又 称 为 Beowulf cluster), 工 作 站 机 群 (NOW, Network Of Workstations): 将 联 网 的 多 台 微 机 或 工 作 站 组 织 成 一 台 并 行 计 算 机. 目 前 常 用 的 网 络 有 以 太 网 (100Mbps), ATM (155/622Mbps), Myrinet (1.2Gbps, 适 合 于 构 造 中 等 规 模 的 并 行 系 统 ( 多 达 数 百 个 处 理 器 ). 根 据 机 群 中 所 使 用 的 机 型 可 为 同 构 型 和 异 构 型 两 种. 根 据 机 群 的 使 用 方 式 又 可 分 为 专 用 型 和 兼 用 型. 前 者 指 该 机 群 专 门 用 于 并 行 计 算 微 机 / 工 作 站 机 群 的 优 点 是 价 格 便 宜 配 置 灵 活. 但 其 规 模 及 并 行 效 率 受 网 络 设 备 的 制 约. 配 以 适 当 的 系 统 管 理 工 具 及 作 业 调 度 性 能 监 控 并 行 程 序 调 试 开 发 环 境 及 外 设 等, 微 机 / 工 作 站 机 群 系 统 可 以 达 到 与 商 用 MPP 系 统 一 样 的 使 用 效 果 TOP500 TOP500 Supercomputer Sites: 并 行 编 程 模 式 自 动 并 行 与 手 工 并 行 在 SMP 及 DSM 并 行 机 上 编 译 系 统 通 常 具 有 一 定 的 对 用 户 程 序 (/Fortran) 进 行 自 动 并 行 化 的 能 力, 但 经 常 需 要 人 工 干 预 ( 通 过 指 导 语 句 命 令 行 选 项 等 ) 以 达 到 理 想 的 并 行 效 率. 并 行 主 要 针 对 循 环 进 行 ( 细 粒 度 并 行 ). 在 分 布 式 内 存 并 行 机 上 尚 无 通 用 高 效 的 自 动 并 行 工 具, 主 要 依 靠 人 工 编 写 并 行 程 序. 4

13 并 行 算 法 的 设 计 及 并 行 程 序 的 编 制 已 成 为 目 前 制 约 大 规 模 并 行 计 算 机 应 用 的 主 要 障 碍 OpenMP 在 串 行 程 序 的 循 环 语 句 前 插 入 特 定 的 指 导 语 句, 告 知 编 译 系 统 一 些 有 助 于 对 该 循 环 进 行 并 行 的 信 息 以 及 / 或 是 强 制 编 译 系 统 按 指 定 的 方 式 将 该 循 环 并 行 化. 主 要 限 于 SMP 及 DSM 型 的 并 行 系 统. 现 在 也 已 发 展 到 一 些 MPP 系 统. 通 常 结 合 编 译 系 统 的 自 动 并 行 化 功 能 使 用. 也 有 一 些 自 动 并 行 化 工 具, 它 们 对 程 序 结 构 及 数 据 流 进 行 分 析, 然 后 自 动 插 入 适 当 的 OpenMP 语 句. OpenMP 的 优 点 是 学 习 及 使 用 相 对 简 单, 很 多 情 况 下 不 需 要 对 原 有 算 法 及 程 序 做 大 的 改 动. 缺 点 是 只 适 合 一 类 特 定 的 机 型, 并 且 程 序 的 可 扩 展 性 通 常 不 如 用 消 息 传 递 方 式 编 写 的 并 行 程 序. 对 一 些 具 有 强 数 据 相 关 性 的 计 算 过 程 需 要 通 过 改 变 计 算 顺 序 或 修 改 算 法 甚 至 设 计 新 的 算 法 来 实 现 并 行 计 算. OpenMP 程 序 实 例 : 矩 阵 乘 : matmul/matmul-omp.f DSM 编 程 模 式 建 立 在 某 种 内 存 一 致 性 协 议 之 上, 通 过 软 件 或 软 硬 件 结 合 的 方 式 实 现 处 理 器 间 内 存 的 共 享. 通 过 要 求 DSM 并 行 程 序 中 对 内 存 的 读 写 遵 循 一 定 的 规 则 来 减 小 维 护 内 存 一 致 性 的 开 销. 参 看 : 唐 志 敏 /jiajia.ppt 软 件 DSM 系 统 实 例 : JiaJia: 高 性 能 Fortran: HPF 基 于 数 据 并 行 的 编 程 语 言, 即 用 户 通 过 指 导 语 句 指 示 编 译 系 统 将 数 据 分 布 到 各 处 理 器 上, 编 译 系 统 根 据 数 据 分 布 的 情 况 生 成 并 行 程 序. 主 要 面 向 Fortran 90/95. 优 点 : 编 程 相 对 简 单, 串 并 行 程 序 一 致. 适 合 于 SMP/DSM/MPP/cluster 系 统. 主 要 缺 点 是 并 行 过 程 对 用 户 的 透 明 度 不 高, 程 序 的 性 能 很 大 程 度 上 依 赖 于 所 用 的 编 译 系 统 及 用 户 对 编 译 系 统 的 了 解, 需 要 针 对 不 同 的 HPF 编 译 器 做 不 同 的 优 化, 影 响 了 程 序 的 可 移 植 性. HPF 程 序 实 例 : 矩 阵 乘 : matmul/matmul-hpf.f 消 息 传 递 并 行 编 程 模 式 并 行 程 序 由 一 组 独 立 运 行 的 进 程 构 成. 进 程 间 通 过 相 互 发 送 消 息 来 实 现 数 据 交 换. 可 以 说 消 息 传 递 并 行 编 程 是 并 行 应 用 程 序 开 发 的 最 底 层 编 程 方 式 之 一. 很 多 其 它 并 行 开 发 语 言 或 工 具 ( 如 一 些 HPF 编 译 器 ) 将 程 序 转 化 成 消 息 传 递 型 并 行 程 序 来 实 现 并 行. 常 用 的 消 息 传 递 平 台 有 PVM (Parallel Virtual Machine) 和 MPI (Message Passing Interface). 程 序 通 用 性 好, 用 PVM 或 MPI 编 写 的 程 序 可 以 在 任 何 并 行 计 算 机 上 运 行. 能 够 达 到 很 高 的 并 行 效 率, 具 有 很 好 的 可 扩 展 性. 缺 点 : 程 序 的 编 制 与 调 试 比 较 困 难, 许 多 情 况 下 要 对 程 序 甚 至 算 法 做 大 的 改 动. 5

14 1.3 Unix 程 序 开 发 简 介 Unix 中 常 用 的 编 译 系 统 编 译 器 由 前 端 和 后 端 组 成. 通 常 用 户 只 需 使 用 前 端 命 令 即 可 完 成 编 译 链 接. 编 译 器 : cc, gcc (GNU ) 等. Fortran 编 译 器 : f77, fc, g77 (GNU Fortran), f90 (Fortran 90) 等. 可 用 man 查 看 使 用 手 册, 如 : man cc, man f77 等 等. 命 令 行 形 式 : % cc [options] files [options] % f77 [options] files [options] 文 件 的 类 型 由 文 件 的 扩 展 名 决 定 : 源 代 码 :.c; 源 代 码 :.f; 带 预 处 理 的 Fortran 源 代 码 :.F; Fortran 90 源 代 码 :.f90; ++ 源 代 码 :.c++,.,.cpp,.cc,.cxx; 汇 编 代 码 :.s,.s; 目 标 文 件 :.o; 库 文 件 :.a; 共 享 库 :.so; 命 令 行 选 项 : -c: 只 编 译, 不 链 接, 即 只 生 成.o 文 件. -o filename: 指 定 输 出 文 件 名, 缺 省 为 *.o, a.out 等. -Ipath: 指 定 ( 增 加 ) 包 含 文 件 ( 如 *.h) 的 搜 索 目 录. -Lpath: 指 定 ( 增 加 ) 库 文 件 的 搜 索 目 录. -lname: 与 库 文 件 libname.a 链 接. 优 化 开 关 : -O, -O1, -O2, -O3, 等 等. 目 标 码 中 包 含 源 文 件 名 行 号 等 信 息 ( 用 于 程 序 调 试 ): -g. 例 : f77 -O2 -o prog file1.f file2.c file3.o file4.a f77 -c file.f f77 -o out file.o f77 -c -I/usr/local/mpi/include file.f f77 -o prog -L/usr/local/mpi/lib file.o -lmpi ( 等 价 于 : f77 -o prog file.o /usr/local/mpi/lib/libmpi.a) 6

15 1.3.2 实 用 工 具 make 命 令 形 式 : make [-f Makefile] [options] [target [target...]] 其 中 -f 选 项 给 出 定 义 规 则 的 文 件 名 ( 简 称 Makefile 文 件 ), 缺 省 使 用 当 前 目 录 下 的 Makefile 或 makefile 文 件. target 指 明 要 求 生 成 的 目 标 ( 在 Makefile 中 定 义 ), 当 命 令 行 中 不 给 出 target 时 make 只 生 成 Makefile 中 定 义 的 第 一 个 目 标. 比 较 有 用 也 较 通 用 的 命 令 行 选 项 有 下 面 一 些 : -f 文 件 名 : 指 定 Makefile 文 件 名. -n: 只 显 示 将 要 执 行 的 命 令 而 并 不 执 行 它 们. -p: 显 示 定 义 的 全 部 规 则 及 宏, 用 于 对 Makefile 的 调 试. 通 过 Makefile 文 件 定 义 一 组 文 件 之 间 的 依 赖 关 系 及 处 理 命 令, 方 便 程 序 开 发 过 程 中 的 编 译 与 维 护. 处 理 规 则 的 建 立 以 特 定 的 文 件 扩 展 名 及 文 件 修 改 时 间 为 基 础. 缺 省 支 持 常 用 的 程 序 扩 展 名 :.c,.f,.f,.o,.a,.h, 等 等. 用 户 可 以 通 过.SUFFIXES: 目 标 定 义 新 的 文 件 扩 展 名. 基 本 规 则 : 目 标 : 依 赖 对 象 <tab> 处 理 命 令 <tab> 例 : prog: file1.f file2.f file3.c f77 -O2 -o prog file1.f file2.f file3.c 其 含 义 为 : 如 果 目 标 (prog) 不 存 在, 或 者 任 何 一 个 依 赖 对 象 (file1.f, file2.f, file3.c) 比 目 标 新, 则 执 行 指 定 的 命 令. 宏 定 义 : SR=file1.f file2.f file3.c prog: $(SR) f77 -O2 -o prog $(SR) 环 境 变 量 可 以 在 Makefile 中 作 为 宏 使 用, 如 $(HOME). 常 用 预 定 义 的 宏 : $@: 代 表 目 标 名 ( 上 例 中 为 prog) $<: 第 一 个 依 赖 对 象 名 ( 上 例 中 为 file1.f) $^: 全 部 依 赖 对 象 名 ( 上 例 中 为 file1.f file2.f file3.c) $?: 全 部 比 目 标 新 的 依 赖 对 象 名 $*: 用 在 隐 式 规 则 中, 代 表 不 含 扩 展 名 的 依 赖 对 象 隐 式 规 则 : prog: file1.o file2.o file3.o f77 -O2 -o prog $?.c.o: cc -O2 -c $*.c.f.o: f77 -O2 -c $*.f 7

16 Makefile 实 例 : numbering/makefile 1.4 消 息 传 递 编 程 平 台 MPI 由 全 世 界 工 业 科 研 和 政 府 部 门 联 合 建 立 的 一 个 消 息 传 递 编 程 标 准, 以 便 为 并 行 应 用 程 序 的 设 计 提 供 一 个 高 效 统 一 的 编 程 环 境. 它 是 目 前 最 为 通 用 的 并 行 编 程 方 式, 也 是 分 布 式 并 行 系 统 的 主 要 编 程 环 境. MPI 标 准 中 定 义 了 一 组 函 数 接 口 用 于 进 程 间 的 消 息 传 递. 这 些 函 数 的 具 体 实 现 由 各 计 算 机 厂 商 或 科 研 部 门 来 完 成. 除 各 厂 商 提 供 的 MPI 系 统 外, 一 些 高 校 科 研 部 门 也 在 开 发 免 费 的 通 用 MPI 系 统, 其 中 最 著 名 的 有 : MPIH ( LAM MPI ( 它 们 均 提 供 源 代 码, 并 支 持 目 前 绝 大 部 分 的 并 行 计 算 系 统 ( 包 括 微 机 和 工 作 站 机 群 ). 实 际 上 许 多 厂 商 提 供 的 MPI 系 统 是 在 MPIH 的 基 础 上 优 化 产 生 的. MPI 的 第 一 个 标 准 MPI 1.0 于 1994 年 推 出. 最 新 的 标 准 为 2.0 版, 于 1998 年 推 出 MPI 程 序 的 编 译 与 运 行 MPI 程 序 的 编 译 : % mpicc -O2 -o mpiprog mpisrc.c % mpif77 -O2 -o mpiprog mpisrc1.c mpisrc2.f MPI 程 序 的 运 行 : % mpirun -np 4 mpiprog MPI 程 序 实 例 : cpi.c MPI Fortran 程 序 实 例 : pi3.f 利 用 MPIH 建 立 MPI 程 序 开 发 与 调 试 环 境 MPIH 是 目 前 最 为 流 行 的 免 费 MPI 系 统, 它 支 持 几 乎 所 有 的 Unix 及 Windows 9x/NT 环 境, 很 适 合 于 用 来 建 立 自 己 的 MPI 程 序 调 试 环 境. 建 议 在 Linux 环 境 下 安 装 MPIH 从 而 形 成 一 个 MPI 程 序 的 开 发 调 试 环 境 mpich.tar.gz 的 下 载 : 或 ftp://lsec.cc.ac.cn/pub/mpich, 目 前 最 新 版 本 为 MPIH 解 开 MPIH 源 代 码 : % tar xzpvf mpich.tar.gz 或 : % gzip -dc mpich p4.tar.gz tar xpvf - 或 : % gzip -d mpich p4.tar.gz % tar xpvf mpich p4.tar 展 开 后, doc 子 目 录 中 含 有 MPIH 的 安 装 说 明 及 使 用 说 明. 8

17 配 置 编 译 MPIH: % cd mpich p4 ( 或 cd mpich p4) %./configure -prefix=/usr/local/mpi % make 在 单 机 上 编 译 运 行 简 单 测 试 程 序 : % cd examples/basic %../../bin/mpdboot %../../bin/mpicc -o cpi cpi.c %../../bin/mpirun -np 1 cpi %../../bin/mpirun -np 2 cpi 在 运 行 上 述 命 令 之 前 应 该 开 启 系 统 中 的 rsh 服 务, 并 检 查 文 件 ~/.rhosts 或 /etc/hosts.equiv 是 否 存 在 并 且 其 中 包 含 本 机 的 主 机 名, 当 文 件 不 存 在 或 没 有 包 含 本 机 主 机 名 的 话 需 要 创 建 一 个 文 件 并 且 ( 或 ) 在 其 中 加 入 本 机 主 机 名. 否 则 上 述 最 后 一 条 命 令 将 产 生 permission denied 错 误. 以 超 级 用 户 身 份 在 目 录 mpich p4 下 运 行 : # make install 来 将 MPIH 安 装 到 目 录 /usr/local/mpi 下, 以 便 其 它 用 户 也 能 使 用. 然 后 可 以 删 除 mpich p4 目 录. 使 用 shell 的 用 户 应 该 在 文 件 ~/.cshrc 中 加 入 : setenv PATH ${PATH}:/usr/local/mpi/bin setenv MANPATH ${MANPATH}:/usr/local/mpi/man 使 用 Bourne shell 的 用 户 应 该 在 文 件 ~/.profile 中 加 入 : PATH=${PATH}:/usr/local/mpi/bin export PATH MANPATH=${MANPATH}:/usr/local/mpi/man export MANPATH 以 便 可 以 直 接 使 用 /usr/local/mpi/bin 中 的 命 令 (mpif77, mpicc, mpirun 等 等 ), 以 及 用 man 命 令 来 得 到 MPI 函 数 的 使 用 手 册. 9

18 第 二 章 MPI 基 础 知 识 2.1 下 载 MPI 标 准 的 PS 文 档 MPI 1.1/2.0 文 档 : MPI 2.0 的 PostScript 文 档 中 只 有 MPI 1.2/2.0 版 新 增 加 的 内 容, 应 该 结 合 MPI 1.1 的 文 档 阅 读. 2.2 一 些 名 词 与 概 念 程 序 与 代 码 我 们 这 里 说 的 程 序 不 是 指 以 文 件 形 式 存 在 的 源 代 码 可 执 行 代 码 等, 而 是 指 为 了 完 成 一 个 计 算 任 务 而 进 行 的 一 次 运 行 过 程. 进 程 (process) 一 个 MPI 并 行 程 序 由 一 组 运 行 在 相 同 或 不 同 计 算 机 / 计 算 结 点 上 的 进 程 或 线 程 构 成. 为 统 一 起 见, 我 们 将 MPI 程 序 中 一 个 独 立 参 与 通 信 的 个 体 称 为 一 个 进 程. 在 Unix 系 统 中, MPI 的 进 程 通 常 是 一 个 Unix 进 程. 在 共 享 内 存 / 消 息 传 递 混 合 编 程 模 式 中, 一 个 MPI 进 程 可 能 代 表 一 组 Unix 线 程. 进 程 组 (process group) 指 一 个 MPI 程 序 的 全 部 进 程 集 合 的 一 个 有 序 子 集. 进 程 组 中 每 个 进 程 被 赋 于 一 个 在 该 组 中 唯 一 的 序 号 (rank), 用 于 在 该 组 中 标 识 该 进 程. 序 号 的 取 值 范 围 是 0 到 进 程 数 1. 通 信 器 (communicator) 通 信 器 ( 也 有 译 成 通 信 子 的 ) 是 完 成 进 程 间 通 信 的 基 本 环 境, 它 描 述 了 一 组 可 以 互 相 通 信 的 进 程 以 及 它 们 之 间 的 联 接 关 系 等 信 息. MPI 的 所 有 通 信 必 须 在 某 个 通 信 器 中 进 行. 通 信 器 分 域 内 通 信 器 (intracommunicator) 和 域 间 通 信 器 (intercommunicator) 两 类, 前 者 用 于 属 于 同 一 进 程 组 的 进 程 间 的 通 信, 后 者 用 于 分 属 两 个 不 同 进 程 组 的 进 程 间 的 通 信. 域 内 通 信 器 由 一 个 进 程 组 和 有 关 该 进 程 组 的 进 程 间 的 拓 扑 联 接 关 系 构 成. MPI 系 统 在 一 个 MPI 程 序 运 行 时 会 自 动 创 建 两 个 通 信 器, 一 个 称 为 MPI_OMM_WORLD, 它 包 含 该 MPI 程 序 中 的 所 有 进 程, 另 一 个 称 为 MPI_OMM_SELF, 它 指 单 个 进 程 自 己 所 构 成 的 通 信 器. 序 号 (rank) 序 号 用 来 在 一 个 进 程 组 或 通 信 器 中 标 识 一 个 进 程. MPI 程 序 中 的 进 程 由 进 程 组 / 序 号 或 通 信 器 / 序 号 所 唯 一 确 定. 序 号 是 相 对 于 进 程 组 或 通 信 器 而 言 的 : 同 一 个 进 程 在 不 同 的 进 程 组 或 通 信 器 中 可 以 有 不 同 的 序 号. 进 程 的 序 号 是 在 进 程 组 或 通 信 器 被 创 建 时 赋 予 的. MPI 系 统 提 供 了 一 个 特 殊 的 进 程 序 号 MPI_PRO_NULL, 它 代 表 空 进 程 ( 不 存 在 的 进 程 ). 与 MPI_PRO_NULL 间 的 通 信 实 际 上 没 有 任 何 作 用. 消 息 (message) MPI 程 序 中 在 进 程 间 传 送 的 数 据 称 为 消 息. 一 个 消 息 由 通 信 器 源 地 址 目 的 地 址 消 息 标 签 和 数 据 构 成. 通 信 (communication) 通 信 指 在 进 程 之 间 进 行 消 息 的 收 发 同 步 等 操 作. 2.3 编 程 模 式 SPMD 编 程 模 式 Single Program Multiple Data 的 缩 写. 指 构 成 一 个 程 序 的 所 有 进 程 运 行 的 是 同 一 份 可 执 行 代 码. 不 同 进 程 根 据 自 己 的 序 号 可 能 执 行 该 代 码 中 的 不 同 分 支. 这 是 MPI 编 程 中 最 常 用 的 编 程 方 式. 用 户 只 需 要 编 写 维 护 一 份 源 代 码. 10

19 MPMD 编 程 模 式 Multiple Program Multiple Data 的 缩 写. 指 构 成 一 个 程 序 的 不 同 进 程 运 行 不 同 的 可 执 行 代 码. 用 户 需 要 编 写 维 护 多 份 源 代 码. 主 / 从 编 程 模 式 英 文 为 Master/Slave. 它 是 MPMD 编 程 模 式 的 一 个 特 例, 也 是 MPMD 编 程 模 式 中 最 常 见 的 方 式. 构 成 一 个 程 序 的 进 程 之 一 负 责 所 有 进 程 间 的 协 调 及 任 务 调 度, 该 进 程 称 为 主 进 程 (Master), 其 余 进 程 称 为 从 进 程 (Slave). 通 常 用 户 需 要 维 护 两 份 源 代 码. 2.4 MPI 函 数 的 一 般 形 式 : 一 般 形 式 为 : int MPI_Xxxxxx(...) MPI 的 函 数 名 中 下 划 线 后 第 一 个 字 母 大 写, 其 余 字 母 小 写. 除 MPI_Wtime() 和 MPI_Wtick() 外, 所 有 MPI 的 函 数 均 返 回 一 个 整 型 错 误 码, 当 它 等 于 MPI_SUESS (0) 时 表 示 调 用 成 功, 否 则 表 示 调 用 中 产 生 了 某 类 错 误. : 一 般 形 式 为 : SUBROUTINE MPI_XXXXXX(..., IERR) 除 MPI_WTIME 和 MPI_WTIK 外, 的 MPI 过 程 全 部 是 子 程 序 (SUBROUTINE), 它 们 与 对 应 的 MPI 的 函 数 同 名 ( 但 不 区 分 大 小 写 ), 参 数 表 除 最 后 多 出 一 个 整 型 参 数 IERR 用 于 返 回 调 用 错 误 码 及 参 数 的 类 型 不 同 外, 也 和 MPI 的 函 数 一 样. 2.5 MPI 的 原 始 数 据 类 型 MPI 系 统 中 数 据 的 发 送 与 接 收 都 是 基 于 数 据 类 型 进 行 的. 数 据 类 型 可 以 是 MPI 系 统 预 定 义 的, 称 为 原 始 数 据 类 型, 也 可 以 是 用 户 在 原 始 数 据 类 型 的 基 础 上 自 己 定 义 的 数 据 类 型. MPI 为 和 定 义 的 原 始 的 数 据 类 型 在 下 面 两 个 表 格 中 给 出. 除 表 中 列 出 的 外, 有 的 MPI 实 现 可 能 还 提 供 了 更 多 的 原 始 数 据 类 型, 如 MPI_INTEGER2, MPI_LONG_LONG_INT, 等 等 原 始 数 据 类 型 MPI 数 据 类 型 MPI_INTEGER MPI_REAL MPI_DOUBLE_PREISION MPI_OMPLEX MPI_DOUBLE_OMPLEX MPI_LOGIAL MPI_HARATER MPI_BYTE MPI_PAKED 对 应 的 数 据 类 型 INTEGER REAL DOUBLE PREISION OMPLEX DOUBLE OMPLEX LOGIAL HARATER*1 11

20 2.5.2 原 始 数 据 类 型 MPI 数 据 类 型 MPI_INT MPI_FLOAT MPI_DOUBLE MPI_SHORT MPI_LONG MPI_HAR MPI_UNSIGNED_HAR MPI_UNSIGNED_SHORT MPI_UNSIGNED MPI_UNSIGNED_LONG MPI_LONG_DOUBLE MPI_BYTE MPI_PAKED 对 应 的 数 据 类 型 int float double short long char unsigned char unsigned short unsigned unsigned long long double 2.6 MPI 的 几 个 基 本 函 数 本 节 介 绍 MPI 系 统 的 几 个 基 本 函 数 初 始 化 MPI 系 统 int MPI_Init(int *argc, char ***argv) MPI_INIT(IERR) INTEGER IERR 初 始 化 MPI 系 统. 通 常 它 应 该 是 第 一 个 被 调 用 的 MPI 函 数. 除 MPI_Initialized 外, 其 它 所 有 MPI 函 数 仅 在 调 用 了 该 函 数 后 才 可 以 被 调 用. 在 接 口 中, MPI 系 统 通 过 argc 和 argv 得 到 命 令 行 参 数, 并 且 会 将 其 中 MPI 系 统 专 用 的 参 数 删 除 而 仅 留 下 供 用 户 程 序 解 释 的 参 数 检 测 MPI 系 统 是 否 已 经 初 始 化 int MPI_Initialized(int *flag) MPI_INITIALIZED(FLAG, IERR) LOGIAL FLAG INTEGER IERR 如 果 已 经 调 用 过 MPI_Init 则 返 回 flag = true, 否 则 返 回 flag = false. 这 是 唯 一 可 以 在 MPI_Init 之 前 调 用 的 函 数. 12

21 2.6.3 得 到 通 信 器 的 进 程 数 及 进 程 在 通 信 器 中 的 序 号 int MPI_omm_size(MPI_omm comm, int *size) int MPI_omm_rank(MPI_omm comm, int *rank) MPI_OMM_SIZE(OMM, SIZE, IERR) INTEGER OMM, SIZE, IERR MPI_OMM_RANK(OMM, RANK, IERR) INTEGER OMM, RANK, IERR 上 述 两 个 函 数 分 别 返 回 指 定 通 信 器 中 的 进 程 数 及 本 进 程 在 该 通 信 器 中 的 序 号 退 出 MPI 系 统 int MPI_Finalize(void) MPI_FINALIZE(IERR) INTEGER IER 退 出 MPI 系 统. 所 有 MPI 进 程 在 正 常 退 出 前 都 必 须 调 用 该 函 数. 它 是 MPI 程 序 中 最 后 一 个 被 调 用 的 MPI 函 数 : 调 用 MPI_Finalize 后 不 允 许 再 调 用 任 何 MPI 函 数. 用 户 在 调 用 该 函 数 前 应 该 确 认 所 有 的 ( 非 阻 塞 ) 通 信 均 已 完 成 异 常 终 止 MPI 程 序 的 执 行 int MPI_Abort(MPI_omm comm, int errorcode) MPI_ABORT(OMM, ERRORODE, IERR) INTEGER OMM, ERRORODE, IERR 调 用 该 函 数 时 表 明 因 为 出 现 了 某 种 致 命 错 误 而 希 望 异 常 终 止 MPI 程 序 的 执 行. MPI 系 统 会 尽 量 设 法 终 止 通 信 器 comm 中 的 所 有 进 程. 在 Unix 系 统 环 境 中, errcode 被 作 为 进 程 的 退 出 码 (exit code) 返 回 给 操 作 系 统 查 询 处 理 器 名 称 int MPI_Get_processor_name(char *name, int *resultlen) MPI_GET_PROESSOR_NAME( NAME, RESULTLEN, IERR) HARATER*(*) NAME INTEGER RESULTLEN, IERR 13

22 该 函 数 在 name 中 返 回 进 程 所 在 的 处 理 器 的 名 称. 参 数 name 应 该 提 供 不 少 于 MPI_MAX_PROESSOR_NAME 个 字 节 的 存 储 空 间 用 于 存 放 处 理 器 名 称 获 取 墙 上 时 间 及 时 钟 精 度 double MPI_Wtime(void) double MPI_Wtick(void) DOUBLE PREISION FUNTION MPI_WTIME() DOUBLE PREISION MPI_WTIK() MPI_WTIME 返 回 当 前 墙 上 时 间, 以 从 某 一 固 定 时 刻 算 起 的 秒 数 为 单 位. 而 MPI_WTIK 则 返 回 MPI_WTIME 函 数 的 时 钟 精 度, 也 是 以 秒 为 单 位. 例 如, 假 设 MPI_WTIME 使 用 的 硬 件 时 钟 计 数 器 每 1/1000 秒 增 加 1, 则 MPI_WTIK 的 返 回 值 为 10 3, 表 示 用 函 数 MPI_WTIME 得 到 的 时 间 精 度 为 千 分 之 一 秒. 在 中, 这 是 唯 一 两 个 返 回 双 精 度 值 而 非 整 型 错 误 码 的 MPI 接 口 函 数. 在 中, 这 是 唯 一 两 个 FUNTION 形 式 的 接 口 ( 其 它 MPI 的 接 口 一 律 以 SUBROUTINE 的 形 式 定 义 ). 2.7 MPI 程 序 的 基 本 结 构 程 序 * PROGRAM MPIPRG INLUDE mpif.h INTEGER MYRANK, NPROS, IERR ALL MPI_INIT(IERR) ALL MPI_OMM_RANK( MPI_OMM_WORLD, MYRANK, IERR) ALL MPI_OMM_SIZE( MPI_OMM_WORLD, NPROS, IERR) ALL MPI_FINALIZE(IERR) STOP END 程 序 实 例 : 02-mpi.f 14

23 2.7.2 程 序 #include "mpi.h" int main(int argc, char *argv[]) { int myrank, nprocs; } MPI_Init(&argc,&argv); MPI_omm_size(MPI_OMM_WORLD,&nprocs); MPI_omm_rank(MPI_OMM_WORLD,&myrank); MPI_Finalize(); 程 序 实 例 : 02-mpi.c 15

24 第 三 章 点 对 点 通 信 点 对 点 通 信 指 在 一 对 进 程 之 间 进 行 的 消 息 收 发 操 作 : 一 个 进 程 发 送 消 息, 另 一 个 进 程 接 收 消 息. 3.1 标 准 阻 塞 型 点 对 点 通 信 函 数 标 准 阻 塞 发 送 int MPI_Send(void *buff, int count, MPI_Datatype datatype, int dest, int tag, MPI_omm comm) MPI_SEND(BUFF, OUNT, DATATYPE, DEST, TAG, OMM, IERR) <type> BUFF(*) INTEGER OUNT, DATATYPE, DEST, TAG, OMM, IERR tag 的 取 值 范 围 为 0 - MPI_TAG_UB. dest 的 取 值 范 围 为 0 - np-1 (np 为 通 信 器 comm 中 的 进 程 数 ) 或 MPI_PRO_NULL. count 是 指 定 数 据 类 型 的 个 数, 而 不 是 字 节 数 阻 塞 接 收 int MPI_Recv(void *buff, int count, MPI_Datatype datatype, int source, int tag, MPI_omm comm, MPI_Status *status) MPI_REV(BUFF, OUNT, DATATYPE, SOURE, TAG, OMM, + STATUS, IERR) <type> BUFF(*) INTEGER OUNT, DATATYPE, SOURE, TAG, OMM, IERR INTEGER STATUS(MPI_STATUS_SIZE) tag 的 取 值 范 围 为 0 - MPI_TAG_UB, 或 MPI_ANY_TAG. source 的 取 值 范 围 为 0 - np-1 (np 为 通 信 器 comm 中 的 进 程 数 ), 或 MPI_ANY_SOURE, 或 MPI_PRO_NULL. count 给 出 接 收 缓 冲 区 的 大 小 ( 指 定 数 据 类 型 的 个 数 ), 它 是 接 收 数 据 长 度 的 上 界. 具 体 接 收 到 的 数 据 长 度 可 通 过 调 用 MPI_Get_count 函 数 得 到. 16

25 status 中 的 内 容 status 返 回 有 关 接 收 到 的 消 息 的 信 息, 它 的 结 构 如 下 : 在 中 status 是 一 个 结 构, 它 包 含 下 面 三 个 用 户 可 以 使 用 的 域 : typedef struct { int MPI_SOURE; 消 息 源 地 址 int MPI_TAG; 消 息 标 签 int MPI_ERROR; 错 误 码 } MPI_Status; 在 中 status 各 个 元 素 的 含 义 如 下 : STATUS(MPI_SOURE) 消 息 源 地 址 STATUS(MPI_TAG) 消 息 标 签 STATUS(MPI_ERROR) 错 误 码 查 询 接 收 到 的 消 息 长 度 int MPI_Get_count(MPI_Status status, MPI_Datatype datatype, int *count) MPI_GET_OUNT(STATUS, DATATYPE, OUNT, IERR) INTEGER DATATYPE, OUNT, IERR INTEGER STATUS(MPI_STATUS_SIZE) 该 函 数 在 count 中 返 回 消 息 的 长 度 ( 数 据 类 型 个 数 ) 阻 塞 型 消 息 传 递 实 例 例 3.1 阻 塞 型 消 息 传 递 : 03-ex1.f 例 3.2 消 息 收 发 顺 序 导 致 的 程 序 死 锁 : 03-ex2.f 17

26 例 3.3 长 消 息 导 致 的 程 序 死 锁 : 03-ex3.f 例 号 进 程 先 发, 其 它 进 程 先 收 : 03-ex4.f 通 信 过 程 是 串 行 的. 例 3.5 偶 数 号 的 进 程 先 发, 奇 数 号 的 进 程 先 收 : 03-ex5.f 通 信 过 程 是 并 发 的. 当 NPROS=1 时 仍 有 可 能 发 生 死 锁. 如 果 将 接 收 及 求 和 中 的 数 组 B 改 成 A, 会 得 到 什 么 结 果? 其 它 一 些 阻 塞 型 消 息 传 递 函 数 发 送 与 接 收 组 合 进 行 MPI_SENDREV 函 数 将 一 次 发 送 调 用 和 一 次 接 收 调 用 合 并 进 行. 它 使 得 MPI 程 序 更 为 简 洁. 更 重 要 的 是, MPI 的 实 现 通 常 能 够 保 证 使 用 MPI_SENDREV 函 数 的 程 序 不 会 出 现 上 节 例 子 中 出 现 的 由 于 消 息 收 发 配 对 不 好 而 引 起 的 程 序 死 锁. int MPI_Sendrecv(void *sendbuff, int sendcount, MPI_Datatype sendtype, int dest, int sendtag, void *recvbuff, int recvcount, MPI_Datatype recvtype, int source, int recvtag, MPI_omm comm, MPI_Status *status) MPI_SENDREV(SENDBUFF, SENDOUNT, SENDTYPE, + DEST, SENDTAG, + REVBUFF, REVOUNT, REVTYPE, SOURE, REVTAG, + OMM, STATUS, IERR) <type> SENDBUFF(*), REVBUFF(*) INTEGER SENDOUNT, SENDTYPE, DEST, SENDTAG, + REVOUNT, REVTYPE, SOURE, REVTAG, + OMM, IERR INTEGER STATUS(MPI_STATUS_SIZE) 例 3.6 用 MPI SENDREV 替 换 MPI SEND 和 MPI REV: 03-ex6.f 发 送 与 接 收 组 合 进 行, 收 发 使 用 同 一 缓 冲 区 int MPI_Sendrecv_replace(void *buff, int count, MPI_Datatype datatype, int dest, int sendtag, 18

27 int source, int recvtag, MPI_omm comm, MPI_Status *status) MPI_SENDREV_REPLAE(BUFF, OUNT, DATATYPE, + DEST, SENDTAG, SOURE, REVTAG, + OMM, STATUS, IERR) <type> BUFF(*) INTEGER OUNT, DATATYPE, DEST, SENDTAG, + SOURE, REVTAG, OMM, IERR INTEGER STATUS(MPI_STATUS_SIZE) 3.2 消 息 发 送 模 式 MPI 共 有 四 种 模 式 的 消 息 发 送 函 数. 这 些 函 数 具 有 完 全 一 样 的 入 口 参 数, 但 它 们 发 送 消 息 的 方 式 或 对 接 收 方 的 状 态 要 求 不 同. 标 准 模 式 (standard mode) 由 MPI 系 统 来 决 定 是 否 将 消 息 拷 贝 至 一 个 缓 冲 区 然 后 立 即 返 回 ( 此 时 消 息 的 发 送 由 MPI 系 统 在 后 台 进 行 ), 还 是 等 待 将 数 据 发 送 出 去 后 再 返 回. 大 部 分 MPI 系 统 预 留 了 一 定 大 小 的 缓 冲 区, 当 发 送 的 消 息 长 度 小 于 缓 冲 区 大 小 时 会 将 消 息 缓 冲 然 后 立 即 返 回, 否 则 则 当 部 分 或 全 部 消 息 发 送 完 成 后 才 返 回. 标 准 模 式 发 送 被 称 为 是 非 局 部 的, 因 为 它 的 完 成 可 能 需 要 与 接 收 方 联 络. 标 准 模 式 的 阻 塞 发 送 函 数 为 MPI_Send. 缓 冲 模 式 (buffered mode) MPI 系 统 将 消 息 拷 贝 至 一 个 用 户 提 供 的 缓 冲 区 然 后 立 即 返 回, 消 息 的 发 送 由 MPI 系 统 在 后 台 进 行. 用 户 必 须 确 保 所 提 供 的 缓 冲 区 大 小 足 以 容 下 采 用 缓 冲 模 式 发 送 的 消 息. 缓 冲 模 式 发 送 操 作 被 称 为 是 局 部 的, 因 为 它 不 需 要 与 接 收 方 联 络 即 可 立 即 完 成 ( 返 回 ). 缓 冲 模 式 的 阻 塞 发 送 函 数 为 MPI_Bsend. 同 步 模 式 (synchronous mode) 实 际 上 就 是 在 标 准 模 式 的 基 础 上 还 要 求 确 认 接 收 方 已 经 开 始 接 收 数 据 后 函 数 调 用 才 返 回. 显 然, 同 步 模 式 的 发 送 是 非 局 部 的. 同 步 模 式 的 阻 塞 发 送 函 数 为 MPI_Ssend. 就 绪 模 式 (ready mode) 调 用 就 绪 模 式 发 送 时 必 须 确 保 接 收 方 已 经 处 于 就 绪 状 态 ( 正 在 等 待 接 收 该 消 息 ), 否 则 该 调 用 将 产 生 一 个 错 误. 该 模 式 设 立 的 目 的 是 在 一 些 以 同 步 方 式 工 作 的 并 行 系 统 上 由 于 发 送 时 可 以 假 设 接 收 方 已 经 在 接 收 而 减 少 一 些 消 息 发 送 的 开 销. 如 果 一 个 使 用 就 绪 模 式 的 MPI 程 序 是 正 确 的, 则 将 其 中 所 有 就 绪 模 式 的 消 息 发 送 改 为 标 准 模 式 后 也 应 该 是 正 确 的. 就 绪 模 式 的 阻 塞 发 送 函 数 为 MPI_Rsend. 后 三 种 模 式 的 消 息 发 送 函 数 名 分 别 在 标 准 模 式 消 息 发 送 函 数 MPI_Send 中 加 上 B, S 和 R 得 到, 并 且 四 个 函 数 具 有 完 全 一 样 的 参 数 阻 塞 型 缓 冲 模 式 消 息 发 送 函 数 int MPI_Bsend(void *buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_omm comm) 19

28 MPI_BSEND(BUF, OUNT, DATATYPE, DEST, TAG, OMM, IERR) <type> BUF(*) INTEGER OUNT, DATATYPE, DEST, TAG, OMM, IERR 提 交 阻 塞 型 缓 冲 模 式 的 消 息 发 送, 各 参 数 的 含 义 与 MPI_Send 同. 该 函 数 将 buf 中 的 数 据 拷 贝 到 一 个 用 户 指 定 的 缓 冲 区 中 然 后 立 即 返 回. 实 际 发 送 由 MPI 系 统 在 后 台 进 行. 用 户 在 调 用 该 函 数 前 必 须 调 用 MPI_Buffer_attach 来 为 它 提 供 一 个 发 送 缓 冲 区 : int MPI_Buffer_attach( void* buffer, int size) MPI_BUFFER_ATTAH( BUFFER, SIZE, IERR) <type> BUFFER(*) INTEGER SIZE, IERR 将 buffer 提 交 为 供 MPI_Bsend 使 用 的 缓 冲 区, 该 缓 冲 区 的 长 度 为 size 字 节. MPI 只 允 许 提 交 一 个 供 MPI_Bsend 使 用 的 缓 冲 区, 用 户 应 该 保 证 该 缓 冲 区 足 够 容 下 所 有 可 能 同 时 用 MPI_Bsend 发 送 的 消 息 ( 每 个 消 息 所 需 的 缓 冲 区 长 度 通 常 等 于 消 息 中 数 据 的 长 度 加 上 一 个 常 量, 用 户 可 以 调 用 函 数 MPI_Type_size ( 见 31 页 ) 来 查 询 一 个 消 息 实 际 需 要 的 缓 冲 区 长 度 ). MPI_Buffer_detach 撤 消 用 MPI_Buffer_attach 提 交 的 缓 冲 区. 在 调 用 MPI_Buffer_detach 前 用 户 不 应 该 修 改 缓 冲 区 中 的 内 容, 以 免 破 坏 正 在 发 送 的 消 息. 该 函 数 的 返 回 亦 表 明 所 有 缓 冲 模 式 的 消 息 发 送 均 已 完 成. int MPI_Buffer_detach( void *buffer_addr, int *size) MPI_BUFFER_DETAH( BUFFER_ADDR, SIZE, IERR) <type> BUFFER_ADDR(*) INTEGER SIZE, IERR 注 意, 上 述 函 数 中 buffer_addr 和 size 均 为 输 出 参 数. 其 中 buffer_addr 返 回 所 撤 消 的 缓 冲 区 的 地 址, 而 size 则 返 回 所 撤 消 的 缓 冲 区 长 度. 3.3 阻 塞 型 与 非 阻 塞 型 函 数 阻 塞 型 (blocking) 阻 塞 型 函 数 需 要 等 待 指 定 操 作 的 实 际 完 成, 或 至 少 所 涉 及 的 数 据 已 被 MPI 系 统 安 全 地 备 份 后 才 返 回. 如 MPI_Send 和 MPI_Recv 都 是 阻 塞 型 的. MPI_Send 调 用 返 回 时 表 明 数 据 已 经 发 出 或 被 MPI 系 统 复 制, 随 后 对 发 送 缓 冲 区 的 修 改 不 会 改 变 所 发 送 的 数 据. 而 MPI_Recv 返 回 时, 则 表 明 数 据 接 收 已 经 完 成. 阻 塞 型 函 数 的 操 作 是 非 局 部 的, 它 的 完 成 可 能 需 要 与 其 它 进 程 进 行 通 信. 阻 塞 型 函 数 使 用 不 当 很 容 易 引 起 程 序 的 死 锁. 非 阻 塞 型 (non-blocking) 非 阻 塞 型 函 数 的 调 用 总 是 立 即 返 回, 而 实 际 操 作 则 由 MPI 系 统 在 后 台 进 行. 用 户 必 须 随 后 调 用 其 它 函 数 来 等 待 或 查 询 操 作 的 完 成 情 况. 在 操 作 完 成 之 前 对 相 关 数 据 区 的 操 作 是 不 安 全 的, 因 为 随 时 可 能 与 正 在 后 台 进 行 的 操 作 发 生 冲 突. 非 阻 塞 型 函 数 调 用 是 局 部 的, 因 为 它 的 完 成 不 需 要 与 其 它 进 程 进 行 通 信. 在 有 些 并 行 系 统 上, 通 过 非 阻 塞 型 函 数 的 使 用 可 以 实 20

29 现 计 算 与 通 信 的 重 叠 进 行. 3.4 非 阻 塞 型 点 对 点 通 信 函 数 非 阻 塞 发 送 int MPI_Isend(void *buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_omm comm, MPI_Request *request) MPI_ISEND(BUF, OUNT, DATATYPE, DEST, TAG, OMM, + REQUEST, IERR) <type> BUF(*) INTEGER OUNT, DATATYPE, DEST, TAG, OMM, REQUEST, IERR 该 函 数 递 交 一 个 消 息 发 送 请 求, 要 求 MPI 系 统 在 后 台 完 成 消 息 的 发 送. MPI_Isend 函 数 为 该 发 送 创 建 一 个 请 求 并 将 请 求 的 句 柄 通 过 request 变 量 返 回 给 MPI 进 程, 供 随 后 查 询 / 等 待 消 息 发 送 的 完 成 用. 与 阻 塞 消 息 发 送 一 样, 非 阻 塞 消 息 发 送 也 有 四 种 模 式 : 标 准 模 式 (MPI_Isend) 缓 冲 模 式 (MPI_Ibsend) 同 步 模 式 (MPI_Issend) 和 就 绪 模 式 (MPI_Irsend), 后 三 种 模 式 较 少 使 用, 我 们 不 在 此 介 绍 非 阻 塞 接 收 int MPI_Irecv(void *buf, int count, MPI_Datatype datatype, int source, int tag, MPI_omm comm, MPI_Request *request) MPI_IREV(BUF, OUNT, DATATYPE, SOURE, TAG, OMM, + REQUEST, IERR) <type> BUF(*) INTEGER OUNT, DATATYPE, SOURE, TAG, OMM, REQUEST, + IERR 该 函 数 递 交 一 个 消 息 接 收 请 求, 要 求 MPI 系 统 在 后 台 完 成 消 息 的 接 收. MPI_Isend 函 数 为 该 接 收 创 建 一 个 请 求 并 将 请 求 的 句 柄 通 过 request 变 量 返 回 给 MPI 进 程, 供 随 后 查 询 / 等 待 消 息 接 收 的 完 成 用 通 信 请 求 的 完 成 与 检 测 等 待 检 测 一 个 通 信 请 求 的 完 成 21

30 int MPI_Wait(MPI_Request *request, MPI_Status *status) int MPI_Test(MPI_Request *request, int *flag, MPI_Status *status) MPI_WAIT(REQUEST, STATUS, IERR) INTEGER REQUEST, STATUS(MPI_STATUS_SIZE), IERR MPI_TEST(REQUEST, FLAG, STATUS, IERR) INTEGER REQUEST, STATUS(MPI_STATUS_SIZE), IERR LOGIAL FLAG MPI_Wait 是 阻 塞 型 函 数, 它 必 须 等 待 通 信 的 完 成 才 返 回. MPI_Test 是 与 之 相 对 应 的 非 阻 塞 函 数. MPI_Wait 等 待 指 定 的 通 信 请 求 完 成 然 后 返 回. 成 功 返 回 时, status 中 包 含 关 于 所 完 成 的 通 信 的 信 息, 相 应 的 通 信 请 求 被 释 放, request 被 置 成 MPI_REQUEST_NULL. MPI_Test 检 测 指 定 的 通 信 请 求, 不 论 通 信 是 否 完 成 都 立 即 返 回. 如 果 通 信 已 经 完 成 则 返 回 flag = true, status 中 包 含 关 于 所 完 成 的 通 信 的 信 息, 相 应 的 通 信 请 求 被 释 放, request 被 置 成 MPI_REQUEST_NULL. 如 果 通 信 尚 未 完 成 则 返 回 flag = false. 对 于 接 收 请 求, status 返 回 的 内 容 与 MPI_Recv 返 回 的 一 样. 对 于 发 送 请 求, status 的 返 回 的 值 不 确 定 等 待 检 测 一 组 通 信 请 求 中 某 一 个 的 完 成 int MPI_Waitany(int count, MPI_Request *array_of_requests, int *index, MPI_Status *status) int MPI_Testany(int count, MPI_Request *array_of_requests, int *index, int *flag, MPI_Status *status) MPI_WAITANY(OUNT, ARRAY_OF_REQUESTS, INDEX, STATUS, + IERR) INTEGER OUNT, ARRAY_OF_REQUESTS(*), INDEX, IERR INTEGER STATUS(MPI_STATUS_SIZE) MPI_TESTANY(OUNT, ARRAY_OF_REQUESTS, INDEX, FLAG, + STATUS, IERR) INTEGER OUNT, ARRAY_OF_REQUESTS(*), INDEX, IERR INTEGER STATUS(MPI_STATUS_SIZE) LOGIAL FLAG 等 待 或 检 测 array_of_requests 给 出 的 通 信 请 求 中 任 何 一 个 的 完 成. 成 功 返 回 时, index 中 包 含 所 完 成 的 通 信 请 求 在 数 组 array_of_requests 中 的 位 置. 其 它 参 数 的 含 义 与 MPI_Wait 和 MPI_Test 22

31 同 等 待 检 测 一 组 通 信 请 求 的 全 部 完 成 int MPI_Waitall(int count, MPI_Request *array_of_requests, MPI_Status *array_of_statuses) int MPI_Testall(int count, MPI_Request *array_of_requests, int *flag, MPI_Status *array_of_statuses) MPI_WAITALL(OUNT, ARRAY_OF_REQUESTS, ARRAY_OF_STATUSES, + IERR) INTEGER OUNT, ARRAY_OF_REQUESTS(*), IERR INTEGER ARRAY_OF_STATUSES(MPI_STATUS_SIZE,*) MPI_TESTALL(OUNT, ARRAY_OF_REQUESTS, FLAG, + ARRAY_OF_STATUSES, IERR) INTEGER OUNT, ARRAY_OF_REQUESTS(*), IERR INTEGER ARRAY_OF_STATUSES(MPI_STATUS_SIZE,*) LOGIAL FLAG 当 函 数 返 回 值 等 于 MPI_ERR_IN_STATUS 时 表 明 部 分 通 信 请 求 的 处 理 出 错, 此 时 用 户 应 检 查 array_of_statuses 的 每 个 元 素 中 MPI_ERROR 域 的 值 来 得 到 这 些 通 信 请 求 的 错 误 码 等 待 检 测 一 组 通 信 请 求 中 一 部 分 的 完 成 int MPI_Waitsome(int incount, MPI_Request *array_of_requests, int outcount, int *array_of_indices, MPI_Status *array_of_statuses) int MPI_Testsome(int incount, MPI_Request *array_of_requests, int outcount, int *array_of_indices, MPI_Status *array_of_statuses) MPI_WAITSOME(INOUNT, ARRAY_OF_REQUESTS, OUTOUNT, + ARRAY_OF_INDIES, ARRAY_OF_STATUSES, IERR) INTEGER INOUNT, ARRAY_OF_REQUESTS(*), OUTOUNT, + ARRAY_OF_INDIES(*), IERR INTEGER ARRAY_OF_STATUSES(MPI_STATUS_SIZE,*) 23

32 MPI_TESTSOME(INOUNT, ARRAY_OF_REQUESTS, OUTOUNT, + ARRAY_OF_INDIES, ARRAY_OF_STATUSES, IERR) INTEGER INOUNT, ARRAY_OF_REQUESTS(*), OUTOUNT, + ARRAY_OF_INDIES(*), IERR INTEGER ARRAY_OF_STATUSES(MPI_STATUS_SIZE,*) outcount 中 返 回 的 是 成 功 完 成 的 通 信 请 求 个 数. array_of_indices 的 前 outcount 个 元 素 给 出 已 完 成 的 通 信 请 求 在 数 组 array_of_requests 中 的 位 置. 当 指 定 的 通 信 请 求 中 至 少 有 一 个 已 完 成 时 或 发 生 错 误 时 MPI_Waitsome 才 返 回, 而 MPI_Testsome 当 所 有 指 定 的 通 信 请 求 都 未 完 成 时 在 outcount 中 返 回 0. 当 函 数 返 回 值 等 于 MPI_ERR_IN_STATUS 时 表 明 部 分 通 信 请 求 的 处 理 出 错, 此 时 用 户 应 检 查 array_of_statuses 的 每 个 元 素 中 MPI_ERROR 域 的 值 来 得 到 这 些 通 信 请 求 的 错 误 码 通 信 请 求 的 释 放 int MPI_Request_free(MPI_Request *request) MPI_REQUEST_FREE(REQUEST, IERR) INTEGER REQUEST, IERR MPI_Request_free 释 放 指 定 的 通 信 请 求 ( 及 所 占 用 的 内 存 ). 如 果 与 该 通 信 请 求 相 关 联 的 通 信 尚 未 完 成, 则 MPI_Request_free 会 等 待 通 信 的 完 成. 函 数 成 功 返 回 后 request 的 值 将 被 置 成 MPI_REQUEST_NULL. 例 3.7 非 阻 塞 消 息 传 递 : 03-ex7.f 3.5 消 息 探 测 与 通 信 请 求 的 取 消 消 息 探 测 int MPI_Probe(int source, int tag, MPI_omm comm, MPI_Status *status) MPI_PROBE(SOURE, TAG, OMM, STATUS, IERR) INTEGER SOURE, TAG, OMM, IERR INTEGER STATUS(MPI_STATUS_SIZE) 例 : 在 接 收 未 知 长 度 的 消 息 时, 可 先 用 MPI_Probe 和 MPI_Get_count 得 到 消 息 的 长 度. MPI_Probe 属 于 阻 塞 型 函 数, 它 等 待 直 到 一 个 符 合 条 件 的 消 息 到 达 后 才 返 回. 对 应 的 非 阻 塞 函 数 为 MPI_Iprobe, 它 不 论 是 否 有 符 合 条 件 的 消 息 都 立 即 返 回 : 如 果 探 测 到 符 合 条 件 的 消 息 flag = true, 否 则 flag = false. 24

33 int MPI_Iprobe(int source, int tag, MPI_omm comm, int *flag, MPI_Status *status) MPI_IPROBE(SOURE, TAG, OMM, FLAG, STATUS, IERR) INTEGER SOURE, TAG, OMM, IERR INTEGER STATUS(MPI_STATUS_SIZE) LOGIAL FLAG 通 信 请 求 的 取 消 int MPI_ancel(MPI_Request *request) int MPI_Test_cancelled(MPI_Status *status, int *flag) MPI_ANEL(REQUEST, IERR) INTEGER REQUEST, IERR MPI_TEST_ANELLED(STATUS, FLAG, IERR) INTEGER STATUS(MPI_STATUS_SIZE), IERR LOGIAL FLAG MPI_ancel 用 于 取 消 一 个 尚 未 完 成 的 通 信 请 求, 它 在 MPI 系 统 中 设 置 一 个 取 消 该 通 信 请 求 的 标 志 然 后 立 即 返 回, 具 体 的 取 消 操 作 由 MPI 系 统 在 后 台 完 成. 调 用 MPI_ancel 后, 仍 需 调 用 MPI_Wait, MPI_Test, 或 MPI_Request_free 等 函 数 来 完 成 并 释 放 该 通 信 请 求. MPI_Test_cancelled 可 用 来 检 测 一 个 通 信 请 求 是 否 已 被 取 消, 返 回 flag = true 如 果 该 通 信 请 求 已 被 取 消. 25

34 3.6 点 对 点 通 信 函 数 汇 总 函 数 类 型 通 信 模 式 阻 塞 型 非 阻 塞 型 标 准 模 式 MPI_Send MPI_Isend 消 息 发 送 函 数 缓 冲 模 式 MPI_Bsend MPI_Ibsend 同 步 模 式 MPI_Ssend MPI_Issend 就 绪 模 式 MPI_Rsend MPI_Irsend 消 息 接 收 函 数 MPI_Recv MPI_Irecv 消 息 检 测 函 数 MPI_Probe MPI_Iprobe MPI_Wait MPI_Test 等 待 / 查 询 函 数 MPI_Waitall MPI_Testall MPI_Waitany MPI_Testany MPI_Waitsome MPI_Testsome 释 放 通 信 请 求 MPI_Request_free 取 消 通 信 MPI_ancel MPI_Test_cancelled 3.7 持 久 通 信 请 求 持 久 通 信 请 求 (persistent communication request) 可 用 于 以 完 全 相 同 的 方 式 ( 相 同 的 通 信 器 收 发 缓 冲 区 数 据 类 型 与 长 度 源 / 目 的 地 址 和 消 息 标 签 ) 重 复 收 发 的 消 息. 目 的 是 减 少 处 理 消 息 的 开 销 及 简 化 MPI 程 序 创 建 持 久 消 息 发 送 请 求 int MPI_Send_init(void *buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_omm comm, MPI_Request *request) MPI_SEND_INIT(BUF, OUNT, DATATYPE, DEST, TAG, OMM, + REQUEST, IERR) <type> BUF(*) INTEGER REQUEST, OUNT, DATATYPE, DEST, TAG, OMM, + REQUEST, IERR 创 建 一 个 持 久 消 息 发 送 请 求, 该 函 数 并 不 开 始 实 际 消 息 的 发 送, 而 只 是 创 建 一 个 请 求 句 柄 并 返 回 给 用 户 程 序, 留 待 以 后 实 际 消 息 发 送 时 用. MPI_Send_init 对 应 于 标 准 模 式 的 非 阻 塞 发 送. 相 应 地 还 有 三 个 函 数 MPI_Bsend_init, MPI_Ssend_init 和 MPI_Rsend_init, 分 别 对 应 于 缓 冲 模 式 同 步 模 式 和 就 绪 模 式 的 非 阻 塞 发 送, 我 们 不 在 此 介 绍. 26

35 3.7.2 创 建 持 久 消 息 接 收 请 求 int MPI_Recv_init(void *buf, int count, MPI_Datatype datatype, int source, int tag, MPI_omm comm, MPI_Request *request) MPI_REV_INIT(BUF, OUNT, DATATYPE, SOURE, TAG, OMM, REQUEST, IERR) <type> BUF(*) INTEGER OUNT, DATATYPE, SOURE, TAG, OMM, REQUEST, + IERR 创 建 一 个 持 久 消 息 接 收 请 求, 该 函 数 并 不 开 始 实 际 消 息 的 接 收, 而 只 是 创 建 一 个 请 求 句 柄 并 返 回 给 用 户 程 序, 留 待 以 后 实 际 消 息 接 收 时 用 开 始 基 于 持 久 通 信 请 求 的 通 信 int MPI_Start(MPI_Request *request) int MPI_Startall(int count, MPI_Request *array_of_requests) MPI_START(REQUEST, IERR) INTEGER REQUEST, IERR MPI_STARTALL(OUNT, ARRAY_OF_REQUESTS, IERR) INTEGER OUNT, ARRAY_OF_REQUESTS(*), IERR 每 次 调 用 MPI_Start 相 当 于 调 用 一 次 与 MPI_xxxx_init 相 对 应 的 非 阻 塞 型 通 信 函 数 ( 如 MPI_Isend, MPI_Irecv 等 ). MPI_Startall 的 作 用 与 MPI_Start 类 似, 但 它 可 一 次 启 动 多 个 通 信. 用 一 个 MPI_xxxx_init 创 建 的 持 久 通 信 请 求 可 反 复 调 用 MPI_Start 或 MPI_Startall 来 完 成 多 次 通 信 持 久 通 信 请 求 的 完 成 与 释 放 与 普 通 非 阻 塞 型 通 信 函 数 一 样, 通 过 持 久 通 信 请 求 启 动 的 通 信 也 需 要 调 用 3.4.3, 等 节 中 介 绍 的 函 数 来 等 待 或 检 测 通 信 的 完 成 情 况 或 取 消 通 信, 或 用 MPI_Request_free 来 释 放 一 个 持 久 通 信 请 求. 例 3.8 使 用 持 久 通 信 函 数 : 03-ex8.f 27

36 第 四 章 数 据 类 型 MPI 的 消 息 收 发 函 数 只 能 处 理 连 续 存 储 的 同 一 类 型 的 数 据. 当 需 要 在 一 个 消 息 中 发 送 或 接 收 具 有 复 杂 结 构 的 数 据 时, 可 以 通 过 定 义 数 据 类 型 (datatype) 来 实 现. 数 据 类 型 是 MPI 的 一 个 重 要 特 征, 它 的 使 用 可 有 效 地 减 少 消 息 传 递 的 次 数, 增 大 通 信 粒 度, 并 且 在 收 / 发 消 息 时 避 免 或 减 少 数 据 在 内 存 中 的 拷 贝 复 制. 4.1 与 数 据 类 型 有 关 的 一 些 定 义 数 据 类 型 定 义 一 个 MPI 数 据 类 型 由 两 个 n 元 序 列 构 成, n 为 正 整 数. 第 一 个 序 列 包 含 一 组 数 据 类 型, 称 为 类 型 序 列 (type signature): Typesig = {type 0, type 1,..., type n 1 }. 第 二 个 序 列 包 含 一 组 整 数 位 移, 称 为 位 移 序 列 (type displacements): 注 意, 位 移 序 列 中 位 移 总 是 以 字 节 为 单 位 计 算 的. Typedisp = {disp 0, disp 1,..., disp n 1 }. 构 成 类 型 序 列 的 数 据 类 型 称 为 基 本 数 据 类 型, 它 们 可 以 是 原 始 数 据 类 型, 也 可 以 是 任 何 已 定 义 的 数 据 类 型, 因 此 MPI 的 数 据 类 型 是 嵌 套 定 义 的. 为 了 以 后 叙 述 方 便, 我 们 称 非 原 始 数 据 类 型 为 复 合 数 据 类 型. 类 型 序 列 刻 划 了 数 据 的 类 型 特 征. 位 移 序 列 则 刻 划 了 数 据 的 位 置 特 征. 类 型 序 列 和 位 移 序 列 的 元 素 一 一 配 对 构 成 的 序 列 Typemap = {(type 0, disp 0 ), (type 1, disp 1 ),..., (type n 1, disp n 1 )}. 称 为 类 型 图 (type map). 假 设 数 据 缓 冲 区 的 起 始 地 址 为 buff, 则 由 上 述 类 型 图 所 定 义 的 数 据 类 型 包 含 n 块 数 据, 第 i 块 数 据 的 地 址 为 buff + disp i, 类 型 为 type i, i = 0, 1,..., n 1. MPI 的 原 始 数 据 类 型 的 类 型 图 可 以 写 成 {( 类 型, 0)}. 如 MPI_INTEGER 的 类 型 图 为 {(INTEGER, 0)}. 位 移 序 列 中 的 位 移 不 必 是 单 调 上 升 的, 表 明 数 据 类 型 中 的 数 据 块 不 要 求 按 顺 序 排 放. 位 移 也 可 以 是 负 的, 即 数 据 类 型 中 的 数 据 可 以 位 于 缓 冲 区 起 始 地 址 之 前. 例 4.1 假 设 数 据 类 型 TYPE 类 型 图 为 则 语 句 : REAL A(100) ALL MPI_SEND(A, 1, TYPE,...) 将 发 送 A(2), A(4), A(1). {(REAL, 4), (REAL, 12), (REAL, 0)} 28

37 例 4.2 假 设 数 据 类 型 TYPE 类 型 图 为 则 语 句 : REAL A(3) ALL MPI_SEND(A(2), 1, TYPE,...) 将 发 送 A(1), A(2), A(3). {(REAL, 4), (REAL, 0), (REAL, 4)} 数 据 类 型 的 大 小 数 据 类 型 的 大 小 (size) 指 该 数 据 类 型 中 包 含 的 数 据 长 度 ( 字 节 数 ), 它 等 于 类 型 序 列 中 所 有 基 本 数 据 类 型 的 大 小 之 和. 数 据 类 型 的 大 小 就 是 消 息 传 递 时 需 要 发 送 或 接 收 的 数 据 长 度. 假 设 数 据 类 型 type 的 类 型 图 为 : {(type 0, disp 0 ), (type 1, disp 1 ),..., (type n 1, disp n 1 )} 则 该 数 据 类 型 的 大 小 为 : n 1 sizeof(type) = sizeof(type i ) i= 数 据 类 型 的 下 界 上 界 与 域 数 据 类 型 的 下 界 (lower bound) 定 义 为 数 据 的 最 小 位 移. 数 据 类 型 的 上 界 (upper bound) 定 义 为 数 据 的 最 大 位 移 加 1, 再 加 上 一 个 使 得 数 据 类 型 满 足 操 作 系 统 地 址 对 界 要 求 (alignment) 的 修 正 量 ε. 数 据 类 型 的 域 (extent) 定 义 为 上 界 与 下 界 之 差 : lb(type) = min i {disp i } ub(type) = max{disp i + sizeof(type i )} + ε i extent(type) = ub(type) lb(type) 其 中, 地 址 对 界 修 正 量 ε 是 使 得 extent 能 被 该 数 据 类 型 的 对 界 量 整 除 的 最 小 非 负 整 数. 一 个 数 据 类 型 的 对 界 量 定 义 如 下 : 原 始 数 据 类 型 的 对 界 量 由 编 译 系 统 决 定, 而 复 合 数 据 类 型 的 对 界 量 则 定 义 为 它 的 所 有 基 本 数 据 类 型 的 对 界 量 的 最 大 值. 地 址 对 界 要 求 指 一 个 数 据 类 型 在 内 存 中 的 ( 字 节 ) 地 址 必 须 是 它 的 对 界 量 的 整 数 倍. 例 4.3 语 言 中 的 地 址 对 界 #include <stdio.h> typedef struct { double d; char c; } S; typedef struct { char c1; double d; 29

38 char c2; } S1; main() { S a; S1 b; printf("sizeof(s)=%d\n", sizeof(s)); printf("offset(a.d)=%d, offset(a.c)=%d\n", (char *)&a.d - (char *)&a, (char *)&a.c - (char *)&a); printf( "sizeof(s1)=%d\n", sizeof(s1)); printf( "offset(b.c1)=%d, offset(b.d)=%d, offset(b.c2)=%d\n", (char *)&b.c1 - (char *)&b, (char *)&b.d - (char *)&b, (char *)&b.c2 - (char *)&b); } 例 4.4 假 设 MPI_DOUBLE_PREISION 和 MPI_INTEGER 的 对 界 量 均 为 4, MPI_BYTE 的 对 界 量 为 1, 则 类 型 图 : {(MPI_DOUBLE_PREISION, 0), (MPI_INTEGER, 8), (MPI_BYTE, 12)} 的 对 界 量 为 4, 下 界 为 0, 上 界 为 16, 域 为 16, ε = 3. 数 据 类 型 的 下 界 上 界 域 和 大 小 : 04-ex1.f MPI LB 和 MPI UB MPI 系 统 提 供 了 两 个 特 殊 的 数 据 类 型 MPI_LB 和 MPI_UB, 称 为 伪 数 据 类 型 (pseudo datatype). 它 们 的 大 小 是 0, 并 且 当 它 们 出 现 在 一 个 数 据 类 型 的 类 型 图 中 时 对 该 数 据 类 型 的 实 际 数 据 内 容 不 起 任 何 30

39 作 用. 它 们 的 作 用 是 让 用 户 可 以 人 工 指 定 一 个 数 据 类 型 的 上 下 界. MPI 规 定 : 如 果 一 个 数 据 类 型 的 基 本 类 型 中 含 有 MPI_LB, 则 它 的 下 界 定 义 为 : lb(type) = min{disp i type i = MPI_LB}; i 类 似 地, 如 果 一 个 数 据 类 型 的 基 本 类 型 中 含 有 MPI_UB, 则 它 的 上 界 定 义 为 : ub(type) = max{disp i type i = MPI_UB}. i 例 4.5 类 型 图 的 下 界 为 -4, 上 界 为 20, 域 为 24. {(MPI_LB, 4), (MPI_UB, 20), (MPI_DOUBLE_PREISION, 0), (MPI_INTEGER, 8), (MPI_BYTE, 12)} MPI LB 和 MPI UB 的 作 用 : 04-ex2.f 数 据 类 型 查 询 函 数 下 面 四 个 函 数 分 别 返 回 指 定 数 据 类 型 的 大 小 域 和 上 下 界 : int MPI_Type_size(MPI_Datatype datatype, int *size) int MPI_Type_extent(MPI_Datatype datatype, MPI_Aint *extent) int MPI_Type_ub(MPI_Datatype datatype, MPI_Aint *displacement) int MPI_Type_lb(MPI_Datatype datatype, MPI_Aint *displacement) MPI_TYPE_SIZE(DATATYPE, SIZE, IERR) INTEGER DATATYPE, SIZE, IERR MPI_TYPE_EXTENT(DATATYPE, EXTENT, IERR) INTEGER DATATYPE, EXTENT, IERR MPI_TYPE_UB(DATATYPE, DISPLAEMENT, IERR) INTEGER DATATYPE, DISPLAEMENT, IERR MPI_TYPE_LB(DATATYPE, DISPLAEMENT, IERR) INTEGER DATATYPE, DISPLAEMENT, IERR 31

40 4.2 数 据 类 型 创 建 函 数 MPI Type contiguous int MPI_Type_contiguous(int count, MPI_Datatype oldtype, MPI_Datatype *newtype) MPI_TYPE_ONTIGUOUS(OUNT, OLDTYPE, NEWTYPE, IERR) INTEGER OUNT, OLDTYPE, NEWTYPE, IERR 新 数 据 类 型 newtype 由 count 个 老 数 据 类 型 oldtype 按 域 (extent) 连 续 存 放 构 成. 例 4.6 语 句 : ALL MPI_SEND(BUFF, OUNT, TYPE,...) 与 : ALL MPI_TYPE_ONTIGUOUS(OUNT, TYPE, NEWTYPE, IERR) ALL MPI_TYPE_OMMIT(NEWTYPE, IERR) ALL MPI_SEND(BUFF, 1, NEWTYPE,...) 是 等 效 的 MPI Type vector int MPI_Type_vector(int count, int blocklength, int stride, MPI_Datatype oldtype, MPI_Datatype *newtype) MPI_TYPE_VETOR(OUNT, BLOKLENGTH, STRIDE, OLDTYPE, + NEWTYPE, IERR) INTEGER OUNT, BLOKLENGTH, STRIDE, OLDTYPE, NEWTYPE, + IERR 新 数 据 类 型 newtype 由 count 个 数 据 块 构 成, 每 个 数 据 块 由 blocklength 个 连 续 存 放 的 oldtype 构 成, 相 邻 两 个 数 据 块 的 位 移 相 差 stride extent(oldtype) 个 字 节. 例 4.7 DOUBLE PREISION U(0:N, 0:M) ALL MPI_TYPE_VETOR(M-1, N-1, N+1, + MPI_DOUBLE_PREISION, NEWTYPE, IERR) ALL MPI_TYPE_OMMIT(NEWTYPE, IERR) ALL MPI_SEND(U(1,1), 1, NEWTYPE,...) 将 发 送 U(1:N-1,1:M-1). 32

41 思 考 : 如 何 发 送 U 的 一 列? 如 何 发 送 U 的 一 行? 如 何 发 送 U 的 对 角 线? MPI Type hvector int MPI_Type_hvector(int count, int blocklength, MPI_Aint stride, MPI_Datatype oldtype, MPI_Datatype *newtype) MPI_TYPE_HVETOR(OUNT, BLOKLENGTH, STRIDE, OLDTYPE, + NEWTYPE, IERR) INTEGER OUNT, BLOKLENGTH, STRIDE, OLDTYPE, NEWTYPE, + IERR 新 数 据 类 型 newtype 由 count 个 数 据 块 构 成, 每 个 数 据 块 由 blocklength 个 连 续 存 放 的 oldtype 构 成, 相 邻 两 个 数 据 块 的 位 移 相 差 stride 个 字 节. 函 数 MPI_Type_hvector 与 MPI_Type_vector 的 唯 一 区 别 在 于 : stride 在 MPI_Type_vector 中 以 oldtype 的 域 为 单 位, 而 在 MPI_Type_hvector 中 以 字 节 为 单 位. 例 4.8 DOUBLE PREISION A(N,M), B(M,N) INTEGER TYPE1, TYPE2, STATUS(MPI_STATUS_SIZE) ALL MPI_TYPE_VETOR(N, 1, M, MPI_DOUBLE_PREISION, + TYPE1, IERR) ALL MPI_TYPE_EXTENT(MPI_DOUBLE_PREISION, I, IERR) ALL MPI_TYPE_HVETOR(M, 1, I, TYPE1, TYPE2, IERR) ALL MPI_TYPE_FREE(TYPE1, IERR) ALL MPI_TYPE_OMMIT(TYPE2, IERR) ALL MPI_SENDREV(A, N*M, MPI_DOUBLE_PREISION, 0, 111, + B, 1, TYPE2, 0, 111, + MPI_OMM_SELF, STATUS, IERR) ALL MPI_TYPE_FREE(TYPE2, IERR) 将 A 的 转 置 拷 贝 到 B 中. 程 序 实 例 : 04-ex3.f 33

42 4.2.4 MPI Type indexed int MPI_Type_indexed(int count, int *array_of_blocklengths, int *array_of_displacements, MPI_Datatype oldtype, MPI_Datatype *newtype) MPI_TYPE_INDEXED(OUNT, ARRAY_OF_BLOKLENGTHS, + ARRAY_OF_DISPLAEMENTS, OLDTYPE, NEWTYPE, + IERR) INTEGER OUNT, ARRAY_OF_BLOKLENGTHS(*), + ARRAY_OF_DISPLAEMENTS(*), OLDTYPE, NEWTYPE, + IERR 新 数 据 类 型 newtype 由 count 个 数 据 块 构 成. 第 i 个 数 据 块 包 含 array_of_blocklengths(i) 个 连 续 存 放 的 oldtype, 字 节 位 移 为 array_of_displacements(i) extent(oldtype). MPI_Type_indexed 与 MPI_Type_vector 的 区 别 在 于 每 个 数 据 块 的 长 度 可 以 不 同, 数 据 块 间 也 可 以 不 等 距. 例 4.9 REAL A(N,N) INTEGER LEN(N), DISP(N), TYPE LEN(1)=N DISP(1)=0 DO J=2,N LEN(J)=LEN(J-1)-1 DISP(J)=(J-1)*(N+1) ENDDO ALL MPI_TYPE_INDEXED(N,LEN,DISP,MPI_REAL,TYPE,IERR) ALL MPI_TYPE_OMMIT(TYPE, IERR) ALL MPI_SEND(A, 1, TYPE,...) 发 送 矩 阵 A 的 下 三 角 部 分. 34

43 4.2.5 MPI Type hindexed int MPI_Type_hindexed(int count, int *array_of_blocklengths, MPI_Aint *array_of_displacements, MPI_Datatype oldtype, MPI_Datatype *newtype) MPI_TYPE_HINDEXED(OUNT, ARRAY_OF_BLOKLENGTHS, + ARRAY_OF_DISPLAEMENTS, OLDTYPE, NEWTYPE, IERR) INTEGER OUNT, ARRAY_OF_BLOKLENGTHS(*), + ARRAY_OF_DISPLAEMENTS(*), OLDTYPE, NEWTYPE, + IERR 新 数 据 类 型 newtype 由 count 个 数 据 块 构 成. 第 i 个 数 据 块 包 含 array_of_blocklengths(i) 个 连 续 存 放 的 oldtype, 字 节 位 移 为 array_of_displacements(i). 该 函 数 与 MPI_Type_indexed 的 区 别 在 于 这 里 位 移 以 字 节 为 单 位 MPI Type struct int MPI_Type_struct(int count, int *array_of_blocklengths, MPI_Aint *array_of_displacements, MPI_Datatype *array_of_types, MPI_Datatype *newtype) MPI_TYPE_STRUT(OUNT, ARRAY_OF_BLOKLENGTHS, + ARRAY_OF_DISPLAEMENTS, ARRAY_OF_TYPES, + NEWTYPE, IERR) INTEGER OUNT, ARRAY_OF_BLOKLENGTHS(*), + ARRAY_OF_DISPLAEMENTS(*), ARRAY_OF_TYPES(*), + NEWTYPE, IERR 35