Department of Science and Engineering Computing School of Mathematics School Peking University October 9, 2007

Size: px

Start display at page:

Download "Department of Science and Engineering Computing School of Mathematics School Peking University October 9, 2007"

盟养古
5 years ago
Views:

1 Department of Science and Engineering Computing School of Mathematics School Peking University October 9, 2007

2 Department of Science and Engineering Computing School of Mathematics School Peking University October 9, 2007

3 框架 1 2 3

4 的通信功能的计算功能的同步功能

5 的通信功能的计算功能的同步功能点击下面的链接本机上课件网上课件

6 广播 I MPI_BCAST(buffer,count,datatype,root,comm) IN/OUT buffer 通信消息缓冲区的起始地址 ( 可选数据类型 ) IN count 将广播出去 / 或接收的数据个数 ( 整型 ) IN datatype 广播 / 接收数据的数据类型 ( 句柄 ) IN root 广播数据的根进程的标识号 ( 整型 ) IN comm 通信域 ( 句柄 ) int MPI_Bcast(void* buffer,int count, MPI_Datatype datatype, int root, MPI_Comm comm)

7 广播 II MPI_BCAST 是一对多的典型例子, 它完成从一个标识为 root 的进程将一条消息广播发送到组内的所有其它的进程, 同时也包括它本身在内在执行该调用时组内所有进程 ( 不管是 root 进程本身还是其它的进程 ) 都使用同一个通信域 comm 和根标识 root, 其执行结果是将根进程通信消息缓冲区中的消息拷贝到其他所有进程中去一般说来, 数据类型 datatype 可以是预定义数据类型或派生数据类型, 其它进程中指定的通信元素个数 count 数据类型 datatype 必须和根进程中的指定的通信元素个数 count 数据类型 datatype 保持一致即对于广播操作调用, 不管是广播消息的根进程, 还是从根接收消息的其它进程, 在调用形式上完全一致, 即指明相同的根, 相同的元素个数以及相同的数据类型除 MPI_BCAST 之外, 其它完成通信功能的调用都有此限制

8 广播 III 广播前后各进程缓冲区中数据的变化本机上 Bcast 示意图网络上 Bcast 示意图

9 收集 I 点击收集的课件本机上网上

10 散发 I 点击散发的课件本机上网上

11 组收集 I 点击组收集的课件本机上网上

12 全互换 I 点击全互换的课件本机上网上我博客上给出的例子本机上网上

13 归约 I 点击归约的课件本机上网上

14 MPI 预定义的归约操作 MPI 中已经定义好的一些操作, 它们是为函数 MPI_REDUCE 和一些其他的相关函数, 如 MPI_ALLREDUCE MPI_REDUCE_SCATTER 和 MPI_SCAN 而定义的这些操作用来设定相应的 op 点击归约的课件本机上网上

15 组归约点击组归约的课件本机上网上

16 归约并散发点击归约并散发的课件本机上网上

17 归约并散发的示意图我博客上的例子本机上网上

18 扫描点击扫描的课件本机上网上

19 不同归约操作的对比点击不同归约操作对比的课件 I 本机上网上点击不同归约操作对比的课件 II 本机上网上

20 框架 1 2 3

21 I 1 Using MPI_Alltoall to perform matrix transpose 练习使用 MPI_Alltoall. 下面的程序要实现 4 4 矩阵的转置这个矩阵已经被分成了 4 个 1 4 的子矩阵, 每个子矩阵被存放在每个 CPU 的局部内存中使用 MPI_Alltoall, 在 CPU i 上的子矩阵的第 j 个元素被 CPU j 的第 i 个元素代替下面的程序被故意的放进了几个 bugs, 请使用我们学习的 MPI_Alltoall 的知识找出它们并更正 #include <iostream> #include "mpi.h" using namespace std; int main( int argc, char **argv ) { int send[4], recv[3]; int rank, size, k; MPI_Init( &argc, &argv );

22 II MPI_Comm_rank( MPI_COMM_WORLD, &rank ); MPI_Comm_size( MPI_COMM_WORLD, &size ); if (size!= 4) { cout << "Error!:# of processors \ must be equal to 4" <<endl; cout <<"Programm aborting..."<<endl; MPI_Abort(MPI_COMM_WORLD, 1); } for (k=0;k<size;k++) send[k] = (k+1) + rank*size; // 输出 send 的内容 for(int i =0; i < size; i++){ if(i==rank){ cout<<"process "<<rank<<" send= "; for(int j=0;j<4;j++) cout<< send[j]<<" "; cout<<endl;

23 III } MPI_Barrier(MPI_COMM_WORLD); } MPI_Alltoall(&send, 2, MPI_FLOAT, &recv, 1, \ MPI_INT, MPI_COMM_WORLD); // 输出 recv 的内容 for(int i =0; i < size; i++){ if(i==rank){ cout<<"process "<<rank<<" recv= "; for(int j=0;j<4;j++) cout<< recv[j]<<" "; cout<<endl; } MPI_Barrier(MPI_COMM_WORLD); }

24 IV } MPI_Finalize(); return 1; 2 使用 Allgather 实现 Row-wise Matrix-vector Multiplication A 是稠密的 n n 矩阵,b 是一个 n 维向量处理器的个数 p 能整除 n, 每个处理器储存 A 的 n=p 行和 b 的 n=p 个元素写一个程序计算 x = Ab, x 是 n 维向量, 和 b 的储存方式一样 A 可以存储成一维 double 指针, 例如在只有一个 CPU 的时候 double * A = new double[n*n]; A[i*n+j] 就是矩阵 A 的 (i; j) 元编程的思路是在每个 CPU 上使用一个长度是 n 的向量, 通过 Allgather 取得 b 在各个 CPU 上分别存储的值

25 V 3 使用 MPI_Reduce_scatter 计算 column-wise Matrix-vector Multiplication A 是稠密的 n n 矩阵,b 是一个 n 维向量处理器的个数 p 能整除 n, 每个处理器储存 A 的 n=p 列和 b 的 n=p 个元素写一个程序计算 x = Ab, x 是 n 维向量, 和 b 的储存方式一样 A 可以存储成一维 double 指针, 例如在只有一个 CPU 的时候 double * A = new double[n*n]; A[i*n+j] 就是矩阵 A 的 (i; j) 元编程的思路是在每个 CPU 上使用一个长度是 n 的向量, 通过 Allgather 取得 b 在各个 CPU 上分别存储的值 4 比较上面两种方法的计算时间和通信量

26 框架 1 2 3

27 MPI 并行程序设计的网上课件

Parallel Programming with MPI

Parallel Programming with MPI MPI 并行编程入门中国科学院计算机网络信息中心超级计算中心聚合通信定义三种通信方式聚合函数列表同步广播收集散发全散发收集归约定义 communicator 1 3 4 5 0 2 一个通信器的所有进程参与, 所有进程都调用聚合通信函数 MPI 系统保证聚合通信函数与点对点调用不会混淆聚合通信不需要消息标号聚合通信函数都为阻塞式函数聚合通信的功能 : 通信同步计算等