PowerPoint 演示文稿

Size: px

Start display at page:

Download "PowerPoint 演示文稿"

义卯干
5 years ago
Views:

1 第六讲消息传递编程接口 MPI 二 MPI 消息传递 1

2 MPI 消息传递 MPI 点对点通信类型阻塞型和非阻塞型 MPI 消息发送模式标准模式缓冲模式同步模式就绪模式 MPI 聚合通信多个进程间的通信 2

3 阻塞型和非阻塞型通信阻塞型 (blocking) 和非阻塞型 (non blocking) 通信阻塞型通信函数需要等待指定的操作实际完成, 或所涉及的数据被 MPI 系统安全备份后才返回阻塞型通信是非局部操作, 它的完成可能涉及其它进程 MPI_SEND 和 MPI_RECV 都是阻塞型的非阻塞型通信函数总是立即返回, 实际操作由 MPI 后台进行, 需要调用其它函数来查询通信是否完成非阻塞型通信是局部操作在实际操作完成之前对相关数据区域的操作是不安全的在有些并行系统上, 使用非阻塞型函数可以实现计算与通信的重叠进行常用的非阻塞型通信函数为 MPI_ISEND 和 MPI_IRECV 3

4 非阻塞型发送函数 MPI_ISEND(buf,count,datatype,dest,tag,comm,request) 其中 request 是输出参数, 为请求句柄, 以备将来查询, 其它参数含义与 MPI_SEND 相同在 C 中 request 的数据类型是 MPI_Request; 在 FORTRAN 中 request 为整型 C F77 int MPI_Isend(void *buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm, MPI_Request *request) MPI_ISEND(BUF, COUNT, DATATYPE, DEST, TAG, COMM, REQUEST, IERR) <type> BUF(*) INTEGER COUNT, DATATYPE, DEST, TAG, COMM, REQUEST, IERR 4

5 非阻塞型接收函数 MPI_IRECV(buf,count,datatype,source,tag,comm,request) C F77 int MPI_Irecv(void *buf, int count, MPI_Datatype datatype, int source, int tag, MPI_Comm comm, MPI_Request *request) MPI_IRECV(BUF, COUNT, DATATYPE, SOURCE, TAG, COMM, REQUEST, IERR) <type> BUF(*) INTEGER COUNT, DATATYPE, DEST, TAG, COMM, REQUEST, IERR 参数中没有 status, 消息的查询使用 request 阻塞型 / 非阻塞型通信函数使用时要保持一致性! 5

6 非阻塞型通信检测 MPI_WAIT(request, status) 参数 C F77 IN request 通信请求 OUT status 消息状态 int MPI_Wait(MPI_Request *request, MPI_Status *status) MPI_WAIT(REQUEST, STATUS, IERR) INTEGER REQUEST, IERR, STATUS(MPI_STATUS_SIZE) 该函数是阻塞型的, 它必须等待指定的通信请求完成后才能返回, 与之相应的非阻塞型函数是 MPI_TEST 成功返回时,status 中包含关于所完成的通信的消息, 相应的通信请求被释放, 即 request 被置成 MPI_REQUEST_NULL 6

7 非阻塞型通信检测 MPI_TEST(request, flag, status) 参数 OUT flag 操作是否完成标志 ( 其它参数含义同 MPI_WAIT) C F77 int MPI_Test(MPI_Request *request, int *flag, MPI_Status *status) MPI_TEST(REQUEST, FLAG, STATUS, IERR) LOGICAL FLAG INTEGER REQUEST, IERR, STATUS(MPI_STATUS_SIZE) 非阻塞型通信检测函数, 不论通信是否完成都立刻返回, 功能同 MPI_WAIT 7

8 MPI_WAITANY MPI_WAITANY(count, array_of_requests, index, status) 参数 C F77 IN count 请求句柄的个数 INOUT array_of_requests 请求句柄数组 OUT index 已完成通信操作的句柄指标 OUT status 消息状态 int MPI_Waitany(int count, MPI_Request *array_of_requests, int *index, MPI_Status *status) MPI_WAITANY(COUNT, ARRAY_OF_REQUESTS, INDEX, STATUS, IERR) INTEGER COUNT, ARRAY_OF_REQUESTS(*), INDEX, IERR, STATUS(MPI_STATUS_SIZE) 所有请求句柄中至少有一个已经完成才返回, 阻塞型函数若有多个请求句柄已完成, 则随机选择其中一个并立即返回 8

9 MPI_TESTANY MPI_TESTANY(count,array_of_requests,index,flag,status) 参数 C F77 OUT flag 操作是否完成标志 ( 其它参数含义同 MPI_WAITANY) int MPI_Testany(int count, MPI_Request *array_of_requests, int *index,int *flag,mpi_status *status) MPI_TESTANY(COUNT, ARRAY_OF_REQUESTS, INDEX, FLAG, STATUS, IERR) INTEGER COUNT, ARRAY_OF_REQUESTS(*), INDEX, FLAG, IERR, STATUS(MPI_STATUS_SIZE) 功能同 MPI_WAITANY, 非阻塞型函数 9

10 MPI_WAITALL MPI_WAITALL(count,array_of_requests,array_of_statuses) 参数 C F77 IN count 请求句柄的个数 INOUT array_of_requests 请求句柄数组 OUT array_of_statuses 所有消息的状态数组 int MPI_Waitall(int count, MPI_Request *array_of_requests, MPI_Status *array_of_statuses) MPI_WAITALL(COUNT, ARRAY_OF_REQUESTS, ARRAY_OF_STATUSES, IERR) INTEGER COUNT, ARRAY_OF_REQUESTS(*), IERR, ARRAY_OF_STATUSES(MPI_STATUS_SIZE,*) 当所有的通信操作全部完成后才返回, 否则将一直等待阻塞型函数 10

11 MPI_TESTALL MPI_TESTALL(count,array_of_requests,flag,array_of_statuses) 参数 C F77 OUT flag 操作是否完成标志 ( 其它参数含义同 MPI_WAITALL) int MPI_Testall(int count, MPI_Request *array_of_requests, MPI_Status *array_of_statuses) MPI_TESTALL(COUNT, ARRAY_OF_REQUESTS, ARRAY_OF_STATUSES, IERR) INTEGER COUNT, ARRAY_OF_REQUESTS(*), IERR, ARRAY_OF_STATUSES(MPI_STATUS_SIZE,*) 非阻塞型, 无论所有的通信操作是否全部完成都将立即返回若有一个通信操作没有完成, 则 flag 为 0/ 假 11

12 MPI_WAITSOME MPI_WAITSOME(incount, array_of_requests, outcount, array_of_indices, array_of_statuses) 参数 C F77 IN incount 请求句柄的个数 INOUT array_of_requests 请求句柄数组 OUT outcount 已完成通信请求个数 OUT array_of_indices 已完成请求的下标数组 OUT array_of_statuses 所有消息的状态数组 int MPI_Waitsome(int incount, MPI_Request *array_of_requests, int *outcount, int *array_of_indices, MPI_Status *array_of_statuses) MPI_WAITSOME( INCOUNT,ARRAY_OF_REQUESTS, OUTCOUNT, ARRAY_OF_INDICES, ARRAY_OF_STATUSES, IERR) INTEGER INCOUNT, OUTCOUNT, IERR, ARRAY_OF_REQUESTS(*), ARRAY_OF_INDICES(*), ARRAY_OF_STATUSES(MPI_STATUS_SIZE,*) 阻塞型, 至少有一个通信操作完成才返回 12

13 MPI_TESTSOME MPI_TESTSOME(incount, array_of_requests, outcount, array_of_indices, array_of_statuses) 参数 C F77 参数含义同 MPI_WAITSOME int MPI_Testsome(int incount, MPI_Request *array_of_requests, int *outcount, int *array_of_indices, MPI_Status *array_of_statuses) MPI_TESTSOME( INCOUNT,ARRAY_OF_REQUESTS, OUTCOUNT, ARRAY_OF_INDICES, ARRAY_OF_STATUSES, IERR) INTEGER INCOUNT, OUTCOUNT, IERR, ARRAY_OF_REQUESTS(*), ARRAY_OF_INDICES(*), ARRAY_OF_STATUSES(MPI_STATUS_SIZE,*) 非阻塞型, 若一个通信操作都没完成, 则 outcount=0 13

14 MPI 消息检测函数 MPI_PROBE(source,tag,comm,status) 该函数用于检测一个符合条件的消息是否到达它是阻塞型函数, 必须等到一个符合条件的消息到达后才返回参数的含义与 MPI_RECV 相同 MPI_IPROBE(source,tag,comm,flag,status) 非阻塞型消息检测函数 flag 在 C 中为整型, 在 FORTRAN 中为逻辑型如果符合条件的消息已到达, 则 flag 为非零值 / 真, 否则为 0/ 假这两个函数中的参数 source 可以是 MPI_ANY_SOURCE,tag 也可以是 MPI_ANY_TAG, 但必须指定通信器 14

15 MPI_PROBE/IPROBE C F77 int MPI_Probe(int source, int tag, MPI_Comm comm, MPI_Status * status) MPI_PROBE(SOURCE, TAG, COMM, STATUS, IERR) INTEGER SOURCE, TAG, COMM, IERR, STATUS(MPI_STATUS_SIZE) C F77 int MPI_IProbe(int source, int tag, int *flag, MPI_Comm comm, MPI_Status * status) MPI_IPROBE(SOURCE, TAG, COMM, FLAG, STATUS, IERR) LOGICAL INTEGER FLAG SOURCE, TAG, COMM, IERR, STATUS(MPI_STATUS_SIZE) 15

16 MPI 释放通信请求函数 MPI_REQUEST_FREE(request) 释放指定的通信请求 ( 及所占用的内存资源 ) 若该通信请求相关联的通信操作尚未完成, 则等待通信的完成, 因此通信请求的释放并不影响该通信的完成该函数成功返回后 request 被置为 MPI_REQUEST_NULL 一旦执行了释放操作, 该通信请求就无法再通过其它任何的调用访问 16

17 MPI 取消通信函数 MPI_CANCEL(request) 非阻塞型, 用于取消一个尚未完成的通信请求它在 MPI 系统中设置一个取消该通信请求的标志后立即返回, 具体的取消操作由 MPI 系统在后台完成 MPI_CANCEL 允许取消已调用的通信请求, 但并不意味着相应的通信一定会被取消 : 若相应的通信请求已经开始, 则它会正常完成, 不受取消操作的影响 ; 若相应的通信请求还没开始, 则可以释放通信占用的资源调用 MPI_CANCEL 后, 仍需用 MPI_WAIT,MPI_TEST 或 MPI_REQUEST_FREE 来释放该通信请求 MPI_TEST_CANCELLED(status,flag) 检测通信请求是否被取消 17

18 MPI 消息发送模式 MPI 提供四种点对点消息发送模式标准模式 ( standard mode ) 缓冲模式 ( buffered mode ) 同步模式 ( synchronous mode ) 就绪模式 ( ready mode ) 每种发送模式都有相应的阻塞型和非阻塞型函数 18

19 MPI 消息发送模式标准模式 ( standard mode ) 由系统决定是先将数据复制到一个缓存区, 然后返回 ; 还是等待数据发送出去后才返回通常 MPI 系统会预留一定大小的缓存区标准模式阻塞型 / 非阻塞型函数 : MPI_SEND/MPI_ISEND 缓冲模式 (buffered mode ) 将数据复制到一个用户指定的缓存区, 然后立即返回消息的发送由 MPI 系统后台进行用户必须保证提供的缓存区足以保存所需发送的数据缓冲模式阻塞型 / 非阻塞型函数 : MPI_BSEND/MPI_IBSEND 19

20 MPI 消息发送模式同步模式 ( synchronous mode ) 在标准模式的基础上要求确认接收方开始接收数据后才返回同步模式阻塞型 / 非阻塞型函数 : MPI_SSEND/MPI_ISSEND 就绪模式 ( ready mode ) 发送时假设接收方已经处于就绪状态, 否则产生一个错误缓冲模式阻塞型 / 非阻塞型函数 : MPI_RSEND/MPI_IRSEND MPI_BSEND MPI_SSEND MPI_RSEND 的用法同 MPI_SEND MPI_IBSEND MPI_ISSEND MPI_IRSEND 的用法同 MPI_ISEND 20

21 点对点通信函数小结函数类型模式阻塞型非阻塞型消息发送标准 MPI_SEND MPI_ISEND 缓冲 MPI_BSEND MPI_IBSEND 同步 MPI_SSEND MPI_ISSEND 就绪 MPI_RSEND MPI_IRSEND 消息接收 MPI_RECV MPI_IRECV 消息检测 MPI_PROBE MPI_IPROBE 等待 / 查询 MPI_WAIT MPI_TEST 释放通信请求取消通信 MPI_WAITALL MPI_WAITANY MPI_WAITSOME MPI_REQUEST_FREE MPI_TESTALL MPI_TESTANY MPI_TESTSOME MPI_CANCEL MPI_TEST_CANCELLED 21

22 持久通信请求持久通信请求用于以完全相同的方式重复收发的消息目的是减少处理消息时的开销, 并简化 MPI 程序持久通信请求收发步骤 : 先创建一个请求, 然后进行收发持久通信请求的创建 ( 非阻塞型持久通信请求 ) MPI_SEND_INIT(buf,count,datatype,dest,tag,comm,request) MPI_RECV_INIT(buf,count,datatype,source,tag,comm,request) 持久通信请求的收发 MPI_START(request) MPI_STARTALL(count, array_of_requests) 持久通信请求的完成与释放 : 持久通信请求可反复调用 MPI_START 或 MPI_START_ALL 来进行多次通信 22

23 持久通信请求的创建 MPI_SEND_INIT(buf,count,datatype,dest, tag,comm,request) 参数含义与 MPI_ISEND 相同该函数并不开始消息的实际发送, 而只是创建一个请求句柄, 通过参数 request 返回给用户程序, 留待以后实际发送时用 MPI_SEND_INIT 对应标准的非阻塞型消息发送, 相应地有 MPI_BSEND_INIT,MPI_SSEND_INIT 和 MPI_RSEND_INIT, 分别对应于缓冲同步和就绪模式的非阻塞型消息发送 MPI_RECV_INIT(buf,count,datatype,source, tag,comm,request) 23

24 聚合通信聚合通信 (collective communication) 是指多个进程之间的通信根据数据的流向, 聚合通信可分为三种类型 : 一对多多对一多对多根进程 (root): 在一对多和多对一中的一聚合通信一般实现三个功能 : 通信, 同步和计算 24

25 障碍同步 MPI_BARRIER(comm) 参数 IN comm 通信器 C F77 int MPI_Barrier(MPI_Comm comm) MPI_BARRIER(COMM, IERR) INTEGER COMM, IERR 这是 MPI 提供的唯一的一个同步函数当 COMM 通信器中的所有进程都执行这个函数时才返回, 如果有一个进程没有执行此函数, 其余进程将处于等待状态在执行完这个函数之后, 所有进程将同时执行其后的任务 25

26 广播 MPI_BCAST(buf, count, datatype, root, comm) 参数 C F77 INOUT buf 通信消息缓冲区的起始地址 IN count 将广播出去 / 或接收的数据个数 IN datatype 广播 / 接收数据的数据类型 IN root 广播数据的根进程的标识号 IN comm 通信器 int MPI_Bcast(void *buf, int count, MPI_Datatype datatype, int root, MPI_Comm comm) MPI_BCAST(BUF, COUNT, DATATYPE, ROOT, COMM, IERR) <type> BUF(*) INTEGER COUNT,DATATYPE,ROOT,COMM,IERR root 进程将 buf 中的内容广播发送给通信器内的所有进程 ( 包括自身 ) 26

27 数据收集数据收集指各个进程 ( 包括根进程 ) 将自己的一块数据发送给根进程, 根进程将这些数据合并成一个更大的数据块收集相同长度的数据块 :MPI_GATHER 收集不同长度的数据块 :MPI_GATHERV 27

28 MPI_GATHER MPI_GATHER(sendbuf,sendcount,sendtype, recvbuf,recvcount,recvtype,root,comm) 根进程从通信器中的每个进程 ( 含根进程 ) 接收一个相同长度相同类型的数据块, 并按发送进程的进程号依次存放到自已的 recvbuf 中, 合并成一个更大的数据块参数 recvbuf recvcount recvtype 仅对根进程有意义其作用就象一个进程组中的所有进程 ( 包括 root) 都执行了一个发送调用, 同时根进程执行了 np 次接收调用, 即 CALL MPI_SEND(SENDBUF, SENDCOUNT, SENDTYPE, ROOT,...) IF ( MYID.EQ. ROOT ) THEN DO I=0, NP-1 CALL MPI_RECV(RECVBUF + I*RECVCOUNT*extent(RECVTYPE), + RECVCOUNT, RECVTYPE, I,...) ENDDO ENDIF 28

MPI_GATHER C F77 int MPI_Gather(void *sendbuf, int sendcount, MPI_Datatype sendtype, void *recvbuf, int recvcount, MPI_Datatype recvtype, int root, MPI_Comm comm)

29 MPI_GATHER C F77 int MPI_Gather(void *sendbuf, int sendcount, MPI_Datatype sendtype, void *recvbuf, int recvcount, MPI_Datatype recvtype, int root, MPI_Comm comm) MPI_GATHER(SENDBUF, SENDCOUNT, SENDTYPE, RECVBUF, RECVCOUNT, RECVTYPE, ROOT, COMM, IERR) <type> INTEGER SENDBUF(*), RECVBUF(*) SENDCOUNT, SENDTYPE, RECVCOUNT, RECVTYPE,ROOT, COMM, IERR 29

MPI_GATHERV MPI_GATHERV(sendbuf,sendcount,sendtype, recvbuf,recvcounts,displs, recvtype,root,comm) 这个函数是 MPI_GATHER 的扩充, 它允许从不同的进程中接收不同长度的消息接收到的消息的存放位置由

30 MPI_GATHERV MPI_GATHERV(sendbuf,sendcount,sendtype, recvbuf,recvcounts,displs, recvtype,root,comm) 这个函数是 MPI_GATHER 的扩充, 它允许从不同的进程中接收不同长度的消息接收到的消息的存放位置由 recvbuf 和位置偏移参数 displs( 数组 ) 决定根进程中 recvcounts(i) 与第 i 个进程的 sendcount 一致 root 进程从第 i 个进程接收 recvcounts(i) 个数据, 存放到以 recvbuf+displs(i)*extent(recvtype) 为首地址的缓冲区中 30

31 MPI_GATHERV C F77 int MPI_Gatherv(void *sendbuf, int sendcount, MPI_Datatype sendtype, void *recvbuf, int *recvcounts, int *displs, MPI_Datatype recvtype, int root, MPI_Comm comm) MPI_GATHERV(SENDBUF, SENDCOUNT, SENDTYPE, RECVBUF, RECVCOUNTS,DISPLS, RECVTYPE, ROOT, COMM, IERR) <type> INTEGER SENDBUF(*), RECVBUF(*) SENDCOUNT,SENDTYPE,RECVTYPE,ROOT, COMM,IERR,RECVCOUNTS(*),DISPLS(*) 注 : 这里的 recvcounts 和 displs 是长度为 np 的数组 31

32 数据散发数据散发是指根进程将一个大的数据块分成小块分别散发给各个进程 ( 包括根进程自己 ), 是数据收集的逆操作散发相同长度的数据块 :MPI_SCATTER 散发不同长度的数据块 :MPI_SCATTERV 32

33 MPI_SCATTER MPI_SCATTER(sendbuf,sendcount,sendtype, recvbuf, recvcount, recvtype, root, comm) 根进程的 sendbuf 中有 np 个连续存放的数据块, 每个数据块包含 sendcout 个 sendtype 类型的数据, 根进程将这些数据块按进程的标识号依次分发给各个进程 ( 包括 root 进程 ) 参数 sendbuf sendcount sendtype 仅对根进程有意义 C F77 int MPI_Scatter(void *sendbuf, int sendcount, MPI_Datatype sendtype, void *recvbuf, int recvcount, MPI_Datatype recvtype, int root, MPI_Comm comm) MPI_SCATTER(SENDBUF, SENDCOUNT, SENDTYPE, RECVBUF, RECVCOUNT, RECVTYPE, ROOT, COMM, IERR) <type> INTEGER SENDBUF(*), RECVBUF(*) SENDCOUNT, SENDTYPE, RECVCOUNT, RECVTYPE,ROOT, COMM, IERR 33

34 MPI_SCATTERV MPI_SCATTERV(sendbuf,sendcounts,displs,sendtype, recvbuf,recvcount,recvtype,root,comm) 是 MPI_SCATTER 的扩展, 它允许根进程向各个进程发送的长度不同且不一定是连续存放的数据块 C F77 int MPI_Scatterv(void *sendbuf, int sendcounts, int *displs, MPI_Datatype sendtype, void *recvbuf, int *recvcount, MPI_Datatype recvtype, int root, MPI_Comm comm) MPI_SCATTERV(SENDBUF, SENDCOUNTS, DISPLS, SENDTYPE, RECVBUF, RECVCOUNT, RECVTYPE, ROOT, COMM, IERR) <type> INTEGER SENDBUF(*), RECVBUF(*) SENDCOUNT,SENDTYPE,RECVTYPE,ROOT, COMM,IERR,RECVCOUNTS(*),DISPLS(*) 34

35 SCATTER/V MPI_SCATTER MPI_SCATTERV 35

36 多点对多点的通信全收集与数据收集类似, 区别是所有进程都接收数据相同长度数据块的全收集 :MPI_ALLGATHER 不同长度数据块的全收集 :MPI_ALLGATHERV 全收集散发每个进程散发自己的一个数据块, 并且收集拼装所有进程散发过来的数据块它既可以认为是数据全收集的扩展, 也可以被认为是数据散发的扩展相同数据长度的全收集散发 :MPI_ALLTOALL 不同数据长度的全收集散发 :MPI_ALLTOALLV 36

37 MPI_ALLGATHER MPI_ALLGATHER(sendbuf,sendcount,sendtype, recvbuf,recvcount,recvtype,comm) 等价于依次以每个进程为根进程进 np 次 MPI_GATHER, 或以任意进程为根进程调用一次 MPI_GATHER, 紧接着再对收集到的数据进行一次广播 C F77 int MPI_Allgather(void *sendbuf, int sendcount, MPI_Datatype sendtype, void *recvbuf, int recvcount, MPI_Datatype recvtype, MPI_Comm comm) MPI_SCATTER(SENDBUF, SENDCOUNT, SENDTYPE, RECVBUF, RECVCOUNT, RECVTYPE, COMM, IERR) <type> INTEGER SENDBUF(*), RECVBUF(*) SENDCOUNT, SENDTYPE, RECVCOUNT, RECVTYPE, COMM, IERR 37

38 MPI_ALLGATHERV MPI_ALLGATHERV(sendbuf,sendcount,sendtype, recvbuf,recvcounts,displs,recvtype,comm) 不同长度数据块的全收集, 参数与 MPI_GATHERV 类似进程 j 的 sendcount = 所有进程的 recvcounts(j) C F77 int MPI_Allgatherv(void *sendbuf, int sendcount, MPI_Datatype sendtype, void *recvbuf, int recvcounts, int * displs,mpi_datatype recvtype, MPI_Comm comm) MPI_ALLGATHERV(SENDBUF, SENDCOUNT, SENDTYPE, RECVBUF, RECVCOUNTS, DISPLS, RECVTYPE, COMM, IERR) <type> INTEGER SENDBUF(*), RECVBUF(*) SENDCOUNT, SENDTYPE, RECVCOUNTS(*), DISPLS(*), RECVTYPE, COMM, IERR 38

39 ALLGATHER/V MPI_ALLGATHER MPI_ALLGATHERV 39

40 MPI_ALLTOALL MPI_ALLTOALL(sendbuf,sendcount,sendtype, recvbuf,recvcount,recvtype,comm) C F77 int MPI_Alltoall(void *sendbuf, int sendcount, MPI_Datatype sendtype, void* recvbuf, int recvcount, MPI_Datatype recvtype, MPI_Comm comm) MPI_ALLTOALL(SENDBUF, SENDCOUNT, SENDTYPE, RECVBUF, RECVCOUNT, RECVTYPE, COMM, IERR) <type> INTEGER SENDBUF(*), RECVBUF(*) SENDCOUNT, SENDTYPE, RECVCOUNT, RECVTYPE, COMM, IERR 相同长度数据块的全收集散发进程 i 将 sendbuf 中的第 j 块数据发送至进程 j 的 recvbuf 中的第 i 个位置, sendbuf 和 recvbuf 均有 np 个连续的数据块构成该操作相对于将数据 / 进程进行一次转置 40

41 MPI_ALLTOALLV MPI_ALLTOALLV(sendbuf,sendcounts,sdispls, sendtype,recvbuf,recvcounts, rdispls,recvtype,comm) C F77 int MPI_Alltoallv(void *sendbuf, int sendcounts, int sdispls, MPI_Datatype sendtype, void* recvbuf, int recvcounts, int rdispls, MPI_Datatype recvtype, MPI_Comm comm) MPI_ALLTOALLV(SENDBUF, SENDCOUNTS, SDISPLS, SENDTYPE, RECVBUF, RECVCOUNTS, RDISPLS, RECVTYPE, COMM, IERR) <type> SENDBUF(*), RECVBUF(*) INTEGER SENDCOUNT, SENDTYPE, COMM, IERR, RECVCOUNT,RECVTYPE,SDISPLS(*),RDISPLS(*) 不同长度数据块的全收集散发 41

42 ALLTOALL/V MPI_ALLTOALL MPI_ALLTOALLV 42

43 归约归约 :MPI_REDUCE 该函数将通信器内每个进程输入缓冲区 (sendbuf) 中的数据按给定的操作进行简单运算, 并将其结果返回到根进程的输出缓冲区 (recvbuf) 中归约运算可以是 MPI 预定义的运算操作, 也可以是用户自定义的运算自定义归约运算操作 :MPI_OP_CREATE 用户自己创建一个新的归约运算释放自定义的归约操作 :MPI_OP_FREE 自定义的归约运算不再需要时, 可以将其释放, 以释放其占用的资源 43

44 MPI_REDUCE MPI_REDUCE(sendbuf,recvbuf,count,datatype, op,root,comm) 参数 recvbuf 只对根进程有意义所有进程所提供的数据长度相同类型相同参数 op 用来指定归约所使用的运算, 可以是 MPI 预定义的, 也可以是用户自行定义的, 但必须满足结合律 C F77 int MPI_Reduce(void *sendbuf, void *recvbuf, int count, MPI_Datatype datatype, MPI_Op op, int root, MPI_Comm comm) MPI_REDUCE(SENDBUF,RECVBUF,COUNT,DATATYPE, OP,ROOT,COMM,IERR) <type> SENDBUF(*), RECVBUF(*) INTEGER COUNT,DATATYPE,OP,ROOT,COMM,IERR 44

45 MPI_REDUCE MPI_REDUCE 45

46 归约运算 MPI 中预定义的运算操作 (op) 操作名含义操作名含义 MPI_MAX 求最大 MPI_LXOR 逻辑异或 MPI_MIN 求最小 MPI_BAND 二进制按位与 MPI_SUM 求和 MPI_BOR 二进制按位或 MPI_PROD 求积 MPI_BXOR 二进制按位异或 MPI_LAND 逻辑与 MPI_MAXLOC 求最大值和所在位置 MPI_LOR 逻辑或 MPI_MINLOC 求最小值和所在位置 46

47 归约运算每种归约运算操作所允许的数据类型运算操作 OP MPI_MAX, MPI_MIN MPI_SUM, MPI_PROD MPI_LAND, MPI_LOR, MPI_LXOR MPI_BAND, MPI_BOR, MPI_BXOR 允许的数据类型整型和实型整型实型和复型 C 的整型和 Fortran 的逻辑型整型和二进制型 (MPI_BYTE) MPI_MAXLOC 和 MPI_MINLOC 是两个特殊的运算, 它们不仅求最值, 而且还会记下最值的位置, 所以需要一种特殊的数据类型, 即数对 47

48 自定义归约操作 MPI_OP_CREATE(func, commute, op) 参数 C F77 IN func 用户自定义的函数 IN commute 自定义的运算是否满足交换律 OUT op 归约运算操作名 int MPI_Op_create(MPI_User_function *func, int commute, MPI_Op *op) MPI_OP_CREATE(FUNC, COMMUTE, OP, IERR) EXTERNAL FUNC LOGICAL COMMUTE INTEGER OP, IERR 参数中 func 是用户提供的用于完成该运算的外部函数名 MPI_OP_CREATE 将自定义函数 func 和 op 联系起来 48

49 自定义归约操作 MPI 对用户自定义的外部函数 func 有严格要求, 必须是具有如下形式的接口 : C F77 void func(void *invec, void *inoutvec, int *len, MPI_Datatype *datatype) FUNCTION FUNC(INVEC,INOUTVEC,LEN,DATATYPE) <type> INVEC(LEN), INOUTVEC(LEN) INTEGER LEN, DATATYPE invec 和 inoutvec 分别指出将要被归约的数据所在的缓冲区的首址,len 指出将要归约的元素个数,datatype 指出归约对象的数据类型, 函数的返回结果保存在 inoutvec 中 49

50 MPI_OP_FREE MPI_OP_FREE(op) 当一个用户自定义的运算不再需要时, 可以将其释放, 以释放其占用的系统资源 C F77 int MPI_Op_free(MPI_Op *op) MPI_OP_FREE(OP, IERR) INTEGER OP, IERR 50

51 其它归约操作全归约 :MPI_ALLREDUCE 作用相当于在 MPI_REDUCE 后再将结果进行一次广播归约散发 :MPI_REDUCE_SCATTER 将归约结果分散给所有的进程 ( 每个进程存储部分结果 ) 扫描 :MPI_SCAN 可以看作是一种特殊的归约, 每一个进程都对排在它前面的进程进行归约操作, 操作结束后, 第 i 个进程中的 recvbuf 中将包含前 i 个进程的归约结果 51

52 全归约 MPI_ALLREDUCE(sendbuf,recvbuf,count, datatype,op,comm) C F77 int MPI_Allreduce(void *sendbuf, void *recvbuf, int count, MPI_Datatype datatype, MPI_Op op, MPI_Comm comm) MPI_ALLREDUCE(SENDBUF, RECVBUF, COUNT, DATATYPE, OP, COMM, IERR) <type> SENDBUF(*), RECVBUF(*) INTEGER COUNT, DATATYPE, OP, COMM, IERR 所有进程的 recvbuf 将同时获得归约运算的结果 52

53 全归约 MPI_ALLREDUCE 53

54 归约散发 MPI_REDUCE_SCATTER(sendbuf,recvbuf, recvcounts,datatype,op,comm) C F77 int MPI_Reduce_scatter(void *sendbuf, void *recvbuf, int *recvcounts, MPI_Datatype datatype, MPI_Op op, MPI_Comm comm) MPI_REDUCE_SCATTER(SENDBUF, RECVBUF, RECVCOUNTS, DATATYPE, OP, COMM, IERROR) <type> SENDBUF(*), RECVBUF(*) INTEGER DATATYPE,OP,COMM,IERR,RECVCOUNTS(*) MPI_REDUCE_SCATTER 对由 sendbuf, count 和 datatype 指定的数据 np 进行归约操作, 这里 count= i= 1 recvcounts() i 然后将归约结果散发给所有的进程, 其中进程 i 获得的数据块长度为 recvcounts(i) 54

55 归约散发 MPI_REDUCE_SCATTER 55

56 扫描 MPI_SCAN(sendbuf,recvbuf,count,datatype,op,comm) C F77 int MPI_Scan(void *sendbuf, void *recvbuf, int count, MPI_Datatype datatype, MPI_Op op, MPI_Comm comm) MPI_SCAN(SENDBUF, RECVBUF, COUNT, DATATYPE, OP, COMM, IERR) <type> SENDBUF(*), RECVBUF(*) INTEGER COUNT, DATATYPE, OP, COMM, IERR 每一个进程都对排在它前面的进程进行归约操作, 操作结束后, 第 i 个进程中的 recvbuf 中将包含前 i 个进程的归约结果 0 号进程接收缓冲区中的数据就是其发送缓冲区的数据 56

57 扫描 MPI_SCAN 57

58 本讲函数小结点对点持久通信 MPI_SEND MPI_ISEND MPI_BSEND MPI_IBSEND MPI_SSEND MPI_ISSEND MPI_RSEND MPI_IRSEND MPI_RECV MPI_IRECV MPI_PROBE MPI_IPROBE MPI_WAIT MPI_TEST MPI_WAITALL MPI_TESTALL MPI_WAITANY MPI_TESTANY MPI_WAITSOME MPI_TESTSOME MPI_REQUEST_FREE MPI_CANCEL MPI_TEST_CANCELLED MPI_SEND_INIT MPI_RECV_INIT MPI_START MPI_STARTALL 一对多 MPI_BCAST MPI_SCATTER MPI_SCATTERV 多对一 MPI_GATHER MPI_GATHERV MPI_REDUCE 多对多其它 MPI_ALLGATHER MPI_ALLGATHERV MPI_ALLTOALL MPI_ALLTOALLV MPI_ALLREDUCE MPI_REDUCE_SCATTER MPI_SCAN MPI_BARRIER 58

59 上机作业修改计算 pi 的程序, 要求使用 MPI_BCAST 和 MPI_REDUCE 修改计算 pi 的程序, 将任务分配改为按块分配 : 假设有 p 个进程, 将 n 个区间顺序分成 p 块, 每个进程负责其中一块的计算, 注意 n 不是 p 的倍数时要尽量保持负载平衡参考程序 :ex4pi.f 59

Parallel Programming with MPI

Parallel Programming with MPI MPI 并行编程入门中国科学院计算机网络信息中心超级计算中心聚合通信定义三种通信方式聚合函数列表同步广播收集散发全散发收集归约定义 communicator 1 3 4 5 0 2 一个通信器的所有进程参与, 所有进程都调用聚合通信函数 MPI 系统保证聚合通信函数与点对点调用不会混淆聚合通信不需要消息标号聚合通信函数都为阻塞式函数聚合通信的功能 : 通信同步计算等