1 学习目标了解并掌握 MPI 的各种非阻塞通信形式及其作用, 并能运用 MPI 的非阻塞通信语句编写高级的并行程序 2 重点和难点非阻塞通信的语义特点, 如何运用非阻塞通信的特点来实现特定的功能和性能 3 学习方法所有的阻塞调用形式都有其相应的非阻塞调用形式, 此外非阻塞调用还有其特殊的接口形式

Size: px

Start display at page:

Download "1 学习目标了解并掌握 MPI 的各种非阻塞通信形式及其作用, 并能运用 MPI 的非阻塞通信语句编写高级的并行程序 2 重点和难点非阻塞通信的语义特点, 如何运用非阻塞通信的特点来实现特定的功能和性能 3 学习方法所有的阻塞调用形式都有其相应的非阻塞调用形式, 此外非阻塞调用还有其特殊的接口形式"

汝郑
5 years ago
Views:

1 Lecture15 阻塞通信和非阻塞通信

2 1 学习目标了解并掌握 MPI 的各种非阻塞通信形式及其作用, 并能运用 MPI 的非阻塞通信语句编写高级的并行程序 2 重点和难点非阻塞通信的语义特点, 如何运用非阻塞通信的特点来实现特定的功能和性能 3 学习方法所有的阻塞调用形式都有其相应的非阻塞调用形式, 此外非阻塞调用还有其特殊的接口形式虽然非阻塞调用的形式很多, 但是要把握它们, 最根本的一点就是非阻塞通信的基本语义 : 即调用的返回并不意味着调用的完成, 以此为主线, 来学习和掌握多种多样的非阻塞调用形式

3 学习内容思考问题 ( 带着问题学习 ) 如果想实现计算与通信的重叠, 你认为 MPI 应提供怎样的功能? 非阻塞通信如果一个 MPI 调用仅仅是启动其执行而不表示其完成, 那么如何确保其完成呢? 增加一个专门的完成语句在学过的计算机知识中, 具有这种 " 先启动一个任务让它执行, 然后同时去做另外一件事情 " 的是什么功能? 中断

4 非阻塞通信的一般概念由于通信经常需要较长的时间, 在阻塞通信还没有结束的时候, 处理机只能等待, 这样就浪费了处理机的计算资源非阻塞通信主要用于计算和通信的重叠, 从而提高整个程序执行的效率对于非阻塞通信, 不必等到通信操作完全完成便可以返回, 该通信操作可以交给特定的通信硬件去完成, 在该通信硬件完成该通信操作的同时, 处理机可以同时进行计算操作, 这样便实现了计算与通信的重叠通过计算与通信的重叠, 可以大大提高程序执行的效率和通过异步 I/O 实现

5 非阻塞通信的一般概念非阻塞的发送操作, 发送缓冲区必须等到发送完成后才能释放, 需要引入新的手段 ( 非阻塞通信完成对象 ) 让程序员知道什么时候该消息已成功发送 ; 非阻塞的接收操作, 调用返回后并不意味着接收消息已全部到达, 必须等到消息到达后才可以引用接收到的消息数据对于阻塞通信, 只需要一个调用函数即可以完成, 但是对于非阻塞通信, 一般需要两个调用函数, 非阻塞通信的 " 启动 ", 通信 " 完成 " 调用接口

6 标准非阻塞发送 MPI_ISEND(buf, count, datatype, dest, tag, comm, r equest) IN buf 发送缓冲区的起始地址 ( 可选数据类型 ) IN count 发送数据的个数 ( 整型 ) IN datatype 发送数据的数据类型 ( 句柄 ) IN dest 目的进程号 ( 整型 ) IN tag 消息标志 ( 整型 ) IN comm 通信域 ( 句柄 ) OUT request 返回的非阻塞通信对象 ( 句柄 ) int MPI_Isend(void* buf, int count, MPI_Datatype d atatype, int dest, int tag, MPI_Comm comm, PI_Request *request) M

7 标准非阻塞发送 MPI_ISEND 的功能是启动一个标准的非阻塞发送操作, 它调用后立即返回 MPI_ISEND 的调用返回并不意味着消息已经成功发送, 它只表示该消息可以被发送和阻塞发送调用相比, 它多了一个参数 reques t, 这一参数是一个用来描述非阻塞通信状况的对象, 这里不妨称之为 " 非阻塞通信对象 ", 通过对这一对象的查询, 就可以知道与之相应的非阻塞发送是否完成在后面将介绍如何对这一对象进行查询

8 OUT request 非阻塞通信象对 ( 句柄 ) 标准非阻塞接收 MPI_IRECV(buf, count, datatype, source, tag, com m, request) OUT buf 接收缓冲区的起始地址 ( 可选数据类型 ) IN count 接收数据的最大个数 ( 整型 ) IN datatype 每个数据的数据类型 ( 句柄 ) IN source 源进程标识 ( 整型 ) IN tag 消息标志 ( 整型 ) IN comm 通信域 ( 句柄 )

9 标准非阻塞接收 int MPI_Irecv( void* buf, int count, MPI_D atatype datatype, int source, int tag, MPI_Comm com m, MPI_Request *request) 调用后立即返回, 返回并不意味着已经接收到了相应的消息, 它只表示符合要求的消息可以被接收和阻塞接收调用相比, 它多了一个参数 request, 这一参数的功能和非阻塞发送一样, 只不过在这里是用来描述非阻塞接收的完成状况, 通过对这一对象的查询, 就可以知道与之相应的非阻塞接收是否完成

10 象 ( 句柄 ) 同步非阻塞发送 MPI_ISSEND(buf, count, datatype, dest, tag, comm, request) IN buf 发送缓冲区的起始地址 ( 可选数据类型 ) IN count 发送数据的个数 ( 整型 ) IN datatype 发送数据的数据类型 ( 句柄 ) IN dest 目的进程标识 ( 整型 ) IN tag 消息标志 ( 整型 ) IN comm 通信域 ( 句柄 ) OUT request 非阻塞通信完成对

11 同步非阻塞发送 nt MPI_Issend(void* buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm, MPI_Request *request) MPI_ISSEND 开始一个同步模式的非阻塞发送, 它的返回只是意味着相应的接收操作已经启动, 并不表示消息发送的完成

12 象 ( 句柄 ) 缓存非阻塞发送 MPI_IBSEND(buf, count, datatype, dest, tag, com m, request) IN buf 发送缓冲区的起始地址 ( 可选数据类型 ) IN count 发送数据的个数 ( 整型 ) IN datatype 每个数据的数据类型 ( 句柄 ) IN dest 目的进程标识 ( 整型 ) IN tag 消息标志 ( 整型 ) IN comm 通信域 ( 句柄 ) OUT request 非阻塞通信完成对

13 缓存非阻塞发送 int MPI_Ibsend(void* buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm, MPI_Request *request) MPI_IBSEND 开始一个缓存模式的非阻塞发送与阻塞发送一样, 它也需要程序员主动为该发送操作提供发送缓冲区

14 就绪非阻塞发送 MPI_IRSEND(buf, count, datatype, dest, tag, com m, request) IN buf 发送缓冲区的起始地址 ( 可选数据类型 ) IN count 发送数据的个数 ( 整型 ) IN datatype 发送数据的数据类型 ( 句柄 ) IN dest 目的进程标识 ( 整型 ) IN tag 消息标志 ( 整型 ) IN comm 通信域 ( 句柄 ) OUT request 非阻塞通信对象 ( 句柄 )

15 就绪非阻塞发送 int MPI_Irsend(void* buf, int count, MPI_Datatype datatype, int dest, int tag, MPI_Comm comm, MPI_Request *request) MPI_IRSEND 开始一个接收就绪通信模式非阻塞发送与阻塞通信一样, 它也要求当这一调用启动之前, 相应的接收操作必须已经启动, 否则回出错

16 完成单个非阻塞通信 MPI_WAIT(request, status) INOUT request 非阻塞通信对象 ( 句柄 ) OUT status 返回的状态 ( 状态类型 ) int MPI_Wait(MPI_Request *request, MPI_Status * status) MPI_WAIT 以非阻塞通信对象为参数, 一直等到与该非阻塞通信对象相应的非阻塞通信完成后才返回, 同时释放该阻塞通信对象, 因此程序员就不需要再显式释放该对象与该非阻塞通信完成有关的信息放在返回的状态参数 status 中

17 完成单个非阻塞通信 MPI_TEST(request, flag, status) INOUT request 非阻塞通信对象 ( 句柄 ) OUT flag 操作是否完成标志型 ) ( 逻辑 OUT status 返回的状态 ( 状态类型 ) int MPI_Test(MPI_Request*request, int *flag, MPI_ Status *status)

18 完成单个非阻塞通信与 MPI_WAIT 类似, MPI_TEST 也以非阻塞通信对象为参数, 但是它的返回不一定等到与非阻塞通信对象相联系的非阻塞通信的结束若在调用 MPI_TEST 时, 该非阻塞通信已经结束, 则它和 MPI_WAIT 的效果完全相同, 完成标志 flag =true ; 若在调用 MPI_TEST 时, 该非阻塞通信还没有完成, 则它和 MPI_WAIT 不同, 它不必等待该非阻塞通信的完成, 可以直接返回, 但是完成标志 flag=false, 同时也不释放相应的非阻塞通信对象

19 完成多个非阻塞通信 MPI_WAITANY(count, array_of_requests, index, st atus) IN count 非阻塞通信对象的个数 ( 整型 ) INOUT array_of_requests 非阻塞通信完成对象数组 ( 句柄数组 ) OUT index 完成对象对应的句柄索引 ( 整型 ) OUT status 返回的状态 ( 状态类型 ) int MPI_Waitany(int count, MPI_Request *array_of _requests, int *index, MPI_Status *status)

20 完成多个非阻塞通信与一次完成一个非阻塞通信的 MPI_WAIT 相对应, MPI_WAITANY 用于等待非阻塞通信对象表中任何一个非阻塞通信对象的完成, 释放已完成的非阻塞通信对象, 然后返回, MPI_WAITA NY 返回后 index=i, 即 MPI_WAITANY 完成的是非阻塞通信对象表中的第 I 个对象对应的非阻塞通信, 则其效果等价于调用了 MPI_WAIT(arra y_of_requests[i],status)

21 完成多个非阻塞通信 MPI_WAITALL( count, array_of_requests, array_of _statuses) IN count 非阻塞通信对象的个数 ( 整型 ) INOUT array_of_requests 非阻塞通信完成对象数组 ( 句柄数组 ) OUT array_of_statuses 状态数组 ( 状态数组类型 ) int MPI_Waitall(int count, MPI_Request *array_of_ requests, MPI_Status *array_of_statuses)

22 完成多个非阻塞通信 MPI_WAITALL 必须等到非阻塞通信对象表中所有的非阻塞通信对象相应的非阻塞操作都完成后才返回, 它在效果上等价于 DO I=1,COUNT MPI_WAIT(array_of_requests[I],status) END DO 这里的调用是有序的, 而实际上是可以以任意次序调用的, 不管以什么样的次序, 其最终效果应该是一样的

23 完成多个非阻塞通信 MPI_WAITSOME(incount,array_of_requests,outco unt,array_of_indices,array_of_statuses) IN incount 非阻塞通信对象的个数 ( 整型 ) INOUT array_of_requests 非阻塞通信对象数组 ( 句柄数组 ) OUT outcount 已完成对象的数目 ( 整型 ) OUT array_of_indices 已完成对象的下标数组 ( 整型数组 ) OUT array_of_statuses 已完成对象的状态数组 ( 状态数组 )

24 完成多个非阻塞通信 int MPI_Waitsome(int incount,mpi_request *array _of_request, int *outcount, int *array_of_indices, M PI_Status *array_of_statuses) MPI_WAITSOME 介于 MPI_WAITANY 和 MPI_ WAITALL 之间, 只要有一个或多个非阻塞通信完成, 则该调用就返回完成非阻塞通信的对象的个数记录在 outcount 中, 相应的对象在 array_ of_requests 中的下标记录在下表数组 array_of_in dices 中, 完成对象的状态记录在状态数组 array _of_statuses 中

25 完成多个非阻塞通信此外还有 MPI_TESTANY, MPI_TESTSOME 和 MPI_TESTALL, 与 MPI_WAIT??? 十分类似, 留给读者自学

26 非阻塞通信的取消 MPI_CANCEL(request) IN request 非阻塞通信对象 ( 句柄 ) int MPI_Cancel(MPI_Request *request) MPI_CANCEL 操作允许取消已调用的非阻塞通信, 用取消命令来释放发送或接收操作所占用的资源, 该调用立即返回

27 非阻塞通信的取消取消调用并不意味着相应的通信一定会被取消若取消操作调用时相应的非阻塞通信已经开始, 则它会正常完成, 不受取消操作的影响 ; 若取消操作调用时相应的非阻塞通信还没有开始, 则可以释放通信占用的资源, 取消该非阻塞通信对于非阻塞通信, 即使调用了取消操作, 也必须调用非阻塞通信的完成操作或查询对象的释放操作来释放查询对象如果一个非阻塞通信已经被执行了取消操作, 则该通信的 MPI_WAIT 或 MPI_TEST 将释放取消通信的非阻塞通信对象, 并且在返回结果 status 中指明该通信已经被取消

28 非阻塞通信的取消 MPI_TEST_CANCELLED(status,flag) IN status 状态 ( 状态类型 ) OUT flag 是否取消标志 ( 逻辑类型 ) int MPI_Test_cancelled(MPI_Status status, int *fla g) 一个通信操作是否被取消, 可以通过调用测试函数 MPI_TEST_CANCELLED 来检查, 如果, MPI_TEST_CANCELLED 返回结果 flag=true, 则表明该通信已经被成功取消, 否则说明该通信还没有被取消

29 例子 MPI_Comm_rank( MPI_COMM_WORLD, &rank ); if (rank == 0) { MPI_Send(sbuf, 1, MPI_INT, 1, 99, MPI_COMM_WORLD ); /* 进程 0 执行标准数据发送 */ } else if (rank ==1) { MPI_Irecv( rbuf, 1, MPI_INT, 0, 99, MPI_COMM_WORLD, request); /* 进程 1 执行非阻塞接收 */ MPI_Cancel( request); /* 然后立即释放该接收操作 */ MPI_Wait(&request,&status);/* 即使该通信被取消, 也必须执行完成操作 */ MPI_Test_cancelled(&status,&flag);/* 测试取消操作是否成功 */ if (flag) MPI_Irecv( rbuf, 1, MPI_INT, 0, 99 MPI_COMM_WORLD, request);/* 若取消成功, 则需要再执行一次接收操作 */ }

30 非阻塞通信对象的释放 MPI_REQUEST_FREE(request) INOUT request 非阻塞通信对象 int MPI_Request_free(MPI_Request * request) 当程序员能够确认一个非阻塞通信操作完成时, 可以直接调用非阻塞通信对象释放语句 MPI_REQUE ST_FREE 将该对象所占用的资源释放, 而不是通过调用非阻塞通信完成操作来间接地释放原来的非阻塞通信对象 request 变为 MPI_REQUEST_NUL L

31 非阻塞通信对象的释放一旦执行了释放操作, 非阻塞通信对象就无法再通过其它任何的调用访问但是, 如果与该非阻塞通信对象相联系的通信还没有完成, 则该对象的资源并不会立即释放, 它将等到该非阻塞通信结束后再释放, 因此, 非阻塞通信对象的释放并不影响该非阻塞通信的完成

32 消息到来的检查阻塞检查非阻塞检查

33 阻塞检查阻塞检查 MPI_PROBE (source,tag,cmm,status) IN source 源进程标识或任意进程标识 MPI_ANY_SOURCE ( 整型 ) IN tag 特定 tag 值或任意 tag 值 MPI_ANY_TAG ( 整型 ) IN comm 通信域 ( 句柄 ) OUT status 返回的状态 ( 状态类型 ) int MPI_Probe(int source,int tag,mpi_comm comm,m PI_Status *status)

34 阻塞检查 MPI_PROBE 和 MPI_IPROBE 相似, 只不过它是一个阻塞调用, 只有找到一个匹配的消息到达之后它才会返回.

35 非阻塞检查 MPI_IPROBE(source,tag,comm,flag,status) IN source 源进程标识或任意进程标识 MPI_ANY_SOURCE ( 整型 ) IN tag 特定 tag 值或任意 tag 值 MPI_ANY_TAG ( 整型 ) IN comm 通信域 ( 句柄 ) OUT flag 是否有消息到达标志 ( 逻辑 ) OUT status 返回的状态 ( 状态类型 ) int MPI_Iprobe(int source,int tag,mpi_comm com m,int *flag, MPI_Status *status)

36 非阻塞检查当非阻塞的消息到达检查函数 MPI_IPROBE(sour ce,tag,comm,flag,status) 被调用时, 如果存在一个消息可被接收, 并且该消息的消息信封和 MPI_I PROBE 的消息信封 <source, tag, comm> 相匹配, 则该调用返回 flag=true, 返回状态 status 如同在调用了 MPI_RECV(..., source, tag,cmm,status) 后得到的 status 一样, 即 MPI_IPROBE 的 status 和 MPI_RECV 的 status 的返回值安全相同

37 非阻塞检查若没有消息到达或到达的消息的消息信封和 MPI _IPROBE 的消息信封不匹配, 则 MPI_IPROBE 调用立即返回, 返回结果 flag=false 并且不对 stat us 定义如果 MPI_IPROBE 返回结果 flag=true, 则可以从返回的状态 status 中获取 source,tag 和检查消息的长度然后就可以使用相匹配的接收语句接收该消息

38 非阻塞检查 MPI_IPROBE 的 source 参数可以是 MPI_ANY_S OURCE, tag 参数可以是 MPI_ANY_TAG, 以便用户可以检查来自不确定的源 source 以及不确定的标识 tag 不过, 必须指定一个通信域 com m 来指明通信的上下文一个消息被检查后并不一定会被立即接收, 同样, 一个消息在被接收以前可能会被检查多次

39 重复非阻塞通信初始化重复非阻塞通信启动非阻塞通信

40 初始化重复非阻塞通信 MPI_SEND_INIT(buf,count,datatype,dest,tag,com m,request) IN buf 发送缓冲区起始地址 ( 可选数据类型 ) IN count 发送数据个数 ( 整型 ) IN datatype 发送数据的数据类型 ( 句柄 ) IN dest 目标进程标识 ( 整型 ) IN tag 消息标识 ( 整型 ) IN comm 通信域 ( 句柄 ) OUT request 非阻塞通信对象 ( 句柄 )

41 初始化重复非阻塞通信 int MPI_Send_init(void* buf, int count, MPI_Data t ype,int dest, int tag, MPI_Comm comm, MPI_ Request *request) 如果一个通信会被重复执行, 比如循环结构内的通信调用, MPI 提供了特殊的实现方式, 对这样的通信进行优化, 以降低不必要的通信开销, 它将通信参数和 MPI 的内部对象建立固定的联系, 然后通过该对象完成重复通信的任务这样的通信方式在 MPI 中都是非阻塞通信

42 初始化重复非阻塞通信 MPI_RECV_INIT(buf,count,datatype,source,tag,co mm,request) OUT buf 接收缓冲区初始地址 ( 可选数据类型 ) IN count 接收数据的最大个数 ( 整型 ) IN datatype 接收数据的数据类型 ( 句柄 ) IN source 发送进程的标识或任意进程 MPI_ANY_SOURCE ( 整型 ) IN tag 消息标识或任意标识 MPI_ANY_TAG( 整型 ) IN comm 通信域 ( 句柄 ) OUT request 非阻塞通信对象 ( 句柄 )

43 初始化重复非阻塞通信 int MPI_Recv_init(void* buf,int count,mpi_datatyp e datatype,int source, int tag, MPI_Comm com m,mpi_request *request) MPI_RECV_INIT 创建一个标准模式非阻塞重复接收对象, 该对象和相应的接收操作的所有参数捆绑到一起参数 buf 标为 OUT 是因为用户通过传递该参数给 MPI_RECV_INIT 给予接收缓冲区写权限

44 重复非阻塞通信需要如下步骤 : 1 通信的初始化, 比如 MPI_SEND_INIT 2 启动通信, MPI_START 3 完成通信, MPI_WAIT 重复 4 释放查询对象, MPI_REQUEST_FREE

45 注意重复通信时, 通信的初始化操作并没有启动消息通信, 消息真正开始通信是由 MPI_START 触发的, 消息的完成操作并不释放相应的非阻塞通信对象, 只是将其状态置为非活动状态, 若下面进行重复通信, 则再由 MPI_START 将该对象置为活动状态, 并启动通信当不需要再进行通信时, 必须通过显式的语句 MPI_REQUEST_F REE 将非阻塞通信对象释放掉, 这是重复通信和一般的非阻塞通信不同的地方 MPI_SEND_INIT 创建一个标准模式重复非阻塞发送对象, 该对象和相应的发送操作的所有

46 初始化缓冲模式重复非阻塞发送对象 int MPI_Bsend_init(void* buf,int count,mpi_datat ype datatype,int dest, int tag, MPI_Comm comm,m PI_Request *request) MPI_BSEND_INIT 创建一个缓冲模式重复非阻塞发送对象, 该对象和相应的发送操作的所有参数捆绑到一起

47 初始化同步模式重复非阻塞发送对象 int MPI_Ssend_init(void* buf,int count,mpi_dataty pe datatype,int dest, int tag, MPI_Comm com m,mpi_request *request) MPI_SSEND_INIT 创建一个同步模式非阻塞重复发送对象, 该对象和相应的发送操作的所有参数捆绑到一起

48 初始化就绪模式重复非阻塞发送对象 int MPI_Rsend_init(void* buf,int count,mpi_dataty pe datatype,int dest, int tag, MPI_Comm com m,mpi_request *request) MPI_RSEND_INIT 创建一个就绪模式非阻塞重复发送对象, 该对象和相应的发送操作的所有参数捆绑到一起

49 小节介绍了各种形式的非阻塞调用, 利用非阻塞调用最基本的特征 " 未完成即可返回 ", 可以实现多种重要的功能, 有些功能如果没有非阻塞调用是无法实现的, 因此在使用 MPI 编写具有复杂功能或特性的并行程序时, 往往需要非阻塞通信形式的介入, 它可以从功能和性能两个方面对原来的程序进行改进

PowerPoint 演示文稿

PowerPoint 演示文稿第六讲消息传递编程接口 MPI 二 MPI 消息传递 1 MPI 消息传递 MPI 点对点通信类型阻塞型和非阻塞型 MPI 消息发送模式标准模式缓冲模式同步模式就绪模式 MPI 聚合通信多个进程间的通信 2 阻塞型和非阻塞型通信阻塞型 (blocking) 和非阻塞型 (non blocking) 通信阻塞型通信函数需要等待指定的操作实际完成, 或所涉及的数据被 MPI 系统安全备份后才返回