5.2.2 并行区域编程 上面我们曾经说过循环并行化实际上是并行区域编程的一个特例, 在这一小节我们将详细讨论非循环的并行区域编程 并行区域简单的说就是通过循环并行化编译制导语句使得一段代码能够在多个线程内部同时执行 本章的第一个例子就是一个并行区域的例子, 根据环境变量的设置, 该程序在相应的线程内部打印出信息 并行区域编译制导语句的格式与使用限制 在 C/C++ 语言中, 并行区域编写的格式如下所示 : [clause[clause] ] block 其中 block 是需要在多个线程中执行的代码块, 每一个线程在遇到并行区域的编译制导语句的时候, 都会同时执行跟随其后的程序代码块 在并行区域的编译制导语句后面也可以跟随一些子句, 包括 private,shared,default,reduction,if,copyin 等子句都可以在并行区域编译制导语句中出现 在后面的叙述中, 我们将介绍每一个子句的功能和作用 parallel 编译制导语句与循环并行化 parallel for 语句类似, 在使用到程序块之前也有一定的限制 程序块必须是一个只有单一入口和单一出口的程序块, 不能从外面转入到程序块的内部, 也不允许从程序块内部有多个出口转到程序块之外, 在程序块内部的跳转是允许的 在程序块内部直接调用 exit 函数来退出整个程序的执行也是允许的 parallel 编译制导语句的执行过程为了理解编译制导语句 parallel 语句的执行过程, 我们先看看如下两个程序的执行结果 这两个程序非常简单, 且相似, 唯一的不同之处在于前面一个程序的编译制导语句是并行区域编译制导语句 parallel 而后面一个程序的编译制导语句是循环并行化的编译制导语句 parallel for 代码 5.11parallel 编译制导语句 1 for(int i=0;i<5;i++) printf("hello world i=%d\n",i); 程序的执行结果 : hello world i=0 hello world i=0 hello world i=1 hello world i=1 hello world i=2 hello world i=2 hello world i=3 hello world i=3
hello world i=4 hello world i=4 代码 5.12parallel 编译制导语句 2 for for(int i=0;i<5;i++) printf("hello world i=%d\n",i); 程序的执行结果 : hello world i=0 hello world i=3 hello world i=1 hello world i=4 hello world i=2 可以看到, 两个程序唯一的区别在于程序中黑体标出的 for ( 在执行的过程中, 环境变量 OMP_NUM_THREADS=2 ) 从这两个执行结果中我们可以明显地看到并行区域与循环并行化的区别, 即并行区域采用了复制执行的方式, 将代码在所有的线程内部都执行一次 ; 而循环并行化则采用了工作分配的执行方式, 将循环所需要的所有工作量按照一定的方式分配到各个执行线程中, 所有线程执行工作的总和是原先串行执行所完成的工作量 总结上述的并行区域 parallel 语句的作用是当程序遇到 parallel 编译制导语句的时候, 就会生成相应数目 ( 根据环境变量 ) 的线程组成一个线程组, 并将代码重复地在各个线程内部执行 parallel 的末尾有一个隐含的同步屏障 (barrier), 所有线程完成所需的重复任务有, 在这个同步屏障出会和 (join) 此时, 线程组的主线程 (master) 继续执行, 而相应的子线程 (slave) 则停止执行 线程私有数据与 threadprivate,copyin 子句前面我们已经看到在循环并行化的过程中, 有一套默认的规则用来控制变量在线程之间的共享属性 除了 private 子句能够产生线程私有的变量之外, 还需要考虑一些全局的数据 这些全局的数据可能是在整个程序运行过程中都需要的数据, 或者是在源程序中跨多个文件所需要的变量 在通常的情况下, 这些数据都是共享的数据, 所有的线程访问的都是共享内存空间中的同一内存地址内容 然而, 有的时候, 对于每一个线程来说, 可能需要生成自己私有的线程数据, 此时, 就需要使用 threadprivate 子句用来标明某一个变量是线程私有数据, 在程序运行的过程中, 不能够被其它线程访问到 代码 5.13 线程私有数据与 threadprivate 子句 int counter=0; #pragma omp threadprivate(counter) //using threadprivate void inc_counter() counter++;
int main(int argc, char * argv[]) for(int i=0;i<10000;i++) inc_counter(); printf("counter=%d\n",counter); 在上述的程序例子中, 我们使用了 threadprivate 语句 ( 使用黑体并有注释的语句 ), 使得 counter 变成了每一个线程拥有的私有变量 此时的执行过程最后结果都为 : counter=10000 而如果将含有注释的那一行删除, 就将全局变量 counter 变为共享, 执行过程中会产生数据 冲突, 执行结果不可预知, 下面是可能的一次执行结果 : counter=15194 可以明显看到出现了数据相关性 对于所有的线程私有全局变量来说, 除了主线程, 其它线程的私有变量在运行过程中是没有 初始化的, 为了使用主线程的变量初始化的值, 我们使用 copyin 子句对线程私有的全局变 量进行初始化 代码 5.14 线程私有数据与 copyin 子句 int global=0; #pragma omp threadprivate(global) int main(int argc, char * argv[]) global=1000; copyin(global) printf("global=%d\n",global); global=omp_get_thread_num(); printf("global=%d\n",global); printf("parallel again\n"); printf("global=%d\n",global);
程序的执行结果为 : global=1000 global=1000 global=0 parallel again global=0 global=1 可以看出, 通过 copyin 的操作, 确实将线程的私有变量初始化为主线程中相应的全局变量 的值 在并行区域执行完毕退出后, 主线程与子线程中的相应的全局变量继续有效, 并且在 在一次进入并行区域时, 使用上一次退出时所赋的值 并行区域之间的工作共享上述的 parallel 编译制导语句提供了在 OpenMP 程序中一种简单的并行方法, 能够将工作在多个线程之间重复运行 实际上, 对于并行程序来说, 相对于重复地做同样一件工作, 更有意义的是将一定的工作量分配到各个线程, 使得各个线程共同完成更大的工作量 因此, 并行程序希望能够在不同的数据集上执行相同的计算, 甚至希望并行执行完全不同的工作 在通常的并行程序编写中, 一般会使用工作队列的方式将工作放置到一个队列中, 每一个线程每次从队列中获取一件工作 而在 OpenMP 程序中, 每一个线程都可以调用 omp_get_thread_num() 来得到自己唯一的线程号, 因此可以利用这个线程号来获得不同的工作任务执行 实际上, 在 OpenMP 支持的语法中, 可以直接使用编译制导语句 for 将任务分配到各个线程, 就像前一节所说的循环并行化一样 ; 另外, 也可以用 sections 编译制导语句以及 section 子句自然地将不同的工作任务编写成不同的代码片段并行执行 在下面的内容中, 我们针对每一种编程方式给出例子讲解如何进行工作共享的并行区域编程 工作队列 工作队列的基本工作过程即为维持一个工作的队列, 线程在并行执行的时候, 不断从这个队 列中取出相应的工作完成, 直到队列为空为止 代码 5.15 工作队列 int next_task=0; int get_next_task() int task; #pragma omp critical // 用来做同步操作 Used to conduct synchronization if(next_task<max_task) else task=next_task; next_task++; task=-1; return task;
void task_queue() int my_task; private(my_task) my_task=get_next_task(); while(my_task!=-1) get_task_done(my_task); my_task=get_next_task(); 上述程序的并行部分不断从一个任务队列中取出相应的任务完成, 直到完成任务队列中的所 有任务 根据线程号分配任务 由于每一个线程在执行的过程中的线程标识号是不同的, 可以根据这个线程标识号来分配不 同的任务, 下面的例子程序就演示了如何根据线程标识号来完成不同的任务 代码 5.16 根据线程号分配任务 private(myid) nthreads=omp_get_num_threads(); myid=omp_get_thread_num(); get_my_work_done(myid,nthreads); 在上述的程序中, 首先获得当前所有线程的数目, 并且根据线程的总数以及相应的线程标识 号来确定相应的工作, 完成任务的并行分配 使用循环语句分配任务由于通过循环并行化在线程之间分配相应的任务已经在上一个小节详细讲述, 在这里就不进一步举例子说明了 实际上, 循环并行化是可以单独在并行化区域中出现的, 每一个循环中的任务就被分配到各个工作线程中 代码 5.17 使用循环语句分配任务 #pragma omp for printf("outside loop thread=%d\n",omp_get_thread_num()) ; for(int i=0;i<4;i++)
printf("inside loop i=%d thread=%d\n",i,omp_get_thread_num()) ; 程序的运行结果 : outside loop thread=0 outside loop thread=1 inside loop i=2 thread=1 inside loop i=0 thread=0 inside loop i=3 thread=1 inside loop i=1 thread=0 可以看出, 在循环的外部, 程序代码被各个线程复制执行, 而在循环的内部, 循环的所有任 务被各个线程分别完成 从总体上来说, 循环执行的次数与串行执行的次数一致 上述的工作空间的共享实际上是编程人员通过自己的经验, 使用 OpenMP 一些接口编写自己 所需的任务分配代码 实际上, 在 OpenMP 编程规范中已经对能够在不同的线程中执行不同 的任务有所支持 使用工作分区 (sections) 的方法就能够达到这一点 工作分区编码 (sections) 下面是一个工作分区编码的示例 代码 5.18 一个工作分区编码的示例 sections #pragma omp section printf("section 1 thread=%d\n",omp_get_thread_num()) ; #pragma omp section printf("section 2 thread=%d\n",omp_get_thread_num()) ; #pragma omp section printf("sectino 3 thread=%d\n",omp_get_thread_num()) ; 程序运行结果为 : section 1 thread=0 section 2 thread=1 sectino 3 thread=0 可以看到, 在使用工作分区编码的时候, 各个线程自动从各个分区中获得任务执行 并且在 执行完一个分区的时候, 如果分区组里面还有未完成的工作, 则继续取得任务完成