11 基于进程的并发编程 2017 年 5 月 3 日 20:22 1. 对于在父子进程间共享状态信息, 进程有一个非常清晰的模型 : 共享文件表, 但是不共享文件空间进程有独立的地址空间既是优点也是缺点 : a. ( 优点 ) 一个进程不可能不小心覆盖另一个进程的虚拟存储器 b. ( 缺点 )

Size: px

Start display at page:

Download "11 基于进程的并发编程 2017 年 5 月 3 日 20:22 1. 对于在父子进程间共享状态信息, 进程有一个非常清晰的模型 : 共享文件表, 但是不共享文件空间进程有独立的地址空间既是优点也是缺点 : a. ( 优点 ) 一个进程不可能不小心覆盖另一个进程的虚拟存储器 b. ( 缺点 )"

之架犬柏
5 years ago
Views:

1 12 并发编程 2017 年 4 月 5 日 9:21 1. 并发不仅是一种操作系统内核用来运行多个应用程序的机制, 应用级并发在以下这些情况下也是发挥了很大的作用 : a. 访问慢速 I/O 设备 b. 与人交互 c. 通过推迟工作以降低延迟 d. 服务多个网络客户端 e. 在多核机器上进行并行计算并发程序 : 使用应用级并发的应用程序现代操作系统提供了三种基本的构造并发程序的方法 : a. 进程有独立的虚拟地址空间, 进程间的通信必须使用进程间通讯 (interprocess communication, IPC) 机制 b. I/O 多路复用所有流都共享同一个地址空间 c. 线程线程是运行在一个单一进程上下文中的逻辑流, 由内核进行调度, 具有进程和 I/O 多路复用的特点分区深入理解计算机系统笔记的第 1 页

2 11 基于进程的并发编程 2017 年 5 月 3 日 20:22 1. 对于在父子进程间共享状态信息, 进程有一个非常清晰的模型 : 共享文件表, 但是不共享文件空间进程有独立的地址空间既是优点也是缺点 : a. ( 优点 ) 一个进程不可能不小心覆盖另一个进程的虚拟存储器 b. ( 缺点 ) 独立的地址空间使得进程共享状态信息变得更加困难 c. ( 缺点 ) 进程控制和 IPC 的开销很高分区深入理解计算机系统笔记的第 2 页

3 12 基于 I/O 多路复用的并发编程 2017 年 5 月 3 日 20:22 1. I/O 多路复用的基本思路就是使用 select 函数, 要求内核挂起进程, 只有一个或多个 I/O 事件发生后, 才将控制返回给应用程序 select 函数是一个复杂的函数, 有许多不同的场景, 本书无特殊说明只讨论一种场景 : 等待一组描述符准备好读 Select 的函数格式 (Unix 下的伯克利 socket 编程, 和 windows 下有区别 ): int select ( int maxfdp, fd_set *readfds, fd_set *writefds, fd_set *errorfds, struct timeval *timeout ); struct fd_set: 可以理解为一个集合, 这个集合中存放文件描述符 (filedescriptor), 即文件句柄 fd_set 集合可以通过一些宏由人为来操作 struct timeval: 用来代表时间值, 有两个成员, 一个是秒数, 另一个是毫秒 int maxfdp: 是一个整数值, 指集合中所有文件描述符的范围, 即所有文件描述符的最大值加 1(Linux 中这个参数的值不能错! 在 Windows 中这个参数的值无所谓, 可以设置不正确 ) fd_set* readfds: 是指向 fd_set 结构的指针, 这个集合中的元素是文件描述符, 如果这个集合中有一个文件可读,select 就会返回一个大于 0 的值, 表示有文件可读, 如果没有可读的文件, 则根据 timeout 参数再判断是否超时, 若超出 timeout 的时间,select 返回 0, 若发生错误返回负值可以传入 NULL 值, 表示不关心任何文件的读变化 fd_set* writefds: 是指向 fd_set 结构的指针, 这个集合中的元素是文件描述符, 如果这个集合中有一个文件可写,select 就会返回一个大于 0 的值, 表示有文件可写, 如果没有可写的文件, 则根据 timeout 参数再判断是否超时, 若超出 timeout 的时间,select 返回 0, 若发生错误返回负值可以传入 NULL 值, 表示不关心任何文件的写变化 fd_set * errorfds: 同上面两个参数的意图, 用来监视文件错误异常 struct timeval* timeout: 是 select 的超时时间, 这个参数至关重要, 它可以使 select 处于三种状态 : a. 第一, 若将 NULL 以形参传入, 即不传入时间结构, 就是将 select 置于阻塞状态, 一定等到监视文件描述符集合中某个文件描述符发生变化为止 ; 分区深入理解计算机系统笔记的第 3 页

4 b. 第二, 若将时间值设为 0 秒 0 毫秒, 就变成一个纯粹的非阻塞函数, 不管文件描述符是否有变化, 都立刻返回继续执行, 文件无变化返回 0, 有变化返回一个正值 ; c. 第三,timeout 的值大于 0, 这就是等待的超时时间, 即 select 在 timeout 时间内阻塞, 超时时间之内有事件到来就返回了, 否则在超时后不管怎样一定返回, 返回值同上述 select 函数的副作用 :select 函数修改参数 fdset 指向的 fd_set, 指明读集合中一个称为准备好读的子集, 这个集合是由读集合中准备好可以读了的描述符组成函数返回的值指明了准备好集合的基数由于这个副作用的存在, 我们必须在每次调用 select 时都更新读集合 I/O 多路复用可以用作并发事件驱动 (event-driven) 程序的基础, 在事件驱动程序中, 流是因为某种事件而前进的一般概念是将逻辑流模型化为状态机不严格地说, 一个状态机就是一组状态输入时间和转移, 其中转移就是将状态和输入事件映射到状态每个转移都将一个 ( 输入状态, 输入事件 ) 对映射到一个输出状态自循环是同一输入和输出状态之间的转移 I/O 多路复用技术的优劣 : a. 优点 : i. 比基于进程的设计给了程序员更多对程序行为的控制 ; ii. 一个基于 I/O 多路复用的事件驱动服务器是运行在单一进程上下文中的, 因此每个逻辑流都能访问该进程的全部地址空间, 这使得在流之间共享数据变得很容易 ; iii. 可以使用熟悉的调试工具来调试并发服务器, 就像顺序程序那样 b. 缺点 : i. 编码复杂, 并发粒度越小, 复杂性越高 ; ii. 不能充分利用多核处理器分区深入理解计算机系统笔记的第 4 页

5 13 基于线程的并发编程 2017 年 5 月 3 日 20: 线程就是运行在进程上下文中的逻辑流线程由内核自动调度每个线程都有它自己的线程上下文 (thread context), 包括一个唯一的整数线程 ID(Thread ID,TID) 栈栈指针程序计数器通用目的寄存器和条件码所有的运行在一个进程里的线程共享该进程的整个虚拟地址空间基于线程的逻辑流结合了基于进程和基于 I/O 多路复用的流的特性每个进程在开始生命周期时都是单一线程, 这个线程称为主线程主线程可以创建对等线程线程执行不同于进程 : a. 线程的上下文切换要比进程的上下文切换快得多 ; b. 线程不是按照严格的父子层次来组织的和一个进程相关的线程组成一个对等 ( 线程 ) 池, 独立于其他线程创建的线程主线程和其他线程的区别仅在于它总是进程中创建的第一个运行的线程一个线程可以杀死它的任何对等线程, 躲着等待它的任意对等线程终止线程通过调用 pthread_create 函数来创建其他线程 : 6. 当 pthread_create 返回时, 参数 tid 包含新建线程的 ID 线程可以通过调用 pthread_self 函数来获得它自己的线程 ID: 7. 线程的终止 : a. 当顶层的线程例程返回时, 线程会隐式地终止 ; b. 通过调用 pthread_exit 函数, 线程会显式地终止如果主线程调用 pthread_exit, 它分区深入理解计算机系统笔记的第 5 页

6 会等待所有其他对等线程终止, 然后再终止主线程和整个进程, 返回值为 pthread_return: c. d. 某个对等线程调用 Unix 的 exit 函数, 该函数终止进程已经与该进程相关的线程 ; 另一个对等线程通过以当前线程 ID 作为参数调用 pthread_cancel 函数来终止当前线程 : 8. 线程通过调用 pthread_join 函数等待其它线程终止 : 9. pthread_ join 函数会阻塞, 直到线程 tid 终止, 将线程例程返回的 (void *) 指针赋值为 thread_return 指向的位置, 然后回收已终止线程占用的所有存储器资源, 该函数只能等待一个指定线程的终止在任何一个时间点上, 线程是可结合的或者是分离的 : a. 一个可结合的线程能够被其他线程收回其资源和杀死, 在被其他线程回收之前, 它的存储器资源是没有被释放的 ; b. 一个分离的线程是不能被其他线程回收或杀死的, 它的存储器资源在它终止时由系统自动释放默认情况下, 线程被创建成可结合的为了避免存储器泄漏, 每个可结合线程都应该要么被其他线程显式的回收, 要么调用 pthread_detach 函数被分离 : 10. pthread_once 函数允许你初始化与线程例程相关的状态 : once_control 变量是一个全局或静态变量, 总是被初始化为 PTHREAD_ONCE_INIT 当第一次用参数 once_control 调用 pthread_once 时, 它调用 init_routine, 这是一个无参数无返回的函数 ; 再次用参数 once_control 调用 pthread_once 时不做任何事情分区深入理解计算机系统笔记的第 6 页

7 14 多线程程序中的共享变量 2017 年 5 月 3 日 20: 一组并发线程运行在一个进程的上下文每个线程都有它自己独立的线程上下文, 包括线程 ID 栈栈指针程序计数器条件码和通用目的寄存器值每个线程和其他线程一起共享进程上下文的剩余部分, 这包括整个用户虚拟地址空间 ( 由只读文本 ( 代码 ) 读/ 写数据堆以及所有的共享库代码和数据区域组成 ), 线程也共享同样的打开文件的集合如果某个线程修改了一个存储器位置, 那么其他每个线程最终都能在它读这个位置时发现这个变化故寄存器是从不共享的, 而虚拟存储器总是共享的不同线程栈是不对其他线程设防的我们说一个变量 y 是共享的, 当且仅当它的一个实例被一个以上的线程引用 ( 直接或间接 ) 分区深入理解计算机系统笔记的第 7 页

8 15 用信号量同步线程 2017 年 5 月 3 日 20:22 1. 共享变量是十分方便的, 但是它们也引入了同步错误的可能性, 我们以下图中的例题来说明这个问题 : 关键在于一般而言, 你没有办法预测操作系统是否将为你的线程选择一个正确的顺序, 如下图所示 : 我们借助进度图的方法来阐明这些正确的和不正确的指令顺序的概念进度图将 n 个并发线程的执行模型化为一条 n 维笛卡儿空间中的轨迹线每条轴 k 对应于线程 k 的进度每个点代表线程 k 已经完成指令 I k 这一状态图的原点对应于没有任何线程完成一条指令的初始状态 : 分区深入理解计算机系统笔记的第 8 页

9 进度图将指令执行模型化为从一种状态到另一种状态的转换转换被表示为一条从一点到相邻点的有向边合法的转换是向右或向上的, 两条指令不能在同一时刻完成 ( 对角转换是不允许的 )( 这也是为什么进度图只能表示单处理器不能表现多处理器, 多处理器是可能出现多条指令同时完成的 ) 对于线程 i, 操作共享变量 cnt 内容的指令 (L i,u i,s i ) 构成一个 ( 关于共享变量 cnt) 的临界区, 这个临界区不应该和其他线程的临界区交替执行换句话说, 我们想要确保每个线程在执行它的临界区指令时, 拥有对共享变量的互斥访问通常称这种现象为互斥在进度图中, 两个临界区的交集形成的状态空间区域称为不安全区不安全区和它交界的状态相毗邻, 但并不包括这些状态 : 绕开不安全区的轨迹线叫做安全轨迹线, 相反的是不安全轨迹线任何安全轨迹线都将正确地更新共享计数器同步线程使它们总是有一条安全轨迹线的一个经典方法是基于信号量的思想信号量 s 是具有非负整数值的全局变量, 只能由两种特殊的操作来处理, 这两种操作称为 P 和 V: a. P(s) i. 如果 s 是非零的, 那么 P 将 s 减 1, 并且立即返回 ii. 如果 s 为零, 那么就挂起这个线程, 直到 s 变为非零, 而一个 V 操作会重启这个线程在重启之后,P 操作将 s 减 1, 并将控制返回给调用者 b. V(s):V 操作将 s 加 1 如果有任何线程阻塞在 P 操作等待 s 变成非零, 那么 V 操作会重启这些线程中的一个, 然后该线程将 s 减 1, 完成它的 P 操作 P 操作和 V 操作是不可分割的, 在其操作过程中没有中断 V 的定义中没有定义等待线程被重新启动的顺序, 唯一的要求是 V 必须只能重启一个正在等待的线程因此, 当有多个线程在等待同一个信号量时, 你不能预测 V 操作要重启哪一个线程 P 和 V 的定义确保了一个正在运行的程序绝不可能进入这样一种状态, 也就是一个正确初始化了的信号有一个负值这个属性称为信号量不变性 Posix 标准定义了许多操作信号量的函数 : 分区深入理解计算机系统笔记的第 9 页

10 8. 使用信号量来实现对共享变量的互斥访问的基本思路是将每个共享变量 ( 或一组相关的共享变量 ) 与一个信号量 ( 初始为 1) 联系起来, 然后用 P(s) 和 V(s) 操作将相应的临界区包围起来这种方式的信号量叫做二元信号量, 因为它的值总是 0 和 1 以提供互斥为目的的二元信号量常常也称为互斥锁在一个互斥锁上执行 P 操作称为对互斥锁加锁, 类似地, 执行 V 操作称为对互斥锁解锁对一个互斥锁加了锁但是还没有解锁的线程称为占用这个互斥锁一个被用作一组可用资源的计数器和信号量称为计数信号量 P 和 V 操作的结合创建了一组状态, 叫做禁止区, 其中 s<0 因为信号量的不变性, 没有实际可行的轨迹线能够包含禁止区中的状态多处理器的工作方式是进度图不能解释的分区深入理解计算机系统笔记的第 10 页

11 16 使用线程提高并行性 2017 年 5 月 3 日 20:22 分区深入理解计算机系统笔记的第 11 页

17 其他并发问题 2017 年 5 月 3 日 20:23 1. 一个函数被称为线程安全的, 当且仅当被多个并发程序反复调用时, 它会一直产生正确的结果如果一个函数不是线程安全的, 我们就说它是线程不安全的我们定义出四个 ( 不相交 ) 线程不安全函数类 : a. 不保护共享变量的函数 b. 保持跨越多个调用的状态的函数使得线程安全的方法 : i. 重写使之变成可重入函数 c.

12 17 其他并发问题 2017 年 5 月 3 日 20:23 1. 一个函数被称为线程安全的, 当且仅当被多个并发程序反复调用时, 它会一直产生正确的结果如果一个函数不是线程安全的, 我们就说它是线程不安全的我们定义出四个 ( 不相交 ) 线程不安全函数类 : a. 不保护共享变量的函数 b. 保持跨越多个调用的状态的函数使得线程安全的方法 : i. 重写使之变成可重入函数 c. 返回指向静态变量的指针的函数使得线程安全的方法 : i. 重写 ii. 加锁 - 拷贝技术 d. 调用线程不安全函数的函数可重入函数是一类重要的线程安全函数, 其特点在于它们具有这样一种属性 : 当它们被多个线程调用时, 不会引用任何共享数据 3. 可重入函数通常要比不可重入函数高效一些, 因为它们不需要同步操作可重入函数 : a. 显式可重入的函数 : 所有函数参数都是传值传递的 ( 没有指针 ), 并且所有的数据引用都是本地的自动栈变量 b. 隐式可重入的函数 : 允许显式可重入函数中的一些参数是引用传递 ( 非共享数据的指针 ) 的信号量引入了死锁, 应用以下简单而有效的规则来避免死锁 : 互斥锁加锁顺序规则 : 如果对于程序中每对互斥锁 (s,t), 给所有所分配一个全序, 每个线程按照这个顺序来请求锁, 并按逆序来释放, 那么这个程序就是无死锁的分区深入理解计算机系统笔记的第 12 页

Iinux中select函数的使用

Iinux中select函数的使用 Iinux 中 select 函数的使用阻塞式 I/O 编程有两个特点 : 一如果一个发现 I\O 有输入, 读取的过程中, 另外一个也有了输入, 这时候不会产生任何反应, 也就是需要你的程序语句去 select 的时候才知道有数据输入二程序去 select 的时候, 如果没有数据输入, 程序会一直等待, 直到有数据位置, 也就是程序中无需循环和 sleep Select 在 Socket