Chap07

Size: px

Start display at page:

Download "Chap07"

又昨隗
6 years ago
Views:

1 I/O 复用与并行行程序

2 并发与复用回顾之前的程序 ( 无论 UDP/TCP) 其一 : 单个 Server, 单个 Client 其二 : 单个 Server, 多个 Client 但客户端都是依次被服务器器端受理理并执行行函数是阻塞的, 怎么办

3 两种类型的服务器器端第一种 : 第一个连接等待受理理时间为 0s, 第 50 个等待受理理时间为 50s, 第 100 个连接等待受理理时间为 100s, 依次类推每个连接服务时间仅 1s 第二种 : 所有连接请求的受理理时间不不超过 1s, 平均服务时间越 2-3s 解决方案并发服务器器多进程同时处理理客户端的连接请求 I/O 复用的方式轮询客户端的连接请求 [ 单进程!]

4 I/O 复用 - 单进程的并发服务器器实现用多进程并发服务器器的缺点每次请求都需要创建新的进程, 创建维护进程需要消耗运算和内存空间进程独立存在, 可能涉及数据交换实现多进程的技术手段较复杂

5 不不创建进程而实现并发服务器器同时向多个客户端提供服务, 每个客户端不不阻塞其它客户端复用 (Multiplexing) 技术复用的思维被用在多个领域

6 不不创建进程而实现并发服务器器复用 (Multiplexing) 技术 [ 通信工程 ] 在同一个通信信道离传递多个数据 [ 网络 ] 提高物理理设备的效率, 用最少的物理理要素传递最多的数据

7 通信中的多路路复用 ( 复用 ) 模型时分多路路频分多路路码分多路路空分多路路

8 纸杯电话的复用

9 Socket 服务器器上的复用服务器器端并发处理理多个客户端的连接需要建立多个进程 / 线程分别处理理

10 引入复用技术, 对服务器器端的应用层程序进行行复用实现单个进程处理理多个客户端的输入请求我们称之为 I/O 复用

11 具体来说, 服务器器端的 I/O 复用即 : 服务器器的应用监测指定的客户端若某客户端有请求产生, 则处理理若客户端无请求产生, 则略略过

12 I/O 复用的一个类比上课回答问题方式一 : 给每个学生配备一个老老师, 一对一, 一旦某学生有问题老老师能马上处理理, 但是该学生没有问题的时候老老师必须等待方式二 : 一个聪明的老老师, 多个学生, 聪明的老老师周期性地扫视整个课堂, 有举手的学生则点他起来处理理问题, 没有的话就继续保持观测

13 select() 函数最具有代表性的实现复用服务器器的方法常被程序员忽略略的方法 winsock 和 BSD socket 等等都有该方法 ( 或其扩展 )

14 select() 函数主要功能将多个文件描述符集中在一起统一监视是否存在套接字有待接收数据? 是否存在套接字有 ( 无阻塞的 ) 待传输数据是否存在套接字发生了了异常

15 select() 函数的用法

16 select() 函数用法 - 步骤一设置文件描述符 select() 可以同时监视多个文件描述符注意文件描述符可以是 stdio 文件设备 socket 等等文件描述符被集中监视维护一张表, 表示同类的文件描述符监视项也是分类的待接收待传输发生异常

17 监视文件描述符的表 (fd_set) 如何定义与初始化

18 设置一个文件描述符的表 fd_set, 结构如图一个数组, 每一位表示系统中的一个文件描述符, 如图第一位表示 fd0, 第三位表示 fd2 每位的元素可为 0/1 若为 0, 表示 select 不不监视此 fd 若为 1,

19 如何改变表中的数值我们命名这个表为 : fd_set set 利利用宏 FD_ZERO(fd_set *); FD_SET(int, fd_set *); FD_CLR(int, fd_set *); FD_ISSET(int, fd_set *);

21 select() 函数用法 - 步骤二设置监视的范围和超时时间 (timeout) select 函数监视不不同类型的几组文件描述符 ( 待接收待传输发生异常 ) select 函数监视时也发生阻塞通过设置 timeout value 来跳出阻塞

22 select 函数结构 int select( int maxfd, fd_set * readset, fd_set * writeset, fd_set * exceptset, const struct timeval * timeout );

23 因此, 使用 select 函数最关键的两个输入参数包括文件描述符 (fd) 的监视范围 ( 即我们要监视的客户端的集合 ) 超时的时间通过 struct timeval 结构体来初始化并输入

24 struct timeval { long tv_sec; long tv_usec; //sec //microsec } select 监视 fd, 如果 fd 们不不发生变化则阻塞过了了指定时间 timeval 后, 如果 fd 依然无变化, 函数返回 0

25 执行行 select 时,struct timeval * timeout 的变化为什什么 timeout 是指针 timeout 会在 select 执行行时改变

26 select() 函数用法 - 步骤三查看 select 的结果如果 select 函数返回大于 0 的数, 则说明部分监视的 fd 发生了了变化例例如 : 经过查询, 有些客户端套接字产生了了输入此时应检查三张 fd_set 表有什什么变化若没有产生变化, 原来为 1 的位被置为 0

27 不不归零码曼彻斯特差分曼彻斯特

28 返回结果后带来的困难? 下一次 select 前需要重置 fd_set 们

29 select 函数 - 代码分析

30 此处设置 timeout 被注释掉了了因为 timeout 在 select 过程中会改变, 在此处赋值不不科学

31 注意传入 select 的是变量量 temps 而不不是 reads 检查返回值也是检查变量量 temps 而不不是 reads

32 回声服务器器 - 再讨论之前讨论的回声 (echo) 服务器器回声 (echo) 服务器器, 满足如下 ( 比较简化的 ) 设计要求 : 服务器器端同一时刻只处理理一个客户端请求服务器器端依次向五个客户端提供服务, 然后退出客户端发送文本给服务器器, 服务器器回传 (echo back) 客户端输入退出指令, 结束一个客户端的请求

33 非 I/O 复用的回声服务器器

34 基于 I/O 复用的回声服务器器 Server

35 Server

36 Server

37 接 while 循环体 Server

38 客户端不不需要做出变化

39 总结 :select 模型 I/O 多路路复用 (I/O Multiplexing) 操作系统赋予的一个功能, 使得 socket( 或称 fd) 产生变化时, 能返回一个通知适用于非阻塞模式的 socket 适时地进行行操作, 保证每次操作都能有明确效果监视多个 socket( 或称 fd) 在同一个线程完成

40 socket 编程中 select 产生监听事件的情况可读 (readset): socket 内核接收缓冲区的内容足够多 socket 通信对方关闭连接 socket 上有新的连接请求 socket 上有未处理理的错误

41 socket 编程中 select 产生监听事件的情况可写 (writeset): socket 内核发送缓冲区的内容足够多 socket 的读端关闭 socket 使用 connect 连接成功 socket 上有未处理理的错误

42 select 的优点兼容性非常好比较传统的 I/O 多路路复用的方法多个操作系统都支持 select 函数实现逻辑简单, 适用于服务器器端接入少的情况

43 select 的缺点 select 遇到的问题实践中, 接入数百个客户端时性能降低直至失效部分操作系统对 select 的最大监视容量量有限制从原理理上会产生性能瓶颈

44 select 函数的缺点分析 int select(, fd_set *readset, fd_set *writeset, fd_set *exceptset, ); 每次调用 select 函数, 都必须将监视对象 (fd) 的信息全部进行行参数传递由于 select 会修改各 fd_set, 因此每次调用 select 都需要复制各 fd_set 需要对 fd_set 监视的所有对象进行行循环轮询

45 select 之外的 I/O 复用如何克服 select 的缺点减少传递监视对象表的次数监视对象的内容发生变化时才产生通知因 I/O 复用是操作系统层面实现, 因此需要操作系统的函数支持 linux 下可以使用 epoll

46 epoll 方法 epoll 的优点正好弥补了了 select 的不不足 epoll 不不需要编写循环语句句用于轮询所有文件描述符的状态变化一旦有变化会返回变化的文件描述符调用 epoll 系列列函数中查询 fd 变化情况的函数时, 不不需要每次都向操作系统传递信息

47 epoll 方法的三个函数 epoll_create: 创建保存 epoll 文件描述符的空间 epoll_ctl: 向空间注册或注销文件描述符 epoll_wait: 等待文件描述符 fd 发生变化并返回变化的 fd 的集合 epoll 工作流程创建 epoll 注册监视的 fd 等待发生变化的 fd 消息

48 保存监视的文件描述符 fd select 怎么实现的?fd_set 结构的变量量 epoll 保存在操作系统中具体来说, 向操作系统请求创建保存 fd 的空间 ( 使用 epoll_create) 保存监视的 fd 信息, 以及返回发生事件变化的 fd 信息, 采用 epoll_event 结构体

49 epoll_event

50 epoll 工作过程简介 epoll_create 函数 Linux 以上版本 #include <sys/epoll.h> int epoll_create(int size) 用 epoll_create 在操作系统中创建的 fd 保存空间叫做 epoll 例例程 size 决定 epoll 例例程大小, 但操作系统仅仅只参考!

51 epoll_ctl 函数 int epoll_ctl( int int int epfd, op, fd, struct epoll_event * event ); 成功时返回 0, 失败返回 -1

52 epoll_ctl 函数的例例子 epoll_ctl(a, EPOLL_CTL_ADD, FD, EVENT) 向操作系统注册文件描述符 FD, 主要用于监测 EVENT 事件 epoll_ctl(a, EPOLL_CTL_DEL, FD, NULL) 从操作系统删除文件描述符 FD

53 epoll_ctl 函数之 event 参数 event 参数是一个 epoll_event 结构监视的事件类型 ( 读取数据, 发送数据, ) 与第三个参数有部分内容重叠, 见示例例

54 标记的部分在第三项参数出现过

55 epoll_wait 函数 int epoll_wait( int epfd, struct epoll_event * events, int int maxevents, timeout ); 成功时返回发生事件的 fd 数量量, 失败返回 -1

56 events 参数需要动态分配

57 基于 epoll 的回声服务器器端 - 代码

58 注意区别

60 epoll 第一步 epoll 第二步注意 event 的用法

62 处理理 clnt_sock 这个 fd 的事件处理理 serv_sock 这个 fd 的事件

63 最后记得要关闭创建的 fd 们关闭 socket( 服务器器和客户端 ) 关闭 epoll 例例程

64 多进程网络程序设计两种类型的服务器器端第一种 : 第一个连接等待受理理时间为 0s, 第 50 个等待受理理时间为 50s, 第 100 个连接等待受理理时间为 100s, 依次类推每个连接服务时间仅 1s 第二种 : 所有连接请求的受理理时间不不超过 1s, 平均服务时间越 2-3s 解决方案并发服务器器多进程同时处理理客户端的连接请求 I/O 复用的方式轮询客户端的连接请求 [ 单进程!]

65 进程和线程 - 基本概念进程是表示资源分配的基本单位, 又是调度运行行的基本单位例例如, 用户运行行自己的程序, 系统就创建一个进程, 并为它分配系统资源该进程放人进程的就绪队列列进程调度程序选中它, 为它分配 CPU 以及其它有关资源, 该进程才真正运行行进程是系统中的并发执行行的单位

67 在采用微内核结构的操作系统中, 进程的功能发生了了变化它只是资源分配的单位, 而不不再是调度运行行的单位在微内核系统中, 真正调度运行行的基本单位是线程真正实现并发功能的单位是线程

68 线程线程是进程中执行行运算的最小单位, 亦即执行行处理理机调度的基本单位如果把进程理理解为在逻辑上操作系统所完成的任务, 那么线程表示完成该任务的许多可能的子任务之一线程可以在处理理器器上独立调度执行行, 在多处理理器器环境下就允许几个线程各自在单独处理理器器上进行行操作系统提供线程方便便而有效地实现这种并发性

69 线程的优点易易于调度, 提高并发性创建开销少利利于充分发挥多处理理器器的功能

70 进程和线程 - 联系线程是指进程内的一个执行行单元, 也是进程内的可调度实体一个线程只能属于一个进程, 而一个进程可以有多个线程, 但至少有一个线程进程独享分配的资源, 线程共享同一进程的所有资源 CPU 核心分给线程, 真正在 CPU 上运行行的是线程线程在执行行过程中需要协作同步不不同进程的线程间要利利用消息通信的办法实现同步

71 进程和线程 - 区别调度 : 线程作为调度和分配的基本单位, 进程作为拥有资源的基本单位拥有资源 : 进程是拥有资源的一个独立单位, 线程不不拥有系统资源, 但可以访问隶属于进程的资源系统开销 : 在创建或撤消进程时, 由于系统都要为之分配和回收资源, 导致系统的开销明显大于创建或撤消线程时的开销

72 通信问题 - 进程间通信管道通信 : 无名管道用于具有亲缘关系的父子进程间的通信有名管道除了了具有管道所具有的功能外, 它还允许无亲缘关系进程间的通信信号 (Signal): 软件层次上对中断机制的一种模拟, 用于通知进程有某事件发生, 进程收到信号与处理理器器收到中断请求效果上一致

73 消息队列列 (Message queue): 具有写权限得进程可以按照一定得规则向消息队列列中添加新信息, 有读权限得进程则可以从消息队列列中读取信息共享内存 (Shared memory): 多个进程可以访问同一块内存空间, 需要依靠某种同步操作, 如互斥锁和信号量量等信号量量 (Semaphore): 进程 / 线程之间得同步和互斥手段套接字 (Socket): 更更为一般得进程间通信机制, 它可用于网络中不不同机器器之间的进程间通信, 应用非常广泛

74 通信问题 - 线程间通信信号量量互斥型信号量量二进制信号量量整数型信号量量记录型信号量量消息队列列事件 (Event)

75 创建一个进程 :fork 函数 #include <unistd.h> pid_t fork(void) 成功时返回 PID 失败返回 -1

76 fork 的工作原理理 fork 创建当前进程的副本 fork 执行行后才执行行需要并行行的代码 fork 函数通过 pid 来判断执行行哪一段代码

77 调用 fork 函数返回的 pid 父进程 : 返回子进程的 pid 子进程 : 返回 0 其中父进程 : 调用 fork 的主体, 原进程子进程 : 父进程复制出的进程

80 完

习题课

习题课章阳 yangzhang@whut.edu.cn http://yzhang.org 1. 物理理地址 (MAC) 存在于层,IP 地址存在于层, 可以将 IP 地址分为和主机号 2 Segment 数据段 Packet 数据包 Frame 帧 Bit 比特 3 1. 物理理地址 (MAC) 存在于层,IP 地址存在于层, 可以将 IP 地址分为和主机号 ( 数据链路路, 网络,